라인
왼쪽
오른쪽
  • UPDATE : 2018.1.22 월 01:06
> 기획/연재 > 연재
빅데이터, 4차 산업혁명 시대의 핵심 자원(資源)신년기획, 올 해 주목해야 할 신기술 시리즈
이현수 기자  |  leehs0103@leaders.kr
폰트키우기 폰트줄이기 프린트하기 신고하기
승인 2018.01.14  
트위터 페이스북 미투데이 네이버 구글 msn
③빅데이터: 예전에 못 보던 진실을 찾고 인간의 능력을 뛰어넘는 예측도 가능
데이터의 양+뛰어난 컴퓨팅 파워+정교한 알고리즘=인공지능 발전
 
   
▲ 빅데이터는 인공지능 발전을 뒷받침해 4차 산업혁명을 이끌 자원으로 평가 받고 있다.

페이팔의 공동 창업자 피터틸이 회사를 떠나 2004년 새롭게 만든 회사 팰런티어는 빅데이터 분석으로 사기나 범죄, 테러 등을 예측하는 솔루션을 개발한 회사다. 이 회사 고객명단에는 미국 중앙정보국(CIA), 연방수사국(FBI) 등이 올라 있다. 이 회사의 기업 가치는 200억달러(약 21조6000억원)에 달한다. 지난 2016년 경제전문지 포춘이 ‘올해의 유니콘(기업 가치 10억달러를 넘는 스타트업)’ 가운데 하나로 선정한 위시(Wish)는 모바일 쇼핑 사이트다. 전 세계 3억명이 넘는 이용자를 보유하고 있는 세계 6위의 e커머스 업체다. 위시는 빅데이터를 활용함으로써 소비자의 취향을 사전에 분석하고 원하는 상품을 맞춤식으로 제공하는 온라인 상품 추천 애플리케이션 개발 업체다. 반대로 상품 판매자에게는 충성도 높은 소비자층을 콕 집어 마케팅 할 수 있게 해준다. 당연히 광고비를 줄일 수 있다. 이 회사의 가치는 30억달러(약 3조2500억원). 팰런티어나 위시처럼 막대한 시설투자나 인원을 들이지 않고도 대형 회사로 성장할 수 있던 비결은 데이터를 잘 다루고 데이터 속에서 숨은 진주를 찾아냈기 때문이다.

빅데이터가 기업의 핵심 자산으로 떠오르고 있다. 데이터는 4차 산업혁명 시대의 핵심자산이자 동시에 새로운 비즈니스 모델이 되고 있다. 흩어져 있고 아무런 의미가 없어 보이는 데이터들을 모아서 의미를 분석하고 가공해서 새로운 가치를 창출해 내는 것이다. 특히 빅데이터는 정교한 알고리즘과 뛰어난 컴퓨팅 파워를 만나서 인공지능(AI)을 발전시키는 핵심 요소가 된다. 빅데이터는 이제 단순히 기업의 자산이 아니라 기업의 활동 자체를 데이터 중심으로 접근해야 하는 시기가 됐다. 또 민간 데이터 관리 기업인 액시엄(Acxiom)의 예에서 보듯이 데이터 그 자체를 판매해 막대한 매출을 올리는 회사들도 생겨나고 있다. 액시엄은 전 세계 7억명의 개인정보를 수입, 분류해 판매하는 회사다.

◇크기(Volume), 속도(Velocity), 다양성(Variety)
빅데이터(Big Data)란 기존 방식으로는 저장·관리·분석하기 어려울 정도의 대량의 정형 또는 비정형의 데이터로부터 유용한 가치를 찾아내고 결과를 분석하는 기술을 말한다. 일반적으로 빅데이터란 페타바이트(PT) 단위 규모를 말하는데 1PT는 1024테라바이트(TB)다. 우리가 일상생활에서 사용하고 있는 PC나 휴대폰의 저장능력을 나타내는 단위가 기가바이트(GB)인데 1024GB가 1TB이니 그 규모를 짐작할 수 있다. 흔히 빅데이터의 특징을 크기(Volume), 속도(Velocity), 다양성(Variety) 등 ‘3V’로 얘기한다. 어마어마한 크기와 광속으로 생성되는 속도, 그리고 일정한 형식이 없는 다양성을 뜻한다. 여기에다 가치(Value), 정확성(Veracity), 시각화(Visualization) 등을 추가하기도 한다.

빅데이터가 주목 받는 이유는 정보통신 사회가 발전함에 따라 데이터의 양이 무섭게 증가하고 있기 때문이며 그에 따라 데이터의 활용가치 또한 무궁무진하게 높아지고 있기 때문이다. 특히 과거와 달리 엄청난 컴퓨팅 능력에다 고도화된 알고리즘이 만들어지면서 어마어마한 양의 데이터도 처리할 능력이 생겼기 때문이다. 막대한 데이터를 적절히 처리하면서 사람들은 예전에는 보지 못했던 데이터 속의 진실을 발견하게 되고 심지어 인간의 능력을 뛰어넘는 예측을 할 수 있게 된다.

결국 특정 영역에서 누가 더 빨리 일정 수준 이상의 가치 있는 데이터, 소위 크리티컬 매스(Critical Mass)를 확보하느냐가 중요해 진 시대가 됐다. 임계치 이상의 데이터를 가장 먼저 확보하면 시장의 변두리에 있던 기업도 독점적 지위로 올라설 수 있다는 얘기다. 오늘날 검색업계에서 전 세계 독보적인 지위를 확보하고 있는 구글도 최고의 알고리즘 기반의 검색엔진으로 임계치 이상의 데이터를 수집하면서 사용자가 증가하게 되고 이는 다시 데이터 수집량을 증가시키는 선순환 구조를 구축했기 때문이라 할 수 있다. 페이스북 역시 마찬가지다. 기능면에서 페이스북이 가장 좋은 서비스라고 말하기 힘들다. 그렇지만 가장 먼저 일정 수준 이상의 이용자를 확보했기 때문에 SNS 플랫폼을 장악했다.

최근 한 조사에 따르면 모든 업종의 기업 중 40% 이상이 빅데이터를 활용하고 있거나 활용을 준비 중인 것으로 조사됐다. 고객을 파악하고 좋은 제품을 생산·유통하기 위해서 빅데이터 활용이 필요하기 때문이다. 전문가들은 산업사회의 원유처럼 빅데이터를 정보사회의 핵심 자원으로 평가하고 있다.

◇편리한 생활을 부르는 빅데이터
CCTV는 그 동안 영상을 저장함으로써 침입을 방지하는 ‘보안’ 역할을 주로 해왔다. 그러던 것이 빅데이터와 결합하면서 훨씬 새롭고 편리한 기능으로 발전하고 있다. 이제 CCTV가 ‘고객분석’, ‘물류’, ‘재고파악’, ‘고객안심서비스’ 등 기업체의 경영 전반에 다양한 역할을 하고 있다.

빅데이터를 활용한 고객 분석의 재미있는 사례를 한가지 살펴보자. 근래에 휴가철이면 게스트하우스를 이용하는 사람이 부쩍 늘었다. 그런데 ‘좀 불편하지만 저렴한 숙소’라고 일반적으로 생각하고 게스트하우스를 찾는 이유가 ‘저렴한 가격’ 때문인 것으로 쉽게 예상하지만 조사 결과는 달랐다. KT의 빅데이터 분석 도구인 PRISM을 통해 살펴본 결과 사람들은 ‘파티’, ‘분위기’와 같은 단어가 주요 연관어로 나타난 것이다. 상식과 다른 소비자들의 문화를 빅데이터를 통해 찾아낸 것이다. 당연히 이제 게스트하우스는 가격을 낮추기 보다는 낯선 사람과 편안하게 소통할 수 있는 시설과 문화를 갖추는데 주력하는 게 옳음을 알 수 있다. 실제로 전국 각지에는 소통의 문화공간의 특색을 살린 게스트하우스들이 속속 들어서고 있다.

넷플릭스가 처음으로 자체 제작해 큰 인기를 끈 ‘하우스 오브 카드’를 비롯해 ‘마르코 폴로’, ‘오렌지 이즈 더 뉴 블랙’ 등은 빅데이터 분석을 토대로 기획됐다. 하우스 오브 카드는 넷플릭스 가입자의 콘텐츠 선호도와 일시정지·되감기 등 재생 기록, 검색 기록, 위치·이용 단말기 정보, 주중·주말 시청 행태 등 막대한 양의 정보를 자체 개발한 알고리즘으로 분석해 만들어졌고 대박으로 이어졌다. 감독과 배우 섭외 과정에서도 빅데이터를 활용했다. 해당 드라마를 좋아하는 가입자의 선호도를 파악한 것이다. 제작자의 직감과 개인적 선호에 따르던 기존 드라마 기획 관행을 확 바꿔놓은 것이다.

◇빅데이터 시장 매년 20~30%씩 성장
이에 따라 관련 시장도 급속히 팽창하고 있다. 아직 국내에서는 빅데이터 시장의 본격 개화에 대한 전망이 엇갈리고 있긴 하지만 올해부터 본격 개화할 것으로 전망하는 전문가나 기업체 대표들이 많다. 따라서 관련 분야에 대한 투자도 올 한해 뜨거울 것으로 예상된다. 특히 빅데이터는 하나의 고립된 산업이 아니라 금융, 건강, 제조업, 공공부문 등 다양한 산업과 결합해 활용이 가능하기 때문에 시장은 폭발적으로 성장할 것으로 전망된다. 지난해 말 블룸버그통신이 세계 50개 중앙은행 관계자들을 대상으로 설문조사를 했더니 정책결정과 감독에서 빅데이터를 핵심자료로 사용한다는 응답자가 35%에 달했다. 이미 빅데이터 활용이 보편화되고 있음을 의미한다.

IT전문 컨설팅 업체 KGR에 따르면 국내 빅데이터 시장은 지난 2013년 이후 매년 20~30%씩 증가했다. 2017년도에도 전년대비 23.5% 성장한 4200억원으로 전망했다. 지자체와 의료·제조 산업이 시장을 견인하고 있다. 제조업계는 사물인터넷 적용으로 센서 데이터를 활용하고 스마트 팩토리를 구현하는 분야가 대표적이다.
 
   
▲ 국내 빅데이터 시장 규모.

포레스터리서치의 보고서에 따르면 2018년에는 전 세계 기업들이 빅데이터 분석 및 인공지능 기술을 도입하겠다는 단순한 의사 표시를 지나 본격적인 도입 계획을 하고 있는 것으로 나타났다. 보고서는 또 기업의 25%는 대화형 인터페이스와 포인트별 방안 제시를 통해 의사결정의 품질을 크게 높일 것으로 예측했다. 자연어를 사용해 데이터를 불러내고 그 결과로 시각화된 정보를 실시간으로 확보하는 것이 빅데이터 분석의 표준이 될 것으로 예측했다. 이와 함께 세계 주요 기업의 20%는 빅데이터 기반의 인공지능 시스템이 의사 결정을 내리고 실시간 지침을 제공하게 될 것이며 빅데이터 분석 후 인공지능은 고객에게 무엇을 제공할지, 공급 업체에게는 어떤 조건을 제안할지, 직원들에게는 무엇을 말하고 행동할지를 실시간으로 알려주게 될 것으로 예측했다. 결과적으로 보고서는 또 빅데이터 엔지니어가 올해 가장 각광받게 될 것이라고 전망했다.

이 같은 분위기에 맞춰 정부도 그 동안 빅데이터 산업 발전의 발목을 잡아왔다고 평가된 개인정보보호법, 신용정보법, 정보통신망법 등을 개정해 빅데이터의 활용과 결합 등의 법적 근거를 명확히 하기로 했다.

중국의 시진핑(習近平) 주석은 지난해 12월 8일 정치국 집체학습에서 빅데이터 국가 전략 시행과 디지털중국 가속화를 촉구하고 모든 고위 간부들에게 빅데이터를 업무에 활용하라고 지시했다. 시 주석은 중국이 온라인쇼핑, 모바일 결제, 공유경제 등 디지털경제의 신업태와 신비즈니스 모델 발전에서 앞서 있다고 자평하고 빅데이터 핵심 기술 돌파구를 마련하고 독자적이고 통제 가능한 빅데이터 산업사슬⋅가치사슬⋅생태계 구축을 가속화해야 한다고 강조했다.

◇빅데이터의 그늘
빅데이터의 직접적인 책임이 있는 것은 아니지만 빅데이터의 발달로 일자리를 잃는 경우가 생겨나고 있다. 총 운용자산 5조 달러에 달하는 최대 자산운용사 블랙록은 지난해 초 펀드 운용을 인공지능에 맡기고 대신 스타 펀드매니저를 무더기 해고했고, 골드만삭스도 인공지능 켄쇼를 활용해서 600명에 달하던 주식트레이더를 정리하고 2명이서 처리하게 했다.

또 에드워드 스노든의 충격적인 폭로에서 드러났듯이 국가나 거대 권력이 과거보다 더 쉽고 조직적으로 개인을 감시하게 되었다. 이와 함께 지난 2014년 미국 국립과학원회보에 실린 ‘소셜네트워크를 통한 대량 감정 전염의 실험적 증빙’이라는 논문에서처럼 개인은 누구나 자신도 모르는 사이에 실험에 이용당할 수 있다. 심지어 피실험자가 돼 우울증으로 인해 극단적인 선택을 할 가능성도 생겼다.

하지만 그렇다고 기술의 발전을 막을 수도 막아서도 안 된다. 중국 알리바바의 마윈 회장은 “우리는 IT(Information Technology)시대를 지나 DT(Data Technology)시대로 나아가는 전환기에 놓여있다”면서 “DT시대에는 경쟁 상대를 더 성장시키려는 이타적인 생각을 가져야 성공할 수 있다”고 말했다. 마윈 회장의 말처럼 우리는 빅데이터를 미래 인류의 거대 에너지가 되도록 만들어야 한다. 이현수 기자 leehs0103@leaders.kr

[관련기사]

이현수 기자의 다른기사 보기  
폰트키우기 폰트줄이기 프린트하기 신고하기
트위터 페이스북 미투데이 네이버 구글 msn 뒤로가기 위로가기
기사 댓글 0
전체보기
첫번째 댓글을 남겨주세요.
여백
여백
회사소개기사제보광고문의불편신고개인정보취급방침청소년보호정책이메일무단수집거부
부산광역시 부산진구 중앙대로 594 |  대표전화 : 051-996-2400  |  팩스 : 051-996-2408  |  등록번호 : 부산 가 00020  |  발행·편집인 : 이헌률
등록번호 : 아00219 |  등록일자 : 2015년 2월 06일 |  청소년 보호책임자 : 백재현
Copyright © 2014 일간리더스경제신문. All rights reserved.