인터넷에 이어 스마트폰 출현으로 디지털 혁명이 가속화되고 있다. 가장 눈에 띄는 분야가 바로 빅데이터다. 빅데이터는 당초 수십에서 수천 테라바이트에 달하는 거대한 데이터 집합 자체만을 지칭하던 양적 개념이었다. 이후 데이터가 급증하면서 대용량 데이터를 활용하고 분석해 가치 있는 정보를 추출하고 생성된 지식을 바탕으로 능동적으로 대응하거나 변화를 예측하기 위한 정보기술 용어로 확장되고 있다. 빅데이터1.0시대에서 빅데이터2.0시대로의 전환이다. 한발 더 나가 빅데이터3.0시대가 도래하고 있다. 빅데이터를 분석한 정부의 통계자료 뿐만 아니라 기업들의 분석자료가 '모두 공유되고 활용되는 시대'에 접어들고 있다. 빅데이터3.0시대의 변화와 대응전략을 짚어본다 [편집자주]
[뉴스핌=김양섭 기자] IT가 다루는 데이터의 양이 급격히 증가하면서 이를 활용해 새로운 가치를 만드는 연구가 한창이다. 인터넷의 발달로 쌓이는 데이터 양이 기하급수적으로 증가하면서 '거대한 규모의 데이터 집합'을 의미하는 '빅데이터(Big Data)' 시대가 본격적으로 열리고 있는 것이다.
'빅데이터'는 말 그대로 거대한 데이터를 의미한다. 데이터를 저장하고 이를 분석하는 일은 예전에도 있었다. 다만 인터넷의 발달, 또 모바일 기기와 이를 바탕으로 급격하게 확산된 소셜네트워크 등을 통해 쏟아지는 정보의 양이 과거와는 비교할 수 없을 정도로 많아지고 있다.
2000년대 중반까지만 해도 기업이나 기관에서 활용하기 위해 분석하는 데이터는 전문가 또는 관계자 등이 제공하는 체계적인 정형데이터가 대부분을 차지했다.
이러한 데이터는 표나 그래프 등을 통해 보기 좋게 가공되기 때문에 분석이 편한 반면, 정보의 범위가 제한적이었다. 태블릿PC와 스마트폰 등 모바일 기기의 보급은 데이터 수집 경로를 급격하게 확장시키는 도구가 됐다.
또 센서 기술의 발전으로 비행기 엔진, 각종 채굴 장비, 자동차, 물류회사의 트럭 등에 부착된 센서를 통해 데이터 수집이 가능해졌다.
사물간에 인터넷이 연결된다는 개념의 사물인터넷(IoT)이 활성화되면 이를 통해 수집되는 정보의 양은 지금과 비교할 수 없을 정도로 방대해질 것으로 예상된다.
빅데이터에 관심이 집중되는 이유는 정보의 '비정형성' 때문이다. 현재 존재하는 모든 데이터의 약 90% 이상이 소셜미디어나 웹상에서 발생되는 비가공 데이터, 즉 비정형데이터다. 이런 데이터를 구조화해서 의미있는 데이터로 가공해내는 작업을 통해 새로운 가치가 창출되는 것이다.
IBM은 2013년 연례보고서에서는 2015년까지 지구상에서 데이터를 생산하고 전달할 수 있는 유닛이 1조개를 넘어설 것이라고 분석했다. 또한 현재 매일 250억 기가바이트의 데이터가 생성되고 있고, 이 중 80~90%는 오디오나 비디오, 소셜미디어 등의 비정형 데이터라고 분석했다.
최근 IDC는 빅데이터 시장이 연평균(CAGR) 27%씩 성장, 324억달러 규모에 이를 것이라고 전망했다. 이는 전체 ICT 시장 성장률의 거의 6배에 해당한다. 빅데이터와 결합된 산업의 가치를 살펴보면 그 중요성을 쉽게 알 수 있다. 맥킨지는 산업 부문별로 빅데이터 활용으로 0.5~1% 정도의 생산성이 증가하고, 소매업, 제조업 등 5개 부문에서의 빅데이터 활용가치는 글로벌 GDP 57.5조달러의 약 40% 정도를 차지한다고 전망했다. 리서치회사인 위키본(Wikibon)은 더 낙관적인 전망을 하고 있다. 위키본은 빅데이터 산업의 시장규모가 2011년 73억 달러에서 연평균 37.1% 성장하여 2017년에는 485억 달러로 증가할 것으로 내다봤다.
[뉴스핌 Newspim] 김양섭 기자 (ssup825@naver.com)
