빅데이터 개념과 의미에 대해서 알아봅시다.
빅데이터 개념에 대한 설명
빅데이터 개념(Big Data)은 방대한 양의 데이터 모음입니다.
빅데이터는 활동하는 모든 사람과 사물들이 발생시킨 정보와 데이터를 의미합니다. 빅데이터는 디지털 환경에서 생성되는 데이터이며 그 규모가 방대할 뿐만 아니라 데이터가 생성되는 주기도 짧고 형태도 수치 데이터 뿐만 아니라 텍스트 데이터, 영상 데이터, SNS데이터 등 다양한 형태의 대규모 데이터의 특징을 가지고 있습니다.
디지털 경제가 확산되고 발달되면서 이제는 규모를 측정할 수 없을 정도로 많은 정보와 데이터가 생산되고 있으며 이에 따라 빅데이터 환경에 대한 관심이 커지고 있습니다. 디지털 환경이 아닌 아날로그 환경에서 생산되었던 데이터들과 비교하면 디지털 환경에서 생산되는 데이터의 규모는 비교할 수 없을 정도로 규모와 데이터 양이 방대하고 생성 주기와 속도도 빠르며 다양한 형태의 데이터로 구성되어 있습니다.
기업에서는 일반적으로 수집하는 고객 데이터와 거래 데이터 뿐만 아니라 이제는 고객이 남기는 접촉정보와 고객이 디지털 기기를 사용하면서 남긴 발자국인 고객의 비식별 행태 정보와 외부데이터까지도 데이터 영역을 확장하여 데이터를 통해 의미 있는 비즈니스 인사이트와 가치를 창출하려고 노력하고 있습니다.
이제는 기업들이 빅데이터를 분석하여 의미 있는 인사이트와 가치를 창출하는 것을 기업의 중요한 핵심 목표와 기업 경쟁력 확보를 위한 전략으로 삼고 있습니다. 빅데이터를 활용하여 새로운 비즈니스를 만들어 내는 기업들도 점점 늘어 나고 있습니다.
빅데이터를 활용하기 위해서는 데이터 분석이 중요합니다. 데이터 분석은 회귀 분석 등 통계학을 기반으로 하여 R, SAS, 파이썬(Python)과 같은 다양한 데이터 분석 툴을 통해 데이터분석모델을 만들고 데이터 속에 담긴 중요한 비즈니스 가치를 발굴하여 데이터를 기반으로 한 의사결정이나 새로운 신규 비즈니스 창조, 기존 비즈니스의 지원을 할 수 있도록 하는 데이터 과학 기술 분야입니다.
빅데이터는 최근 금융권에서도 많이 활용되고 있습니다. 예를 들어 카드사에서는 사용자의 소비패턴과 소비습관과 같은 데이터를 분석하여 분석된 데이터를 기반으로 새로운 카드를 출시하거나 새로운 서비스와 이벤트를 기획할 때 활용됩니다.
빅데이터 개념에 대한 이해
빅데이터 개념(Big Data)은 4차 산업혁명 시대에서 원유와도 같은 개념입니다.
빅데이터 개념은 사람이나 사물의 활동이 만들어 내는 방대한 양의 대량 데이터의 모음입니다. 디지털과 IT기술, 데이터분석 기술이 발전함에 따라 이전에는 그냥 버려졌던 정보들까지도 이제는 중요하고 수집하고 분석할 수 있게 되었습니다. 방대한 양의 빅데이터 속에서 데이터분석을 통해서 완전히 새로운 가치를 발견할 수 있습니다.
빅데이터의 분석 목적은 아직 알려지지 않은 규칙과 패턴, 의미와 인사이트, 새로운 데이터 분석 모델을 만들고 발견하는 것입니다. 데이터 분석 결과를 통해 아직 알려지지 않은 규칙성을 발견하고 이를 새로운 비즈니스나 서비스를 만들어 내는 것으로 연결 시킬 수 있습니다. 데이터와 데이터 분석을 기반으로 한 새로운 먹거리를 발견하는 것은 기업 뿐만 아니라 국가적인 차원에서도 진행하고 있는 분야입니다.
빅데이터 개념은 데이터마이닝(Data Mining)과도 연관되어 있으며 데이터분석을 통해서 가치가 만들어지는 개념입니다.
빅데이터는 현재 더 주목 받고 있습니다. 데이터 자체는 이미 예전부터 존재해왔던 개념입니다. 하지만 당시에는 데이터를 수집하고 축적하고 데이터를 분석할 수 있는 능력과 기술이 많이 개발되지 못했습니다. 하지만 이제는 컴퓨터의 처리 능력과 통신속도가 크게 향상되었고 대량의 데이터를 축적할 수 있는 클라우드나 데이터 서버가 보급되면서 빅데이터를 데이터웨어하우스에 저장하고 활용할 수 있게 되었고 인공지능 AI기술과 접목시켜 사람이 할 수 없는 더 고도화된 데이터분석과 활용이 가능해진 것입니다.
빅데이터의 특징은 3V로 설명되기도 합니다. 빅데이터 특징을 설명하는 3V는 데이터의 양(Volume), 데이터 생성 속도(Velocity), 데이터 형태의 다양성(Variety)입니다. 여기에 정확성(Veracity)와 가치(Value)를 추가하여 5V로 설명하기도 합니다.
사람이 걸으면 위치정보가 나오고 사람은 혈압과 맥박의 수치가 변화하면서 이에 대한 데이터가 나옵니다. 이러한 데이터들도 모두 빅데이터처럼 활용될 수 있는 것입니다. 활동하는 모든 사람과 물건들은 데이터를 발생시키는 것입니다. 다양하고 여러 정류의 시스템이 수집하는 데이터는 원래의 목적 이외에도 더 많은 데이터들이 포함되어 있습니다. 그리고 원천 데이터만 가지고는 얻을 수 없는 새로운 인사이트와 가치를 방대한 양의 데이터를 분석하는 활동을 통해서 완전히 새로운 가치를 발견할 수 있는 기회들이 생기게 됩니다.
그래서 이제는 빅데이터 개념이 4차 산업혁명시대의 원유와도 같은 개념이 되었으며 이러한 원유와도 같은 빅데이터를 어떻게 가공하고 활용하는지에 따라서 기업과 국가의 경쟁력과 위상이 결정되게 될 것입니다.
빅데이터를 활용하여 가치 있는 서비스를 제공한 대표적인 사례를 하나 들어보면 구글의 자동번역 시스템입니다. 구글의 자동 번역 시스템은 데이터 규모가 중요하다는 것을 보여준 대표적인 사례로 구글은 수천만권의 도서 정보와 함께 유엔과 유럽 의회, 웹사이트의 자료들의 빅데이터를 기반으로 64개 언어 간 자동 번역 시스템을 개발한 것입니다.