[도서] [IT] 데이터는 어떻게 자산이 되는가?

데이터분야와 자본의 전반적인 관계를 살펴보기 좋은, 생태계 전반을 파악하기를 시작하는데 나쁘지 않음. 

 

이하 책속에서..

 

데이터의 종류는 기록 형태에 따라 정형 데이터와 비정형 데이터로 구분된다. 정형 데이터는 일련의 측정된 경험을 기록한 신호들을 말하는데 길이, 높이, 크기, 시간, 비용, 나이 등과 같이 주로 숫자로 표현되는 데이터들이 이에 해당한다. 

정형 데이터는 기업이 고객, 고객의 행동 패턴, 트렌드 등을 이해하는 데 도움을 준다. 

반면 비정형 데이터는 기존의 방식으로는 분석하기 어렵다는 특징이 있다 .최근에는 소셜 미디어 활동, 센서, 인공위성 이미지 등과 같이 다양한 형태의 비정형 데이터들이 생성되고 있다. 


============================================================================================


데이터 활용 모델은 효율성 모델, 효과성 모델, 전문성 모델, 혁신성 모델로 분류할 수 있다. 

- 효율성 모델 : 지속성 저비용 기반의 수행 성과를 제공하는 모델로 일상의 상시 업무를 주로 수행한다. 

- 효과성 모델 : 유연한 통합과 협력을 지원하는 모델로 다양한 영역을 상호 연결하는 업무를 주로 수행한다. 

- 전문성 모델 : 특정 전문 기술이나 영역 지식을 활용하는 모델로 전문가의 상황 판단이 필요한 업무를 주로 수행한다. 

- 혁신성 모델 : 창의력과 새로운 아이디어를 실현하는 모델로 원천 기술을 다루거나 혁신적인 업무를 주로 수행한다.


============================================================================================

데이터가 분산되어 있거나 정제되어 있지 않아 데이터 활용을 어렵게 하는 데이터 병목 현상이 생긴다. 데이터의 병목 현상은 기업의 데이터를 활용함에 있는 많은 시간과 투자를 낭비하게 만드는 원인으로 데이터의 가치를 높이기 위해서는 반드시 데이터를 연결 통합 융합하는 작업이 필요하다. 

특히 데이터가 의미를 가지려면 연결이 중요하다. 그것도 아주 정교하고 합리적으로 연결해야 한다. 이와 관련해 미디어 연구소인 오가닉 미디어 랩에서 2014년에 발표한 자료를 살펴보면 연결의 의미를 육하원칙과 네트워크 유형에 따라 구분했다. 네트워크의 유형을 소셜 네트워크, 매개 네트워크, 컨텍스트 네트워크로 구분하고, 각 유형에서의 연결의 의미를 육하원칙에 따라 규정한다. 

각 데이터세트가 최소한의 연결이라도 되어있어야 더 많은 정보를 확보할 가능성이 커지고 그만큼 데이터의 가치도 높일 수 있다. 그런 의미에서 적정한 데이터 식별자 공유는 데이터 연결의 필수조건이다. 

데이터 병목 현상과 빅데이터 활용 활성화 방안
빅데이터는 기업이 경쟁력을 확보하는 핵심 자원으로 자리 잡았지만, 데이터가 여러 시스템과 부서에 분산되어 있거나 정제되지 않아 활용이 어려운 데이터 병목 현상(Data Bottleneck)이 발생하는 경우가 많습니다. 이는 데이터의 수집, 저장, 처리, 분석 단계에서 비효율성을 초래하며, 기업이 데이터 기반 의사결정을 수행하는 데 장애물이 됩니다.  위에서 말한 내용 외에도 아래와 같은 원인이 있습니다. 

데이터 분산 및 사일로(Silo)화
기업 내 다양한 부서와 시스템에서 데이터를 개별적으로 관리하면서, 데이터 간 연계가 어렵고 통합 분석이 불가능해지는 문제가 발생 

비정형 데이터의 증가
텍스트, 이미지, 동영상 등 다양한 형태의 비정형 데이터가 증가하면서 이를 표준화하여 활용하는 과정이 복잡해짐 

데이터 품질 및 정제 문제
중복되거나 불완전한 데이터, 형식이 맞지 않는 데이터는 신뢰할 수 있는 분석 결과 도출을 어렵게 만듬 

데이터 접근성 부족
보안과 개인정보 보호 문제로 인해 데이터 접근이 제한되면서, 필요한 데이터를 적시에 활용하기 어려워지는 경우가 많음 

데이터 처리 속도 저하
대량의 데이터를 실시간으로 처리하기 위한 인프라가 부족하면, 분석 결과를 신속하게 도출하기 어려움 

빅데이터 활용 활성화 방안
데이터 병목 현상을 해소하고 우리 기업의 빅데이터 활용을 활성화하기 위해 다음과 같은 전략을 도입할 수 있습니다.

데이터 거버넌스 체계 구축
데이터의 표준화, 관리 정책 수립, 메타데이터 관리를 통해 데이터의 일관성과 신뢰성을 확보해야 합니다. 데이터 카탈로그와 데이터 라벨링 시스템을 도입하면 데이터 활용도를 높일 수 있습니다.

클라우드 및 데이터 레이크(Data Lake) 도입
클라우드 기반의 데이터 레이크를 활용하면 분산된 데이터를 중앙에서 통합 관리할 수 있으며, 대량의 데이터를 효과적으로 저장하고 분석할 수 있습니다.

ETL(Extract, Transform, Load) 프로세스 최적화
자동화된 ETL 시스템을 구축하여 데이터의 추출, 변환, 적재 과정을 효율화하면 데이터 정제 및 처리 속도를 향상시킬 수 있습니다.

데이터 공유 및 협업 문화 조성
부서 간 데이터 공유를 촉진하고, API를 활용한 데이터 연계를 활성화하면 데이터 활용의 시너지를 극대화할 수 있습니다.

AI 및 머신러닝 기반 데이터 처리 도입
AI와 머신러닝을 활용하면 데이터 정제 및 분석 프로세스를 자동화하고, 실시간 데이터 분석을 통해 인사이트 도출 속도를 높일 수 있습니다.

보안 및 개인정보 보호 강화
데이터 암호화, 접근 제어, 가명화 기술을 적용하여 보안과 개인정보 보호를 강화하면서도 데이터 활용성을 유지해야 합니다.

데이터 전문가 양성 및 조직 문화 개선
데이터 사이언티스트 및 데이터 엔지니어를 양성하고, 전사적인 데이터 중심 사고(Data-Driven Mindset)를 정착시키는 것이 중요합니다.

빅데이터의 가치는 단순히 데이터를 수집하는 것이 아니라 이를 효과적으로 분석하고 활용하는 데서 나옵니다. 기업이 데이터 병목 현상을 극복하고 빅데이터 활용을 극대화하면, 보다 빠르고 정확한 의사결정을 통해 경쟁력을 확보할 수 있을 것입니다.