📘 유비쿼터스 컴퓨팅개론 14강. 빅데이터, 데이터 속에서 미래를 읽다

1. 빅데이터란?

빅데이터(Big Data)는 단순히 ‘큰 데이터’가 아니라, 정형·비정형 데이터를 포함한 다양한 대규모 데이터 집합입니다.
이 데이터를 분석하면, 패턴과 경향을 예측해 미래에 대비할 수 있어요.

📌 하루에 생성되는 데이터: 약 2.5엑사바이트(2.5EB)

 

📦 빅데이터의 대표 기술

하둡(Hadoop)	오픈소스 기반 분산 저장/처리	자바 기반, 안정성↑ 속도↓
스파크(Spark)	실시간 데이터 처리 가능	속도↑, 비용↑, 메모리 기반
NoSQL	유연한 데이터 저장 방식	몽고DB 등 (비정형 데이터 적합)

 

🔍 데이터 유형

정형 데이터	구조화된 테이블 형식	엑셀, DB
반정형 데이터	일부만 구조화	HTML, JSON, 이메일
비정형 데이터	형식 없음	텍스트, 사진, 영상

 

📊 빅데이터 특징 (3V 볼륨, 속도, 다양성 →  5V  + 정확성, 가치)

Volume 볼륨	데이터의 양 (엑사~제타바이트)
Velocity 속도	생성·처리 속도
Variety 다양성	다양한 데이터 형식
Veracity 정확성	데이터의 정확성
Value 가치	데이터로부터 얻는 가치

 

2. 빅데이터 분석 과정

수집	웹 로그, 센서, SNS 등에서 다양한 데이터 수집
적재	하둡, NoSQL 등에 저장 (영구/임시)
처리	정제, 정규화 (ex: '둘' → 2)
분석	패턴, 경향 분석 → 예측, 의사결정 지원

 

🏭 응용 사례

제조	불량품 감지, 재고 관리, 유지보수 최적화
유통	고객 행동 분석, 맞춤형 마케팅
의료	질병 예측, 진단 보조
금융	이상거래 탐지, 리스크 분석
AI	학습용 데이터 제공, 모델 성능 향상

 

예: 카카오페이는 사용자의 결제 패턴 분석 → 맞춤형 광고 제공

 

🧾 전통 DB vs 빅데이터

구분	전통 DB	빅데이터
목적	정확한 트랜잭션 처리	패턴 분석 및 예측
데이터	정형 데이터 중심	비정형 + 반정형 포함
구조	스키마 기반	유연한 구조, 동적 확장 가능

 

 

3. 빅데이터의 개인정보 이슈

비식별화	개인정보 일부를 가림	010-****-1234
재식별화	가려진 정보 유추 가능	이름+주소 조합으로 추측

 

📌 데이터 보호 기술 + 정책적 관리 필요!

 

✏️ 마무리 요약

• 빅데이터는 단순히 큰 데이터가 아니라 ‘가치 있는 정보’로 바꾸는 기술
• 다양한 산업에서 비용 절감, 문제 예측, 고객 분석에 활용
• 개인정보 보호와 윤리적 책임도 함께 고려해야 함