빅데이터 (출현 배경, 정형/반정형/비정형 데이터, 빅데이터)

• 빅데이터의 출현 배경
• 정형/반정형/비정형 데이터
• 빅데이터

---

 

1. 빅데이터의 출현 배경

  

  1) 센서데이터의 폭증

• 시간, 공간, 장소의 제약 없이 개개인의 모바일 기기로 수많은 데이터를 연속적으로 생산하게 됨
• 자기 행동에 대한 엄청난 데이터 흔적을 남기게 됨

 

  2) 데이터 저장비용의 하락

• 1GB의 저장비용이 1980년대 10억에서 2022년 10원 이하로 하락

 

  3) 분산처리기술의 등장으로 인한 데이터 처리기술의 발달

• 초대형 컴퓨터가 하던 일을 저가형 PC 여러대를 병렬 연결하여 처리 가능
• 처리시간과 분석시간을 단축시킴

 

 

 

2. 데이터의 종류

 

  1) 정형 데이터 : 바로 통계분석이 가능한 정리된(행렬로 정리된 표, 등) 데이터

 

  2) 반정형 데이터 : 데이터 구조가 일관성 없는 속성을 나타내는 메타 데이터 (html, 웹로그, 센서 데이터 등)

 

  3) 비정형 데이터 : 형태 자체가 정해지지 않은 데이터. 분석을 위해 정형 데이터로 변환해야 함 (음성, 이미지, 동영상, GPS 등)

 

 

 

3. 빅데이터

• 기존의 데이터베이스로는 저장, 관리, 분석할 수 있는 범위를 초과하는 방대한 규모의 데이터
• 주로 반정형, 비정형 데이터

 

---