정의된 스키마나 테이블 구조 없이 저장되며, 자동화된 처리를 위해 별도의 구조화 과정이 필요한 데이터.
비정형 데이터(unstructured data)는 고정된 행(row)-열(column) 기반의 스키마(schema)나 관계형 테이블 구조를 따르지 않는 데이터이다. 이 유형은 분석이나 자동 처리를 하려면 의미 기반의 해석이나 추가적인 전처리가 필요하다. 이러한 데이터는 구조화를 명확히 하기가 어려워 기계가 직접 해석하거나 분석하기 어렵다는 점에서 정형 데이터와 구별된다.
대표적인 비정형 데이터에는
텍스트 문서,
전자 우편 본문, 이미지, 음성, 동영상, 센서 로그,
소셜미디어 콘텐츠 등이 있다. 이들은
JPEG, MP4, WAV 등의 파일 포맷 및
메타데이터 구조를 갖추고 있어도 그 내용의 의미를 파악하거나 분석할 수 있는 형태로 만들려면
데이터 유형에 따라 별도의 데이터 전처리(data preprocessing) 과정이 필요하다. 예를 들어 텍스트는
자연어 처리(
NLP:
Natural Language Processing) 기법으로
형태소 분석, 토큰화,
불용어 제거 등의 과정을 거친다. 이미지·음성·동영상 등 미디어 데이터는 노이즈 제거, 해상도 조정,
특징 추출 등의 과정을 거쳐 구조화된 입력으로 변환된다.
인공지능 기반 데이터 레이블링(
AI-driven data labeling)을 활용한 자동 특성 추출 기술은 비정형 데이터 분석의 용이성을 높였다. 이는
기계 학습,
정보 검색,
추천 시스템, 감성 분석 등 다양한 분야에서 비정형 데이터의 활용 가치를 높이고 있다. 비정형 데이터는 전 세계적으로 생성되는 데이터 대다수를 차지한다. 이는 사회적·문화적·언어적 맥락을 풍부하게 담고 있어서 마케팅, 보안, 사용자 행태 분석,
인공지능 응용 등에서 중요한 정보 자산으로 간주된다.
* 관련 표준
-
ISO/
IEC 20546 (
Information technology –
Big data – Overview and vocabulary(2019))
