학습 데이터에 합성 데이터가 단 1%만 포함되어도 모델은 충분히 망가질 수 있습니다.
모델이 스스로 만든 출력을 다시 학습할 때마다, 희귀한 지식·엣지 케이스·실제 세계에서 중요한 신호들이 점점 사라집니다.
연구자들은 이 현상을 모델 붕괴(model collapse)라고 부르며, 수학적으로도 이미 명확히 증명된 사실입니다.
지금 대부분의 AI 파이프라인은 아래와 같이 작동합니다.
• 출처가 불분명한 데이터
• 블랙박스 어노테이션 워크플로우
• 합성 출력물로 학습하는 모델
• 세대를 거듭할수록 누적되는 편향
이건 데이터 전략이 아니라, 예측 가능한 실패를 향한 피드백 루프입니다.
해결책은 더 많은 데이터가 아니라, 더 나은 데이터입니다.
인간이 직접 검증한 학습 데이터는 아래와 같이 차별화됩니다.
• 롱테일 지식과 엣지 케이스를 압축하지 않고 그대로 보존
• 검증 가능한 데이터 계보를 제공
• 최저 비용 어노테이터(annotator)가 아닌, 제대로 된 전문가에게 작업 배정
• 구조화된 다양한 전문가 풀을 통해 체계적 편향을 줄임
의료, 법률, 금융 같은 고위험 도메인에서 진짜 앞서가는 모델은 가장 많은 데이터를 학습한 모델이 아니라, 가장 신뢰할 수 있는 데이터를 학습한 모델입니다.
그것이 바로 Perle이 만들고 있는 것입니다.
🐦 트위터 바로가기
홈페이지 | 블로그 | X(트위터) | 디스코드 | 링크드인