➖왜 짧은 교정데이터가 중요한가?
Axis V2가 출시된 이후, 인간 개입형 DAgger(Human-Gated DAgger) 교정 데이터는 Axis 데이터 엔진의 핵심적인 부분이 되었다
이번에는 이렇게 수집된 후학습 데이터를 실제로 어떻게 처리하고,
어떤 방식으로 모델 학습에 활용해야 가장 효과적인지를 확인하기 위한 일련의 실험을 진행했다
이번 실험에서 얻은 핵심 결과는 간단하다
모든 인간 개입이 도움이 되는 것은 아니다
하지만 어떤 행동이 실제로 실패 상태를 성공 상태로 바꿨는지를 검증하고,
그 행동만 학습에 사용한다면 성능 향상이 실제로 나타나며 데이터 규모가 늘어날수록 효과도 커질 수 있다
🔘핵심 결과
총 660개의 교정 데이터를 수집했지만, 실제 학습에 사용된 것은 161개(24.4%)뿐이었다
각 학습 데이터 조각은 약 0.8초 길이로 구성됐다
반면 사람의 전체 교정 궤적을 그대로 모방하도록 학습했을 경우,
성공률은 40.0%에서 36.7%로 오히려 하락했다
하지만 검증을 통과한 161개의 짧은 교정 데이터를 사용하자 같은 평가 세트에서 3개 시드 평균 성공률이 48.3%까지 상승했다
별도의 대응 평가에서는 세 개의 시드에서 48.8%, 50.0%, 52.5%의 성공률을 기록했다
즉, 많은 사람이 직접 개입했다고 해서 그 데이터가 모두 가치 있는 것은 아니었다
➡️ 자세히 알아보기
Axis X | Axis 한국 공지 채널 | Axis 한국 채팅방