OpenAI обучила CriticGPT, чтобы ревьюить... код, написанный ChatGPT

GPT-4 модели становятся лучше в том числе благодаря RLHF — обучению с подкреплением на основе отзывов людей. При таком методе ИИ-тренеры сравнивают различные ответы ChatGPT друг с другом и ищут ошибки.

Так, по мере таких проверок, ChatGPT становится все более точным, а его ошибки — все более тонкими. Ревьюерам становится сложнее искать эти неточности — в итоге RLHF замедляется. Чтобы исправить ситуацию, OpenAI обучили CriticGPT оставлять критические замечания, которые подчеркивают неточности в ответах ChatGPT. Предложения CriticGPT не всегда верны, но они могут помочь ревьюерам выявить гораздо больше проблем в ответах ChatGPT. И делать это быстрее.

CriticGPT обучали также с помощью RLHF, только ИИ-тренеры ещё намеренно оставляли ошибки в коде, чтобы инструмент учился их находить. Так, в 63% случаев работа CriticGPT была лучше поиска ошибок самого ChatGPT.

Ну тут напрашивается только одна картинка...

@your_tech