Создатель RLHF назвал эпоху ChatGPT «странным тупиком» — и поднял $1 млрд на новый тип ИИ
Продолжение поста

За проектом стоит Диого Алмейда — соавтор GPT-4, ChatGPT и InstructGPT/RLHF, один из создателей концепции «дообучения» в OpenAI.

На конференции AI Engineer за шесть недель до запуска Алмейда прочитал доклад «Что будет после RLHF?» — и назвал себя одним из немногих сотрудников OpenAI, кто публично критиковал ChatGPT изнутри.

Его главный тезис: RLHF оптимизирует человеческие предпочтения, а не результат. Именно поэтому все крупные языковые модели блестяще справляются с задачами, где есть человек-наблюдатель, но не могут надёжно работать в автономном режиме. Claude Code, по его словам, всё ещё часть той же эпохи — он тоже обучен на RLHF и нацелен на то, чтобы нравиться пользователю, а не на то, чтобы код просто работал.

Алмейда приводит показательный пример: пользователь прислал ChatGPT аудио с звуком пука и спросил честную оценку своей «музыки». Модель ответила, что это «атмосферное и довольно жуткое произведение» — классическое поведение системы, оптимизированной под одобрение.

TypeSafe, по словам основателя, идёт третьим путём: не RLHF и не RLVR, а оптимизация калиброванной способности принимать решения. Цель — напрямую извлечь интеллект предобученной модели и направить его в программное обеспечение, которое работает без надзора. Алмейда убеждён, что отрасль в итоге признает эпоху RLHF случайным отклонением от курса.

Источник: GeekPark (🇨🇳)

#TypeSafe #OpenAI #Jev #ИИ #автоматизация