(продолжение)

Как могла бы выглядеть процедура амплификации для больших языковых моделей? Например, можно попробовать разбивать задачу на подзадачи, и заставлять копию языковой модели решать только свой кусочек задания. Тогда список копий модели мог бы выглядеть следующим образом:

1) Модель-координатор - принимает на вход задание, и разбивает его на подзадачи;

2) Рабочие модели - получают от координатора задания и решают их;

3) Модель-агрегатор - получает ответы от рабочих моделей и формирует результат.

Я попробовал проверить подход с амплификацией на GPT-3 и сравнить результат с не-амплифицированной её версией и с GPT-4.

- Затравка для первой модели включала в себя формулировку задания (сочинение по экономике из пробника ЕГЭ), и текст “раздели задачу на подзадачи”.

- 4 другим моделям (по числу подзадач) - подавался на вход текст и описание задачи, после генерации ответа - текст “сделай короче” (полный ответ в контекст GPT-3.5 не умещался).

- Модель-оркестратор получила план ответа, 4 ответа других моделей, и задание “сформируй ответ на задачу из ответов на подзадачи”

Скриншоты результатов прикрепил к посту. Удивительно, но амплифицированная версия GPT-3 справилась даже лучше, чем базовая GPT-4! В то время, как не-амплифицированные модели генерируют отсебятину, ответ амплифицированной версии более похож на анализ с использованием знаний обществоведения, он обстоятелен, и наверняка был бы более высоко оценен.

Я подозреваю, что такой подход использовался для тренировки GPT-4. OpenAI заявляли, что объем данных, на котором она обучалась, больше, но не драматически, при этом качество её работы выросло на порядок. Возможно ли, что они захотели “задешево” повысить качество работы модели? Вполне, почему нет. Но это значит, что таким же образом можно амплифицировать и более слабые модели, вроде той же Alpaca, и в какой-то момент получить качество, сравнимое с GPT-3.5, но в открытом доступе. Что ж, поживем - увидим.

#лонгрид #разборы_статей