✔️ Открытая модель на ретро-данных до 1930 года

Алек Рэдфорд, автор GPT-1, GPT-2 и CLIP, совместно с Университетом Торонто обучил 13B-модель исключительно на текстах, опубликованных до 31 декабря 1930 года.

В сет на 260 млрд токенов вошли: англоязычные книги, газеты, патенты и судебные архивы. Моделью-судьей выступила Sonnet 4.6. В обучающем корпусе нет кода, поэтому модель защищена от протекания бенчмарков. Тем не менее на HumanEval она пишет простые Python-скрипты.

Авторы прогнали модель по архивным сводкам The New York Times: перплексия на материалах после 1930 года растёт, максимум - на текстах 1950–60-х. Летом команда планирует масштабировать датасет до 1 трлн токенов и выпустить ретро-модель, сопоставимую по возможностям с ChatGPT.
talkie-lm.com