Google опенсорснули (ну надо же) датасет для FLAN – The Flan Collection: Designing Data and Methods for Effective Instruction Tuning

Релиз включает в себя сами данные и темплейты для промптов, которые использовали при обучении и оценке качества. Само по себе это круто, так как FLAN бьет на многих задачах модели во много раз превосходящие его по размеру. Да и в целом кажется, что FLAN сейчас лучший вариант для файнтюна под любую задачу, так как в сопровождающей статье авторы показывают, что он сходится быстрее, чем оригинальный T5 и другие LM

В статье помимо ссылки на данные можно найти еще пару хаков, которые оказались полезны при обучении:
- миксовать few-shot и zero-shot промпты для заданий -> повышается качество в обоих этих сеттингах сразу
- input inversion: менять в задании ответ и вопрос местами. Например, изначально по вопросу x модель учат предсказать ответ y, а потом по ответу y ей нужно реконструировать вопрос х
- конечно же, chain-of-thought данные
- показали, что сет заданий в целом можно скейлить дальше. FLAN учили на 1800+ различных заданиях, и для больших сеток похоже это не предел (если при этом сохранять достаточное разнообразие тасок и удачно их миксовать)