Обучение нейросетей — долгий и сложный процесс, требующий терпения и огромных массивов данных… или нет?
Ресурсоемкость — одна из больших проблем в работе с ИИ. Большое количество данных для обучения, множество итераций, огромные вычислительные мощности — принято считать, что все это необходимо для эффективной тренировки нейросетей.

🔵Сотрудники fast.ai — некоммерческой организации, исследующей ИИ, — обнаружили, что иногда нейросети достаточно одного-двух примеров данных, чтобы выявить закономерности и начать давать правильные ответы.

🔵Они готовили нейросеть для соревнования, где участники должны были ответить на сложные научные вопросы, созданные LLM (большой языковой моделью). Для обучения использовали созданный человеком сет из 200 вопросов. Во второй же итерации обнаружили резкое уменьшение числа ошибок, словно нейросети было достаточно пары примеров, чтобы выявить закономерности. Это видно и на графиках — резкое падение числа ошибок отмечает начало каждой новой итерации.

Обычно такой результат — ­следствие бага или переобучения, но не в этот раз
Команда проекта пришла к выводу, что нейросеть и правда смогла очень быстро обучиться, хотя fast.ai готовы рассмотреть альтернативные гипотезы.

🔜 Целиком читайте их исследование в блоге — особенно интересны выводы. Кажется, что быстрое обучение ИИ пойдет всем только на пользу и позволит сэкономить силы, время и деньги. Но долгое обучение = более предсказуемый результат, а слишком быстрый процесс рискует выйти из-под контроля. К тому же нейросетям для тренировки все еще нужно много данных, пусть и только на первых этапах.

P.S. А знаете, что еще не требует терпения или огромных массивов данных? Голосование за сторис LEFT JOIN по ссылке! Будем рады, если отдадите нам свой голос — обещаем не спамить и делиться только полезным.