📌 20 инсайтов о настоящем и будущем ИИ от Юрия Визильтера. Часть 2

➡️ Возможность «обучать» модель без изменения её весов, просто подавая примеры в контекстном окне (In-context Learning), — это фундаментальный сдвиг в работе с ИИ.

➡️ Изначально созданные для генерации изображений, диффузионные модели теперь показывают отличные результаты и в работе с текстом, составляя конкуренцию трансформерам. Но несмотря на высокое качество генерации, классические диффузионные модели слишком медленные из-за пошаговой работы.

➡️ Вместо дорогостоящего дообучения всей модели используются специальные «адаптеры» (LoRA и др.), которые позволяют тонко настраивать LLM под конкретную задачу, изменяя лишь малую часть параметров и не теряя исходных знаний.

➡️ Появились модели, способные к сложным логическим рассуждениям, оперируя одновременно несколькими видами данных (текст, картинки, код) — это мультимодальный резонинг.

➡️ ИИ научился не только формально доказывать теоремы на языке Lean, но и параллельно генерировать неформальные, «человеческие» словесные рассуждения, как у настоящих математиков.

➡️ Проблема исчерпания качественных данных для обучения — один из главных ограничителей развития ИИ. Модели уже «прочитали» почти весь доступный интернет.

➡️ Время, когда качество моделей росло просто за счёт увеличения числа параметров, подходит к концу. Теперь фокус смещается на эффективность вычислений, оптимизацию архитектур и качество данных.

➡️ Обучение на сгенерированных данных — путь к деградации. Если просто обучать модель на её же собственных ответах, качество будет неуклонно падать (model collapse).

➡️ Обучение методом «тысяч проб и ошибок» без осмысления, как у бессловесных животных, — это прошлое. Будущее за словесным RL, где агент может размышлять о своих ошибках.

➡️ Современные LLM, обучаясь на множестве языков, формируют универсальные, надъязыковые знания. Поэтому меньший объём данных на русском не означает, что отечественные модели обречены быть слабее.

💬 Тест Тьюринга. События в сфере ИИ. Подписаться