Актуальное в сфере искусственного интеллекта в России и в мире:
• Дайджест новостей
• Аналитические обзоры, переводы, справки
Для связи - @nastyapvlv28
Post #1981
673

📌 20 инсайтов о настоящем и будущем ИИ от Юрия Визильтера. Часть 2
➡️ Возможность «обучать» модель без изменения её весов, просто подавая примеры в контекстном окне (In-context Learning), — это фундаментальный сдвиг в работе с ИИ.
➡️ Изначально созданные для генерации изображений, диффузионные модели теперь показывают отличные результаты и в работе с текстом, составляя конкуренцию трансформерам. Но несмотря на высокое качество генерации, классические диффузионные модели слишком медленные из-за пошаговой работы.
➡️ Вместо дорогостоящего дообучения всей модели используются специальные «адаптеры» (LoRA и др.), которые позволяют тонко настраивать LLM под конкретную задачу, изменяя лишь малую часть параметров и не теряя исходных знаний.
➡️ Появились модели, способные к сложным логическим рассуждениям, оперируя одновременно несколькими видами данных (текст, картинки, код) — это мультимодальный резонинг.
➡️ ИИ научился не только формально доказывать теоремы на языке Lean, но и параллельно генерировать неформальные, «человеческие» словесные рассуждения, как у настоящих математиков.
➡️ Проблема исчерпания качественных данных для обучения — один из главных ограничителей развития ИИ. Модели уже «прочитали» почти весь доступный интернет.
➡️ Время, когда качество моделей росло просто за счёт увеличения числа параметров, подходит к концу. Теперь фокус смещается на эффективность вычислений, оптимизацию архитектур и качество данных.
➡️ Обучение на сгенерированных данных — путь к деградации. Если просто обучать модель на её же собственных ответах, качество будет неуклонно падать (model collapse).
➡️ Обучение методом «тысяч проб и ошибок» без осмысления, как у бессловесных животных, — это прошлое. Будущее за словесным RL, где агент может размышлять о своих ошибках.
➡️ Современные LLM, обучаясь на множестве языков, формируют универсальные, надъязыковые знания. Поэтому меньший объём данных на русском не означает, что отечественные модели обречены быть слабее.
💬 Тест Тьюринга. События в сфере ИИ. Подписаться
➡️ Возможность «обучать» модель без изменения её весов, просто подавая примеры в контекстном окне (In-context Learning), — это фундаментальный сдвиг в работе с ИИ.
➡️ Изначально созданные для генерации изображений, диффузионные модели теперь показывают отличные результаты и в работе с текстом, составляя конкуренцию трансформерам. Но несмотря на высокое качество генерации, классические диффузионные модели слишком медленные из-за пошаговой работы.
➡️ Вместо дорогостоящего дообучения всей модели используются специальные «адаптеры» (LoRA и др.), которые позволяют тонко настраивать LLM под конкретную задачу, изменяя лишь малую часть параметров и не теряя исходных знаний.
➡️ Появились модели, способные к сложным логическим рассуждениям, оперируя одновременно несколькими видами данных (текст, картинки, код) — это мультимодальный резонинг.
➡️ ИИ научился не только формально доказывать теоремы на языке Lean, но и параллельно генерировать неформальные, «человеческие» словесные рассуждения, как у настоящих математиков.
➡️ Проблема исчерпания качественных данных для обучения — один из главных ограничителей развития ИИ. Модели уже «прочитали» почти весь доступный интернет.
➡️ Время, когда качество моделей росло просто за счёт увеличения числа параметров, подходит к концу. Теперь фокус смещается на эффективность вычислений, оптимизацию архитектур и качество данных.
➡️ Обучение на сгенерированных данных — путь к деградации. Если просто обучать модель на её же собственных ответах, качество будет неуклонно падать (model collapse).
➡️ Обучение методом «тысяч проб и ошибок» без осмысления, как у бессловесных животных, — это прошлое. Будущее за словесным RL, где агент может размышлять о своих ошибках.
➡️ Современные LLM, обучаясь на множестве языков, формируют универсальные, надъязыковые знания. Поэтому меньший объём данных на русском не означает, что отечественные модели обречены быть слабее.
💬 Тест Тьюринга. События в сфере ИИ. Подписаться
- 🔥 2
- ❤ 1
- 🏆 1
















