ChatGPT, Gemini, Sonnet или DeepSeek — какие AI-модели лучше всего подходят для изучения иврита?

В Inream мы регулярно исследуем качество работы разных GPT-моделей для генерации диалогов, переводов, пояснений и проверки всего этого.

🌟 Итак, наиболее точные представления о языке у Claude Sonnet. Оптимально прямо просить ее "Найди все ошибки в иврите".

Вероятность пропуска ошибки в нашем валидаторе, построенном на ее основе: 1-5% в зависимости от сложности и длины текста. Однако, при этом, увы, модель так себе справляется с задачей правки ошибок, часто добавляет новые ошибки при коррекции уже существующих.

⭐️ В номинации "лучший генератор текстов-диалогов" уверенно побеждает ChatGPT (4.1). У нее лучшая комбинация воображения, скорости ответа и правильности языка.

🖋 Лучший переводчик: на эту роль все модели годятся примерно одинаково. Ошибаются крайне редко и только в специфических кейсах.

Например, вы знали что נשר (нешер) — это на самом деле не орел, а гриф или стервятник?🧐 AI-модели и переводчики не знают.

—
📌 Как выглядят наши эксперименты?
Упрощенно:
0. Отбираем 2-5 моделей с комбинациями настроек, которые хотим сравнить.
1. Берем набор запросов на разные темы, от "поторговаться с хозяином квартиры при ее аренде" до "глаголы из сериала ХХХ в будущем времени". Запросы и "создай диалог", и "найди ошибки в диалоге", и другие.
2. Запускаем отобранные модели на нашем наборе запросов.
3. Оцениваем качество автоматически, как правило просим Sonnet оценить его по критериям, в зависимости от вида ошибок.
4. Оцениваем качество вручную в наиболее интересных примерах.

Тюним модели и их настройки — и запускаем новый эксперимент!

—
Ставьте реакции, если такие посты нравятся — поделимся еще подробностями.

И приходите на Inream учить иврит 🚀

#gpt_models