Какие GPT модели лучше подходят для иврита?

За 3 месяца ситуация сильно поменялась — сведения в зареплаенном посте устарели 😂

🌟 На первое место уверенно вышла Gemini PRO. Она и хорошо генерит тексты, почти не ошибаясь в огласовках, и удивительно хорошо ищет ошибки в иврите, а также сразу приводит примеры, как сказать лучше. Замечает и ошибки в родах, согласованиях, и просто неудачные обороты.

Claude Sonnet, напротив, стала хуже. Она теперь находит слишком много ошибок, многие из которых ошибками не являются.

⭐️ В номинации "лучший генератор текстов-диалогов" все также уверенно побеждает ChatGPT 4.1. Она дообучилась и ошибок стало сильно меньше, в том числе в огласовках. В среднем допускает 1-2 ошибки на диалог, которые почти всегда исправляются нашим валидатором.

ChatGPT 5 ошибается не меньше, а работает сильно дольше.

🖋 Лучший переводчик: на эту роль все модели годятся примерно одинаково и работают на порядок лучше гугл-переводчика, а также того, что встроено в Google-Lens. Ошибаются крайне редко и только в специфических кейсах. Gemini бывает чуть хуже понимает контекст.


——
Напомню, в Inream (https://inream.com/ivrit_ru) мы регулярно исследуем качество работы разных GPT-моделей для генерации диалогов, переводов, пояснений и проверки всего этого.

📌 Как выглядят наши эксперименты?
Упрощенно:
0. Отбираем 2-5 моделей с комбинациями настроек, которые хотим сравнить.
1. Берем набор запросов на разные темы, от "поторговаться с хозяином квартиры при ее аренде" до "глаголы из сериала ХХХ в будущем времени". Запросы и "создай диалог", и "найди ошибки в диалоге", и другие.
2. Запускаем отобранные модели на нашем наборе запросов.
3. Оцениваем качество автоматически, как правило просим Sonnet оценить его по критериям, в зависимости от вида ошибок.
4. Оцениваем качество вручную в наиболее интересных примерах.

Тюним модели и их настройки — и запускаем новый эксперимент!


——
Ставьте реакции, если такие посты нравятся — поделимся еще подробностями.

И приходите на Inream (https://inream.com/ivrit_ru) учить иврит 🚀

#gpt_model