Привет.
Пока едет архив gz в обсидиан (для развёрстки PDF), давай обсудим платное сравнение моделей под капотом Хардтранса. Нам нужны тестовые корпуса и сравнение по метрикам. Можно, промежду прочим, сравнить и модели других провайдеров, а не только Сонет от антропиков: добавить в сравнение ChatGPT, DeepSeek, даже Яндекс можно, ну и Qwen 3.5 до кучи.
От тебя мне нужен план всего этого дела.
Как вижу я:
Ты идёшь смотришь харнесс (промпты, проверки и т.п.), заодно проверяешь, соответствует ли документация фактическому состоянию кода.
Даёшь инструкцию, как за минимальные деньги поиметь немножко api-токенов перечисленных моделей
Поднимаем BLEU или COMET на сервере, также смотрим как проверялось качество автоматом раньше на ХТ (например, term consistency классная вещь)
Идёшь смотришь проект HT-LQA тут же в папке Code
Выбираем тестовый корпус пару-тройку текстов тыщи по полторы слов, языковые пары и тематики TBD
Внедряем намеренно ошибки исходника, отдельная метрика будет как модель справляется с ними
Гоним разными моделями, оцениваем по автометрикам, финалка по нашей MQM человеками.

С новым провайдером во все тяжкие, стало быть