И еще нюансы - для работы с моделью надо использовать Harmony формат, который OpenAI выложили на GitHub. С чем это едят, до конца не понял, но есть ощущение, что без этого нормально не заработает - как я понял, это форматирование сообщений, передаваемых модели, и правильная разбивка их на токены