Есть такой неформальный бенчмарк для языковых моделей — “экзамен по Баху”. Его автор предлагает нейросетям сочинить небольшой хорал на четыре голоса в стиле композитора: соль минор, размер 3/4, сопрано, альт, тенор и бас.

Ответ нужно выдать в виде кода для нотной программы LilyPond. Получается партитура, которую можно воспроизвести и проверить: как сочетаются голоса, куда движется мелодия, соблюдаются ли правила гармонии.

И модели на этом до сих пор подскальзывались. В предыдущих тестах голоса выходили за пределы своих диапазонов, появлялись ошибки голосоведения и странные сочетания нот. Даже лучший на тот момент результат Fable 5 содержал элементарные ошибки. Вот как устроен тест.

А теперь его прошла GPT-6 Astra и, по оценке автора, показала лучший результат за всё время его проверок. В опубликованном хорале он не нашёл ошибок голосоведения и отметил достаточно богатую гармонию, включая неаполитанский секстаккорд.

Особенно его порадовали проходящие звуки: среди протестированных им моделей Astra первой использовала их в этом задании. Это промежуточные ноты, которые соединяют звуки аккордов и помогают мелодии двигаться плавнее. Простой музыкальный приём, до которого модели в этом тесте прежде не добирались.

Конечно, короткий хорал ещё не симфония. Но к ответу робота «А ты?» теперь можно приложить партитуру.

Включайте звук!