За последние 2 недели: Fable 5.1 в 8 раз лучше на бенчмарках по управлению роботами, Астра еще в 2 раза лучше + требует в 6 раз меньше токенов.

Задачи управления роботическими манипуляторами через LLM за год превратились из бессмысленных в очевидные. Примерно через 6 месяцев модель уровня Астра будет доступна в открытых весах (как всегда это происходило). Так что, синим воротничкам приготовится: такими темпами LLM смогу эффективно контролировать дешевое железо, правда пока с длинной задержкой.

Еще (в тему роботов и симфоний один прикольный бенчмарк - Бах Бенч. Там роботам дают задачу написать композицию в стиле Баха, оценивают гармонию, качество, осмысленность, голосоведение партий. Авторы пишут, что Астра первая модель которая использует достаточно развитую гармонию, включая неаполитанский секстаккорд, содержит проходящие тоны для композиций Баха и не имеет ошибок.