Друзья, у меня вот был собственный бенчмарк. Мой близкий кореш в аспирантуре по направлению адовой математики занимается неведомыми мне вещами.

Я форвардил от него задачки или комментарии к ллмкам с ~прошлого года. Опус 4.5 совершенно ничего полезного выдать не мог. Дальше становилось лучше, ллмки хотя бы понимали доменную область но пользы рисерчу дать не могли.

Астра - первая модель которая принесла ЗАМЕТНОГО ИМПАКТА в этой сложной задачке.

Мне теперь непонятно как сравнивать интеллект моделек, у меня бенчмарк переполнился можно сказать💀