Господа!

Итак, вчера крупными мазками было описано, как улучшаются платные версии LLM и как они планируют улучшаться в ближайшее время. Учитывая какую пользу они уже приносят — это супер актуально и полезно.

Едва ли не главная засада на этом пути, как вчера уже отмечал, стоимость запросов. Да, модель может ответить "хорошо подумав", проанализировав массу источников и прямо заметно на другом уровне. Но это долго и дорого. Особенно это дорого будет для "PhD level" запросов (20 тысяч долларов в месяц — не фунт изюма, куча аспирантов скажет "дайте эти деньги мне, я лучше и дешевле сделаю") 😂😉

Специально для скептиков Epoch.ai тут 3 дня назад опубликовала график, который вы видите наверху. Мы наблюдаем снижение стоимости запросов:

* Для широкого круга вопросов с ответами уровня GPT-3.5 Turbo — в 9 раз в год 🙂

* Для запросов GPT-4 или выше "PhD level" научных вопросов — 40 раз в год 👏

* Для запросов GPT-4o или выше "PhD level" научных вопросов — 900 раз в год 😲🔥

Заметим, что наибольшее снижение стоимости идет для самых сложных вопросов и оно как бы не 3 порядка в год(!). Безусловно, это эффект низкой базы, поскольку оптимизация такого рода запросов только стартовала, но даже если взять запредельно скромную оценку в 10 раз (а реальная скорость падения цены выше!), это означает, что тарифный план в 20000$ превращается в 2000$ через год и 200$ еще через год. Устраивает! Заверните! 😉

Специально для скептиков — разница в стоимости инференса между NVIDIA P100 и NVIDIA A100 (FLOP per second per dollar) уже 10 раз (!), т.е. даже если вообще ничего не делать с алгоритмом, стоимость хорошо падает уже просто за счет поколений железа. А с алгоритмом, внезапно, идет основная работа. 💪

На практике это будет означать, что компаниям на этом рынке (OpenAI, Perplexity, Anthropic, DeepSeek и еще паре китайских, взлет которых мы увидим в ближайшие пару лет) придется серьезно работать над улучшением результата, чтобы сохранять мотивацию платить (ибо люди умеют считать деньги 💸💸 и быстро перебегут туда, где тот же результат дешевле 😉).

И, коллеги, в очередной раз объявляю "Сall for skeptics" 😉

Интересуют умные аргументы, почему все это счастье не будет развиваться так быстро? Ну или почему результат будет другой? Где вообще комментарии типа "Ну вот всех аспирантов-то и заменят"??? 😉

Очень жду! 😁

#speed_of_progress