For an LLM of equivalent performance, the cost is decreasing by 10x every year

Фонд a16z выпустил короткую заметку в которой раскрывают простую идею: если смотреть в прошлое, то для фиксированной сложности модели стоимость инференса (одного вызова модели) падает примерно в 10 раз каждый год.

Это верно и для тех уровней сложности, которые тогда казались "невероятными". То есть можно сделать предположение, что сегодняшние "невероятные" уровни сложности моделей (e.g. 4o) так же будут дешеветь со скоростью в 10 раз в год.

Тут есть много оговорок: используют они MMLU (так себе мерило), график строят примерно по трём точкам, и вообще "всё слишком меняется".

Но я считаю пойнт вполне верным. И будущее в бизнесах и технологиях нужно планировать исходя из этого. Сегодняшние и завтрашние топовые модели будут стремительно дешеветь.