Коллеги подогнали статью про настоящее использование энергии на запросы к ЛЛМкам. В отличие от предыдущих статей, анализируется потребление на основе реальных данных об утилизации в датацентрах гугла, реальных показателей их энергоэффективности, включается потребление электричества от CPU и памяти.

В результате – медианный запрос потребляет 0.24 ватт·ч энергии – 9 секунд просмотра телевизора. Что интересно, за предыдущий год эта цифра снизилась в 47 раз, так что любые цифры устаревают с каждым следующим поколением моделей – оптимизация идёт по всем фронтам.