Продолжаю развивать тему с мухой и её мозгов, который запихнули в компьютерное железо
В таблицу вывел самый главный параметр — эффективность мероприятия
Кремний отстает в тысячи раз, палит энергию вагонами, но что это значит?
Почему кремний безнадежно сливает биологии по КПД? ⬇️
— Память и процессор в одном флаконе. В ПК есть чип (CPU/GPU) и память (RAM/VRAM)
До 80–90% энергии видеокарта тратит на то, чтобы перегнать гигабайты весов туда-сюда по шине
В мозге синапс — это одновременно и ячейка памяти, и вычислительный блок. Данные никуда не едут, всё считается прямо на месте
— Мозг почти всегда спит. Видеокарта молотит матрицы на полной мощности непрерывно, даже если на экране ничего не происходит
В живом мозге 95–98% нейронов в каждый момент времени молчат
Энергия расходуется импульсно: прилетел запрос — потратилась доля пикоджоуля, нет сигнала — потребление нулевое
— Аналоговая химия вместо костылей из нулей и единиц
Чтобы видеокарта посчитала один синапс, ей нужно перемножить два 16-битных числа с плавающей точкой (FP16)
В биологии синапс считается сам собой за счет законов физики: открылся ионный канал, втекло несколько ионов кальция, изменился заряд мембраны
Природа считает химией, а не миллиардами транзисторов
Масштаб катастрофы в цифрах
• Мозг человека: 86 млрд нейронов, 1 000 триллионов связей — потребляет ~15–20 Ватт
• Суперкомпьютер на 1 эксафлопс (грубый аналог по числу операций): сжигает ~20–25 МЕГАВАТТ
Это в миллион раз больше. Для его питания нужен отдельный энергоблок
Пока бигтех сжигает тераватты ради очередных бенчмарков, инженеры всё активнее смотрят на нейроморфные процессоры — попытку скопировать именно эту спайковую архитектуру мозга в кремнии
👍 — жду разбор новой архитектуры вычислительных машин на живой плоти
🪐 Вездесущий ИИ | Чат с админом | Консультация