За современным ИИ нет никакой магии

Это тупая механика и математика, просто раздутая до безумных размеров.

Ветеран разработки Windows Дейв Пламмер наглядно это доказал, обучив полноценный трансформер на 47-летнем компьютере PDP-11 (процессор 6 МГц и 64 КБ памяти).

Модель Attention 11 из 1216 параметров написана на чистом ассемблере и использует жестко оптимизированную арифметику с фиксированной точкой. За 3,5 минуты сеть «с нуля» научилась структурно переворачивать последовательности цифр. Никакого Python, PyTorch или облачных GPU. Только обнаженный процесс: машина ошибается, корректирует веса и переходит от слепого угадывания к точному знанию.

Главный инсайт: сейчас индустрия заливает проблемы вычислительными мощностями, но скоро мы упремся в потолок. Компании, которые вспомнят старую школу оптимизации и эффективности, получат гигантское преимущество. Ограничения — не враг, а главный драйвер инженерии.

#AI #ML #architecture

ИСТОЧНИКИ:

Dave's Garage (YouTube)