YC Paper Club: что дальше после LLM + GPU? (Рубрика #AI)

Интересное видео для тех, кто хочет узнать, а что там дальше после LLM + GPU :) В YC Paper Club собрали разговор про вычисления на свете, нейроморфные чипы и живые нейроны. У четырёх участников складывается общая рамка: следующий скачок эффективности ИИ может потребовать одновременно другого железа, другой архитектуры моделей и другого способа обучения.

1️⃣ François Chaubard, ведущий из Focal Systems, начинает с того, что GPU, backpropagation и современные модели развивались вместе. Поэтому алгоритм, который плохо выглядит на GPU, может оказаться интересным при другой стоимости операций.

Он исследует обучение без обратного прохода: немного меняем веса в случайном направлении, сравниваем результаты и решаем, куда двигаться. Для больших моделей таких проб нужно слишком много. Его подход SOMA — разбить модель на небольших экспертов, чтобы уменьшить шум оценки. А дальше возникает ставка: если прямые проходы станут очень дешёвыми, например в оптике, экономика такого обучения изменится. Прогноз Chaubard об отказе от backpropagation через десять лет стоит воспринимать именно как исследовательскую ставку.

2️⃣ Ilker Oguz, исследователь оптических вычислений из EPFL, теперь постдок в Stanford, показывает, где эта идея встречается с физикой. Свет проходит через оптические элементы и выполняет нужное преобразование. Но вокруг него остаются память, калибровка, нелинейные операции и преобразования электрических сигналов в оптические и обратно. На них выигрыш может закончиться.

В его эксперименте с диффузионной генерацией изображений алгоритм подстроили под оптику: одни и те же веса многократно используются на последовательных шагах. Так ограничение устройства становится принципом построения алгоритма. Пока демонстрация ограничена MNIST и Fashion-MNIST, а расчёт экономии энергии предполагает пассивные фиксированные элементы; прототип использует программируемый модулятор.

3️⃣ Alok Vasudev, инженер по образованию и партнёр венчурной фирмы Standard, добавляет полезный скепсис к попыткам скопировать мозг. Его устройство и способы обработки информации эволюционировали вместе. Перенос отдельного механизма на кремний ещё не переносит его эффективность.

По его оценке, ближе к практике решения, которые сближают память и вычисления, сокращая перемещение данных. А более буквальное воспроизведение работы мозга остаётся исследовательским направлением. Здесь хороший вопрос к любому нейроморфному проекту: какое конкретное ограничение помогает снять сходство с биологией?

4️⃣ Sean Cole, автор алгоритмов эксперимента с Cortical Labs, доводит эту историю до живых клеток, управляющих Doom. Цифровой кодировщик превращает состояние игры в электрическую стимуляцию, клетки отвечают импульсами, декодер переводит их в действия.

И тут самая интересная деталь. По словам Cole, ранний декодер получился настолько мощным, что мог играть даже при обнулённых сигналах от клеток. Команда уменьшила его до простого линейного считывания и провела проверки, чтобы убедиться, что сигналы нейронов действительно нужны для результата. Иначе можно получить впечатляющую демонстрацию, в которой всю полезную работу выполняет обычный компьютер.

Итого: это интересное видео про исследования, что не относятся к текущему мейнстриму, но у которых интересные перспективы.

#AI #Hardware #Research #Engineering