Джеффри Хинтон получил Нобелевскую премию по физике за создание систем, которые он не мог полностью объяснить

Каждый токен, который генерирует ваша LLM, стоит энергии

Визуализация энергетического ландшафта показывает полную картину
Область высокой энергии = непоследовательный галлюцинирующий вывод
Точка седла = переход между концепциями
Низкоэнергетическая впадина = coherentное рассуждение
Модель не вычисляет — она скатывается вниз по склону через 10.000+ измерений к наиболее стабильному физическому состоянию

Фазовые переходы объясняют, почему от GPT-3 к GPT-4 ощущалось как совершенно другой продукт
Маленькие модели застревают в высокоэнергетических фрагментированных состояниях
Большие модели пересекают критический порог и демонстрируют стабильные низкоэнергетические аттракторы
Прыжок возможностей был не больше данных

Компании, которые будут намеренно конструировать фазовые переходы вместо слепого масштабирования, сожмут 3 года исследований и разработок в одно архитектурное решение

Каждый токен, который генерирует ваша модель, — это система, стремящаяся к равновесию