Видимо AGI ближе, чем мы думаем: Google представила «Titans» - новую архитектуру, способную обучаться в реальном времени и обладающую бесконечной памятью. В отличии от DeepSeek OCR которые придумали, как сжимать информацию в десять раз, используя визуальные токены вместо текстовых, эта архитектура активно учится и обновляет свои собственные параметры по мере поступления потока данных.
Короче, это не просто очередное расширение контекстного окна, а реальный сдвиг от статичных моделей к агентам, которые могут обучаться непрерывно, обновляя свои веса прямо во время инференса (работы модели).
Как она понимает, что запомнить?
Модель не пытается запомнить всё подряд. Она использует механизм «сюрприза» (на основе градиентов):
- Если следующее слово предсказуемо (например, после «Мама мыла...» идет «раму»), модель не тратит ресурс памяти.
- Если происходит что-то неожиданное или важное, модель получает сигнал «surprise metric» и обновляет свои веса, чтобы сохранить этот факт в долговременной памяти.
Этот формат очень похож на тот, что описывал в своей книге «1000 мозгов. Новая теория интеллекта», Джефф Хокинс (чувак создавший кпк Palm). Он пишет о том, что только, когда привычные вещи меняются - наш мозг из «спящего» состояния переходит в «активное», чтобы проанализировать обстановку и поменять программу. Очень рекомендую его почитать.
Post #1782
9.83K
- ✍ 67
- ❤ 38
- 🔥 31
- 👍 15
- 🤯 5
- ⚡ 2
- 👏 1
- 🤔 1
- 💯 1
- 🤗 1