✖️ Google придумали трансформеры 2

Это новая архитектуру Titan, которая должна решить проблему короткого контекста у нейросетей.

Одна из главных проблем LLM в том, как мало инфы они могут «помнить» — вы могли заметить, что если достаточно долго общаться с ChatGPT, то со временем он начинает забывать текст, который вы писали в начале диалога.

Чтобы избежать такого эффекта, Google предлагает добавить еще один вид памяти: долгосрочную.

xCode Journal