«Контекстное окно на 100 миллионов слов уже возможно. Это примерно объём всего, что человек слышит за жизнь. Сейчас узкое место - только инференс.

И модели действительно умеют учиться прямо внутри контекста, без изменения весов».

— Дарио Амодей, CEO Anthropic


https://www.youtube.com/watch?v=mYDSSRS-B5U

@ai_machinelearning_big_data