Разобрал в небольшой статье на Habr как работает HashHop (бенчмарк для тренировки внимания LLM на всю информацию в контекстном окне, альтернатива «иголки в стоге сена»). При более внимательном рассмотрении анонс Magic.dev про их модель на 100 млн. токенов (был пост на прошлой неделе), увы, звучит не очень убедительно, но буду рад, если я ошибаюсь.