🔍 Открытая теоретическая реализация Claude Mythos

OpenMythos — это открытый проект, который воссоздает модель Claude Mythos, используя Рекуррентный Глубокий Трансформер (RDT). Он сочетает в себе стандартные трансформерные блоки с рекуррентными циклами для более глубокого и адаптивного мышления, что позволяет эффективно обрабатывать сложные задачи.

🚀 Основные моменты:
- Реализация трехступенчатой архитектуры: Prelude, Recurrent Block и Coda.
- Переключаемое внимание между MLA и GQA.
- Использование разреженных экспертов для оптимизации вычислений.
- Поддержка глубокой экстраполяции и систематической генерализации.

📌 GitHub: https://github.com/kyegomez/OpenMythos

#python