🚀 OpenMythos. Впечатление смешанное.
Проект честно помечен как theoretical reconstruction и hypothesis document, автор не выдаёт его за утечку, в README есть дисклеймер про отсутствие связи с Anthropic.
Архитектурные идеи не с потолка: Recurrent-Depth Transformer, MoE с роутингом в духе DeepSeek, Multi-Latent Attention, ACT-халтинг, Universal Transformers - всё это реальные направления из литературы.
Код рабочий, лицензия MIT, есть документация и конфиг через единый dataclass. Для изучения looped-трансформеров это полезная песочница.
Минусы: в посте подаётся как реконструкция Claude Mythos, но Anthropic не публиковала технических деталей Mythos, так что это по сути догадки, а не восстановление. Цифра 4.7K звёзд для автора с историей громких репозиториев мало говорит о качестве, kyegomez известен склонностью к быстрым имплементациям чужих идей с громкими названиями, к заявлениям стоит относиться осторожно.
Фраза «770M параметров догоняют 1.3B трансформер» основана на эксперименте уровня Tiny Shakespeare, экстраполировать на фронтир-модели рано. Бенчмарков в масштабе, сравнимом с реальными LLM, в репо нет.
Итог: любопытный educational-проект и набор гипотез для обсуждения, но не «открытый Mythos». Читать как discussion paper с кодом, а не как воспроизведение модели.
github.com/kyegomez/OpenMythos
Post #2709
3.72K

- 👍 7
- ❤ 6
- 🤔 2
- 🥱 2
- 🔥 1