Python Community RU - СНГ сообщество Python-разработчиков
Чат канала: @python_community_chat
Сотрудничество: @cyberJohnny и @Sergey_bzd
РКН реестр:
https://knd.gov.ru/license?id=67847dd98e552d6b54a511ed®istryType=bloggersPermission
Post #3155
817

OpenMythos - open-source попытка теоретически реконструировать Claude Mythos, где все архитектурные ставки расписаны прямо в README.
По сути, OpenMythos это публичная гипотеза, которая ещё и запускается.
Что авторы считают основой Mythos?
Не глубокий стек уникальных слоёв, а Recurrent-Depth Transformer.
MoE с активацией около 5% параметров, поэтому общий размер модели скорее показывает объём хранения, а не реальную стоимость вычислений.
Loop-index positional embedding, чтобы каждая итерация работала как отдельная вычислительная фаза.
ACT halting, чтобы модель сама решала, когда ей достаточно “думать”, причём отдельно для каждого токена.
И ещё continuous latent thoughts, которые могут кодировать сразу несколько следующих шагов. По смыслу это похоже на breadth-first search внутри одного forward pass.
Источники идей тоже понятны: Parcae для стабильности, Universal Transformers для halting, DeepSeek для MoE routing.
GitHub:
http://github.com/kyegomez/OpenMythos
@Python_Community_ru
По сути, OpenMythos это публичная гипотеза, которая ещё и запускается.
Что авторы считают основой Mythos?
Не глубокий стек уникальных слоёв, а Recurrent-Depth Transformer.
MoE с активацией около 5% параметров, поэтому общий размер модели скорее показывает объём хранения, а не реальную стоимость вычислений.
Loop-index positional embedding, чтобы каждая итерация работала как отдельная вычислительная фаза.
ACT halting, чтобы модель сама решала, когда ей достаточно “думать”, причём отдельно для каждого токена.
И ещё continuous latent thoughts, которые могут кодировать сразу несколько следующих шагов. По смыслу это похоже на breadth-first search внутри одного forward pass.
Источники идей тоже понятны: Parcae для стабильности, Universal Transformers для halting, DeepSeek для MoE routing.
GitHub:
http://github.com/kyegomez/OpenMythos
@Python_Community_ru










