Чувак полностью реализовал архитектуру GPT-OSS-20B с нуля на PyTorch. Все компоненты написаны с нуля:

▪️RoPE с YaRN + NTK-by-parts для масштабирования контекста
▪️RMSNorm
▪️SwiGLU с клэмпингом и residual connections
▪️Mixture-of-Experts (MoE)
▪️Self-Attention, оптимизированный через Grouped Query Attention (GQA)
▪️Learned sinks
▪️Banded (скользящее окно) attention
▪️Поддержка KV-кэширования

Всё это работает на одной A100 SXM (80GB). Он также написал подробную документацию с теорией каждого компонента, а также инструкциями по настройке и инференсу.

Репозиторий: https://github.com/HamzaElshafie/gpt-oss-20B

👉 @PythonPortal