Нейронки, Эльбрусы и прочие Модули

Немного не в тему, но я наконец получил второй диплом, но только уже высшего образования:)

🔬 PromeTorch на Эльбрус 8C2: 10 LLM, ускорение ×3-6 над llama.cpp

Закончил отчёт по запуску современных языковых моделей на отечественном процессоре.

━━━━━━━━━━━━━━━━

🖥 Платформа

Эльбрус-8С2 от МЦСТ — VLIW-процессор, 8 ядер на 1.5 ГГц, 4 канала DDR4 по NUMA-узлам, 125 ГБ. Своя система команд e2k, компилятор LCC, SIMD через интринсики. Никакого x86, никакого AVX2. Из готового — проприетарная EML для линейной алгебры.

━━━━━━━━━━━━━━━━

📜 Что было до

Один публичный порт LLM — llama.cpp-e2k от alexmihalyk23. Только legacy: LLaMA-1, Vicuna, Pygmalion (≤2023). qwen3, gemma3, phi3 (2024-2025) не поддерживаются.

Smart Engines делают CV для Эльбруса (паспорт, томография), но не LLM. На Habr 752138 в 2023 показывали Stable Diffusion на 8СВ, но через GPU-fallback на Radeon.

Современные LLM на CPU Эльбруса публично не запускались никем.

━━━━━━━━━━━━━━━━

⚙️ Что сделано

PromeTorch — header-only C++17 inference под e2k, ~95 тыс. строк. GGUF Q4_K/Q5_K/Q6_K/Q8_0, zero-copy mmap, GEMV, RoPE (NORM/NeoX), KV-cache, attention с GQA и SWA, 4-процессное тензорное распараллеливание через POSIX shared memory AllReduce, speculative decode.

Запущены 10 моделей 2024-2025: qwen3 1.7B/4B/8B/14B, qwen2.5-7B, mistral-7B, gemma3-4B, phi3.5-mini, llama3-8B, deepseek-coder-7B.

━━━━━━━━━━━━━━━━

📊 Цифры на 8С2

qwen3-1.7B   TP-4   17.1 ток/с   ×6.3
qwen3-4B     TP-4   10.9 ток/с   ×6.0
gemma3-4B    TP-4    6.7 ток/с   ×5.2
mistral-7B   TP-4    8.5 ток/с   ×4.9
phi3.5-mini  TP-4    6.4 ток/с   ×3.1

Сравнение честное — то же железо, baseline llama.cpp v3 с numactl --interleave=all, 32 потока. Русский сохранён везде, qwen3-4B/14B держат CoT.

━━━━━━━━━━━━━━━━

🚀 Побочное

NUMA-aware распределение поднимает EML matmul с 324 до 1840 GFLOPS — 92% теоретического пика DDR4. Прирост ×5.7 за счёт node-local привязки.

━━━━━━━━━━━━━━━━

🤝 Сотрудничество

Работу разобрал Константин Трушкин (МЦСТ). Предложил расширить в архитектурное моделирование: снять профиль и через симуляцию посчитать эффект от введения в будущие Эльбрусы нативной арифметики int4/int8 и спецопераций.

Отдельный трек — сравнение классики с KAN-нейронами (Колмогоров-Арнольд) на той же задаче. По KAN у меня отдельная линия работ.

Обсуждается договор.

━━━━━━━━━━━━━━━━

📦 Открытое

github.com/barometech/PromeTorch

Open source, без проприетарного кроме EML (есть SIMD-fallback с ~30% деградацией). Скрипты регрессии, флаги воспроизведения, 10 GGUF верифицированы.

━━━━━━━━━━━━━━━━

Спасибо МЦСТ за платформу, alexmihalyk23 за предыдущий порт, авторам Habr 752138 за точку отсчёта. Отдельно Константину Трушкину.

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
На СБП? В личку: ЛИЧКА

12-13 мая состоится Прибориум 2026, на который я точно приеду!

Прибориум – первый российский приборостроительный форум

Посмотрите видео, это просто разрыв шаблонов: настоящая российские ИНЖЕНЕРЫ, которые могут решить ЛЮБОЙ технический вопрос, с любовью, из Академгородка Новосибирска!

ЛУЧШИЙ ФОРУМ ДЛЯ ИНЖЕНЕРОВ. ПРИБОРИУМ, Академгородок

VK

RUTUBE

YOUTUBE

00:00 Отличие Новосибирских разработчиков от Московскийх?
00:49 Электроконнект - российское производство печатных плат
11:50 Uniscan - контрактное производство, специализирующееся на УНИКАЛЬНЫХ изделиях
21:27 АРПЭ - Ассоциация разработчиков и производителей электроники, Иван Покровский
35:30 Элрон - производитель одноплатных решений с упором на российские контроллеры и процессоры
43:00 "Системы Промавтоматики" (Форпост) - промышленные источники электропитания полного цикла
54:10 Сибсенсор - сбор информации и измерения через оптоволокно
1:03:00 АО Микрон - про MIC32 Амур
1:09:10 ГК "Научные приборы и системы" - комплексное тестирование СВЧ и спутников связи. С локализацией
1:17:15 НПФ Микран - российский разработчик и производитель СВЧ ЭКБ и измерительного оборудования
1:23:20 НТЦ Сгэп - разработка и поставка оборудования по линии телекома, телефони и бесперебойного питания
1:27:52 Бизнес-инкубатор Академпарка, Константин Дугарь
1:30:18 Михаил Круносов, профессор кафедры вычислительных систем СибГУТИ - про российские процессоры и заделы на Прибориум в 2026 году
1:36:19 Kama Flow - инвестиционная компания, как получить инвестиции, Павел Охонин
1:44:25 332ЛАБ - разработка электроники, облачных сервисов и сопуствующего ПО
1:53:50 Иван Лебедев, Элрон - про российские микроконтроллеры, российские среды разработки и российские процессоры (не контроллеры) на RISC-V
1:57:11 Антон Рядинский, Унискан - про нехватку разработчиков производственных технологий
2:01:25 Как родилась идея создать форум ПРИБОРИУМ, Иван Лебедев

Telegram | Дзен | MAX

С Новым Годом!

"КОМПАС-3D v24"
Эльбрус-8С | RTC5.1 | Linux

Я не мог обойти стороной новость о долгожданном выходе линуксовой версии Компас-3D и решил опробовать его не в Lintel как раньше, а уже в нативной ОС Эльбрус Линукс (e2k) с помощью двоичного транслятора приложений RTC версии 5.1 и гостевой x86 системы Astra Linux 1.8. Раньше заставить виндовый Компас-3D работать в х86 линукс системах через wine была не самая простая задача, а уж заставить это всё работать из нативной e2k системы через RTC и подавно. Теперь же оказалось всё просто. Следуя инструкциям от Аскон, подключение репозиториев в гостевой х86 системе, их установка, запуск Компас-3D и получение/активация демонстрационного ключа произведены успешно.
____
ge0gr4f

#imaxaionly

Компания МЦСТ продолжает разработку собственных процессоров, в частности сейчас в работе находится два процессора:

◾️Эльбрус-8В7 (для вас и меня):

>0,5 TFLOPS – это вам не для ютубика, это серьёзная производительность для ноутбуков, настольных ПК и встраиваемых систем
PCIe 4.0 – современные шины
3D GPU + кодеки – чтобы всё летало и всё проигрывалос

◾️Эльбрус-32С (для больших задач):

Мощность >3 FTL для серверов, систем хранения и суперкомпьютеров. Основа нашего цифрового контура
PCIe 5.0 – самые современные шины
Возможность вкорячить до 4 процов Эльбрус-32С на обдну плату с общей памятью

А теперь главное – «фишки» ядер Эльбрус 7 поколения:

🔒 Безопасность: Аппаратная поддержка и нашей криптографии («Кузнечик», «Магма»), и международной (AES). Никаких бэкдоров, только наши ключи

🧠 Искусственный интеллект: В железе зашиты команды для AI-алгоритмов (INT8, BF16). Тензорные операции – нативно. Будущее уже здесь, и оно наше

🚀 Скорость: Аппаратное предсказание переходов, аппаратная предложка данных. Всё, чтобы «узкие места» остались в процессорах прошлого поколения

Пока одни «отключают» и «блокируют», другие – создают

Отмечу, что предсказатель переходов во VLIW в мире никто не смог реализовать

В МЦСТ смогли, уважаемые заграничные партнеры, обращайтесь, покупайте за рубли

Telegram | Дзен | MAX

Пора пробовать на Эльбрусе с АМД https://www.opennet.ru/opennews/art.shtml?num=63997

Там вышел Компас-3Д для Linux. Если кому интересно написал простенький скрипт для установки под Ubuntu :) (надеюсь ничего не забыл)

Небольшое видео полетов на технопроме-2025

🏆Резиденты Академпарка забрали призовые места на взрослом треке Сибирской венчурной ярмарки

Сегодня начался международный форум технологического развития «Технопром», где участвуют 15 резидентов бизнес-инкубатора Академпарка. 

В первый день мероприятия прошла выставка технологических компаний, а наши разработчики запитчили стартапы перед инвесторами на СВЯ. 

Победителями питч-сессии стали:

3 место. Альфасейсмика — разработка системы для компьютерного анализа результатов микросейсмических измерений с использованием ИИ. Помимо этого, компания была приглашена на Российский венчурный форум в Казани.

2 место. Visus lab — разработка составов и запуск импортозамещающего производства комплексных инновационных липосомальных препаратов для профилактики и лечения глазных заболеваний.

1 место. Умные дроны — ИИ-система для БПЛА, решающая задачи в сфере пожарной безопасности, сельского хозяйства и логистики. Также команда получила приглашение на прохождение программы FAST TRACK Сколково.

А компания «Логарифмика» была отобрана к участию в программе преакселерации Финтех-трека акселератора «Газпромбанк.Тех».

Поздравляем наших героев и желаем дальнейших успехов в реализации и продвижении проектов 💚

А вы пока посмотрите на эти улыбки!