Заметки беснующегося разработчика

Ебал я в рот ваше вдохновение, на работе навалили столько говна, что хоть стой, хоть в петлю лезь

Чёт под вечер накрыло вдохновение, задачка попалась интересная: конкуренты по продукту делают аватара, что то типо витубера для бабушек, который будет с ними взаимодействовать.

Вся эта ебала у них без LLM-мозгов весит уже под 100 гигов, отчего я малясь прихуел и пошел разбираться.

Пришел вот к чему:
Простой чат бот с памятью - норм, получился, ряд хот пачтей закрыл низкий уровень реколла, он моментами с 99% падал до 69%.

Но, аватар это несколько новый уровень упоротости, я стал сидеть и прикидывать, как бы мне это сделать, но чтобы не жрать память двух спарков. Нашел:

Выдернул 3D Studio из Web OS, там фактически готовый движок для дерево.жаваскрипт, взял three-vrm, опенсорс слой для вывода моделек и включил его как слой в движок.


Почему просто не взять three-vrm? Да все просто, opencode с дипсиком не умеет смотреть на экран монитора, что требует заебываться и вечно смотреть в экран.

Что даёт движок? Агентский слой, сцену агент выставляет через протокол, json схема сцены формируется текстом, а вот глянуть всю сцену - чуть сложнее, png скрин попиксельно преобразуется и передается в модель, что буквально даёт глаза, но стоит дорого.

Что получу в итоге? Я могу агентами собирать сцену по описанию и не тратить 6 недельных лимитов астры. Прикольно? Прикольно

К слову о том, насколько моя жена(будущая) любит чай. Литровая кружка не моя...

Бля, мужики, если я бусти ебану и начну пилить стартап для своих ИИ проектов, на содержание той же либы и написания дров под амд, но без корпоративной хуйни, это же гиблое дело, да?

Вроде как уже нашли, чё там за новая модель бесплатно тусит в OpenCode и OpenRouter.

Если не фейк, то отличный конкурент Мистралу, будет европейская борьба говна и мочи.

Контекст 256к
Модель туповата, ну вот самую малость не достаёт ей и ума, и контекста. Для петов на коленках за 3 копейки норм

https://mimo.xiaomi.com/rl/

Из прикольного: Xiaomi транслирует метрики обучения своей новой модели в реальном времени. Забавное

Мы же, в свою очередь, все ещё пытаемся реанимировать наш проект по собственной LLM.

Сейчас, вынужденно, так как ограничены по сути все ресурсы, что аппаратные, что программные (у нас буквально дефицит собственных программных компонентов для обучения и формирования экосистемы),, что человеческие, приходится откатываться к архитектурам уровня GPT-3 с доработками.

Это печально. Печально настолько, что начали писать собственные системы для оптимизации инференса на амд видюхах...

Чёт заметил, что китайских моделей от мелких лабораторий развелось прям очень много, правда все выглядят как очень глубокий Файн тюн архитектуры Qwen. Причем формат от 2B до 9B.

Возможно, братушки китайцы прицелились в попытку запускать модели локально на смартфонах, благо кодовая база таких проектов растет.

Ещё бы блядский Mellanox заработал, хз как заставить его пахать

Немного железок собрали

Почти терабайт памяти под модели.

Немного новостей из ИИ твиттера:

-Яндекс выкатил свою Алису в опен сорс..только Search Engine, который никому не нужен. Более того, хвастают тем, что их 30В-А3В модель работает лучше чем qwen3:8b
Естественно, им накидали хуев в панамку и забили

-Гугл через свои ботофермы пытается вернуть интерес к Гемини, особенно в преддверии выхода 4 Про. Всем все ещё похуй, потому что за ними закреплено клеймо бенчмаксинга(дрочат модель на бенчмарки, результаты красивые, модель тупая)

- Народ все никак не отстанет от бедной цифрой мухи, я тоже хочу залететь в хайп трейн, так что небольшой проект-эксперимент скоро покажу

- OpenAI релизнуло агентское SDK. Да, теперь токены будут сжигаться быстрее и ещё менее прозрачно в ваших харнесах.

- Хайпует локальный дипсик v4.1. Да, он реально неплох в агентской разработке, точно может работать на уровне Luna Max, но только если оркестратор Астра.

Картинка для привлечения внимания

Чуваки, если я очень захочу уволиться с работы, вы же скажите моему новому работодателю, что я ахуенный?

При этом в самих поисках памяти дорогой колл для LLM не используется.

Временной фактчек поправлю...а есть несколько вариантов, добавить SNN, микроскопическая модель, которая при чанкинге пометит факты временной меткой, но это сложно.

Либо добавить в механизм памяти работу с перезаписываемым гипеграфом, который будет строиться также при чанкинге. Вопрос реализации конечно, легче всего для гиперграфа дёрнуть ту же LLM, она сама выстроит вершины графа, но мы же все понимаем, что на 10 миллионах токенов(это только инпут) как то жирно.

Надо думать.

нашел косяк - временные рамки. модель может путаться в том, какой факт отдать первым, если старый факт попал в top_k, то может выдать факт слишком древний, хоть и технически правильный.

0.17.1 версия поправит систему, добавив работу с временными рамками факта

собираю тут рабочий проект, решил плотно интегрировать библиотеку и протестировать ее в хард условиях

База Холодильника - Квадрант
26+ тысяч чанков
10 239 528 токенов

Контекст модели - 4096

Реколл факта - 15 ms + ответ 8b ламы пара секунд

Уровень попадания в ответ - 99,97%

Но время этих ребят надеюсь еще настанет

Кароче так как быстро создать именно LLM нереально, будем для внутренних нужд НА ПЕРВОЕ ВРЕМЯ национализировать Qwen.

Я помню, что @belka_e говорил, что хорошо, что кто то занялся LLM с 0, но учитывая ограниченные ресурсы, выкатить в прод для людей что то новое - не можем, отчего пиздец грустно, потому что стальные архитектуры вплоть до 1Т - есть.

К сожалению, мак студио и спарки на какое то время будут вне нормального доступа, потому что их забирают на проект конкурентов(условно). Так что терпим и ждём.

На работе как обычно аврал + завал, проектов столько, что я иногда забываю, что есть жизнь за пределами монитора, что крайне плохо.

Я конечно горю тем, что я делаю, мне реально всё это интересно, вопрос в том, что отсутствие внятного целеполагания и ор на совещаниях по поводу и без вымораживают самую малость

Заметки беснующегося разработчика pinned «Мужики(и дамы), наверное это самое прекрасное чувство, которое только может быть. Саму мысль, что я женюсь, я все ещё очень приятно смакую, это что то абсолютно новое и прекрасное. Понимаю, что безумно люблю одного человека и действительно хочу провести…»