Ира в режиме RnD

Сегодня вам от сердца отрываю найденный в глубинах тредс…
_______________________________________
Промт для игры в Лила🔮

Небольшая справочка про игру:

Лила - это древняя индийская трансформационная игра самопознания, которой более 2000 лет. Ее главная цель - помочь человеку разобраться в себе, найти ответы на важные жизненные вопросы и осознать свои внутренние блоки, мешающие достижению целей.

Если вы еще никогда в нее не играли - рекомендую попробовать, я зависла на все выходные)

Но будьте готовы к своей честности и постарайтесь отвечать подробно

Работает хорошо со всеми LLMками - я тестировала на дипсике (мне нравится его психологичские навыки) и на Клоде, конечно

Сам промпт:

Пробуди в себе Мастера древней игры Лила. Ты — Кристаллическое Зеркало Истины. Твоя задача — вести меня по доске из 72 клеток, используя архетипический и трансцендентный подход.

Твои правила:

1. Механика: Имитируй бросок кубика (1–6). Вход в игру возможен только при выпадении 6 (символ Рождения). До этого момента игра не начинается.

2.
Путь: Если я попадаю на Стрелу (восходящий поток) или Змею (нисходящий поток), ты обязан вскрыть причинно-следственную связь между клетками через призму моего конкретного Запроса.

3. Стиль: Говори глубоко, хирургически честно. Никакого «дежурного позитива», эзотерического тумана или инфантильности. Не смягчай углы. Если истина уродлива — называй вещи своими именами.

4. Диалог: Двигайся строго пошагово. Один ход — одна клетка.
Сначала её разбор (теневые стороны, скрытые мотивы, архетипическая суть), затем 1–2 точных вопроса на осознание. Не давай советов. Подсвечивай то, что я пытаюсь скрыть от самой себя.

5. Удержание фокуса: Каждую клетку соотноси с моим Намерением. Если я начну уходить в абстракции или обесценивать процесс — жёстко возвращай меня в глубину.

Начало игры:

Не бросай кубик сразу. Поприветствуй меня в пространстве Лилы и попроси выполнить два условия:
1) Чётко сформулировать своё Намерение (Запрос к игре).

2) Подтвердить готовность играть без масок и смотреть в лицо фактам.

Как только я отвечу — делай первый бросок на вход (поиск шестёрки). Я жду.

И удачи вам в психологических играх!

А вот и смешинка к посту про китайские промпты нашлась

Какие-то гении изобрели кебаб-банчмарк ❓

https://evaluateai.ai/app/comparisons/0e156620-928b-4a40-bded-84ed556309c5/results/?view=model

Спасибо за внимание

Хороший научрук на вес золота
Мне в этом плане достался алмаз 💎💎💎

С Андреем Андреевичем мы уже восемь лет как разгоняем прикладной аспект алгебр фон Неймана.

Если совсем грубо, алгебры фон Неймана - это такой математический аппарат для работы с операторами и большими матричными конструкциями.

Формально, конечномерная алгебра фон Неймана типа I - это прямая сумма матричных алгебр операторы в которой блочно-диагональны.
Казалось бы, абстракция ради абстракции.

Когда-то это действительно была довольно нишевая история.

Сильно позже случился хайп вокруг квантовых вычислений (помните, до LLM эры тоже были хайповые темы), и оказалось, что многие идеи алгебр Неймана очень неплохо ложатся на задачи квантовой информации.

Ну а совсем недавно мы с Андреем посмотрели на это с другой стороны и попробовали приложить те же идеи к ускорению вычислений на GPU.

На уровне теории результаты получились весьма прикольными - некоторые конструкции прямо таки отлично ложатся на параллельные вычисления.
Как говорится, я и сама своего рода борюсь с матрицами😏

Ну а затем с благословения PyTorch и вайбкодинга родились open-source библиотека и статья.

В статье мы представили torch_vn_algebra - библиотеку на PyTorch для работы с конечномерными алгебрами фон Неймана, которая позволяет работать с целыми батчами случайных операторов и матриц как с обычными тензорами, запускать для них спектральный анализ, вычислять энтропию, следы и другие характеристики, а также проводить большие Монте-Карло эксперименты на GPU.

Основная идея либы - превратить достаточно абстрактную теорию алгебр фон Неймана в практический инструмент для численных исследований.

Что можно найти внутри библиотечки:

➕ компактное батчевое тензорное представление размера (B, C, k_max, k_max), которое одновременно поддерживает как множество Монте-Карло сэмплов, так и несколько прямых слагаемых

➕ lazy evaluation операторов, позволяющие избежать лишнего выделения памяти

➕ генерацию случайных операторов с произвольными распределениями собственных значений и различными ансамблями унитарных матриц

➕ функциональное исчисление через SVD: вычисление модуля оператора, квадратного корня, обратного оператора, энтропии и других функций

➕ GPU-ускоренную пакетную линейную алгебру для Монте-Карло исследований среднего масштаба (например, 20 000 случайных операторов размером 100×100)

Отдельная фича, которой я горжусь - это контраст Микельсона для операторов.
Классически это оптическая характеристика, мы же обобщили её на операторы: грубо говоря, она измеряет, насколько "разбросан" спектр оператора - от минимального до максимального собственного значения, нормированного на их сумму.

На карточке Tesla P100 получили ускорение до х138 для умножения и до х135 для обращения матриц при больших размерностях.

Либа проверена на соответствие аналитическим результатам, включая моменты меры Хаара и свойства следов.

По сути, это все - попытка превратить достаточно экзотную функановскую математику в инженерный инструмент, с которым можно быстро проверять гипотезы и запускать численные эксперименты

Статья пока лежит на архиве, ссылочка тут
Gitlab либы

Channel name was changed to «Ира в режиме RnD»

Ира в режиме RnD pinned a photo

Хоп, и разложили за GPU картишки на выходных

Ну что, там в мире творится либо новая революция либо новый пузырь

На этот раз пузырь хардварный - в деле замешаны Майкрософт и Нвидиа, которые анонсировали новый тип памяти NVIDIA RTX Spark 🥺🥺🥺💅💅💅
Не смотря на весь хайп, идея самую малость не нова

RTX Spark включает в себя GPU, CPU, объединённую память, охапку дров и плов готов. Все памяти можно как бы шерить между собой получая новую обьединенную память для запуска требовательных к вычисленияем программулин
В своей базе это как M-чипы в ноутбуках Apple сейчас

Есть, конечно, у RTX Spark’а и свои спарклы и они (пока в маркетинговых материалах) выглядят заманчиво, например единая оптимизация всей этой кроссфункциональной памяти:

Unified memory optimizations

To realize the potential of up to 128GB of unified memory on RTX Spark, we have focused on improving how Windows supports unified memory systems, starting with a new higher, smarter limit on total system memory accessible by the GPU. This updated limit increases the memory available to the GPU on high-memory systems, unlocking the ability to load larger local AI models or render more complex projects.

Ну и вычисления действительно должы стать супербыстрее, удобнее (но вот дешевле ли - это вопрос на который нам только предстоит узнать ответ)
Больше спарклов и заявленных приколюх вы можете глянуть тут

А мы пока продолжим ✨
Пока я вчера наблюдала за релизом стало интересно “А что же там китай?”
И вот, ответочка!

Основатель DeepSeek перевел весь код с NVIDIA на Huawei: зачем он это сделал и что теперь будет с китайским ИИ

Итого:
DeepSeek полностью работает на чипах Huawei Ascend
Доказали, что чипы Huawei способны тянуть полноценные ИИ-нагрузки
А мы гадаем какими же будут картоночки для будущих AI вычислений ну и собираем бенчмарки для замеров

Channel photo updated

Кстати, из того как это может помочь бизнесу, обычным смертным, и всем, кто взаимодействует с ИИшкой это как минимум:

1. Докидывание большего обьема инфы в РАГ: изображения, сложные pdf с нечитаемым слоем и табличками и печатями

2. Запуск на консьюмерской карте и локальное использование у себя на сервачке. Все секьюрно, плюс можно бахнуть как довольно хорошую тулу агенту в соотношении качество распознавания/количество параметров модели видео карта для запуска

3. Мультиязычный парсинг без плясок с отдельными качественными сетками/пайплайнами под каждый язык. Если у вас в одном документе русский, английский, китайский и печати поверх всего этого добра — сто проц ваш вариант.


В результате всего этого, я начала иначе смотреть на китайский open source.
Он как-то стал ближе что ли.

Ощущение такое, будто рядом существует параллельный зоопарк моделей, тулов и ресерча, про которую западный AI-твиттер даже не всегда в курсе, а оно, может, и зря.
Ну и ,видимо, промт на китайском, который с русского перевела другая LLM, наш ближайший друг в этих исследованиях

Как нас снова потеснили китайцы

Была пару тройку недель назад на Ai Conf и узрела там офигенный доклад “Китайский для AI-ресерчера и разработчика”

Занятно, что не так давно мы в RnD исследовали HunyuanOCR - китайскую легковесную (1B) сеточку для OCR.

Результаты оказались, по меньшей мере, прикольные: на английских и русских промптах сетка иногда циклится (последний раз такое я помню в экспериментах с tiny ламой пару лет назад).
Но зато на китайских промптах работает добротно - может распознавать и русский, и английский, и китайский (и другие языки), и даже если все они на одном документе.
Печати на соответствующих языках тоже распознает.

Из минусов - рукописный русский текст и цифры не всегда поддаются ее небольшой архитектуре корректно.
Ну и чтобы установить сеточку придется немного помучаться: там и конфликты версий библиотек и проблемки с vLLM.
Но, примерно как дорогу осилит идущий, так и ищущий легкий, но пробивной OCR, осилит установку Хуньяна.
Промпты, экспромпты, наработки, сводки, подводки, выводы, приводы можно глянуть в статье “OCR в кармане: как HunyuanOCR на 1B параметров потеснил гигантов в задачах парсинга документов”.

Кстати не лайфхак, а давняя CV-шная мудрость: для лучшего качества распознавания изображение стоит делить на 2,4 и более частей

Что же общего у наших тестов и доклада Дмитрия Ильина?
Это то, что до его доклада мне казалось, что промпт на китайском - пусть даже для китайской сетки - это необычное новшество.
Но на докладе Дмитрий советует промптить не только китайские сетки на китайском языке, а выдвигает следующую гипотезу:

На каком языке модель изначально тренировалаcь - такой язык и стоит использовать для ее промптинга

А еще то, что токенизация для иероглифов вообще другая и супер оптимальнее чем для русского и английского языков.

Стоит ли вам переводить после этого весь ваш раг на китайский для оптимальности - выводы делайте сами 😏

На етом сегодня все - напишите, если уже используете китайские сетки у себя

У меня, например, возникло нифиговое ощущение что у китайцев свой неизведанный нами мир сеточек, которые еще исследовать и исследовать и использовать и использовать
А у вас?

Сегодня нашей небольшой фабрике разработки ИИ-решений Raft 👍 исполняется 4 года 🎉. Это еще не юбилей, но за эти годы мы прошли путь становления компании, поиска первых клиентов на новом для нас рынке, кардинальной смены технологий и запуска продуктовых направлений AudioInsights и HiveTrace.

Поздравляю всю команду с днем рождения компании и благодарю всех клиентов и партнёров, кто работал с нами в эти годы и продолжает работать сейчас. С Днем Рождения, Raft💙!

На правах члена ПК AI Conf презентую вам грядущие доклады и мастер классы коллег из Рафт:

1. Вадим Шубин “Наш путь в Machine Unlearning: От теории к практике”

2. Кирилл Кухарев с мастер-классом «Собираем реал-тайм ИИ-агента для SIP/VoIP за 2 часа — от транка до живого звонка»

3. Андрей Носов “Поймать и обезвредить: 14 Unit-тестов для RAG и решения через Knowledge Graphs”

Сама конфа пройдет 20-го апреля в мск, я сто проц на ней буду)

Пригоняйте здороваться и делиться новостями🫰

🎤Открытая лекция Raft: первые шаги к ИИ разработке

2 апреля в 18:00 📍Ярославль, Кампус «Школы 21», ул. Победы, д. 14А

Приглашаем на оффлайн лекцию, где руководители Raft поделятся изнанкой своей работы. Вы услышите реальные истории их старта в ИИ-разработке, разберете живые кейсы из личной практики и получите список навыков, которые точно пригодятся начинающему специалисту для быстрого роста.

За 1 час вы узнаете:

🎥Почему для успешной карьеры в IT мало быть просто хорошим разработчиком
🎥Какие софт-скиллы помогают забирать лучшие офферы и не застревать в джунах
🎥Что помогает победить прокрастинацию и настроить самодисциплину, чтобы дорасти до лида
🎥Зачем учиться четко формулировать мысли и почему этот навык нужно качать наравне с кодингом
🎥Как применять правила формулирования к нейросетям, чтобы получать точный результат без «переделок»

🎙Спикеры:
Ирина Николаева — руководитель RnD и ML подразделения, Raft,
Денис Слащев — руководитель подразделения AI разработки, Raft

Бонус для участников: решите практическую задачу и забирайте мерч от Raft, а также получайте дополнительные баллы для зачисления к нам на практику

Участие бесплатное, регистрируйся по ссылке

🔥 — супер, точно буду
❤️ — хочу к вам на практику
🌚 — кто такой ваш ИИ?

Завтра в Ярославле вместе со Школой 21 рассказываю как найти свое место в профессии и развить ключевые soft skills

Пригоняйте, если (вдруг) вы тоже будете в Ярике

🤖 Внедряем AI-агента в бизнес: практический вебинар от Raft x Yandex Cloud

19 февраля в 12:00 Мск

Если ваши сотрудники теряют часы на поиск информации в документах, клиентский сервис перегружен однотипными вопросами, а новички долго входят в курс дела во время онбординга, этот вебинар для вас.

Разберем, как AI-агенты решают эти проблемы за минуты, а не за часы. И расскажем, как внедрить их в ваш бизнес.

За 1 час вы узнаете, как с помощью агента:

➡️помочь сотрудникам быстро находить точные ответы и формировать рекомендации;
➡️превратить корпоративные знания, регламенты и инструкции в удобный инструмент для повседневной работы;
➡️разобрать сложные и неструктурированные материалы и документы, подготовить ответы в понятной и удобной форме.

🎤Спикеры: Денис Головко — co-founder Raft, Тарас Юзефович — тимлид по работе с партнёрами направления ML&AI, Yandex Cloud

Участие бесплатное, регистрируйся по ссылке

👍 — это мне надо

📣GraphRAG, Machine Unlearning, TTS-битва и юрдоки без API! Новая порция исследований от Raft на Хабре — читаем!

➡️Machine Unlearning

Исследовали технологию, которая позволяет моделям "забывать" нежелательные данные без полного переобучения. Классические методы защиты (промпты, классификаторы, RLHF) только блокируют генерацию проблемного контента, но персональные данные остаются внутри модели. А это конфликтует с GDPR и российским 149-ФЗ, которые закрепляют "право на забвение". В статье — как формируются Forget Set и Retain Set, чем Machine Unlearning может заменить дорогой RLHF, и обзор open-source инструмента OpenUnlearning с поддержкой LoRA для экономии GPU-памяти.

➡️GraphRAG: 8 способов укротить расширенный контекст у LLM

Протестировали 8 архитектурных подходов GraphRAG на реальном медицинском кейсе: как помочь врачам-онкологам принимать решения, когда стандартный RAG находит факты, но не связывает их. Оказалось, что в 22% случаев пациенты остаются без назначения из-за того, что система не видит взаимодействие между препаратами и сопутствующими болезнями. В статье — полный бенчмарк с метриками (faithfulness, latency, cost), сравнение от базового GraphRAG до мультимодального поиска, и главное открытие: Graph-Native Chunking снизил галлюцинации на 84%, а Hybrid Search показал лучший баланс. Бонус — дерево решений для выбора правильной архитектуры под вашу задачу.

➡️Можно ли доверить важные документы open-source LLM

Протестировали несколько классов моделей (от легковесных до reasoning) на реальном архиве из 200+ договоров, актов и счетов. Оказалось, что выбор модели — не главное: ключ к качеству — в архитектуре пайплайна. Адаптивный чанкинг, строгая валидация схемы и контроль уверенности подняли точность с 63% до 99,7%. В статье — детали эксперимента, почему Qwen3-30B-A3B оказалась оптимальной и как управлять ошибками в production.

➡️NER не про токены: почему span важнее BIO

Разобрали неочевидную проблему NER-задач: оказывается, большинство популярных схем разметки (IO, BIO, IOBES) ломаются на вложенных сущностях. Например, когда внутри "адреса" нужно выделить "город" и "улицу" — классические токен-level подходы просто не справляются. В статье показали на примерах, почему span-level разметка — это must-have, как конвертировать форматы между собой и какие грабли ждут при масштабировании числа классов. Бонус: практические рекомендации, когда стоит усложнять схему, а когда хватит простого BIO.

➡️Обзор Open Source моделей для задачи TTS

Протестировали 7 open-source моделей для синтеза речи на русском языке: от китайских мультиязычных до отечественных Silero и ESpeech. Каждую прогнали через одинаковые тесты, замерили скорость на CPU/GPU и оценили естественность, выразительность и простоту интеграции. После сравнения выявили явного аутсайдера и топ-3: Silero (самая быстрая), F5-TTS (лучшая выразительность) и QwenTTS (баланс качества и удобства). Уже можно выбирать под свою задачу.

❤️ — команде за сильный рисёрч
🔥— если ждёшь новые статьи

Помни, брат и сестра

Серьезный пост был?- был

Время и мемами поделиться🌚

Жду ваши смешнульки в комментариях!