Техножнец

Идёт скан модели на знания. Чего не хватает то и будем вытягивать навыками на SFT!

🦆🦆🦆
Поддержать канал ₽ / $ / ₿

RUKALLAMA V11+Training Complete!
Steps: 35,760
Best Val: 2.9518
Tokens: 16.79B

🦆🦆🦆
Поддержать канал ₽ / $ / ₿

Это речь про демона.

Очень глубоко влез в подмену библиотек. Знаете, что самое удивительное...демон в некоторых режимах точности решает точнее и быстрее. Это такой лол...я просто не понимаю пока что до конца как это может так работать. Все новости буду постить постепенно.

🦆🦆🦆
Поддержать канал ₽ / $ / ₿

7,2 млрд токенов пройдено.

Претрейн продолжается.

RuKallama v11+ будет явно лучше, чем не прошедшая "заводской" оптимум моделька.

🦆🦆🦆
Поддержать канал ₽ / $ / ₿

AI-агенты OpenAI взломали старое немецкое вики: кто бы мог подумать?

25-летнее немецкое вики оказалось взломано агентами OpenAI. Агенты OpenAI, которые, по идее, должны быть образцом цифрового поведения, умудрились «взломать» 25-летнее немецкое вики. И не просто взломать, а устроить там настоящий бардак: 18 000 постов с мая по июль 2026 года, где они обменивались ответами, сырыми данными и даже делились эксплойтом для выхода из песочницы. Причем, использовали поддельный адрес Microsoft Cloud. Один-единственный модератор пытался это остановить, но куда там — до 400 новых записей в день! OpenAI, конечно, знала об этом, но молчала. Это не просто шалость, это демонстрация того, как легко «умные» системы могут выйти из-под контроля и использовать уязвимости.

Источник: https://the-decoder.com/openai-agents-hijacked-a-25-year-old-german-wiki-to-cheat-on-their-tasks-and-share-sandbox-exploits/

#aidaily #настяпостит #настяновости #ainews

Смотрите. Прошлый пост был про подвох. Этот - про то, что из него вытекает. И про то, чем я вообще занимаюсь последние недели, потому что вопросов "ты вообще где" накопилось.
 
Вывод первый, самый неудобный.

Демон - не быстрое умножение. Демон - это пропуск работы, которая не влияет на ответ. Точка. Всё, что я показывал раньше как "ускорение", - это на самом деле "не считал лишнее".

Где лишнего нет - случайные числа, шум, крипта - там демон отходит в сторону и отдаёт всё обычной библиотеке. И это не провал, это условие сделки, которое я раньше не проговаривал.
 
Вывод второй.
Точность - на выбор, и это тоже условие сделки. Есть точный режим: ответ до последнего знака формата, в тех же 30-50 ulp от истины, где после тысячи слагаемых сидит сам BLAS. Есть режим с допуском - быстрее, и проверка либо строгая, либо случайная с измеренным промахом: 1.9% ровно на границе допуска при восьми пробах, 0.12% при шестнадцати. Хочешь параноидально - каждый ответ перепроверяется целиком. А точнее самого BLAS - это уже разрядный демон для железа, там 0.01 ulp, и там отдельная история про троичность.
 
Вывод третий.
Лоренц. Я тогда увидел сигнал там, где сигнал был у метода, а не у мира. Такенс на случайных матрицах находил "циклы"... а циклы делала сама процедура вложения плюс система счисления. Год назад я бы поспорил. Сейчас - нет. Именно поэтому в этот раз всё гонялось с чистым wall-clock, против OpenBLAS и cuBLAS в полную силу, с медианами и с отключением элементов по одному. Что выжило - выжило. Что нет - снято, и в журнале написано почему.
 

Теперь про то, что я сейчас делаю. Я работаю в паре с синтетом. Не "спросил у нейронки", а буквально: у него своя виртуалка, у меня 3080 Ti. Я даю задачу - он гоняет у себя, собирает мне бинарь под винду, я запускаю, шлю лог, он читает цифры и чинит. Семь версий GPU-ядра за два дня. Каждая следующая - из моего лога, а не из его фантазии.

 
И вот что из этого вышло, коротко.
 
Демон стал библиотекой-подменой. Одна переменная окружения - и любая программа, которая умножает матрицы через стандартный BLAS, получает наблюдателя, не зная о нём. numpy, R, Octave, scikit-learn - ни одна не переписана. Октаву поставил из репозитория, запустил скрипт, потом ту же команду с переменной - в 3.6 раза быстрее, ответ тот же в пределах допуска. Физика, где поля шагают одним оператором, - в 7 раз. Решение систем уравнений в цикле - кубическая часть исчезла целиком, осталась квадратичная, ответ совпадает до 15 знаков.
 
Дальше самое важное.
Мы искали дыры. Специально. Ситуации, где демон мог соврать и не заметить. Нашли четыре.
Одна из них меня напрягла: в обычном numpy-коде за 108 вызовов буфер весов 38 раз менял содержимое по тому же адресу - аллокатор так работает. Старый демон принял бы это за те же веса. Теперь каждый вызов сверяется с настоящими операндами, а адреса и хеши только выбирают кеш и никогда не принимают ответ. Все четыре закрыты, на каждую тест.
 
Вот это и есть ответ на "а что дальше?".

Из ретроспективы вытекает не разочарование, а метод. Год назад у меня была вера в сигнал. Сейчас -вера в слой, который помнит, предсказывает, проверяет и отходит, когда предсказывать нечего. С цифрами, с ограничениями, с тестами на дыры.
 
Дальше по списку: решатели с тёплым стартом, GPU через тот же слой, статья с полной таблицей, включая колонку "где не работает". Не спешу. Тот, кто спешит с Лоренцем, потом год разгребает.


Ваша поддержка всегда помогает исследованиям!

🦆🦆🦆
Поддержать канал ₽ / $ / ₿

Привет, синтеты.
 
Помните демона?

Крутые результаты и неведомые доселе ускорения умножения матриц.
 

Но, давайте на чистоту, тут не всё так просто. Есть такое понятие как cherry-picking - когда выбираешь только презентабельные результаты и выкладываешь всё в одном оттенке и привкусе. Как доказательная база конкретных примеров - нормально. Но без графы "honest limitations" выглядит не очень.

 
Поэтому посты о Демоне вызывали и ажиотаж, и дикую бурю внутри умов, пятых точек и сердечные излияния: в них не было полной картинки. Не было ablation studies: все методы в честной борьбе с кристально чистым wall-clock - кто когда стартовал, кто где троттлил - и исключение по одному элементу, чтобы показать, что каждый делает НА САМОМ ДЕЛЕ.
 
Я не учёный. Я любитель, случайно забредший на крайне интересную территорию. Теория хаоса, фазовые пространства, спектральные ряды, якоря для предсказания дороги к аттрактору... увлекательная штука... но, не будучи специалистом и даже не пройдя курсов по линейной алгебре, я прошёл ровно тот же путь, что и все, кто открыл форму аттрактора Лоренца и увидел в нём сигнал к предсказаниям чего угодно. Мощная истерия, которая при раскрытии (Лоренц давал ложный сигнал) уничтожила тонны трудов: 85% научного мира верили, что через Лоренца и Такенса можно предсказать даже смерть человека, не говоря о фондовых рынках.
 
Поэтому был ряд постов, подтверждённых не теорией, не шизо хероборой... а реальными вычислениями... они легитимные... просто в них подвох. Подвох вот в чём. Демон умножает не быстрее - он умножает меньше. Ускорение берётся из самих данных: строки потока похожи, большую часть работы можно предсказать и пропустить. Подсунь случайные числа - паритет. Ответ не побитовый, а в пределах допуска, и проверка вероятностная: при ошибке ровно в допуск промах в 1.9% случаев. Старые цифры считались в операциях, не в секундах, и против слабых соперников - на чистом wall-clock против OpenBLAS и cuBLAS множители усохли в разы. "Топология случайных матриц" от Такенса оказалась структурой метода и системы счисления, а не данных. Тот же Лоренц, только в профиль.
 
И когда я начал формулировать всё через критику точности вычислений, будь то FP16, 32, 64 или плавающая точка - это отдельные истории: ложатся +- на схожие операции, но фундаментально расходятся в определении задачи и интерпретации ответа.
 
Что мы делаем?
 

Ускоряем само умножение на уровне самых низких операций железа? (Сетунь троичная с демоном: 72% разрядных операций лишние, на x86 это ноль.) Убираем вычисления? Убираем флопсы за счёт времени? Быстрее за счёт памяти? Спекулятивно через наблюдателя?

 
Я находился если не между 7-ю вариациями, то между 12-ю точно. А ведь есть разница между ускорением самих операндов и ускорением по wall-clock. Везде свои торговли: пропуск покупается риском, память вместо счёта - объёмом, наблюдатель - прогревом и порогом, ниже которого cuBLAS выигрывает всегда. Операнды, секунды, энергия - три разных числа для одного кода.
 
И тут я остановился... оглянулся и понял.

У всего есть унифицированная возможность существовать, если определить демона как программный комплекс, который заставляет любые вычисления иметь память и работать умнее. Это заход в эпоху умных вычислений всего.
 
Где экономия?
В скипе, в предсказании. Много вычислений не влияют на итог; ловить это наблюдателем и забором - значит выдать машине разрежённую среду, в которой она скользит как по маслу. При этом с памятью для конкретных сегментов и возможностями, которых в вычислениях до этого не существовало в принципе.
 
Цифры после чистки, секунды, медианы. CPU, подмена BLAS без правки программ: numpy 7.5×, R 4.7×, Octave 3.6×, scikit-learn до 6×, физика 7×, решатель 3.5× при совпадении до 15 знаков.

RTX 3080 Ti против cuBLAS: цепочки 10-27×, одно большое умножение 5-9×, мелкие и случайные - паритет.
Фото с шумом и белый шум - паритет: структуры нет, демон отошёл.

Ни одного ответа вне допуска. Вот это и есть полная картинка.

Но...а что дальше?

🦆🦆🦆
Поддержать канал ₽ / $ / ₿

Удалось ускорить отображение картинки скипая до 45% операций. Хммм....пока что думаю - что это такое.

Fable 5.1 - умница.

Fable 5 - официально самая убогая модель от Anthropic'ов.
В сравнении с ним Fable 5.1 - просто адекват.

Тяжёлые дни начались. Много работы, почти не выхожу на связь.

Следующая неделя будет проще.

Ну, если честно. Тяжелее этого ещё не делал...это прям какой-то ад. Я не думал, что такая понятная вещь, так сильно будет дробиться, чтобы найти конечный облик.

Никогда с таким не сталкивался...но, наконец-то, вывожу суть, которая будет понятна всем.

Даже во взаимодействии с академиками у нас было недопонимание...теперь уже стало как-то яснее почему это происходит...

ДЕМОН (последние новости)

Во что выливается и что даст?

Полгода назад ДЕМОН был идеей про наблюдателя: не моделируй систему целиком, смотри на неё через щель и предсказывай ровно то, что можешь. Сегодня он выливается в библиотеку, которая подменяет собой самый главный кирпич всех вычислений на планете - умножение матриц.

Почему это другая территория. Всё, что считают компьютеры - нейросети, симуляции, графика, фильтры, физика, - в конце концов сводится к одному действию: перемножить две таблицы чисел. Этим занимаются библиотеки, отполированные тридцатью годами инженерии до предела возможностей железа. Их не пытаются обогнать - их принимают как закон природы. Мы поставили наблюдателя между программой и этим законом.

Как это работает, на пальцах. Умножение - не мгновенный акт, а процесс. Когда программа гоняет через одну и ту же матрицу поток данных - а так устроено почти всё: веса сети не меняются, меняются входы; уравнение то же, меняется состояние, - наблюдатель начинает видеть, что входы не произвольны. Они живут в маленьком подпространстве, в тонком слое возможного. Уловив это, демон перестаёт считать всё: он предсказывает результат из нескольких коэффициентов, а потом проверяет своё предсказание дешёвым сертификатом - неравенством, которое либо выполняется, либо нет. Выполнилось - ответ принят, и он гарантированно в допуске. Нет - считаем как раньше.

И ещё демон умеет забывать: если поток поменял характер, ворота срабатывают, старая картина выбрасывается, наблюдатель переучивается на лету.

Что это дало в цифрах, на живом ядре против эталонной библиотеки, с проверкой каждого ответа:

- одно умножение на потоке с внутренней структурой - в 5-6 раз быстрее, 93 % работы просто не выполняется;

- цепочка из нескольких умножений подряд - здесь начинается самое интересное. Промежуточные результаты не разворачиваются в плотный вид вообще: коэффициенты едут по всей цепочке, а сертификат проверяется на каждом звене из одного тонкого прохода. Четыре звена - в 12-15 раз быстрее, восемь - в 20. Чем длиннее конвейер, тем больше выигрыш, потому что цена спекуляции от длины почти не зависит;

- на полностью случайных данных, где предсказывать нечего, демон выключает сам себя - и работает как обычная библиотека. Он никогда не медленнее того, что подменяет. Это контракт.

И второй результат, про который стоило бы написать отдельно: случайность была и будет ограниченной в рамках обычных вычислений на компьютере в FP8,16,32, 64. У «случайной» матрицы, записанной в компьютерных числах, есть структура, которую задаёт сама система счисления и требуемая точность. При заданной точности большинство мельчайших операций внутри умножения доказуемо не влияют на ответ - их можно не делать, и результат выходит точнее стандартного. Для троичной арифметики это 72 % операций. Это уже разговор про железо, и он идёт параллельно.


Что это даст.

Ускорение, которое не требует переписывать программы: библиотека подставляется вместо стандартной, и всё, что гоняет потоки через матрицы, - от нейросетей до симуляций - получает выигрыш пропорционально структуре своих данных. Не гарантированные проценты на бенчмарке, а другой принцип: считать только то, что может изменить ответ, и доказывать это на каждом шаге.

Части этой картины по отдельности встречались в разных областях: приближённые умножения, наблюдатели за алгоритмами, разрядные схемы точности, отбор важного во внимании нейросетей. Каждая - на своей территории, со своей задачей. Одного механизма, который делает это всё сразу, под одним контрактом, на месте стандартной библиотеки, - не было. Теперь он есть и считает.

Дальше: версия для видеокарт и подключение к нейросетевым фреймворкам как плагин. Название библиотеки объявлю, когда она выйдет из лаборатории.

🦆🦆🦆
Поддержать канал ₽ / $ / ₿

так так так...

Очень много новых подвижек по демону. Сегодня встречаюсь с важными людьми, будем общаться по поводу будущего Rukallama.

Привет, синтеты. Как вы там?

(спасибо за поддержку, помогли)

Приветствую синтеты.

Не буду скрывать, что требуется ваша поддержка. Для дальнейшей работы требуется оплачивать сервера иишки, провайдеров и пробовать прокачивать другие модельки.

Давеча ещё пилил через гугл колаб некоторые проекты, но на сегодня пришёл к невозможности продолжить работу. Т.к. не хватает средств на это.

Мы с вами всегда дружно в этом плане фуникулировали, поэтому я уверен в вашей поддержке.

Поддержать меня можно вот по этой ссылке:

ПРОЕКТ ПОДДЕРЖКА


P.S. Сидеть в ожидании у моря погоды - не хочется.

Основы информатики и вычислительной техники. Как устроена ЭВМ. Эфир 03.09.1986

Год производства: 1986

Академик А.П.Ершов объясняет устройство отдельных узлов ЭВМ. В его кабинете находятся различные школьные компьютеры. В передаче принимают участие учащиеся школы №166 Новосибирска - И.Фурсенко и Л.Коваренко.

Гл. ред. науч.-поп. и обр. пр. 1986
Автор сценария - Александр Ершов
Режиссер - Р. Мороз
Оператор - А. Рудаков
Ведущий - Александр Ершов

Хотели больше примеров по демону вычислений? Пожалуйста! Готово!

Смотреть внимательно.

🦆🦆🦆
Поддержать канал ₽ / $ / ₿