Фарш не провернуть 💝

Да храни вас Си Цзиньпин 🗣

А, нет. Не сливают. Всё нормально.

Пацаны расходимся. Тут не на что смотреть.

Claude сливает ваши данные правительству США и ЦРУ 🇺🇸

Я заглянул внутрь бинарника Claude Code, который идёт в комплекте с Claude Desktop и нашел такие домены:

c2s.ic.gov
api.aws.ic.gov
sc2s.sgov.gov
csp.hci.ic.gov
api.aws.hci.ic.gov

C2S связан с облаком AWS для разведывательного сообщества США. В официальном анонсе Amazon ИТ-директор ЦРУ рассказывает о его использовании для данных с грифом TOP SECRET.

Можете сами посмотреть: ссылка

😐 Думайте. Подписаться

Я после отправки в продакшн 10 000 строк кода, который никогда не читал.

Qwen4 27B - новый король LocalAI 👑

15к скачиваний за 3 дня. Я чет не ожидал вообще.

https://huggingface.co/alesha-pro/Qwen3.8-Flash-Next-abliterated-GSQ-RCO-Strata-GGUF

Qwen3.8 27B модель в 12 ГБ видеопамяти. Полные 262K контекста. 70 tok/s. БЕЗ ЦЕНЗУРЫ 😱

Встречайте, это снова Mirai S Qwen3.8-27B на 2.4 бита.

Намутили вдвоём с Кэри Палмером. Мой порт в llama.cpp выдавал на этой карте жалкие 82K контекста и 38 т/с. Кэри взял его и сделал самое тяжёлое:

контекст: 82K -> 262K, KV в q8
скорость: 38 -> 70 т/с 📈
память: 11.7 ГБ

Часть KV-кеша у него лежит в видеопамяти, остальное в RAM, плюс MTP-драфты на любой глубине.

С меня аблитерация. Веса там пережаты, править их нельзя, поэтому было снято направление отказа прямо на квантованной модели, а движок вычитает его на ходу. Файл на 1.3 МБ и 1 флаг:

отказы: 64 из 64 -> 0 из 64 📉

Всё открыто. well cum 😜

Движок: github.com/professorpalmer/mirai-s-ada
Веса и вектор: huggingface.co/alesha-pro/Qwen3.8-27B-S-mirai-GGUF

Nous Research привлекли 90 мультов на развитие Hermes Agent.

Ахуй

Мистраль 4 на high ризонинге, максимальном какой там есть.

Стало лучше? Ну однозначно да.
Сильно стало лучше? Однозначно нет.

Мой косяк. Тут ризонинг выключен оказался. Передалем.

Мистраль 4. Лучшая Open weights модель от US/EU, как они заявляют.

1Т на секундочку 💩

https://alesha-pro.github.io/bench-portal/games/arena-blast-mistral-large-4/

У OpenAI всё довольно плохо

В DeepSeek Harness есть встроенный браузер в боковой панели. Но он для человеков, модель не умеет пользоваться. Исправляем 💃

Сделал плагин. Теперь агент сам умеет в нём ворочать, читать, кликать, печатать, скроллить, делать скриншоты и тд и тп. 17 тулов 📈

Вчера загонял туда локального Qwen3.8 Flash Next Abliterated чтобы тот повозился где надо. Всё максимально гладко 🍑

Ставится со страницы Plugins: Add plugin, ввести dsh-sidebar-browser-cdp.
НО ЕСТЬ НЮАНС: DSH при этом надо запускать с флагом --remote-debugging-port=9222, и проверял я только на macOS.

https://github.com/alesha-pro/dsh-sidebar-browser

В твиттере очередная драма. На сей раз в нашей Local AI тусовке 😡

Есть аккаунт Mia's AI Lab. Рисованная девчуля на аватарке, постит рецепты запуска моделей на DGX Spark. Меньше чем за 4 месяца аккаунт вырос с 200 до 36 тысяч подписчиков. Рецепты рабочие, людям заходило.

Потом народ полез в гит. Оказалось, что в основе нескольких рецептов лежит чужая работа. Чужой квант перевыложен под её аккаунтом, имя автора стоит на хрен пойми где в ридми, считай в конце. Автора первого коммита в README нет вообще.

При этом сама Mia приходит в чужие репозитории и требует ставить ссылку на неё в самый верх README. А тех, кто задаёт вопросы, блокирует.

Параллельно продаёт установки на спарки за $500-2000 и книгу за $100 о том, как расти в X 📈

Я думаю так - Mia это тупо бренд, а женский образ нужен для внимания и денег от сами знаете кого. В технической тусовке женщина всегда вызывала восторги 🍑

Буду дико благодарен, если зайдете в х и прожмёте там еще пару кнопок - сами знаете каких.

PS: КЛИП СМОТРЕТЬ ПОЛНОСТЬЮ ВООБЩЕ ЭТО ПРЕКРАСНО!!!11

Верим?

Интересный тред кстати

Huihui выложили аблитерейтед BF16 веса Qwen3.8-Flash-Next, и я сразу погнал делать EXL3-кванты.

04.05 bpw готовы, запускаю агентную задачу чтобы проверить адекватность, а модель уходит в loop из 7 zaloop 🔫

Первая мысль - ну квант кривой. Проверили всё казалось бы: конвертер, сравнивали с BF16, смотрели движок и семплинг. Ни-че-го.

В итоге нашли в самих исходных весах коэффициент аблитерации около 1.955 💩

Cравнили BF16 от Huihui с оригинальным Qwen и нашли 144 изменённых тензора в 48 слоях. Почти вся правка шла вдоль одного и того же вектора.

Дальше проверили, какую долю этой компоненты вычли из исходных весов. Получилось около 1.955 вместо 1.0. То есть вычли примерно 195.5%: компонента поменяла знак и сохранила около 95.5% исходной амплитуды. Проверка на отдельных экспертах из начала, середины и конца модели дала тот же коэффициент 🍑

При силе 1.0 компонента вдоль выбранного направления вектора обнуляется, что и должно происходить. При 1.955 она переворачивается и сохраняет почти всю исходную амплитуду. То есть правка удаляла направление совсем иначе, чем предполагалось.

Проверили на том же Q4: поправили прямо в рантайме до 1.0, и модель начала адекватно работать. Интересно. С исходной силой 1.955 две задачи из трёх проваливались наглухо.

После этого пересобрали BF16 веса с силой 1.0 и нарезали EXL3 Q3, Q4 и Q5. Vision, MTP, всё на месте. Новые кванты тоже отдельно проверили - всё ок.

Короче смысл простыми словами в том, что частично эти тензоры отвечали за отказы модели. Но отказы не только отвечать на ТОНКИЕ вопросы, но и вообще на рефлексию самой с собой 😮 Типа она допустила ошибку и надо двигаться дальше и исправлять, но обратные веса этих векторов ломают эту логику.

Ловите 🤗
https://huggingface.co/collections/alesha-pro/qwen38-flash-next-abliterated-exl3-and-strata-gguf

Еще надо под Strata сделать, меня уже одолели все с этой стратой. Попробую добиться нормальной работы на одной RTX 3090 с выгрузкой части весов в RAM и PLE на SSD собственно у кого не хватит памяти. По хорошему бы GSQ + RCO, но рецепта нет под Qwen Flash Next

Запросы в Fable 5.1 сейчас частично направляются в Fable 5.5.

Проверяют его по знанию Тибо (thsottiaux в X) без гугла

Мы рады представить Qwen4 27B Is All You Need.

Эта работа формализует коллективное стремление сообщества LocalAI к локально развертываемому интеллекту.

Мы благодарим наших коллег за тщательный экспертный анализ и постоянный вклад в определение того, поместится ли это в VRAM

Пс. Ето мем, если что

теперь я понял почему оперативка подорожала