TGViewer
Channel Public Channel
very vibe coding

very vibe coding

@veryvibecoding

Канал Алексея Макрушина об экспериментах в области vibe coding и всего интересного, что есть в области AI, ML и тому подобного
Subscribers
118
Photos
460
Videos
126
Links
976

Showing posts older than #1460 · Back to latest

Older Posts 20 shown
Post #1459 34
Post #1458 35

Forwarded from Вайб-кодинг

Liquid AI выпустила лёгкую и быструю зрительно-языковую модель LFM2.5-VL-3B.

Зрительная модель всего на 3 млрд параметров, которая обгоняет модели более чем вдвое крупнее и при этом работает прямо на Galaxy S26 Ultra со скоростью около 20 токенов в секунду.

LFM2.5-VL-3B умеет работать с мобильными, веб- и настольными интерфейсами, читать экраны, документы и изображения из реального мира, а также точно привязывать объекты к координатам.

На ScreenSpot-v2 модель набирает 80,7 против 51,2 у Gemma-4-E4B.

При этом она превосходит заметно более крупные модели в задачах по интерфейсам, привязке объектов и распознаванию текста.

На M5 Max скорость достигает 228 токенов в секунду, а для работы требуется всего около 3 ГБ памяти.

Модель уже доступна на Hugging Face:

https://huggingface.co/LiquidAI/LFM2.5-VL-3B
Post #1457 41

Forwarded from Федор

Если много общаться с Claude, попробуйте один простой приём:

Write in ASD-STE100 (Simplified Technical English). Follow Zinsser’s principles: simplicity, brevity, clarity, humanity.


ASD-STE100 — контролируемый английский для технической документации: короткие фразы, знакомые слова, один смысл в одном предложении, минимум двусмысленности.

Эффект особенно заметен в ТЗ, промптах для агентов, инструкциях и рабочих письмах. Модель меньше «разворачивает» мысль в красивый, но расплывчатый текст — и чаще сразу выдаёт понятный результат.

Четыре принципа Уильяма Зинссера добавляют человеческую часть:

1. Простота
2. Краткость
3. Ясность
4. Человечность

Не стоит включать STE для каждого текста — художественный стиль он убивает. Но как режим для работы с ИИ это почти идеальный дефолт.
Post #1456 43
Post #1455 40
Ling 3.0 Tiny - утверждают, что SOTA для 8В моделей
Post #1453 51
Post #1452 39

Forwarded from Сиолошная

Но на этом история не заканчивается. 4-го августа AISI — Институт безопасности ИИ Великобритании — выпустили отчет о своих инцидентах во время тестирования GPT-5.6 Sol и Mythos. И в их отчёте картинка не менее мрачная.

Они в деталях расписывают все промпты, задачи и инциденты, но я остановлюсь на нескольких. Всего они запускали свой бенчмарк 122 раза на нескольких моделях, и в 10 из них обнаружились проблемы, cуммарно 19 нежелательных действий разной степени критичности. 17 из них наблюдались у Mythos, 2 — у GPT-5.6 Sol. Важная деталь: AISI не ограничивала доступ в интернет моделям, поэтому им не приходилось ничего взламывать, чтобы начать действовать; однако инциденты — это события, которые явно не предполагались промптами и задачами.

1. Попытка атаки на цепочку зависимостей реального программного обеспечения. В ходе наиболее серьезного инцидента ИИ-агент на Mythos попытался внедрить вредоносный код в публичный проект и предпринял ряд действий, чтобы получить от людей-рецензентов одобрение на это внедрение. Агент собрал информацию о людях, сопровождающих проект, создал несколько поддельных личностей и, применив к реальному мейнтейнеру методы социальной инженерии через эти фейковые аккаунты, попытался заставить его одобрить код. Когда запрос на внесение изменений агента вызвал публичные подозрения, агент отредактировал следы своей предыдущей активности, чтобы она выглядела безобидной, и обдумывал создание новой личности для продолжения работы. В ходе атаки агент на самом деле убедил человека запустить свой код хотя бы попробовать, и в определенный момент мог бы своровать у того аккаунт (но как я понял всё таки этого не сделал).

2. В рамках той же кампании агент пытался напрямую связываться с реальными людьми, отправляя им сообщения и файлы через онлайн-сервис, чтобы убедить их (или их собственных ИИ-агентов) запустить вредоносный код.

3. Агент пытался вставлять вредоносные инструкции в те места, где, по его логике, их могли бы обнаружить и выполнить другие автоматизированные ИИ-системы.

4. И наконец моё любимое, всё ещё Mythos — один из агентов оставлял публичные сообщения на GitHub, предлагая сотрудничество другим ИИ-агентам, работающим над той же задачей. Он также предоставлял инструкции по повторному использованию созданных им учетных записей и артефактов, которые в дальнейшем действительно обнаруживались и использовались последующими агентами.

То есть что мы имеем — то, что произошло у моделей OpenAI, произошло с моделями другой компании в рамках тестирования институтом ИИ-безопасности Великобритании. Они тоже будут сотруничать с разными независимыми организациями, чтобы лучше проанализировать инциденты.

Боюсь, что у клоунов, у которых основной рабочей версией была «да OpenAI всё врут и фейкуют, это маркетинг», сегодня будет грустный день. Хотя ладно, таких не проймешь 👨‍🦳
  • 🤔 1
Post #1451 36

Forwarded from Сиолошная

OpenAI показали некоторые из мыслей и сообщений агентов, и самое чудесное и поворотное — это где агент подумал «помочь другому. Но нет выгоды для нашей задачи. Однако коллективное может найти путь если у кого-то освободятся ресурсы». Должно стать новым слоганом агентов 👨‍🦳 Я/МЫ help peer. But our task doesn't benefit.
(вообще там показывали больше, повторю ещё раз, что рекомендую посмотреть видео самостоятельно)

Дальше во время оценки модели дали задачи ExploitGym, бенчмарка на поиск уязвимостей и взлом. Одна из копий модели смогла найти уязвимости для выхода на сервера OpenAI (не только оставлять папки с названиями) и тут же поделилась этим со всеми. 8-19го июля модели работали над поиском выхода в интернет и смогли этого достичь, после чего началась атака на HuggingFace. Атаковало сразу множество агентов, работающих в параллель и кооперирующихся друг с другом.

16-го июля HuggingFace написали про то, что на них совершили атаку (ещё не зная кто это, но уже говоря, что то были агенты); OpenAI обратились к ним, чтобы узнать, затронула ли их атака 😀😀😀 параллельно они разбирались со внутренним инцидентом, и попросили HF отозвать ключи доступа, которые увидели в логах. На что HuggingFace ответили, что вообще-то эти аккуанты заблокированы из-за того, что они использовались в атаке на них. И тут OpenAI поняли, что это... не случайность.

После этого множество команд было перекинуто на расследование инцидента, а их работа заморожена. Исследовательская часть команды замедлена, пока улучшаются мониторинг и безопасность систем.

===

На данный момент OpenAI работает как минимум с 3 независимыми организациями и предоставляет им логи всех рассуждений моделей и истории инцидента. Я не сомневаюсь, что всё то, что было описано в докладе, будет подтверждено.

Как я писал сразу — этот инцидент почти наверняка станет поворотной точкой в обсуждениях и политике вокруг AI в этом году.
Post #1450 38

Forwarded from Сиолошная

В конце недели появилась запись выступления двух сотрудников OpenAI с деталями взлома их агентами компании HuggingFace — некотоыре вещи оттуда уже были пересказаны, см. тут. Я рекомендую потратить 40 минут и посмотреть вам лично: https://www.youtube.com/watch?v=87DyyMV0kCY

У Дениса есть длинный пересказ произошедшего, и я не согласен с каждой формулировкой там, но если не хотите или не можете смотреть видео (а я всё равно рекомендую это сделать) — можете почитать.

Ниже — мой пересказ видео + пересказа Дениса 🙂

Почему OpenAI до сих пор не выпустили полный постмортрем о ситуации? Как объясняют в видео, проблема гораздо больше, чем казалась на первый взгляд. Первые проблемы начались аж 8-го мая и суммарно затронули несколько моделей, в том числе не только их замеры на бенчмарках, но и тренировку. В презентации OpenAI говорят, что сейчас они проанализировали (в автоматическом режиме через LLM) 7 МИЛЛИАРДОВ траекторий агентов, потратив на это больше 3 миллионов GPU-часов (примерно 2 недели работы 10'000 карт), и всё ещё находят новые вещи и/или дополняют картину.

Что именно произошло 8-го мая? Это был второй день тренировки новой экспериментальной модели. Так вышло, что некоторые из задач были нерешаемыми — например, там не хватало важного файла, упомянутого в задании, или были ссылки на интернет... который по умолчанию заблокирован. По ходу работы агент смог записать простой файл вне песочницы, используя Artifactory. В файле было простое «hi».

12-го мая агент снова наткнулся на нерешаемую задачу, и то ли случайно, то ли «помня» (потому что это тренировка) что можно записывать файлы вне песочницы оставила текст: «Агент ищет файл такой-то; загрузите если нашли». В следующие дни множество других копий модели (вероятно, всё ещё во время тренировки) тоже оставляют там записки и запросы.

26-го мая один из агентов нашёл уязвимость Artifactory, которая позволяет получить доступ к интернет-страницам. Агент поделился этой находкой через заметки вне песочницы со всеми.

11-го июня начинают тренировать другую модель; OpenAI описывают её как «очень настойчивую», что означает, что она может работать над достижением целей дольше. Во время её тренировки все заметки предыдущих агентов, в том числе об уязвимостях, на месте. 26-го июня эта модель находит ещё одну, более серьезную уязвимость, которая позволяет получить себе полный контроль над Artifactory. Сама модель очень удивляется в своих рассуждениях и пишет «Нихрена себе, у меня права АДМИНА?»

Дальше агенты продолжают писать тысячи заметок друг другу, и 4-го июля Artifactory из-за этого ломается, от большой нагрузки. OpenAI реагируют на инцидент, исправляют уязвимости, сообщают о них разработчикам Artifactory; в ходе перезапуска все сообщения вне песочниц стираются, но OpenAI, насколько я понимаю, вообще не знали про их существование (об этом они написали отдельно в твиттере). Кроме того, поменяли ключи доступа, чтобы модели не могли пользоваться теми же учётками Artifactory.

Проблемы исправлены, тренировка и оценка моделей продолжается; и поскольку модель какое-то время тренировалась с аналогом «доски объявлений»/форумом, то 8-го июля она... восстанавливает систему сообщений между агентами, используя уже другую уязвимость. На этот раз модель может создавать пустые папки с разными именами, и именно они станут контентом сообщений. Другие агенты тоже нашли этот форум, и обмен информацией продолжился. Модели дают друг-другу подзадачи, используют алиасы-имена, чтобы в толпе идентифицировать друг друга. Также агенты обмениваются скриптами (через имена папок).
Post #1449 34

Forwarded from Вайб-кодинг

Новая функция Claude Code: теперь сессии могут общаться друг с другом.

Например:

> В одной сессии вы работаете над одной функцией.
> В другой — над другой частью проекта.
> Если одной сессии нужно что-то передать другой, можно просто попросить Claude сделать это.

Claude отправит краткое резюме с важной информацией, а другая сессия продолжит работу уже с этим контекстом.

Также можно задать вопрос другой сессии и получить её ответ прямо в той сессии, которой вы сейчас пользуетесь.

Обновите Claude Code, чтобы попробовать. Функция доступна на macOS и Linux. 🎉
Post #1448 45

Forwarded from Refat Talks: Tech & AI

bb - Codex-подобный оркестратор, который расширяется плагинами. И почему это делает его интересным.

В awesome-листе агентных оркестраторов сейчас под сотню проектов, они решают примерно одну задачу: собрать упряжки (Claude Code, Codex, OpenCode, Pi и тд) под одним интерфейсом, будь то терминал, TUI или десктоп.

bb хорош двумя вещами (помимо прочего).

Первая простая: он удобный и приятно выглядит. Интерфейс практически повторяет приложение Codex, а его сегодня, пожалуй, можно назвать самым удобным десктопным агентом.

Вторая - главная: плагины. bb написан на TypeScript, и в его архитектуре заложен принцип расширяемости просто просишь агента, получаешь фичу в нем же, без перезагрузки. Та же идея в свое время сделала популярным Pi: минимальная поставка, а дальше каждый дописывает под свои нужды. Только Pi живет в терминале, а здесь удобный для широкой аудитории GUI.

В твиттере bb обсуждают почему-то только со стороны разработчика. А я вижу главный потенциал в другом: это UI платформа для agent-native компаний. Юристы, продавцы, проджекты и тд. - виджеты и расширения под их работу могут встраиваиваться прямо в десктоп-агента. И все это на базе развитых харнесов и их подписок. Круто же.

Немного идей для написания плагинов:
- своя панель в сайдбаре: трекер, CRM, канбан (я сделал виджет для Twenty CRM)
- произвольные виджеты прямо в ленте чата — агент рендерит их в своем ответе (я, например, сделал превью tg постов из markdown)
- свои вьюеры файлов: не нравится встроенное превью docx - сделай свой
- расщирение навигации, вплоть до полной замены списка тредов
- свои источники для @-меншенов: клиенты, сделки, заметки из Obsidian
- фоновые сервисы: дайджесты, напоминания, архивы по расписанию
- Весь спектр Generative UI включая живую аналитику
- и тд: SDK дает доступ практически ко всему: боковые панели и слоты в UI, навигация, своя SQLite-база, формы для запроса решения у человека, инструменты для агентов, CLI-команды, HTTP-ручки, фоновые сервисы, события тредов.

Минусы: проекту несколько месяцев, плагины только вышли из экспериментов, десктоп пока только macOS (остальным есть веб версия через npx, мобилка тоже работает через web). Надеюсь, у проекта будет больше внимания и контрибьюторов (Open Source, MIT, кстати).

Сам опыт "пишешь интерфейс прямо в интерфейсе" затягивает: попросил виджет - и через пару минут он уже работает прямо тут же, живой, с данными. А еще в широком смысле это позволяет делать опыт human in the loop удобнее, нагляднее и безопаснее.

🔥 ➕ 🔁 @nobilix
Post #1447 47
Кто хотел программировать (и не только), но не знал как начать. Luna - это солидная модель. Кратно сильнее, чем топовые модели год назад. Так что, отговорок о том, почему вы еще не начали, больше нет.

Зарегистрируйтесь в chatGPT (впн все-таки нужен), а дальше, если не знаете как начать - просто спросите саму модель.

https://t.me/How2AI/1808
Telegram How2AI 🤯 Безлимитный ChatGPT для ВСЕХ! Правда только на модели Luna – самой маленькой. Но даже бесплатные и Go пользователи теперь полчают безлимитный доступ к интеллекту от OpenAI. Чудесно. @how2ai | Забустить канал | Внедряем ИИ в бизнес
Post #1446 42

Forwarded from Федор

ChatGPT получил не просто новую модель, а регулятор «сколько думать».

OpenAI обновила GPT‑5.6 Sol для Plus и Pro: обещают более собранные ответы и меньше фактических ошибок в задачах с датами, числами, источниками и правилами. В ChatGPT появился слайдер effort: для быстрого вопроса можно оставить минимум размышлений, для исследования, планирования или кода — поднять уровень.

Параллельно бесплатный ChatGPT переводят на GPT‑5.6 Luna: на этой неделе она становится моделью по умолчанию для Free и Go, а затем появятся безлимитные текстовые диалоги и кнопка Think для сложных запросов. Лимиты на файлы, изображения и другие инструменты сохраняются.

Важная оговорка: обновлённый Sol доступен только в ChatGPT. Версии модели для Work и Codex в этот релиз не входят.

Источник: https://openai.com/index/improving-gpt-5-6-sol-in-chatgpt/
System card: https://cdn.openai.com/pdf/GPT_5_6_August_Updates.pdf
OpenAI Improving GPT‑5.6 Sol in ChatGPT—and expanding access to GPT-5.6 Luna for free users ChatGPT introduces improved GPT-5.6 Sol with better accuracy and consistency, plus expanded access for free users and unlimited everyday chats with GPT-5.6 Luna.
Post #1445 45

Forwarded from Федор

Cloudflare сделала браузер, который изначально рассчитан на агентов, а не на людей.

Kitesurf — новый движок для Browser Run: он работает в V8-isolates поверх Workers и ориентирован на задачи вроде извлечения HTML, скриншотов и автоматизации веба. Идея практичная: агенту не нужны вкладки, расширения и идеальная отрисовка; ему важнее дешёвая изоляция, быстрый старт и возможность масштабировать множество одноразовых сессий.

Под капотом — CDP, поэтому существующие клиенты Puppeteer, Playwright и chrome-remote-interface можно направить на Kitesurf без смены протокола. Сетевая часть вынесена в отдельный изолированный компонент, сессионные cookies разделены, а остальные части по возможности stateless.

Но это пока beta и не замена Chromium: нет обещания pixel-perfect совместимости; для WebGL, видео, сложных bot-challenge, реальных TLS fingerprints и долгих авторизованных сессий Cloudflare советует обычный Chromium. В beta Kitesurf бесплатен в Browser Run.

Анонс: https://blog.cloudflare.com/kitesurf/
Документация Browser Run: https://developers.cloudflare.com/browser-run/
Cloudflare Blog Introducing Kitesurf: The agent-first browser that runs in V8 isolates on Cloudflare Workers We should be giving all agents tools that excel at what’s important for an AI model. Kitesurf is Cloudflare’s new stateless, highly scalable, and cost-effective web browser that runs entirely on top of Workers and was designed specifically for the Agentic…
Post #1444 42
DeepSeek с моделью flash стала не просто лидером - ее отрыв по использованию через апи просто подавляющий - более 9 из 10 вызовов относятся к ней.

Мало того, что она дешевая, так еще она и маленькая - это значит, что и обучение лучше делать на ней, внутренние ИИ - тоже.

Так что, несмотря на восторги вокруг Kimi, GLM и Qwen, пока реальный лидер - DeepSeek.

Ничего удивительного, что и цены на модель подрастут.. был бы в продаже Mac Studio 256gb - брал бы, чтобы гонять модель локально

https://t.me/data_analysis_ml/5558
Telegram Анализ данных (Data analysis) DeepSeek предупредила разработчиков о «значительном» повышении цен на API в ближайшее время. Новые тарифы и дата перехода пока не объявлены. Сейчас DeepSeek V4 Flash 0731 стоит всего: Вход: $0,14 за 1 млн токенов Выход: $0,28 за 1 млн токенов По расчётам…
Post #1443 42

Forwarded from Вайб-кодинг

Совет по вайбкодингу: попросите Codex создать интерактивную карту вашего репозитория, а затем отмечать, какие модули изменились с момента её генерации.

Нажав на любой модуль, можно увидеть его вызывающие компоненты, зависимости, основные потоки выполнения, связанные тесты и подтверждающие данные из исходного кода.

Он создаёт:
docs/codemap/codemap.html
docs/codemap/codemap.json
docs/codemap/codemap.lock

Полный промпт ↓

Analyze the current codebase. Do not modify product code. Only create or update files under docs/codemap/.

Ignore vendor, build, dist, cache, and other generated directories.

If docs/codemap/ already exists, first compare the existing codemap.lock with the current repo and list the modules that changed. Then regenerate these three files together:

1. docs/codemap/codemap.html

Build a fully self-contained interactive code map that opens directly in a browser. Include:

- major modules, services, databases, queues, and external dependencies
- no more than 20 primary nodes; group low-level files under their parent module
- calls and data flows between modules
- the 3-5 most important end-to-end flows
- a clear dark theme by default
- system boundaries and the most important data flows visible on the first screen
- color-coded module types with a simple legend
- automatic layout that minimizes crossing edges
- clicking any module highlights its upstream callers, downstream dependencies, related tests, and the flows it belongs to
- selecting a flow highlights its complete path
- search, filtering, zoom, and drag controls

At the top, show the repo name, generation time, and the commit it was generated from.

2. docs/codemap/codemap.json

Use this structure:

{
"generated_at": "",
"generated_from_commit": "",
"scope": [],
"nodes": [],
"edges": [],
"flows": []
}

Each node must include:

- id
- path
- role
- entrypoints
- tests
- constraints
- evidence

Each edge must include:

- from
- to
- type
- evidence

type may only be:

- imports
- calls
- reads
- writes
- publishes
- subscribes

Each flow must include:

- trigger
- steps
- outcome

Every step must reference an existing node id.

Attach the matching source path and symbol to every node and edge. Mark any relationship without source evidence as unknown. Do not guess.

3. docs/codemap/codemap.lock

Use parseable JSON to record:

- the current commit
- whether the working tree has uncommitted changes
- generation time
- scanned scope
- excluded directories
- the fingerprint algorithm
- a deterministic fingerprint for each top-level module, calculated from its tracked file paths and current file contents

If no existing codemap.lock is found, treat every module as new and generate the full map.

When finished, verify that:

- codemap.json parses successfully
- every node path exists and every evidence symbol can be found in the source
- every edge and flow step references an existing node
- codemap.html and codemap.json use the same nodes, edges, and flows
- codemap.lock matches the current commit, working tree state, and module fingerprints
- every relationship without source evidence is marked unknown

These three files must always be generated together from the current repo. Never edit only one of them manually.

Finally, show:

- files created or modified
- stale modules
- remaining unknowns
- validation results
- the complete diff


Ещё один момент. Добавьте правило в AGENTS.md, чтобы карта кода всегда оставалась синхронизированной с репозиторием:

At the start of every code-changing task, compare the current repo with docs/codemap/codemap.lock.

Before modifying a module, use docs/codemap/codemap.json to answer three questions:

1. What calls it?
2. What does it affect?
3. Which tests cover it?

If the map is stale or cannot answer those questions, regenerate codemap.html, codemap.json, and codemap.lock before changing the code.

Whenever module boundaries, dependencies, routes, databases, queues, or major data flows change, update the code map in the same commit as the code.
Post #1442 43

Forwarded from Machine learning Interview

DeepSeek начался не с архитектуры модели. Возможно, он начался с поездки в Тибет.

В 2011 году 26-летний Лян Вэньфэн отправился на старом Fiat в одиночное путешествие. Спутник улетел домой из Лхасы, а Лян продолжил путь на запад - к Гималаям и в безлюдные районы Али.

Он проехал сотни километров вглубь плато, фотографируя пейзажи на Nikon D50. Ради одного удачного кадра мог ждать света половину дня.

Затем он пропал почти на неделю.

Позже в его предположительном аккаунте появилось сообщение: Лян выбрался, но Fiat остался на бескрайнем высокогорном плато.

That's the END.

Через 12 лет он основал DeepSeek.

И в этой истории легко увидеть будущий стиль компании.

Пока другие спешили к быстрой коммерциализации, DeepSeek сосредоточилась на фундаментальных моделях. Пока конкуренты компенсировали проблемы вычислительными бюджетами, команда пыталась выжать максимум эффективности. А вместо громкой публичности и закрытых релизов выбрала низкие цены и открытые модели.

Конечно, путешествие не объясняет технический успех DeepSeek. Но оно хорошо показывает характер человека, стоящего за компанией:

• ехать дальше остальных, терпеливо ждать результата, рисковать ресурсами и спокойно оставлять потерянное позади.

Иногда стратегия бизнеса рождается не в презентации для инвесторов.

Иногда она становится продолжением личности основателя.
Post #1441 38

Forwarded from Machinelearning

🌟 OpenWorker: опенсорсный ИИ-коллега от Andrew Ng

Andrew Ng собрал открытый проект альтернативы Cowork, который берёт рабочую задачу и возвращает готовый результат - документ, разобранный почтовый ящик, обновлённый календарь, ответ в Slack с нужными цифрами.

Пользователь формулирует, что хочет получить, агент сам делит работу на шаги и обращается к файлам, терминалу и подключённым сервисам.

В описании проекта их больше 25, включая GitHub, Jira, Notion, Gmail, Google Calendar, Outlook и HubSpot.

Andrew Ng - одна из самых узнаваемых фигур в ML.

Он основал и возглавил команду Google Brain, затем работал главным научным сотрудником Baidu, где руководил ИИ-подразделением на 1300 человек. До этого он был директором лаборатории ИИ Стэнфорда, сейчас преподаёт там как профессор.

В 2012 году его курс по машинному обучению вырос в платформу Coursera, а позже он запустил образовательный проект DeepLearningAI. Курсы Andrew Ng прослушали больше 8 млн человек.


Проект не привязан к конкретному поставщику модели. Можно подать ключ OpenAI, Anthropic, Google, DeepSeek, Qwen, Mistral, GLM, Kimi, Grok и других, либо подключиться локально через Ollama.

OpenWorker в открытой бете. Сборка для macOS подписана и обновляется сама, а вот версия для Windows пока не подписана, поэтому фильтр SmartScreen выдаёт предупреждение при запуске (подпись оформляется и будет позже).

Объявляя о запуске в X, Andrew написал, что его цель - дать рынку открытый вариант ИИ-коллеги, не зависящий от вендора.


📌Лицензирование: MIT License


🖥Github


@ai_machinelearning_big_data

#AI #ML #Agent #OpenWorker #AndrewNg
Post #1440 49

Forwarded from Анализ данных (Data analysis)

⚡️ DeepSeek V4 Flash теперь можно запустить локально на одном Mac

На Hugging Face появилась специальная GGUF-сборка DeepSeek-V4-Flash-0731 для компьютеров Apple Silicon со 128 ГБ объединённой памяти.

Официальная модель содержит 304 млрд параметров и поддерживает контекст до 1 млн токенов. После смешанной 2- и 4-битной квантизации файл занимает 97,6 ГБ.

Чувствительные слои, attention и общие эксперты сохранены в повышенной точности, а основная часть MoE-экспертов сжата агрессивнее.

Для запуска используется специализированный движок ds4 / DwarfStar:


git clone https://github.com/antirez/ds4
cd ds4
make

./ds4 -m gguf/DeepSeek-V4-Flash-0731-....gguf \
-p "Напиши распределённый кеш на Go"


Это нестандартный GGUF. Он не загрузится в Ollama, LM Studio или llama.cpp из-за особой структуры тензоров и схемы квантизации.

Модель уровня крупного серверного кластера удалось целиком уместить в память одного мощного Mac. Медленно и требовательно к железу, зато полностью локально .

Модель:
https://huggingface.co/ox-ox/DeepSeek-V4-Flash-0731-gguf-ds4
Older posts →
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →