🍳 Датазавтраки ☕️ НСК (Академ)

На датазавтраке рассказывал свое видение локального инференса:
"тяжелые" карты и прод, модели в полных весах - SGLang
5090 4090 и прод, кванты и маленькие модели - vLLM
не прод - для экспериментов с разными моделями - Ollama

Это все для linux и API

Если вы на своем маке запускаете, LM Studio наверное? Не использую мак

Есть еще llama.cpp (ollama поверх него) TensorRT-LLM (крутой, но руки нужны прямо из плеч) и еще, но в целом так картинку вижу.

@kertar1 перебирал варианты для домашнего инференса, может поправит меня

Всем привет!


🍖 Майский дата-ужин пройдёт 07.05 в 19:00 в Гусях (столик забронирован на Елену) 🪿

Gusi в Академе https://2gis.ru/novosibirsk/geo/70000001019070269

Энтузиасты сравнили модели OpenAI и Anthropic по трате токенов на различных языках.

За основу взяли английский и прошлись от русского до китайского.

P.S. заметил что сейчас Claude стал сам переводить русский на английский и отдавать результат на английском.

Дмитрий, приветствую. Сегодня говорил о ценах на Антропиковские модели за 150 долл. Вот у меня так отображается https://openrouter.ai/anthropic/claude-opus-4.6-fast

Генератор бизнесов на основе новостей от коллеги
https://t.me/true_bablo_news

Упоминал книжку про ML для проектирования новых лекарств https://www.manning.com/books/machine-learning-for-drug-discovery

Running Qwen3.5-0.8B on Android for offline document Q&A (EdgeDox)
https://www.reddit.com/r/LocalLLaMA/comments/1rmv10c/running_qwen3508b_on_android_for_offline_document/?show=original

Наша статья про когнитивную архитектуру на основе социально-ресурсной модели поведения для систем поддержки принятия решений и моделирования социальной динамики - в журнале Brain Informatics (Q1)

https://link.springer.com/article/10.1186/s40708-026-00294-1
Когнитивная архитектура и поведенческая модель, основанные на социальных доказательствах и ограничениях ресурсов

Представленная в данной статье когнитивная архитектура, как ожидается, сможет объяснить определенные аспекты человеческого поведения, направлять разработку агентов искусственного интеллекта и согласовывать поведенческие модели последних с первыми. Архитектура основана на принципе социального доказательства или социальных данных, включая принцип ограничений ресурсов. Она включает в себя концепцию гибридного графа знаний, охватывающего как символические, так и субсимволические знания. Эти знания разделены на функциональные сегменты для фундаментальных, социальных, доказательных и воображаемых знаний и обрабатываются механизмом вывода и системой хранения памяти, которые учитывают и управляют ограничениями ресурсов. Ожидается, что архитектура и поведенческая модель, разработанные на ее основе, будут использоваться для проектирования агентов искусственного интеллекта и систем поддержки принятия решений, которые соответствуют человеческим ценностям и опыту на основе согласования их систем убеждений, и смогут внедрять системы поддержки принятия решений для практических приложений. Она также может быть предложена для моделирования человеческого поведения индивидуально или в группе, для психологического лечения, онлайн-безопасности и управления сообществами.

Наша статья про интерпретируемое обучение детекции когнитивных искажений в текстах - в журнале PeerJ (Q1)

https://peerj.com/articles/cs-3699/
Интерпретируемое обучение для обнаружения когнитивных искажений в текстах на естественном языке

Мы разработали технологию, которая на основе набора данных, аннотированного на наличие когнитивных искажений, создает интерпретируемую модель, способную обнаруживать когнитивные искажения в текстах на естественном языке. Новизна подхода заключается в том, что методы обучения и обнаружения основаны на структурных шаблонах, таких как N-граммы, с учетом гетерархических связей между ними посредством принципа «приоритет порядка». Мы исследовали и выпустили два типа моделей обнаружения: простую бинарную классификацию и модель, основанную на многоклассовом представлении. Мы оптимизировали гиперпараметры моделей и достигли точности 0,92 и F1-меры 0,95 в эксперименте с перекрестной проверкой. Кроме того, мы достигли более чем в 1000 раз большей скорости обработки и меньшей вычислительной стоимости по сравнению с альтернативами, основанными на больших языковых моделях (LLM).

https://ollama.com/huihui_ai/Qwen3.6-abliterated:35b. локальный хороший квен

Имплантационная металлургия — Википедия
https://ru.wikipedia.org/wiki/Ионная_имплантация

GitHub - sgl-project/sglang: SGLang is a high-performance serving framework for large language models and multimodal models. · GitHub
https://github.com/sgl-project/sglang

Metaflow - a framework for real-life ML, AI, and data science
https://metaflow.org/

Langfuse
https://langfuse.com/

Qwen/Qwen3.5-0.8B · Hugging Face
https://huggingface.co/Qwen/Qwen3.5-0.8B

https://www.youtube.com/watch?v=Q7pI3uUwfTI. Как построить ai first компанию

https://github.com/SouravRoy-ETL/slothdb - быстрая встроенная база, типа DuckDB но быстрее и меньше

05.05.2026 🍳 датазавтрак по вторникам ☕️ в Новосибирском Академгородке с 08:30 до 10:00 в "Shurubor coffeeshop" у фонтана ТЦ https://go.2gis.com/wlkqi