ChillHouse

У меня есть такой противоречивый довод один. Вообщем про предпринимателей и бизнес. Практически каждый «эксперт» последние десять лет продавал: насмотренность, софт скилы, кругозор и прочую муть. И всегда говорилось «мол не обязательно прям знать вот детали, главное умение видеть куда бежать». Так вот аи мне кажется темку то поменяет. Невозможно теперь и в будущем будет знать куда бежать, если ты прям не супер глубоко в теме. Прям очень сильно понимание важно. Ибо все остальное коммодизируется через аишку.

Тут конечно скажут мол останется много всего, где невербальная составляющая много значит. Ну и пусть. Я лишь про tech. Посмотрите на качество вайб кодинг продуктов от «именитых» фаундеров. Им дали в руки лучшие инструменты. И что мы видим? В большой степени это все никому не надо. Потому что их сила была в «умении управлять командами», продажах и прочем. Но не в качестве решения/продукта. А чтобы сделать качество нужно шарить знатно. Теперь школьник который шарит быстрее продаст потому что его решение лучше и дешевле. И это можно будет доказать и показать. Ибо инструменты теперь у всех одни.

Другими словами легкость производства сильно обесценит очень большую категорию «бизнесменов прошлого» и они не смогут адаптироваться. Так как учиться новому крайне тяжело особенно в такой быстрой индустрии. Prove me wrong.

Тут вышли Kimi k3 и вот сейчас выходит новый Qwen 3.8 max, который тоже будет ака «fable class model». В интернетах будет туча отзывов, мол смотрите модель умеет все что умеют большие лабы. Попробуем чуть чуть под другим углом посмотреть. Так как релизы очень важные, но смысл иной.

За долгие годы мы увидели, что китайцы догоняют западные модели. В основном скупают трейсы и данные «типа дистиллят». Надо понимать что дистилляция сама по себе это не тупо копировать, это для rl как бы холодный старт решает. Поэтому это важно конечно «воровать» данные, но не решает сильно. Далее ребята очень хороши в архитектуре и обучении на старых видяхах и кластерах. Это круто. Плюс open source (тут директор по политике OpenAI, он кстати реально политик, началь писать в тви и обосрался знатно, я такого бреда от такого ранга людей не видел в интернете давно, как будто чел в интернете вообще не сидел ни разу, а пишет что в инете с детства, почитайте сами ибо это интересно). Но важно понимать, что основной эффект этих релизов это публичная информация о том, что многие задачи можно довести до очень высокого уровня и качества просто сделав хороший rl. См frontend arena. Там Kimi k3 рвет всех и вся включая sol & fable. То есть не обязательно брать архидорогую новую топ модель и платить тонну денег, если тебе нужно только решать определенный тип задач. Другими слова стартапы как thinking machines & engram.ai ровно это и делают. Типа приходи дорогой энтерпрайз и мы все для вас сделаем. И теперь это поняли все бизнесы в мире. Здоровая конкуренция наконец-то!

Такие дела.

Ну что ж, вот и наш первый релиз на архив.

we achieve a 4.37-fold speedup over autoregressive decoding, and outperform a highly optimized DFlash baseline by 24.7%

Это спекулятивный декодинг. SOTA(ну на qwen3.6 точно). Бьем все, что есть известного в паблике (ну dflash). Супер важная тема для быстрого инференса на устройстве, особенно когда понимаешь задачу.

GitHub
HF
Поддержка в нашем инференс движке скоро доедет

У кофаундера thinking machines Lilian Weng всегда интересные посты. На этот раз про то как делать харнесы или обвязки/среду для работы моделей для решения определенных задач.

Я бы сказал, что очень важный пункт, который очень часто отсутствует у «на коленке» харнесов это вот такая штука:

The design should be deliberately simple and generic to enable generalization, likely with reference to existing software engineering practices to benefit from prertaining knowlege.

Ну и мой take что мы будем редизайнить современные OS вокруг вечно работающего в фоне AI (то есть инференс должен как бы крутиться вечно в фоне).

Заметки с полей. Мы используем кодинг агентов для всяких задач. Но именно end2end для экспериментов, поглядеть что к чему (там переписать тестовый апп с электрона на rust и тому подобное).

Так вот у меня сложилось впечатление, что fable от Anthropic это первая модель, которую надо уже думать куда натравлять. Иначе это оооочень дорого. То есть просто для себя повайбить эта штука не подходит. И мы приходим к простой мысли. Чтобы понимать куда ее направлять нужен человек, который знает и умеет. И у меня четко в голове складывается картинка и почему в лабы нанимают тоннами.

Как никогда в индустрии спрос на хард скиллы вырос жестко. Спрос на понимание, навыки, интуицию очень высокий. Ибо остальное закроет модель если надо. Но если нет навыков и понимания сгорит тонна денег. Мы увидим множество внедрений, которые провалятся не потому что модель не эффективна, а потому что human in the loop не смог. И если раньше на такой вывод требовались годы, испытательные сроки, то теперь можно понять за месяц и все.

О, fable возвращают

Свежий тренд в долине. Вдруг (интересно почему же) многие осознали, что затраты на токены антропика и опенаи слишком высокие и может можно как-то уменьшить. И у гениальных людей появилась идея заделать тонну стартапов по посттрейну сеток на данных компании итд. Подняли 200м даже (конечно напишут красиво обо всем и вся что будет там как продукт).

В целом идея неплохая для Энтерпрайза. При наличии хорошей команды можно повторить на любом рынке или около того. Интересно вообще ведет себя рынок перед AIs IPO.

Помните спрашивали про децентрализованный инференс и все такое. Так сказать пища для размышления:
- вот так выглядит нормальный стек, как думаете реально заставить игроков поставить так сказать?
- в чем принципиальное отличие от обычной клауд инфры с OSs моделями? (OpenRouter?)
- ах да инференс сам по себе должен идти вместе с другими тоннами фичей
- если модели мелкие что их может хостить обычный чувак, то это значит их можно запускать локально, а значит бесплатно
- ну и да, кто блин обеспечивает SLA, поддержку, да что угодно важное для бизнеса? Правильно - никто.

И давайте никогда не пользоваться тем, где есть слово «утилити токен», нас же жизнь чему-то научила.

Но наверное поиграться кому-то может интересно.

Айяйяй

Немного наблюдений. Про «поиск работы». Регулярно натыкаюсь на русскоязычные посты ака «я крутой, но такие дела, ищу работу». Попробую со стороны нанимающего высказать свои пять копеек:
- если кто-то очень крутой, прям безумно вау и все вот такие метафоры в комментах «ты вау», то какого извините хрена ищешь работу? Должны быть причины и если есть неконтролируемые обстоятельства именно с них я бы начал
- все эти странные чисто наши присказки: моя суперсила, лучше всего я умею видеть «прибыль/системность/собирать смыслы и превращать их в релизы И так далее» это про что? Никогда не понимал все эти абстрактные описания. Представьте что футболист своему агенту говорит «я вижу философию команды и умею понять как собрать волю в кулак и играть». Так блин все такие. Дайте что-то, что можно пощупать
- первое я сделаю это пойду возьму референсы, если позиция выше линейной, а в описании ровно про это и тогда мне все ваши «поиски смыслов и умение собрать системы» пофигу
- бывает по-разному в жизни, но всетаки необходимо свою крутость привести к измеримому руслу либо через референсы либо через метрики
- исключите свои вайбкодинг поделки пожалуйста, они показывают ваше полное не понимание рынка чаще чем наоборот

И я ни разу от кого-то на рынке сша, где типа конкуренция похлеще не видел постов в стиле «я супер крут, но дайте денег ищу работу». У меня в голове как-то эти две вещи плохо сходятся. И наверное поэтому так тут не делают. Edited: на позиции выше линейной.

Мои рекомендации, после просмотра тонны резюме и чтения постов и реального поиска людей к себе:
- пишите честно что делали и сделали, не украшайте, если ваша позиция не линейная
- фокус конечно же на том что важно в отклике
- уберите все суперсилы, нытье, ситуацию в жизни и долгую историю, это отбивает желание говорить (мы ведь незнакомы)
- показать желание важнее всего
- укажите кто вас может порекомендовать

Было много работы. Но тут и новостей прикатило:
- забанили fable от антропика, там какая-то муть если честно и политика
- купили интерком за 3.6 ярда
- купили cursor окончательно за акции на 60 ярдов (получается самая дорогая покупка стартапа? Хотя пофиг)

А тем временем хорошая картинка про органические запуски без маркетинга и залива и трафлом

Btw релизнули свой первый результат в рисерче.

Выкатили первые квантизованные версии моделей Qwen 3.5.

За счет совместной оптимизации квантизации и движка инференса нам удалось заметно обойти Unsloth/llama.cpp и MLX по ключевому компромиссу «качество vs скорость». На устройствах Apple от iPhone до мощных Mac модели выдают на 40–60% больше токенов в секунду без потери качества.

Пост

hf collection

Заметил такую штуку за «успешными инвесторами и предпринимателями». Очень часто пишут советы мол: не цепляйся за ошибки слишком долго, умей проходить их или не пытайся реализовать сто идей сразу, вкладывайся в что-то одно и держи фокус. Ну вы поняли, вот эти стандартные рельсы. И следом обычно я созваниваюсь с этим человеком, у которого один из последних постов именно такой и спрашиваю че как дела. И он делает сто идей сразу, ему пофиг на людей, главное идея и так далее. Или другими словами полностью противоречит тому, что сам пишет и другим советует. Встречали?

На заметку пользователям Claude. Но вообще очень взвешенная статья вышла. Крайне не похоже, что Дарио ее смотрел.

Without that judgment, Claude is a capable assistant, but not a system that could drive AI progress on its own.
It is genuinely unclear whether today’s training methods and architectures could unlock that capacity.

Наброшу в копилку про фронтир лабы. Часто в интернетах любят рассуждать про Open Weight Models. Мол скоро вот вот они догонят и всегда поджимают. Что думается мне после общения с разными людьми и какие проблемы я вижу:

• проблема таланта, как нанять команду делать небольшую или открытую модель, если норм рисерч талант в антропике получает 10м в год (реальные цифры), и это тебе еще надо compute и все такое
• допустим ты готов инвестировать в обучение людей годик другой, но тогда догонять будешь очень долго - как решить? ну надо поднимать сотку другую сразу и чилить, иначе я не очень понимаю в чем конкуретное преимущество в оффере
• но допустим ты привлекаешь апсайдом, тогда ходит такое мнение что "мол фронтир модели это 90% рынка в деньгах", откуда брать данные на обучение и RL, то есть буквально все покупают только "самое лучшее" (готовы давать рычноную премию к "модель чуть получше" - 20% больше платить или даже в 2 раза)
• условный Opus в 10 раз дороже китайских моделей и все его покупают
• в такой ситуации конкуренция усложняется еще тем, что процесс дистилляции начинают прикрывать тем самым что есть закрытые модели для индустрий и даже специальные деплой команды, которые эти модели в закрытом режиме интегрируют (см мифос, и математические модели openai). Или другими словами задистилить модель в claude code будет легко, но вот ту которая работает в банке - никак.


Все это напоминает типичную олигополию и места для OSS думаю со временем не будет за исключением определенных вертикалей или решений. Думаю что китайцы делают все открытым чтобы хотя немного данных иметь и привлекать людей. Других причин настоящих не вижу.

Ах да децентрализованный инфернес чушь.

Когда вы уверенно питчите свою идею опытному венчуру

Ok ok продано

Нашел отличный обзор про решение проблем Эрдеша. Крайне рекомендую. Ну и я уже говорил, что в целом канал топовый (хотя лайфстайл посты не мое).

То есть сейчас AI занимается тем, чем люди заниматься вряд ли могут по своей человеческой природе: систематически прочёсывает поле. Тот факт, что в этом поле обнаруживаются нерешённые задачи Эрдёша — это скорее факт о состоянии человеческой математики, чем об AI-моделях. Но, тем не менее, факт.