[38/100] Витя Тарнавский

I'm back.
Я вернулся.

Наткнулся на отличное видео про AI-агентов от Andrew Ng аж 8-месячной давности.

Мой вольный пересказ вступления:

Если вас попросить написать эссе сразу и без ошибок, у вас скорее всего получится фигня. Но от LLM мы сейчас почему-то этого и ждем. Это ограничение не самих LLM, а механики выполнения работы.

Агентский подход это способ выполнения работы больше «как у людей» - медленней, с рефлексией, с планированием и внешними инструментами.

Если хотели базовое погружение в принципы агентов - посмотрите.

Зачем вы выкладываете модели в опенсорс? Никакой пользы в этом же для вас нет?

Это топ-1 вопрос ко мне в последние пару дней. Отвечаю.

1. Технологичность компании. Мы доказываем делом что мы один из лидеров индустрии. Для инвесторов это знак что мы не просто банк или экосистема, мы - технологическая компания, и можем в будущем строить новые технологические сервисы.

2. Знания и обратная связь. Мы получаем много фидбека и знаний с рынка. Это не про прямой вклад в модели, это про знания о том где ты находишься, что работает что нет, что получается строить на решениях а что нет. Сейчас мы общаемся практически со всей индустрией, этого не было без опенсорса.

3. Команда. Одно дело строить модели внутри, другое дело - строить решения влияющие на всю индустрию. Мотивация команды на небесах, и у нас хотят работать лучшие инженеры. И уже работают.

Когда смотришь на все это, понимаешь что решение однозначно верное.

И ещё. Мы правда хотим развивать индустрию, а не только работать на себя. Уже начали готовить для вас следующий Turbo ML Conf, ждите!

Выложили подробности на хабр https://habr.com/ru/companies/tbank/articles/865582/
Философия нашего подхода, много бенчмарков и детали по дообучению.

Большой день.
Мы выкладываем в опенсорс наши модели T-Lite и T-Pro. И эти модели просто топ 🥳

Мы увереннно выбиваем #1 среди открытых моделей по разным бенчам на русском. По MERA мы взяли #2 модель на русском ещё и включая все API, уступая только GPT-4o.

Это до-тренированный qwen-2.5 в размерах 7B и 32B. Мы провели большую работу: свой токенизатор, глубокое до-обучение на русский и специфичные корпуса. Аккуратная работа с данными. Тех репорты будут.

Этот релиз является подтверждением нашего подхода в LLM: допретрен на базе опенсорса и затем файнтюн под доменные области. Получается значительно лучше результат и мы тратим на порядок меньше денег (не преувеличение).

Пользуйтесь. Модели для инженеров, рекомендуется дальнейший файнтюн, например через наш Turbo-Alignment.

Наш новый HF: https://huggingface.co/t-tech
Лидерборд по MERA: https://mera.a-ai.ru/ru/leaderboard
Остальные бенчи тоже есть, арены будут как прокрасятся

Я слышал легенды про это новое поколение ботов
И вот они ко мне пришли в комменты ))

Google достиг прорыва в квантовых компьютерах и закрыл две важные задачи: смог побороть ошибки при вычислениях и сделал классический бенчмарк для квантовых компьютеров. Это большой прорыв.

По такому случаю сижу разбираюсь в квантовых вычислениях, и обнаружил интересное )

Квантовые алгоритмы напоминают рецепты кузни Асгарда из Марвел.

The Mighty Deutsch-Jozsa Algorithm:
1. Summon 2 Qubits
2. Wield the Hadamard Gate
3. Consult The Oracle
4. Unleash Interference

И выглядит этот компьютер как кусок инопланетной технологии )

Пока все смотрят на релизы openai, большой кусок индустрии сидит на Conversations

Кирилл Петров - CEO Just AI - каждый год открывает классным keynote. Это его слайд про GenAI Value Chain - как ценность идет от производства GPU до конечных имплементаций. Пойнт такой же: пока что до верха не добрались, работаем посерединке.

У меня был похожий в докладе, но у Кирилла он сильно более полный.

И вообще ребята молодцы, классные.

Make AI Mediocre Again 🥴

А пока ждем анонсов от OpenAI посмотрите эту потрясающую фейк рекламу призывающую делать AI тупее и рассказывающую как )
Это реально может сработать пхаха

2 минуты великолепия https://www.youtube.com/watch?v=73rkqkTY6dA

Ого

Кусочек утекшей переписки Маска и Альтмана с 2015

Изначальная идея:
«Manhattan Project for AI» компания, решения которой будут принадлежать миру

Куда нас это привело? ) в обычные рамки капитализма🪙

А с завтрашнего дня от OpenAI пойдут анонсы, начинаем волноваться

AI-агенты это новое открытие года. За 2024 они успели пройти от насмешек до полноценного стека инструментов для построения агентов.

Сила здесь ещё и в понятном бизнес-эффекте: у тебя есть работа, ты её отдаешь агенту, понятно как оценить эффект. Это проще продавать в компаниях и измерять влияние.

LangGraph на коне, есть инструменты для памяти, качества, хостинга и так далее. Сами модели теперь учатся на агентские таргеты, новые релизы моделей целятся в лучшую работу в качестве агентов.

В 2025 все пойдут строить своих агентов и агентские платформы. Вот как про RAG сейчас из каждого утюга, скоро будет про AI-агентов.

RAG за 2024 успел не просто укорениться, а стать мейнстримом. Мы делаем RAG, они делают RAG, моя бабушка тоже делает RAG.

Говорил с директором одного крупного промышленного предприятия - и ему тоже оказывается нужен RAG. Зачем он не знает, но точно нужен!

Эта деталька хорошая и классно что ей научились пользоваться. Векторный поиск уже не вызывает удивлений, и даже многие знают что такое Pinecone и Qdrant.

Здесь индустрия перестраивается в умение правильно готовить данные чтобы их под RAG подкладывать.

Давайте подводить итоги года потихоньку ) Буду вкидывать, вы тоже кидайте хайлайты в чатик. Начну с малого и понятного.

Промпт инженерия как отдельная профессия за этот год успела сколлапсировать и практически умереть.

Два фактора:
- Большие модели научились нормально понимать и плохо сформулированные задачи
- Модели научились сами создавать хорошие production-grade промпты по более вялому описанию

Вообще, всё понятно. Одна из задач LLM это способность понимать запросы людей на естественном языке. Делать для этого дополнительный промежуточный язык это временный костыль пока эти самые LLM ещё недостаточно хорошо решают свою задачу.

Немного картинок интерфейса Plaud

Пару недель хожу с PLAUD Note - физическим GPT-рекордером с расшифровкой и суммаризацией

Красивый очень тонкий девайс, который цепляется сзади к телефону. Нажимаешь на кнопку - и запись пошла.

В приложение прилетает аудио, расшифровка по ролям, саммари и ещё mind map разговора. Спикеров можно обозначить и он эти голоса запоминает. При этом устройство с собственной памятью, можно и без телефона носить.

Пока что скорее игрушка. Распознает в шуме плохо, много ошибок, автоматических писем нет, привыкание не приходит.

Возникает справедливый вопрос - а зачем вообще устройство? Можно же всё в телефоне сделать!

Если честно - не нужно оно. Но если пытаться защитить устройство, ответы будут такие:
- Apple/Google оч тормозят с интеграцией на уровне ОС, отдельные приложения не интегрированы с звонками;
- Запись звонков у Apple уже есть в Apple Intelligence, но не работает в куче стран (во всей Европе, например);
- Удобно включать - просто нажал на кнопку;
- Внешний микрофон у этого девайса лучше.

Очень жду всё это новое поколение LLM-powered девайсов. Кто уже сделает гарнитуру на одно ухо с ChatGPT, ну?

Рассказ про LLM-based продукты с конфы Продукты 24

Рассказываю куда двигаются продукты под воздействием LLM. Получилось очень круто, как мне кажется, я супер доволен )

Вы узнаете:
- Почему Telegram не ищет по мемам;
- Какой самый популярный продукт для создания контента;
- Почему Нейро от Яндекса это не продукт а фича и почему это правильно;
- Какие продуктовые задачи стоит решать с помощью LLM;
- Почему OpenAI начинали с ботов для Dota-2 🧊

И ещё много советов и трендов про мир LLM-продуктов. Welcome!

https://www.youtube.com/live/laFhO99IHz0?t=6512s