[38/100] Витя Тарнавский

Channel name was changed to «[23/100] Витя Тарнавский»

https://toloka.ai/ - международный спин-офф проекта Яндекса по разметке.

Ребята переключились на GenAI: evaluation, разметка для SFT и RLHF. Это основной заработок компании сейчас.

Клиенты - компании, которые создают LLM с нуля или затачивают LLM на профессиональные домены. Толоку использует, например, Amazon.

Если раньше им были нужны дешевые разметчики которые могут отделять кошек от собак, то теперь нужны эксперты по вертикалям знаний. Стоимость заданий для таких специалистов может быть в 100 и 1000 раз больше. Фактически, ребята строят комьюнити экспертов в 40+ вертикалях знания. Вот тут можно посмотреть кого ребята ищут, оч интересно - медицина, финансы, логистика и так далее.

Ребята базируются в Амстердаме и являются частью Nebius Group

Ответ на вопрос «Кто такой Витя Тарнавский»

ChatGPT видит канал 😅 передаем привет в OpenAI

Но ответ Perplexity дает более полный.

Понеслась жара. OpenAI запустил поиск по интернету внутри ChatGPT.

Сразу подключили вертикальные инструменты: источники новостей, погоды, стоков и так далее. The way to go!

Пока что только в 4o модели.

https://openai.com/index/introducing-chatgpt-search/

red_panda это https://www.recraft.ai/ - стартап Анны-Вероники Дорогуш, создательницы CatBoost. Аня - соло фаундер, редкий тип фаундеров.

Ребята делают AI-генеративные инструменты для дизайнеров. И делают их командой лучших в мире инженеров.

В очередной раз видим что для создания AI-компании нужны топовые инженеры. Просто идеи и желания недостаточно.

Recraft go! ❤️

На text-to-image leaderboard на HF появилась загадочная red_panda которая рвёт все остальные модели аж на 29 elo points.

Это такой новый флекс: сначала выкладываешь анонимно модель которая всех рвет, держишь интригу неделю, и потом громко рассказываешь.

На этот раз будет чем гордиться 😉 (нет, не тбанк)
Как откроются - расскажу!

Это Лёша Шевенков, CTO Hepsiburada, одного из крупнейших маркетплейсов в Турции. Их недавно купил Kaspi, казахстанский банк. Такой вот странный мир!

Лёша смеется при упоминании проблем с высокой ключевой ставкой в РФ. В Турции ключевая ставка - 50% 😅

Gigachat MAX / YandexGPT 4.0

Вчера два наших технологических лидера представили новые версии своих моделей. Да, день в день 🤔

Gigachat MAX — 32k контекста, серьезный прогресс по MERA
YandexGPT 4.0 — 32k контекста, "близки к gpt-4o"

Сравнить довольно сложно. Сравниваются компании по своим бенчмаркам, прямого сравнения как будто избегают, третьих площадок для сравнения скорее нет. Даже перевод mmlu у двух компаний разный.

По относительным позициям в бенчах мой вывод такой: модели довольно похожи и находятся на уровне "несколько лучше llama 3.1 70b" и "значимо ниже gpt-4o". Собственно, это их два основных конкурента на нашем рынке.

Долгосрочно, мерило — это рынок. Бенчмарки хороши для первичной оценки, но на практике всё может быть иначе. Это как разработчиков сравнивать по их характеристикам.

Радуюсь за ребят - оба релиза выглядят крутыми, особенно на фоне дикого отставания в железе.

Недавно CPO Лавки Никита Толстой (🫂 hugs bro) запустил агрегатор для телеграм каналов за несколько часов в обнимку с ChatGPT. Код Никита в жизни в целом писал, что важно.

На этом примере хочу донести простую мысль, которую подсмотрел в Y Combinator подкасте про replit.

Способность программировать с развитием технологий открывает всё больше возможностей.

- 20 лет назад опытный разработчик мог написать за пару часов сортировку. Вроде полезно, но не очень.
- 10 лет назад средний разработчик собирал за несколько часов небольшой сайт, если имел в этом опыт. Уже сильно больше пользы для общества.
- Сегодня Никита Толстой может собрать интеллектуальный законченный продукт без знаний конкретных библиотек и подходов и вообще с другой работы.

Завтра - больше.

Да, немного про no-code. Возможно, когда-нибудь и придет фаза победившего low-code/no-code, но пока что практика скорее обратная. Самые классные платформы ускоренной разработки основаны на генерации кода и возможности с ним работать, а не на blackbox кубиках.

Учитесь программировать.

Мои любимцы Perplexity не отстают и недавно запустили advanced pro search в котором тоже есть multi-step reasoning как они его сами называют.

В духе Perplexity в ответе есть все источники (легко всё проверить). Правда, на этом запросе потеряли один важный источник.

Кто-нибудь знает бенч или арену где можно сравнивать результаты на подобных сложных кейсах?

В комментах очень верно напомнили что результат надо проверять.

Моя практика такая:
- если просить o1 проверять информацию и не выдумывать то по опыту ошибок почти нет
- помогает проверить пару чисел по источнику

В целом все как с живым консультантом, только быстро работает. Как по мне так получается предсказуемей и управляемый чем люди.

И напомню что все текущие решения это копилот а не замена человеку.

Как использовать o1 от OpenAI

o1-preview это недооцененная алмазная кирка про которую пока не знают финансисты и бизнес-люди. Модель нужно использовать в сложных задачах где нужно подумать. Это может быть исследование, написание стратегии, сложный анализ информации.

Давайте сразу на примере.

Допустим, мне понадобилось посмотреть на рынок FMCG в USA - доля онлайна и динамика, основные игроки, как всё вообще устроено.

Я на лету из головы пишу такой запрос:

I need a research about online fmcg market in USA, actual for 2023.
- main online players and shares in GMV and orders if possible - in table format
- distinction of main players in terms of product prop, region and any other interesting details
- what ecosystem they are part of if any
- any other important details
- share of online market and dynamics in 10 yrs span

all data should be from reliable sources, check it plz. and make the report compact

И получаю вот такой потрясающий отчет - посмотрите!

Этот отчет отлично структурирован, данные как я просил в табличке, все ссылки на источники есть, всё отвалидировано. Я получил ответ за 32 секунды. Я бы ковырялся 3 часа чтобы собрать все эти выводы.

Модель пока не умеет работать с вашими файлами, но полноценная o1 уже анонсирована, ждем. Тогда это станет x100 инструмент для исследовательско-консалтерской работы.

Используйте!

90% качество AI продуктов

ML основан на статистике и вероятностях - значит, в фундаменте заложена вероятность ошибки.

Ваш ассистент подумает что шенжень это женьшень и отправит человека на Алтай, ваша камера будет видеть в котенке qr-код, ваша Алиса будет реагировать на подлизу.

Вам нужна метрика качества. Хотя бы такая простая: какой процент реальных задач пользователей вы обрабатываете правильно. Без прибора качества развивать AI продукт не получится, можно только демку собрать.

В среднем люди считают что продукт работает «надежно» или «хорошо» если он имеет качество 90%+. Это может казаться как «много» но на самом деле это буквально «ошибся каждый десятый раз».

Обычно AI-метрик качества несколько и строить их довольно сложно.

Работа над AI продуктом это прежде всего правильное построение метрик качества и потом работа над получением заветных 90+. Вот здесь вам и нужны лучшие инженеры и лучшие умеющие работать с этим продакты.

Высокоскоростные поезда в Китае едут с сильным креном на поворотах чтобы держать скорость на повороте.

На видосе смотрите на горизонт, постарался его держать ровно. А поезд под углом.

Ощущения как на американских горках!

Прямо в навигаторе подсвечено сколько секунд до зеленого на светофоре. Будущее!

Это все та же государственная система обмена дорожной информации, к которой подключены все навигаторы.

Skyscanner, TripAdvisor и другие компании с картинки это на самом деле китайский trip.com - один из самых крупных международных travel-игроков.

Они инвестируют $400 млн в год на искусственный интеллект. При этом ассистент у них в приложениях косячит на глазах и вклада в бизнес не делает.

На поддержке, правда, 70%+ запросов они оптимизируют. Это как будто стандарт индустрии - 70% оптимизация поддержки за счет AI.

Каждая уважающая себя тех компания в Китае делает свой копайлот интерфейс похожий на UI ChatGPT. И непременно на своих моделях.

Причем не очень важно комплиментарно ли это их бизнесу ) Baidu, Alibaba, Tencent - все они.

Как я понял из разговоров, это такое доказательство что они действительно делают AI.

Не люди ищут товар, а товар ищет людей

Пропитываемся мудростью от ByteDance - создателей TikTok. Их ключевое стратегическое убеждение такое: раньше люди искали контент, а теперь контент ищет людей.

Раньше люди читали новости сами и искали информацию в интернете. А теперь всё наоборот: люди смотрят в тик-ток или другую трубу получения информации, а уже сервис сам подбирает информацию которая человеку нужна.

Они уже сделали это с контентом в TikTok и активно делают с товарами. Сегодня тик-ток это еще и крупная e-commerce площадка.

Кстати, tiktok в Китае это 700 млн dau 😅

Вот это прикольная тема. Автопилот Baidu видит участников движения не только своими глазами, но и глазами дорожных камер.

В Китае есть государственная система обмена информацией в которую можно воткнуться если ты делаешь self-driving. И это позволяет видеть в том числе участников движения вне зоны видимости. На видео - желтым цветом.

Они вместе с правительством двигаются к роевому управлению флотом. Это когда автопилоты знают друг про друга и управляются совместно. Если при этом убрать живых водителей, можно разогнать машины по скорости и при этом сделать движение безопасней.