DataGym Channel [Power of data]

Вряд ли в трамваях ESM поддержка)

Новый AI Index Report 2024 опубликован!

Сайт: https://aiindex.stanford.edu/report/
PDF: https://aiindex.stanford.edu/wp-content/uploads/2024/04/HAI_AI-Index-Report-2024.pdf

#article
За такие статьи все еще можно читать хабр
Оч советую лайкнуть, почитать или добавить в закладки

Введение в современную квантизацию
https://habr.com/ru/companies/yandex/articles/800945/

#events
Сегодня мы соберемся на митап
Подключайтесь онлайн

Трансляция начнётся в 18:30 вот здесь


- Автогенерация рекламных баннеров на Яндекс Маркете
- Нейросетевое ранжирование для рекомендательных систем
- Направленное шумоподавление в Алисе и как используются несколько микрофонов
- Подмешивания дополнительных элементов в поиске в борьбе за счастье пользователя

подробнее про программу тут
Но можно сразу залетать на трансляцию

see you)

Делаем первый МЛ митап в Белграде

Буду рад вашему фидбеку, просмотрам и лайкам трансляции.

🔹 19:00 — Алексей Березникер, руководитель команды генерации рекламы в Яндексе: расскажет про нейросетевую генерацию ecom-объявлений
🔹 19:40 — Федор Лебедь, разработчик отдела NLP группы YandexGPT Alignment из Яндекс Поиска: расскажет про генеративные модели и методы обучения с подкреплением
🔹 20:40 — Максим Мачула, руководитель службы качества контента в Поиске по Товарам: расскажет, как мы группируем предложения магазинов в карточки товаров и при чём тут HNSW и CatBoost

онлайн тут

Вот вам вечернее залипалово:

Роботы, оптимизация, лабиринты, соревнования
The Fastest Maze-Solving Competition
(ru-перевод) Микромышиные бега — самая быстрая гонка по лабиринту

Смерть EDA Kernel-ов на Kaggle => spotlight

Ладно, юмор и кликбейт.
Но интересный наворот поверх пандаса для недавно прибывших в ml и аналитику на python.
Библиотека для интерактивного исследования структурированного и НЕСТРУКТУРИРОВАННОГО датафрейма

> spotlight.show(df)

Привет,
Если у меня есть ребята из Санкт-Петербурга, приходите в понедельник 😉
Но не забудьте сегодня зарегистрироваться

https://events.yandex.ru/events/data-dojo-09-10-spb

Я терпел, но уже сутки прошли, а никто не написал.

Вышла Mistral 7B (The best 7B model to date, Apache 2.0)

https://mistral.ai/news/announcing-mistral-7b/

⚡️ Анонсируем новую большую конференцию от Яндекса по прикладному ML — Practical ML Conf 2023

Пока вы наслаждаетесь тёплым летом, мы готовим для вас большую конференцию по прикладному Machine Learning — чтобы обсудить все изменения, которые постоянно происходят в ML-отрасли, и то, как их можно внедрить в свои проекты.

7 сентября вас ждут 500 экспертов, 8 профильных направлений и опытные ML-инженеры, которые меняют сферу уже сейчас. Поговорим о ключевых вопросах индустрии: генеративных моделях, Research, NLP, Hardware, CV, RecSys, MLOps и Ecomm.

Если вы хотите прочитать доклад о прикладном ML, то заполняйте форму до 17 июля. А если нет — save the date и ждите новые подробности: скоро мы начнём рассказывать о программе Practical ML Conf 2023.

До встречи 7 сентября на Practical ML Conf в Москве или онлайн!

В рамках #запожертвованиенаблаготворительность хочу рекомендовать митап, но увидев спикеров хочу искренне от себя добавить, что митап хороший.

Большой DS-митап о персонализации от СберМаркет Tech🔥

Встречаемся на Data Science Meetup 5 июля в 19:00 в московском офисе СберМаркета или на онлайн-трансляции.

В программе:

🟡 Как мы делали проект по персональному ML-ранжированию каталога и почему из этого ничего не получилось, а потом внезапно каааааак получилось // Антонина Горячева, и.о. директора по анализу данных в СберМаркете.

🟡 ML-персонализация для карьерной платформы: о продукте, что для него делали, какие проблемы были и как их решали // Петр Чуйков, DS Team Lead, HeadHunter.

🟡 Кросс-категорийные рекомендации в Авито: зачем они нужны, как добавляли и что из этого вышло // Михаил Каменщиков, Recommendations Unit Lead Авито.

🟡 Персональный тарифный план для новой базы: key learnings после запусков пилотов, как и почему реальность разошлась с ожиданиями и что с этим делаем // Дарья Шатько, Data Science Teamlead Мегафон BigData.

После каждого доклада дарим подарки за лучший вопрос 🎁

Регистрируйся по ссылке и до встречи на митапе!

🔥Через 10 минут в комнате Practical ML Stage стартует онлайн программа от Яндекса!

Ловите расписание:
12:50 - 13:45 Нейросетевое составление образов, Екатерина Глазкова
13:45 - 14:25 Калибровка камеры к лидару, Расим Ахунзянов
14:25 - 15:00 Многорукие бандиты в Яндекс Лавке, Евгений Комаров
15:00 - 15:45 Геймификация сбора данных для ML во внутренних сервисах, Владислав Савинов

Все доклады будем показывать в комнате Practical ML Stage, а Q&A и ламповый нетворкинг будет в комнате Practical ML Yandex

Пароль всё тот же: festparroteverywhere23

Всех ждем!

10 лет назад я завалил последний экзамен в ШАД. Но сейчас для разработчиков появилось альтернативное поступление, где у вас проверяют не забытые знания высшей математики, а инженерные знания.

Не упусти возможность учиться в ШАД!

До 6 мая включительно можно подать анкету на обучение в Школе анализа данных Яндекса - двухгодичной программе, по одному из востребованных направлений: разработка машинного обучения, data science, инфраструктура больших данных или анализ данных в прикладных науках.

Чтобы поступить и учиться в ШАДе, важно интересоваться машинным обучением, обладать хорошей математической подготовкой и владеть одним из языков программирования. Для разработчиков с опытом есть альтернативный трек поступления, который включает в себя не только оценку знаний в алгоритмах и высшей математике, но и достижений в исследовательских и/или индустриальных задачах.

Основной язык обучения на программе: русский.

Анкета для поступления (https://clck.ru/34GwCS), чат для поступающих (https://t.me/+DQ1j7epbIlNmNjFi).

В рамках #запожертвованиенаблаготворительность хочу дать слово Александру. Вы тоже можете поддержать, просто подписавшись на его канал.

Всем привет! Меня зовут Александр, работаю на позиции Middle DS. Постараюсь в двух словах рассказать, о чем мой маленький канал @gptscience 🤖

📰 Свежие новости из мира GPT-генеративных моделей.
👨‍💻 Создание приложений с помощью GPT-4.
😐 Посты с ликбезом и объяснением сложных нейронных архитектур простым языком.
🤓 Ежедневные посты, где я сам ручками показываю то, что можно создать с помощью новых технологий.

Если хотите помочь с развитием канала, а также получать качественный контент, буду рад вас видеть на своем канале - https://t.me/gptscience

*Сгенерировано с помощью chatgpt🤖

Вышел kandinsky 2.1
Почитать можно тут

А это код, который дергает публичную API (пока работает)
Можете погенерировать картинки на любом тапке с установленным питоном

UPD: Но ожидания в очереди жесть)

import PIL
import base64
import io
import requests
import time

text = "комикс игра престолов"

wtf = '----WebKitFormBoundarywlnxcaZpV1ghiA4E'
cdfdn = '\r\nContent-Disposition: form-data; name='
api_url = 'https://fusionbrain.ai/api/v1/text2image'
api_url_run = api_url + '/run'
api_url_pockets = api_url + '/generate/pockets/'

data = (f'--{wtf}{cdfdn}"queueType"\r\n\r\ngenerate\r\n--{wtf}' +
               f'{cdfdn}"query"\r\n\r\n{text}\r\n--{wtf}' +
               f'{cdfdn}"preset"\r\n\r\n1\r\n--{wtf}' +
               f'{cdfdn}"style"\r\n\r\n\r\n--{wtf}--\r\n').encode()

response = requests.post(api_url_run, headers={'Content-Type': f'multipart/form-data; boundary={wtf}'}, data=data)
pocket = response.json()['result']['pocketId']
time.sleep(3)
response = requests.get(api_url_pockets + f"{pocket}/status",
    headers={'Content-Type': f'multipart/form-data; boundary={wtf}'},
)

while response.json()['result'] != 'SUCCESS':
    print(response.json()['result'])
    time.sleep(3)
    response = requests.get(api_url_pockets + f"{pocket}/status")

response = requests.get(api_url_pockets + f"{pocket}/entities")

msg = base64.b64decode(response.json()['result'][0]['response'][0])
buf = io.BytesIO(msg)
img = PIL.Image.open(buf)

img

@powerofdata

8 лет ODS, а на деле больше.
Сколько друзей, коллег, работ и движа.

Спасибо всем, кто участвовал.
Сообщество, в первую очередь, это участники.

В комментариях буду рад услышать ваши cool story про ODS. 💔

Яндекс выкладывает в опенсорс одну из основных инфраструктурных BigData-систем собственной разработки — YTsaurus. Это платформа, предназначенная для распределённого хранения и обработки больших данных.

Максим Бабенко, руководитель отдела технологий распределённых вычислений в Яндексе, рассказал историю возникновения YT, а также зачем нужна YTsaurus и где её можно применять.

В Github-репозитории — серверный код YTsaurus, инфраструктура развёртывания с использованием k8s, а также веб-интерфейс системы и клиентский SDK для распространённых языков программирования — C++, Java, Go и Python.

Ссылки на посты на Хабре и Медиуме.