Embrace the data

Давно откладывала создание личной веб-страницы, хоть и очень хотела.

Какое-то время пробовала разные latex-like шаблоны и немного кринжовый сервис с заготовленными стандартными страницами вроде bio.site. Полгода у меня в статусе даже присутствовала ссылка на последний.

Но желание сделать свое, хоть и кривоватое, все равно меня не отпускало.

Периодически я сталкиваюсь с разговорами с налетом страха о том, что нейросети нас заменят. Однако я пока что вижу только плюсы в виде упрощения рутины. Долгая боязнь чистого листа заставляла меня откладывать создание этого небольшого проекта, но благодаря небезызвестной ChatGPT я наконец-то сумела начать и создала страничку со всей важной информацией о себе.

Опытные фронтендеры и дизайнеры могут меня, конечно, поругать, но я очень довольна результатом! За ним стоит много промптов, экспериментов и в том числе моя длительная ручная правка. По началу предложенные нейросетью варианты были очень кринжовые не очень, но в итоге пришло видение конечного результата в процессе работы над основным сгенерированным костяком кода.

Как человек, который понимает основную часть этих ваших div-ов кода веб-страниц, но с трудом может начать проект с нуля, для меня это оказалось удобным способом дать себе толчок в нужном направлении. Советую как стартовую точку, если хотите создать что-нибудь похожее. Не бойтесь пробовать! 😅

P. S. еще это отличный повод немного познакомиться со мной новоприбывшим читателям 😈

https://www.youtube.com/watch?v=O9Q7oVES7hs

Неплохой короткий рассказ о применении языковых моделей в теме излюбленной лабораторией биоинформатики вшэ предсказания Z-ДНК - плохо изученной необычной пространственной структуры ДНК, отличной от привычной нам двойной спирали.

Если вы биолог и хотите узнать, как помогают трансформеры в задачах биологии или программист, который хочет узнать, как подобраться к биологическим задачам, то вот неплохой пример.

П. С. Единственное, мне не очень нравится, что он называет языковые модели чат-ботами. Все-таки этот термин подразумевает другой функционал, хоть и более понятен широкой аудитории.

киберпанк близко

Открыт прием заявок на Лето с AIRI!⚡️

В этом году мы запускаем Школу совместно с Передовой Инженерной Школой ИТМО. Программа пройдет в Санкт-Петербурге с 20 по 30 августа.

🗓 Подать заявку можно по ссылке до 23:59 14 июля 2024 года.

Школа включает в себя лекции, семинары и практическую работу по направлениям:

— Мультимодальные архитектуры и генеративный ИИ в промышленности
— Модели воплощенного ИИ и обучение с подкреплением в робототехнике
— Искусственный интеллект и химия
— Доверенный искусственный интеллект

📍Питание, обучение и проживание бесплатное, оплатить самим нужно будет только проезд.

Подавайте заявки и делитесь постом с друзьями и коллегами!

Объявлен набор на летнюю школу от AIRI!

Была на летней школе от РАИИ (Российской ассоциации искусственного интеллекта) и на школе от AIRI в Сириусе. Эти мероприятия помогли расширить мой научный кругозор и дали мне второе дыхание в этой области. А на последней я даже начала работу, которая в будущем оформилась в статью на EMNLP.

Очень хотела бы попасть на нее в этом году, но со своей занятостью не уверена, что получится. Но есть шанс попасть на нее и у вас - подавайте заявки и не бойтесь пробовать новое :)

По мотивам сегодняшнего дня
И вчерашнего
И, видимо, завтрашнего

Статья с нашими дата артами!

Наталья опубликовала блог-пост о том, как решилась на создание дата-арт коммьюнити и к чему это привело.
И даже получила отклик от Giorgia Lupi! Я считаю, это успех :)

Идем скорее читать!

Ура, LLM для татарского!
Все популярные модели, которые я пробовала до этого, были с ужасным качеством ответов на татарском. Может хоть эта не подведет :)

https://huggingface.co/Tweeties/tweety-tatar-base-7b-2024-v1

страшно, очень страшно
хочется писать и делиться, но не покидает ощущение того, что ты тот самый

На выходных удалось побывать на конференции merge в Иннополисе.

Докладов про ds и ai было не так много, но провести выходные среди коллег было замечательным опытом. Многое рассказанное про MLOps и разметку данных было уже известно на опыте. Однако полезным и увлекательным оказался доклад от сбера про настройку RAG пайплайна с GigaChat. Тут есть пост на Хабре об этом, если вам интересно.

Из не совсем практически применимых на данный момент, но увлекательных докладов оказались доклады в стартап секции. Никогда не думала, что меня это увлечет, но послушать про опыт ребят в создании своих продуктов, сложности в управлении ресурсами и командами оказалось очень даже неплохо.

Неожиданно полезно выходить за рамки своей экспертизы и интересоваться чем-то совершенно новым, чтобы дать себе передышку и получить новых идей и мотивации работать работу и жить жизнь :)

🌸Большой пост про Llama 3🌸
#nlp #про_nlp #ai_alignment

На прошлой неделе вышла Llama 3 — опенсорсная языковая модель от Meta.

С постоянными обновлениями (GPT-4-turbo update, Command-R+, Mistral...) почти каждую неделю за релизами можно и не угнаться, но эта новость — совершенно особенная.

TLDR: Быстро выпустили две версии модели — 8B и 70B — а 400B еще не доучили. Уже сейчас это лучшее в опенсорсе и лучше некоторых закрытых моделей.

Качество
🟣Так как это ранний релиз, можно увидеть опубликованные бенчмарки — это самая качественная модель среди открытых.
Хотя разница в SOTA не очень большая: MMLU 5-shot — 82%, а тот же Gemini Pro — 81.9%. Но Gemini Pro закрытая!
Бенчмарков пока не много, и явно напрашиваются еще хотя бы TruthfulQA, MT-bench, та же самая GAIA от ЛеКуна.

🟣Интересно, что бенчмарки разнесли на 2 группы — на одних тестят претрейн (MMLU, Big-bench, ARC, AGI-Eval), а на других — instruct-файнтюн версию (MATH, GPQA, GSM-8k...). Хочется увидеть результат на тех же бенчмарках после файнтюна! Из общих пока только MMLU (на нем метрики от дообучения выросли на 2%).
Детали тестов на Github

Лицензия
🟣Лицензия, как и в случае с Llama 2, не совсем открытая, разрешает коммерческое и некоммерческое использование с условиями — никаких незаконных применений и т.д.

LLM-новизна
🟣Модель — декодерная, не MoE. Окно контекста в претрейне 8192 токенов, дополнительный вид аттеншена — grouped query attention (GQA).

🟣Как заметили, огромный бюджет и человекочасы вложены в разметку — 10 миллионов примеров с аннотациями. Возможно, разметка полуавтоматическая, тем не менее, это очень впечатляющий корпус для дообучения. В статье InstructGPT в PPO части примеров было 50 тысяч.

🟣В описание релиза добавили пару строк про обучающие данные — это 15 триллионов токенов, 95% из которых — английский. Всего добавили 30 языков, высококачественные данные из которых добавляют оставшиеся 5%. Можно предположить, что это наследие XGLM, но это исключительно мое предположение. (Датасет XGLM был больше, но не такой качественный, хотя его можно пофильтровать, особенно с новой библиотекой и датасетом FineWeb от HuggingFace, которую приурочили к выходу LLama 3)

Продуктовая новизна
🟣Объективно, релиз очень продуктовый, в хорошем смысле. Сразу пообещали, что модель будет доступная на основных клауд-провайдерах — AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM, и Snowflake. Приятно видеть, как правильно реализуется возможность корпорации эффективно внедрять R&D — инфраструктурно-платформенной интеграции такого масштаба, наверное, нет ни у одной LLM.
🟣В интервью Марк также заявил, что модель будет активно внедряться во все продукты компании. Это сразу сделает Llama 3 одной из моделей с самым широким дистрибьюшеном.

🟣AI Assistant на основе Llama 3 обосновывает ответы сразу на двух поисковых гигантах — это и Bing, и Google. Это мощь!

Что обещают дальше?
— больше поддерживаемых языков
— Llama 4 и 5 не за горами!

Открытые вопросы
Лично мне интересно больше всего
— Будут ли заявлены какие-то фундаментально новые особенности модели, emergent properties, новые применения, которые раньше представить было нельзя?
— А что с длинным окном контекста? Оно будет? Как женить Llama 3 с RAG, какой в целом процент галлюцинаций?
— AI Safety и Open Source. Обойти Сциллу и Хорибду с рисками очень сложно.

Статью еще не выложили, и не все бенчмарки тоже. Можно предположить, что роадмапы всех LLM-стартапов, как и в прошлом году, очень сильно завязаны на релизы друг друга и желание так или иначе занять хоть на неделю верхнюю строчку в лидербордах. Даже если они не очень показательны.
Llama в топе будет надолго, по крайней мере в топе открытых LLM.

Очень долго откладывала проект, а в итоге ✨попала в шортлист✨

Мой проект, основанный на переписке с мужем и анализе текста наших сообщений языковыми моделями вошел в шорт-лист финалистов data2speak award.

Не обошлось без переделок, но стоит честно признать, что не смотря на свои художественные наклонности мне еще очень далеко до профессиональных дизайнеров. Спасибо людям, которые давали фидбек, это супер ценно 🥺

Я очень сильно сомневалась в решении отправлять работу из-за хронического синдрома «недостаточно хорошо». Но хочу поблагодарить всех, кто поддерживал меня и давал силы не бояться пробовать.

Гипотеза о том, что нужно ошибаться, но пробовать и не останавливаться, все еще не теряет актуальности. Пробуйте! Особенно, если чешутся руки и есть интерес.

Участвуй в хакатоне от Центра ИИ МФТИ и Сбера ⚡️

📌 В рамках хакатона DeepHack.Agents тебе предстоит создать своего ИИ-ассистента для научных исследований с помощью фреймворка GigaChain.

Дата: 23-28 апреля.
Формат: гибридный.
Призовой фонд: 500 000 рублей.

В последний день хакатона у тебя будет возможность пообщаться с экспертами вживую и собраться вместе с другими участниками! 🔥

Хакатон подойдёт для тебя, если ты:

– Студент технического вуза
– Разработчик
– Аналитик
– Учёный или интересуешься наукой

Регистрироваться можно как готовой командой, так и собрать её с нашей помощью.

❗️Успей подать заявку до 22 апреля 23:59, МСК по ссылке

На правах рекламы предлагаю поучаствовать в интересном хакатоне!
Если вам интересно попробовать в действии русскоязычные LLM технологии и получить обратную связь от опытных менторов, то велкам ❤️