Роман с данными

На канале 1000 подписчиков!
И знаете что это значит?
Я решил снова провести ребрендинг и делаю канал с личным позиционированием.
Как-то не откликается мне Лебоски, которого макают в сартир на аватарке😬

Да и судя по статистике, личный авторский контент лучше разлетается и заходит подписчикам.
Долго думал как назвать, и решил: пусть будет "Роман с данными".

Логика такова:
- Я Роман? - Роман
- Занимаюсь сбором и разметкой данных уже 7 лет? - Занимаюсь
- У меня роман с данными? - Даже если не роман, то симпатия точно есть

Так что буду тут чаще делиться новостями/инсайтами/своим мнением о все что связано с данными, ML и ЛЛМками. Если вы поддерживаете ребрендинг - ставьте ❤️

Всем привет! На связи Роман Куцев.
Много интересных проектов запускаю в последнее время. И об одном проекте я сегодня хочу вам рассказать)

Месяц назад я создал своего цифрового аватара, чтобы они вел соц сети вместо меня.
Тематику и миссию проекта выбрал следующую: освещать передовые события в сфере AI, нейростетей и показывать людям, как с помощью новых технологий оптимизировать свою работу.

Первый месяц прошел успешно. Завирусились видео и в ТикТоке, и в инсте, и на ютюбе.
Цель: 10к подписчиков до конца лета.
Так что призываю всех следить за моим цифровым аватаром и ставить лайки!)

Всем привет, Роман Куцев на связи!

Продолжаю делиться своими выступлениями, которые накопились за прошедший год.
В этом докладе я решил осветить важную тему:
Как же можно достигать высокое качество при разметке данных.
Хоть правила и советы крайне простые, но внедрение их в ваш пайплайн разметки даст сильный прирост качества (проверено на Training Data)

Ссылка на видео 👇🏻
https://youtu.be/mdQqRh-IPD8

Всем привет, Роман Куцев на связи!

Прошлой осенью заезжал в гости к Евгению Никитину, автору канала Варим МЛ, и заодно вместе с ним выступил на ML конференции TechTrain.

И вот, спустя почти год организаторы выложили видео с докладов в открытый доступ.
Если вам интересно как с помощью ML оптимизировать разметку, и какие тренды по разметке ждут нас в будущем, ссылка на видео 👇🏻
https://youtu.be/KFWCN4_sEGg

🔍 Благодаря сбору данных клиент улучшил биометрическую систему по распознаванию лиц и голосов на 21%. Как мы это сделали?

Подводя итоги нашей недели про сбор данных, хотели поделиться интересным кейсом из нашего опыта.

Клиенту нужно было собрать данные для улучшения системы распознавания лиц и речи. Техническое задание заказчика подразумевало уникальный сбор данных (фото, видео) оффлайн, строгие критерии к звуку и формату съемки. Также важно было собрать 1000 участников для съемки. Клиент не мог организовать сбор данных в таком объеме и формате, поэтому обратился к Training Data

В результате сбора:

Клиент улучшил биометрическую систему по распознаванию лиц и голосов на 21%

Собрали уникальный датасет с более чем 400'000 единицами данных от 1000 офлайн участников

Как нам удалось добиться таких результатов? Рассказали в нашем кейсе по ссылке:

https://trainingdata.ru/cases/face-and-speech-recognition

#где_кейсы_лебовски

Ручной сбор данных: 5 лайфхаков 💪🏻

Нас часто спрашивают, как собирать данные вручную и на что важно обращать внимание в процессе? На самом деле в ручном сборе данных есть несколько главных параметров, от которых и зависит качество данных.

Определяемся с условиями: как их прописать?

Первое — это условия съемки. Определяемся, снимаем мы на улице или в помещении. Проводить сбор данных в офисе проще, однако сейчас видеоаналитика применяется в том числе к действиям на улице, в помещении воссоздать такие условия не получится. Начинаем мы с бэкграунда: это офис, улица, парк? Какой уровень освещённости нам нужен: темно или светло, естественный свет или искусственный? Стоит учитывать время суток и время года.

Как правильно снимать людей?

Также в самой съемке людей есть много важных моментов. Нужно определить длительность нахождения и местоположение человека в кадре. Часто бывает необходимо сделать видео одного и того же человека в похожих условиях, но с отличным фоном. Влияет также устройство, на которое мы снимаем.

Как составить инструкции?

Главный совет — сделать процесс максимально понятным для исполнителя. К примеру, во время съемки в офисе или на улице можно отметить места, где человек будет находиться.

Также очень помогает составление инструкции, где все действия для актера прописываются детально и с изображениями. Лучше всего напечатать эти инструкции, к тому же такая памятка помогает и менеджеру. Для удаленного же сбора лучше сначала снять данные самостоятельно и эти примеры отправить как приложение к текстовой инструкции.

Атрибуты: что нужно для съемки?

Помимо всего, надо решить, в какой одежде будет актер, нужны ли головные уборы или атрибуты: усы, очки, капюшон, макияж. Должно быть понятно, сколько нужно мужчин и женщин. То есть важно все то, что может повлиять на восприятие лица. От возраста тоже зависит способность нейросети распознавать людей. Легче всего нейросеть различает ребёнка и пожилого человека. Но вот меньшую разницу в возрасте заметить уже сложнее.

Как менеджеру подготовиться к сбору?

Очень важный пункт — менеджер обязательно должен поучаствовать в съемках и самостоятельно пройти этот процесс. Только после этого можно понять, какие требования предъявлять статистам и как их лучше донести.

#где_сбор_лебовски

А если вам нечем заняться пятничным вечером, то мы оставим вам подкаст Dwarkesh Patel с двумя гостями из LLM. Trenton Bricken благодаря бэкграунду максимально погружен в связь между машинным обучением и нейросаенсом, а Sholto Douglas из DeepMind считают одним из перспективных молодых специалистов в сфере.

Один из комментаторов написал, что этот подкаст легко мог бы быть курсом за 1000 долларов, и мы полностью с ним согласны.

О чем рассказывают:

🧬Intelligence is just associations
🧬Intelligence explosion & great researchers
🧬Superposition & secret communication
🧬Agents & true reasoning
🧬How Sholto & Trenton got into AI research
🧬Are feature spaces the wrong way to think about intelligence?
🧬Will interp actually work on superhuman models

https://youtu.be/UTuuTTnjxMQ?si=eUstFg23rNqtDewQ

А если вы уже смотрели, то пишите свой фидбэк в комментариях.

Краудсорсинг

Конечно, все знают про такой метод сбора данных, а вот пользоваться им как следует умеют далеко не все.

Самый простой метод для краудсорсинга — опубликовать задания в интернете, к примеру, на Толоке или Amazon MTurk. Это хороший вариант, когда нужно что-то простое: исполнителей можно попросить сфотографироваться на различном фоне, дома или на улице.

А еще так вы получаете доступ к большому количеству людей из разных стран. К примеру, вам нужен сбор данных исполнителей с разным цветом кожи. Тогда этот вариант идеален для вас.

Но проблема краудсорсинга состоит в том, что таким образом не получится снять что-то сложное, что требует реквизита или несколько этапов работы. Так что главное в таких проектах — разработать четкую инструкцию для исполнителей и приложить примеры необходимых данных.

Однако бывают задачи, которые невозможно решить только лишь с помощью данных из интернета, уже существующих или даже собранных оттуда. К примеру, для создания технологии liveness (способность нейросети отличать живое лицо от его неживых аналогов) нам нужно лицо человека и картонная маска или другой инвентарь.

А как же собрать данные вручную?

Читайте в нашем следующем посте.

И поставьте любую реакцию, если вам интересна тема сбора, чтобы мы больше о ней писали.

Интернет, краудсорсинг или ручной сбор данных. Что подходит вам?

Итак, вам нужно собрать данные. Какой способ лучше всего подходит под ваши задачи? Мы с командой составили небольшой пост для тех, кто хочет разобраться во всем вот этом вот.

Интернет
Самой простой способ сбора данных — это спарсить с подходящих сайтов в поисковике. Еще для изображений и видео можно найти открытые данные – например, в YouTube, где можно делать скриншоты или сохранять видео для последующей обработки.

Если это звуковые данные, их можно доставать из опубликованных телефонных диалогов или взять из звуковых дорожек кинофильмов. Аудио вообще часто легче сгенерировать или найти, чем изображения и видео.

Какие еще есть варианты?

🛠 Главные ошибки в сборе данных: как не провалиться в процессе?

Итак, вы планируете организовать сбор данных. Давайте обсудим, на что важно обратить внимание во время организации? На самом деле для успешного сбора достаточно соблюдать 3 правила подготовки, про них расскажем в сегодняшнем посте.

Провести пробный сбор данных и проверить технику

До самого сбора необходимо написать техническое задание и в первую неделю провести пилот, а также проверить технику и реквизит, чтобы процесс сбора данных был отлажен и чтобы минимизировать возникновение ошибок во время съемок. Что-то может случиться с камерами, которые работают по скрипту. Если что-то пойдет не так уже во время записи, то впустую тратится и время команды, и бюджет на статистов.

Подготовиться к поиску статистов

Поиск людей для ручного сбора данных часто создает сложности. Придумать реквизит и фон не так трудно, хотя это и занимает время.

Существенно сложнее найти статистов. Многие пугаются и отказываются от работы, так как не понимают, как их данные будут использоваться. Особенно заметно это стало в последние годы, так как сейчас в СМИ много говорят про персональные данные и биометрию, часто упоминая утечки данных в сфере.
Кроме того, часто бывают трудности в разнообразии статистов. Чаще всего во время сбора нужны статисты различного пола, возраста или расы, чтобы нейросеть могла хорошо работать на разных людях.

Расписать действия

Здесь есть много нюансов: с какого ракурса и в каких позах нужно выполнять действие, на каком расстоянии от камеры нужно находиться, какое количество фонов должно быть, учитывая условия, в которых будет работать нейронная сеть.

#где_сбор_лебовски

Всем привет!

Так как в последнее время и в моей жизни, и в индустрии происходит много изменений, настало время перемен и для Рома ♥️ Толоку.

Чтобы больше не пропадать и регулярно делиться актуальным контентом, я решил подключить к каналу команду Training Data. Теперь мы будем писать обо всем: от разметки до Data Mining и ML, от трендов и технической литературы до кейсов и карьерных историй, а со временем запустим и вебинары. Еще у канала появится новое имя, так что не теряйте.

Спасибо всем, кто принял участие в опросе про контент: мы вместе прочли и учли ваши мнения, поэтому обязательно следите за новыми постами.

Спасибо вам, что остаетесь с нами
Ваш Роман Куцев ♥️

А еще оставляю презентацию с конференции для тех, кому интереснее ознакомиться подробнее ⬆️

И небольшой бонус: инструменты, благодаря которым можно генерировать любые типы данных.

Как синтетические данные применяются для реальных задач? Так ли синтетика эффективна?

Продолжая тему синтетики и ее использования для задач, можем вспомнить кейс Microsoft Research, где они обучали модель Phi-1 и Phi-2 на текстах, сгенерированых Chat GPT 3.5.

Если у вас есть большая LLM и вы хотите сделать легкую под конкретный домен, то можно сгенерировать синтетические данные на большой и на них обучать более легкую LLM, и одна будет давать хорошее качество в узких доменных областях. Обычно компании тратят огромные средства, чтобы сделать разметку для LLM, а с помощью синтетики можно сделать разметку дешевле и быстрее.

Модерация
Тут может быть интересен подход Open AI. Они придумали, как обучать модель на синтетических данных, полученных с помощью LLM. Предположим, что у вас уже есть контрольная размеченная выборка, и есть инструкция для модераторов.

Тогда вы берете инструкцию, вставляете в промпт LLM модели и анализируете качество, которое получилось на контрольной выборке. Находите ошибки и редактируете инструкцию так, чтобы LLM работала лучше. Через 3-4 итерации вы получите промпт, который позволяет размечать ваши данные действительно качественно. Но проблема в том, что Chat GPT — довольно дорогая и медленная модель для продакшена на больших объемах. Open AI предлагает генерировать с помощью LLM синтетический датасет и обучать легковесную модель, которую вы будете использовать в задачах.

Интересно, что уже сейчас качество данных, выдаваемых LLM, колеблется между тем, что может выдать эксперт и обычный человек. А всего два года назад она вообще не могла соперничать с людьми.

Но есть проблема:
Синтетические данные часто отличаются от обычных данных, поэтому, когда мы обучаем алгоритм на синтетику, он переобучается на нее и показывает хороший результат только на синтетике, а на обычных данных работает нестабильно.

Однако мы видим и огромный прогресс: за последний год качество генерации синтетики стало на порядок выше. Когда качество генерации будет сопоставимо с качеством данных из реального мира, уже не будет возникать проблем с переобучением на синтетику, поэтому она станет более популярной.

И уже сейчас понятно, что в 2030 году больше половины данных для обучения будут сгенерированы, а настоящие данные будут отходить на второй план.

Для начала, почему вообще используются синтетические данные?

Для этого есть четыре основные причины:

1) Экономия денег и времени
2) Получение редких данных
3) Решение проблем с конфиденциальностью
4) Упрощение работы с разметкой и контролем качества

Давайте про каждую подробнее:
Когда мы говорим про ML направление, чем быстрее вы внедряете в продакшн новую модель, тем быстрее захватываете рынок. С синтетикой сделать это можно намного быстрее и дешевле.

Другой важный момент: с синтетикой можно генерировать редкие данные. К примеру, если в медицине в каком-то случае 99% не имеют патологии и только 1% она встречается, то есть таких данных очень мало, то сейчас именно с помощью синтетики пытаются решать эту проблему, генерируя сложные кейсы.

Еще одна причина — так проще всего избежать проблем с хранением и использованием данных. В Европе уже вступил закон GDPR, в США действует Калифорнийский закон о защите прав потребителей (CCPA), а в России вводят уголовную ответственность для тех, кто неправильно хранит персональные данные. В этом случае синтетика снимает эти боли: так как эти данные не настоящие, вы можете проще хранить и обрабатывать их.

Алгоритмы генерации могут работать 24/7 и со стабильными результатами. В отличие от людей, которые отдыхают или могут совершать ошибки. Если у вас есть уже выстроенный pipeline в синтетике, то это проще и быстрее контролировать и допускать меньше ошибок в генерации датасетов.

Конференция OpenTalks за 3 дня до начала была отменена.

В чем же дело? — спросите вы
Если кратко - в политике.
А если вам интересны детали, рекомендую посмотреть видео организатора конференции Игоря Пивоварова.

Несмотря на отмену, большая часть людей все-равно приехала, и ночные бары Тбилиси наполнились MLщиками. Рад был увидеть множество знакомых лиц, пообщаться и провести хорошо время в окружении коллег. Да и выступить с докладом получилось.

Ниже прикладываю важные моменты с моего выступления "Обзор методов и инструментов для генерации. синтетических датасетов"

Спасибо всем, кто поучаствовал в опросе!
Уже нашел несколько инсайтов в ответах, и совсем скоро будет ребрендинг канала.

Сейчас фокус своего внимания сконцентрировал на синтетических данных, с интересом и вдохновлением погружаюсь в эту тему. Генеративный AI врывается в нашу жизнь, один только пример с SORA показывает, как мультимодальные модели кардинально поменяют наш мир.

Уверен, что за синтетическими и сгенерированными данными будущее)
7 марта я буду выступать на конференции OpenTalks.ai c докладом "Обзор методов и инструментов для генерации синтетических датасетов", расскажу на нем, чем же меня синтетика так зацепила.

Кто тоже планирует посетить конференцию OpenTalks?
Пишите, с радостью с вами встречусь!

Видео с докладом и слайды выложу в канале после выступления.

Всем привет! Не писал практически год, надеюсь вы не забыли кто я и что это за канал)
А причина моего исчезновения из медийного пространства довольно проста:

Последние 4 года я тесно и плотно ассоциировал себя с Толокой и с TrainingData.
Я был частью их, а они частью меня, это был некий симбиоз, win-win история, совместный путь развития.

Но ничего не вечно, все меняется.
Толока полностью ушла из России, а с TrainingData ситуация интереснее.
TD (TrainingData) - я воспринимаю как свое детище, своего ребенка, которого я растил все эти годы. Помню как впервые регистрировал домен, как набирал первую команду разметчиков, как выполнял первые проекты. Слияв в 21 году TD c Science Sight, мы получили дикий рост за счет объединения экспертизы в crowd и in-house сборе/разметки данных.

На ранних порах я совмещал сразу много ролей: отвечал и за маркетинг, и за привлечение клиентов, и за ведение крауд проектов, и за IT обеспечение компании. По мере роста компании, время и задачи для каждой роли возрастали, с каждым днем совмещать несколько ролей становилось труднее и труднее. И самый правильный способ, чтобы не разорваться - передавать эти роли другим людям, более экспертным в этих направлениях, разгружая себя.

В 2021 мы наняли СMO, в 2022 я вырастил сильного менеджера и передал ведение крауд проектов. А осенью прошлого года к нам пришел потрясающий CTO с огромной экспертизой в ML и IT.

И вот парадоксальная история на текущий момент:

- Толоки в Росси нет
- Проекты по крауду и разметке я уже самостоятельно не веду

О чем же мне писать в русскоязычном канале “Рома ❤️ Толоку”?

Ясно вижу, что нужно что-то менять) И в этом мне ОЧЕНЬ нужна ваша помощь!
Уделите, пожалуйста, 5 минут, и заполните эту гугл форму.
Я хочу лучше понять вас, что для вас интересно и полезно.
И уже из ваших ответов менять позиционирование канала.

Спасибо большое, что остаетесь со мной
С любовью, Роман Куцев

Выступил на крупнейшей IT конференции CodeFest, рассказал про сложности в разметке данных, про пути преодоления, а также про то, как меняется сфера разметки данных.

Доклад на 20 мин, без сложных формул, терминов, всем новичкам в области разметки рекомендую посмотреть!) https://youtu.be/xzEtgVa03uM

Но и это еще не все!)
В субботу провожу трек Data Collection & Labelling на Data Fest Online 2023
27-го мая в 14:50 ждем вас в нашем Spatial.Chat!
Выступят:
- Кванчиани Карина из SberDevices с темой "Majority vote for CV annotations: improve your data labeling pipeline"
- Константин Сухоруков с гайдом по Active Learning в CV: как сэкономить на разметке и получить качественную модель
- Сухоносов Антон из Яндекса с докладом "Полевой краудсорсинг: что это такое и как его использовать"

P.S: запись будет, выложу в комментариях к этому посту