В большинстве современных моделей глубокого обучения для обработки разных типов данных (изображений, аудио и других) требуется специальное преобразование — декодирование. Например, изображение преобразуется в тензор RGB, аудиофайл — в спектрограмму. Это усложняет пайплайны и зачастую мешает обобщаемости моделей. Кроме того, для каждого нового типа данных или файла приходится реализовывать собственную обработку.

В эту пятницу специалист нашей ML-команды Игорь Кабанов разберёт статью Bytes Are All You Need: Transformers Operating Directly On File Bytes, авторы которой предложили архитектуру ByteFormer, работающую напрямую с байтами.

На встрече рассмотрим:
🔹Как устроен ByteFormer
🔹Какие трюки применили авторы, чтобы решить проблему длинных последовательностей байтов
🔹Как модель учится работать с разными форматами файлов и типами данных
🔹Эксперименты и метрики качества (куда же без этого 🙂)

Присоединяйтесь к нам в Толке в пятницу, 11 июля, в 15:00.
Ссылка для подключения: Ктолк

#reading_group #nlp