🎥 Выкладываем запись прошедшей в пятницу (11 июля) Reading Group, на которой Игорь Кабанов разбирал статью Bytes Are All You Need: Transformers Operating Directly On File Bytes.

📝 Что обсудили:

- Зачем авторы завели NLP подход на байтовых данных.

- Как и зачем сделана свертка для агрегации байтов в эмбеддинги.

- Какими получились эксперименты с sliding window attention и block sparse attention.

- Насколько хорош ByteFormer по сравнению с другими моделями, такими как Perceiver-IO. Спойлер: ByteFormer - топ.

- Как ByteFormer может быть полезен для задач кибербеза и что получилось у ребят из CrowdStrike.

#reading_group #recording #nlp