Byte Pair Encoding

Обработка текстов на сегодняшний день – флагман нейросетевых задач. Но, поскольку нейросети работают с числами, до передачи в модель текст нужно преобразовать, в том числе разбить на части – токены. Для этого есть множество подходов, и один из них BPE. Он используется в моделях BERT и GPT-2. Рассказываем, как он работает.

Оригинальная статья
Реализация Google
Реализация Facebook AI Research
Обгоняющая по скорости Google и Facebook в 10-50 раз реализация VK

😻 #NN