Вчера мне написал мой бывший студент, талантливый NLP-разработчик Павел. Он нарисовал суперполезную схему энкодера трансформера, причём более подробную, чем все схемы трансформера, что я видел. Ему удалось в одной диаграмме уместить все важные детали этой ключевой для NLP архитектуры. 👏 Мне кажется, получилось замечательно, поэтому я предложил ему поделиться схемой с сообществом, что он и сделал:
https://github.com/pa-shk/transformer-encoder

Почему это круто? Как известно, трансформеры перевернули мир NLP, их используют почти во всех сложных задачах по автоматической обработке текстов. Не случайно на большинстве собеседований по NLP спрашивают про устройство трансформера. Однако при всём изобилии материалов в Интернете именно такой подробной и информативной схемы мне ещё не попадалось - её можно увлечённо изучать, как карту сокровищ! 🤩 Надеюсь, вам тоже понравится (и тогда не забудьте поставить звёздочку репозиторию Павла).