🔥 ТОП-10 вопросов из собеседований по NLP

🔎 Знание основ NLP и умение работать с LLM становятся ключевыми навыками для Data Scientistа и ML-Engineerа.
Рынок труда активно требует опытных специалистов в этой области, и чтобы чувствовать себя уверенно на собеседовании, мы подготовили список основных вопросов на подобных секциях и готовы поделиться им с вами!
❗️К каждому вопросу прилагаются полезные ресурсы для углубления знаний по данной теме.

1. Что такое Tf-IDF и как он работает?
2. Как обучается word2vec?
3. Какие виды токенизаторов есть и как они обучаются? Как оценить качество токенизатора?
4. Для чего используется позиционная кодировка, почему мы не можем просто кодировать индексами токенов?
5. Основное отличие BERT и GPT моделей?
6. Как можно решить проблему галлюцинаций в LLM?
7. Можно ли подать модели с входным контекстом 8к токенов последовательность с 32к токенами? Что произойдет?
8. Сравни вычислительную сложность у RNN/LSTM и Attention блоков в трансформерах?
9. Как можно оптимизировать расчет attention-оценок в трансформерах? Какие есть подходы?
10. Какие есть гиперпараметры генерации в GPT моделях?

📚Дополнительные ресурсы для лучшей подготовке к собеседованиям по NLP и LLM:

▫️Русский курс по NLP от Hugging Face с самого нуля.
▫️Также отличный курс от Лены Войты по базовым концепциям NLP.
▫️Онлайн-ресурс с объяснением ключевых терминов и того, что сейчас используется в индустрии, начиная с базовых вещей.
▫️100 вопросов и ответов для интервью по NLP
▫️Топ-50 вопросов из собеседований по NLP
▫️Вопросы по NLP 2024 года

Ставьте лайки❤️ и огоньки🔥
Обязательно пишите комментарии под постом и добавляйте свои варианты вопросов из собеседований!
До встречи👋🏻