раніше, ML-моделі не розуміли контекст або сенс, вони рахували статистику щоб витягти факти з тексту
пайплайн складався з десятків окремих процесів:
> токенізація тексту
> пошук частин мови
> пошук імен, компаній та локацій
> класифікація тематики
> аналіз тональності
> витяг фактів та зв'язків
кожна задача вирішувалась окремою моделлю
потім, у 2017 Google публікує Attention Is All You Need і показує Transformer, що дає можливість зважувати контекст
NLP все ще тут, просто виріс настільки, що ми почали називати його AI
як це працює "простими" словами 🥑
немає сенсу читати важкі наукові папери в сирому вигляді:
> закидайте в NotebookLM
> генеруйте подкаст/відео з тривіальним поясненням з прикладами реального життя