Магия трансформеров 🧚‍♀️, легкое воскресное чтиво

Я долго думал как мне проще всего объяснить архитектуру трансформеров, и вот наконец докрутил!

Классическая модель Т5 изначально появилась в Google и использовалась для машинного перевода. Дело в том, что одна и та же фраза на разных языках может быть написана совершенно разными словами, например:

Идет дождь - It rains

Мы же не говорим “a rain goes”. Именно по этому нужна была технология, которая вытаскивала бы смыслы из входящей фразы, а потом распаковывала эти смыслы, но уже другими словами на другом языке.

Получается вот такая схема

Текст на входе -> Смыслы -> Текст на выходе

Или

Текст на входе -> Энкодер (сжимает) -> Декодер (распаковывает) -> Текст на выходе

Или

Текст на входе -> Энкодер Bert(анализ) -> Декодер GPT(промпт)-> Текст на выходе

Очень грубо: Bert сжимает стихотворение до одной строчки, а GPT распаковывает эту строчку в другое стихотворение.

Т5 (трансформер) = Bert + GPT

Хмм, подумали инженеры Google, а если Bert так хорошо определяет смыслы, не сунуть ли нам его под капот нашего поисковика?

Хмм, подумали инженеры Яндекса, Гуглоиды вовсю юзают трансформеры, а мы все на паровой телеге (catboost) едем, и, внедрили свой Yati.

Кэп, а где тут SEO? Ты скажи с каким DR нам ссылки покупать лучше? Не ниже 45! Шутка 🤪

Гайз, все же очевидно, качество промпта напрямую влияет на конечный результат. А, чтобы составить крутой промпт нужно использовать весь арсенал промптинга: роли, температуру, ключевые и близкие по смыслу фразы. А еще в идеале прикрутить сюда маркетинг, чтобы итоговый текст был нацелен на вашу ЦА, прошу прощения за тавтологию.

Но, как и обещал, промптов от меня не ждите, сами догадаетесь вы же умные, глупые меня наврядли читают 😉