📚 Ключевые научные работы по большим языковым моделям (LLM)

Если вы интересуетесь большими языковыми моделями, вот несколько важных научных статей, которые стоит изучить:

➡️Attention is All You Need - основополагающая работа, представившая архитектуру Transformer. Так сказать must have!

➡️A Survey of Large Language Models — всесторонний обзор LLM, включая предобучение, адаптацию, использование и оценку

➡️Large Language Models: A Survey - еще один обзор, фокусирующийся на семействах моделей GPT, LLaMA и PaLM

➡️Scaling Laws for Transfer - исследование масштабируемости LLM при переносе на новые задачи

➡️Language Models are Few-Shot Learners - демонстрация способности LLM быстро адаптироваться к новым задачам с минимальным количеством примеров

➡️Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer - возможности трансферного обучения LLM на разнообразных текстовых задачах

➡️Large Language Models can Learn Rules - описывает фреймворк "Hypotheses-to-Theories", который позволяет LLM изучать и применять правила.

Забирай к себе в избранное 😉