Модели ML запоминают или обобщают?

В 2021 году исследователи обнаружили «гроккинг», когда крошечные модели внезапно переходят от запоминания к обобщению невидимых входных данных. В этой интерактивной статье исследуется этот феномен и развивающаяся область механистической интерпретируемости, пытаясь понять, обобщают ли большие языковые модели или просто запоминают. https://pair.withgoogle.com/explorables/grokking

Большие языковые модели, объясненные с минимумом математики и жаргона

Хотите действительно понять, как работают большие языковые модели? Вот нежная грунтовка. https://www.understandingai.org/p/large-language-models-explained-with