LLMы ≠ Мы. Нечеловеческие приёмы в рассуждениях языковых моделей с attention
🎙 Докладчик: Ёж из Yandex Research
🗓 Где и когда:
Четверг, 16 апреля, 18:00 МСК
Онлайн и очно
Семинар перемещается в 2.35 Цифра МФТИ
О чём пойдёт речь?
Мы как вид потихоньку привыкаем к миру, в котором видеокарта на другом конце земного шара может написать за нас сочинение, помочь найти баг в коде, а потом поиграть с нами в D&D. Какие-то вещи им даются легко, а где-то LLM всё ещё не справляются — но верно и обратное. Как оказалось, LLM могут вытворять вещи, на которые ни один человек не способен. На семинаре мы поговорим именно про такие «суперспособности»: как устройство механизма внимания в современных языковых моделях даёт им возможности, которые у человека назвали бы телепатией, клонированием себя и роевым сознанием.
На семинаре мы разберем:
🔵Математику Attention и Rotary Position Encoding и некоторые свойства их геометрии;
🔵Как эта геометрия позволяет LLM думать о нескольких вещах параллельно с общей памятью;
🔵Исследования '25-26 о том, как учить LLM пользоваться «телепатией».
Ссылка для подключения
Приходите очно или онлайн, будет интересно!
P. S. Если не сможете присутствовать — запись семинара появится на нашем Rutube-канале через неделю. А пока можно посмотреть предыдущие выпуски!