🟣 Тема: "LLMы ≠ Мы. Нечеловеческие приёмы в рассуждениях языковых моделей с attention"
Мы как вид потихоньку привыкаем к миру, в котором видеокарта на другом конце земного шара может написать за вас сочинение, помочь найти баг в коде, а потом поиграть с вами в D&D. Какие-то вещи им даются легко, а где-то LLM всё ещё не справляются — но верно и обратное.
Как оказалось, LLM могут вытворять вещи, на которые ни один человек не способен.
Доклад именно о таких 'суперспособностях': как устройство механизма внимания в современных языковых даёт им возможности, которые у человека назвали бы телепатией, клонированием себя и роевым сознанием.
Мы с вами разберём:
– математику Attention и Rotary Position Encoding и некоторые свойства их геометрии,
– как эта геометрия позволяет LLM думать о нескольких вещах параллельно с общей памятью,
– исследования '25-26 о том, как учить LLM пользоваться 'телепатией' или одновременно думать и действовать.
Регистрация в приложении или на площадке.
18 апреля 📍Технопарк Физтех-лицея им.П.Л.Капицы. Московская обл., г. Долгопрудный, ул. Лётная, д. 2