Google релизнули новую версию своего «LLM-микроскопа» – Gemma Scope 2

Это модель, а точнее набор инструментов (interpretability tools), предназначенный для интерпретации поведения LLM. В частности, из семейства Gemma 3.

Работает Scope на основе SAE – это разреженные автоэнкодеры. Они представляют из себя модели, которые распутывают активации LLM и достают из них интерпретируемые концепции. Их называют «фичи»: это могут быть вещи из реального мира (мосты, коровы) или абстракции (ложь, отзывчивость).

По сути, анализируя эти фичи, мы можем видеть, о чем на самом деле думала модель, генерируя тот или иной output. Например, она генерирует с виду безобидный код, но «думает» о концепции «кибератака». И это о чем-то нам говорит.

SAE, кстати, еще в 2023 предложили использовать Anthropic (вот наш разбор их статьи, которая сделала подход популярным). Но именно Google вывели автоэнкодеры на уровень продакшена. Сейчас это, фактически, первый и единственный открытый инструмент для вот такой детальной интерпретации LLM.

Первая версия Scope вышла в 2024. Тогда это работало только для небольших моделей и простых запросов. Теперь же подход масштабировали даже для модели на 27B.

Плюс, теперь инструмент стал более универсальным. Если оригинальная Scope существовала только для ограниченного числа слоев, то теперь можно целиком анализировать сложные диалоговые механизмы.

Судя по статье, в основном это получилось благодаря добавлению в модель Skip-transcoders и Cross-layer transcoders. Это модули, которые помогают увидеть связи между отдаленными слоями и облегчают анализ распределенных вычислений. А еще, кстати, SAE обучали по методу матрешки, как Gemma 3n (мы писали про этот метод вот тут).

Если хотите попробовать и покопаться в мыслях у моделей:
– здесь все необходимые веса
– здесь полезный Colab ноутбук с готовым кодом
– здесь техотчет, а вот тут хорошая понятная документация