Math and ML stuff

Обновила на архиве статью AI-generated text boundary detection with RoFT, которую недавно приняли на конференцию COLM.

Напомню, что в этой статье мы с коллегами рассматривали тексты, частично написанные человеком и частично сгенерированные LLMкой и детектировали номер предложения, в котором произошел переход от человеческого текста к машинной генерации. Основной особенностью статьи является тщательное изучение сценариев, в которых детектор обучается на доменах или генерациях одних моделей, а тестируется на другом, прежде невиданном домене или генерации невиданной модели.

Также напомню, что:
💜 В этом сценарии классификатор на основе стандартной предтренированной модели Roberta оказался хорош in domain, но плохо переносился между доменами и моделями (сильно падало качество на out of domain);
💜 Классификаторы на основе TDA оказались неплохо переносимы (качество на out of domain падало не сильно), но имели низкое качество в целом;
💜 Наилучшим компромиссом между качеством in domain и out of domain оказались классификаторы на основе средней перплексии и дисперсии перплексии по предложениям на основе моделей phi 1.5/phi 2 от Тани Гайнцевой.

Ну, а основными отличиями этой конкретной версии статьи являются исправление мелких ошибок и улучшение читаемости диаграмм.

Кроме того, мы с Таней добавили код на гитхаб проекта. Ставьте звёздочки и сохраняйте, чтобы не забыть!

#объяснения_статей

Применение ИИ на войне 🔫. На ICML 2024 был замечен еще один любопытный и очень базированный постер.

AI-Powered Autonomous Weapons Risk Geopolitical Instability and Threaten AI Research.

Обсуждаются потенциальные риски и проблемы, связанные с разработкой автономных систем вооружения (AWS) на базе ИИ (based 💀).

Утверждается, что чем сильнее будут развиты ИИ-AWS, тем меньше нужно будет участвовать в боевых действиях людям и меньше будет издержек войны, что влечет увеличение геополитической нестабильности и появление множества локальных горячих конфликтов. Все это в итоге перейдет в полномасштабную гонку ИИ-based вооружений между странами. РФ и Китай совсем скоро (2028г) собираются вовлекаться в эту гонку, а США еще раньше.

И прямо сейчас на поле сражений в Russian-Ukrainian conflict можно увидеть активное применение автономные системы вооружений с обеих сторон. В том числе ИИ-дроны на стороне Украины, согласно сводкам CNN.

Подобные тенденции могут повлиять на свободу распространения идей в научной среде и академическому сотрудничеству, потому что исследования будут иметь военную значимость и секретность.

Проблему предлагается решать через запрет на полностью автономные системы вооружений с ИИ, регуляцию частично автономных систем и консенсус на международном уровне. ВПК разных стран должно предоставлять отчет о состоянии/продвинутости своих AWS систем. В академической среде особое внимание должно уделяться этической стороне военных исследований.

ICML 2024. Конференция проходит с 21-го по 27-е июля в Вене. Первые пару дней были разгоночными, народ подтягивался, проводили туториалы, странные workshopы типа "{Dis}Ability and Queer in AI" и особо содержательных докладов на мой взгляд не было. Но дальше начались постерные и пленарны доклады, а поток релевантной информации стал очень плотным.

Параллельно докладам все дни проходит стендовая сессия, где представители разных компаний от DeepMind до Mistral AI щедро раздают мерч (+2 кг футболок и прочего), общаются с участниками и активно хантят. Если говорить об основной сессии с докладами, я особенно могу выделить следующие:

Position: LLMs Can’t Plan, But Can Help Planning in LLM-Modulo Frameworks - добродушный дедушка индус из США представил критицизм LLM с точки зрения их (не)способности к планированию и мб даже ризонингу. Что сильно идет в разрез с мейнстримом. Предлагается смотреть на LLM как на универсальные источники знаний смиксированных из разных доменов, и использовать их как модули (Cognitive Orthotics) для помощи в планировании людям или другим алгоритмам, но важно, чтобы был какой-то надежный внешний не LLM-мный критик. Этот подход удивительно точно совпадает с тем, над чем я в последнее время работал.

Monitoring AI-Modified Content at Scale: A Case Study on the Impact of ChatGPT on AI Conference Peer Reviews - определение доли рецензий, сгенерированных ИИ, с ведущих конференций последних лет. Мы имеем Q - кол-во рецензий, написанных человеком, P - сгенерированных, всего рецензий = (1 − α)P + αQ, нужно найти α методом MLE. Стандартный сеттинг детекции ИИ-сгенерированного контента в центр ставит задачу обучить робастный к смене домена и генератора классификатор, но данная работа фокусируется на определении доли сгенерированных текстов во всем корпусе текстов. Основные выводы: Наблюдается значительное увеличение ИИ-рецензий после выхода ChatGPT (2023г). ИИ-рецензия с большей вероятностью появится перед дедлайном, будет иметь меньше ссылок на другие работы, а сам рецензент будет менее отзывчив к ребатлу.

Также на 3 и 4й день конференции было множество интересных постерных докладов:

1. Position: Topological Deep Learning is the New Frontier for Relational Learning - очень высокоуровнево определяются текущие тенденции, подходы и задачи в топологическом глубинном обучении. Постер представлял Бастиан Рик - большой человек в ТДА и не только.

2. Position: Categorical Deep Learning is an Algebraic Theory of All Architectures - статья от эзотеричной компании Symbolica AI. Авторы предлагают переговорить существующие архитектуры нейросеток (например RNN) в терминах теории категорий. Интересно и полезно, ибо может дать инструменты работы с логикой в DL и учитывать типизацию данных.

3. The Platonic Representation Hypothesis - основной посыл статьи в том, что представления данных в разных модальностях и в разных задачах/моделях сходятся к каким-то универсальным "объективным" представлениям, если говорить поэтично - живущим в мире идей Платона (см диалог Πολιτεία, книга 7).

4. Less is More: One-shot Subgraph Reasoning on Large-scale Knowledge Graphs - для ризонинга для графах иногда необходимо решать задачу link-prediction, авторы предлагают подход вычислительно-эффективного поиска наиболее релевантного подграфа кандидатов для предсказания связей.

И еще много разных интересных постерных докладов, добавлю в комментарии под постом.

Во многом, конференция - это новые знакомства и встречи, так удалось лично увидится со многими знакомыми, с которыми сотрудничал и общался онлайн, а также лично познакомиться с админами partially unsupervised и Love.Death.Transformers. Перекинулся парой слов со Шмидхубером. Впечатления от конференции позитивные.
А еще Вена очень похожа на Питер (или наоборот).

Я на ICML 2024. Если вы тоже на конференции и хотите пообщаться, маякуйте. Скоро будут посты о конфе, интересных тут работах и впечатлениях.

В середине июля в Лондоне прошла летняя школа, для аспирантов и пост-доков - LOGML (London Geometry and Machine Learning). Тематика школы - применение методов геометрии и топологии в глубинном обучении, организатор Imperial College London. В 2021 и 2022 годах она была онлайн, в этом году все сделали очно. Направление школы идеально совпадает с темой моей диссертации, я участвовал в школе во все прошлые итерации, и в этот раз решил провести незабываемую неделю в Лондоне, работая над релевантным мне проектом. Структура школы включает лекции приглашенных спикеров, командные работы над проектами под руководством менторов (профессора, постдоки) и презентации результатов, всё мероприятие проходило в самом Imperial College. Из интересных, запомнившихся проектов были следующие:

Stability or Collapse: Topological Properties of Deep Autoencoders (2021) - применения ТДА для исследования внутренних представлений автоэнкодеров

Pretraining GNN with ELECTRA (2021) - предварительное обучение GNN для задач хим-информатики, но с применением техники предобучения ELECTRA, используемой в NLP

Platonic CNNs (2021) - применение CNN для сигналов со сложной геометрической структурой, например климатические особенности на поверхности Земли (сфере, которую предлагается приблизить икосаэдром - получается архитектура Icosahedral CNNs). Platonic - потому что икосаэдр платоново тело.

Characterizing generalization and adversarial robustness for set networks (2022) - по мотивам этой статьи, ментором был проф Толга Бирдал; проект по улучшению его подхода для предсказания обобщающей способности CNN на основе геометрии траектории пространства весов в процессе обучения. В этом году среди постерной сессии на школе была работа, которая критиковала статью Толги.

Geometric tools for investigating loss landscapes of deep neural networks (2022) - анализ геометрических свойства ландшафта функции потерь

On the Geometry of Relative Representations (2024) - улучшение подхода к вычислению без дополнительного дообучения новых внутренних представлений нейросеток для более эффективного их последующего использования.

Powerful Graph Neural Networks for Relational Databases (2024) - применение GNN для реляционных графов (k-partite graph), построенных по реляционным базам данных.

Self-supervised learning for Topological Neural Networks (2024) - разработка Self-supervised learning режима обучения для топологических GNN (более подробно про них в этом посте). Отдельное подробное описание этого проекта будет у Паши на канале.

Это далеко не полный список проектов. Как правило, по завершению проектов на школе команды пишут статьи. Впечатлений и новых знакомств море, все подавайтесь на след год тоже. Прикладываю фото со школы

Недавно прошла ICLR 2024. Собрал запоминающиеся и важные статьи по интересным мне темам.

Knowledge Graph Reasoning and Question Answering - рассуждение и генерация ответов на графах знаний.

1. Reasoning on Graphs: Faithful and Interpretable Large Language Model Reasoning - ответим на вопрос "Кто ребенок Алисы?". Сначала на стадии планирования генерируем LLMкой путь отношений z = {marry to → father of}, затем накладываем его на граф знаний wz = (Alice) marry to → (Bob) father of → (Charlie), из структуры графа получаем ответ Charlie. Т.е. в каком-то смысле паттерн-матчинг. LLM знает про структуру графа и через Planning optimization учится создавать все более релевантные пути отношений.

LLM и все, что в них обитает:

1. Unveiling the Pitfalls of Knowledge Editing for Large Language Models - авторы исследуют проблемы, возникающие в процессе редактирования знаний внутри LLM, более подробно в прошлом посте. Из-за запутанной структуры знаний внутри LLM после редактирования появляются необратимые изменения (метастазы), отражающиеся на множество других сопряженных знаний. Даже если измененный факт отредактировать обратно, то на последствия исходного изменения это не повлияет. Еще рассматриваются логические противоречивые хирургий знаний и их следствия. Тема очень важная в контексте Safety AI.

2. The Geometry of Truth: Emergent Linear Structure in Large Language Model Representations of True/False Datasets - геометрия правды и лжи. По моему мнению, самая интересная статья на конфе. Авторы показывают, что истинные и ложные утверждения образуют разделимые линейные структуры во внутренних представлениях LLM

World Modeling - задача изучения богатого представления, которое учитывает динамику среды, что позволяет агенту прогнозировать будущие состояния и последствия своих действий. Классическое поле тестирования агентов - Minecraft.

1. Mastering Memory Tasks with World Models - продолжение и развитие идеи DreamerV3, В Статье улучшает структуру памяти агента из DreamerV3 и позволяет учитывать более долгосрочные зависимости в Модели Мира, может предсказывать на большее кол-во шагов вперед.

На свободную тематику:

1. Talk like a graph: Encoding graphs for large language models - идея крайне простая, но любопытная: как можно энкодить графы внутрь LLM? Спойлер: если в промпте граф описываешь не просто перечислением вершин и ребер: "G граф с нодами 0...8, и ребрами: (0,1),(0,2)…(7,8).", а через структуру отношений в терминах Игры Престолов: "G граф взаимоотношений разных персонажей Ned, Cat, Daenerys...Jaime. В этом графе: Ned and Cat дружат...Cersei and Jaime дружат.", то LLM лучше воспринимает граф, и может больше про него сказать всякой чисто графовой инфы, типа сколько компонент связности, какая степень вершины итд. Всего Тестировалось 9 способов промптить граф.

2. Interpreting CLIP's Image Representation via Text-Based Decomposition - интерпретация внутренней структуры ViT из CLIP. Авторы определяют, какая голова ViT за какой смысловой аспект отвечает. То, что на головах происходит диверсефикация фичей, т.е. разные головы смотрят на разные объекты и уровни абстракции - это известно еще со статьи, где саму архитектуру ViT предлагали, но в данной работе конкретизируется, какая голова отвечает за форму, какая за цвета, итд. Статья - существенный вклад в explainable AI.

3. ULTRA Towards Foundation Models for Knowledge Graph Reasoning - предлагается архитектура фундаментальной модели GNN. Более подробно в этом посте.

4. Neural Network Expressive Power Analysis Via Manifold Topology - оценивается верхняя граница длины FC сети в терминах топологической сложности (сумма чисел Бетти) обучающих данных. В статье все строго доказывается, и это была бы очень хорошая работа, если бы не ограничение на размерность многообразия = 3, но мб это хороший старт для обобщения на произвольную размерность. Ну и все оценки, завязанные на сумму чисел Бетти для облаков точек тоже достаточно спекулятивные. Статья реджектнута.

Knowledge Editing LLM. Методы и открытые проблемы.

Подходы к редактированию делятся на white-box и black-box.
А также на меняющие веса LLM или нет.
Например, подход SERAC создает новую counterfactual модель (тюнят T5-small на корпусе D), сохраняя исходную LLM модель, и обучают классификатор, чтобы определить, следует ли использовать новую модель для ответа на вопрос или исходную.
Но есть методы, когда модель полностью интегрирует знания в свои параметры путем изменения весов. Knowledge Neurons (KN) и ROME локализуют фактические знания на определенном уровне в модулях MLP и обновляют их веса. Напротив, подход StableKE придерживается другой стратегии: редактируемый факт рассматривается как триплет (s - субъект, r - отношение, o - объект), нужно подменить объект на новый. Примеры в корпусе D аугментируются через расширение разнообразия промптов парафразированием триплетов, а также добавлением инструкций в виде извлеченных из Wiki описаний новых объектов o'. Затем ChatGPT-3.5 тюнится на новом датасете используя метод LORA.

Открытая проблема – влияние хирургий на производительность в общих задачах и катастрофическое забывание новых фактов.

При увеличении кол-ва редактирований, деградирует производительность на сторонних задачах: Sentiment and Linguistic acceptability classification, Reasoning, QA, итд. (см на прикрепленном рисунке из работы_1). А так же выясняется, что кол-во редактирований влияет на забывание обновленных фактов, примерно на 1000-ом редактировании появляется экспоненциальный взрыв забывания и стираются почти все новые факты, при этом наблюдается тенденция к снижению производительности в задачах бенчмарка GLUE.

Knowledge Editing LLM сложен из-за запутанного характера знаний внутри LLM, в отличие от структурированных знаний в виде графов (KG). В LLM знания распределены по весам, что затрудняет выделение конкретной информации, не затрагивая другие области. Чем больше будет исследований интерпретируемости и свойств представлений LLM, тем более точными будут методы их редактирования.