Всех с новым 2025г. Обобщенное и ультимативное мета-пожелание: всем реализации планов и внутренней гармонии.

Коротко про мой 2024: путешествовал по Японии 🇯🇵 и миру 🇦🇹🇬🇧🇳🇱🇸🇰. Публиковал статьи. Знакомился с разными странными людьми. Закончил аспирантуру вышки. Стал пить кофе. Активным в канале быть предельно не получилось, но в качестве целей запланировал в новом году писать посты часто. За год много разбирался в разных темах и задачах, сформировался топ наиболее интересных и важных статей:

- The Platonic Representation Hypothesis. Предлагается гипотеза о сходимости представлений больших моделей к общему универсальному "платоническому" представлению.

- Godel Agent. Разрабатывается LLM агент, который рекурсивно себя улучшает, в каком-то смысле он имеет некоторую "модель" себя же.

- The Super Weight in Large Language Models. Обнаруживается, что в LLM есть веса (super weights), зануляя которые можно почти полностью занулить перформанс модели.

На ICML 2024 был представлен ряд важных Position papers.

- Position: LLMs Can’t Plan, But Can Help Planning in LLM-Modulo Frameworks. LLM плохие ризонеры, но хорошие помощники, модули для ризонинга.

- Position: Topological Deep Learning is the New Frontier for Relational Learning. Этой статьей фиксируется рождение отдельного направления - топологической глубокое обучение, в рамках которого топологическими структурами представляются специфичные данные и обрабатываются с помощью архитектур TDL (как правило это обобщения GNN)

- Position: Categorical Deep Learning is an Algebraic Theory of All Architectures. Разрабатывается мостик между теорией категорий и глубинным обучением. Переговариваются способы проектирования архитектур нейронок в терминах теории категории. Авторы организовали стартап Symbolica, очень интересно понаблюдать за его развитием.

- GenAI Detection Tools, Adversarial Techniques and Implications for Inclusivity in Higher Education. Исследуется актуальный прогресс в области детекции ИИ-сгенерированного контента, методы детекции и способы обмана этих детекторов специальной манипуляцией контентом

- Solving olympiad geometry without human demonstrations. Нейросимвольная система решения олимпиадных геометрических задач, подробно здесь.

- Towards Foundation Models for Knowledge Graph Reasoning. Первая фундаментальная GNN модель для больших графов.

если говорить про офф-топ темы, не относящиеся к ML, для меня было несколько находок интересного контента:

В этом году была инициирована Алиповым (известный в узких кругах нейробиолог) в русском интернете большая дискуссия на тему биохакинга и фармакологии: про БАДы, всякие добавки и антидепрессанты. Ссылкой на множество мета-анализов и обзоров ставится под сомнение эффективность их использования. Было очень интересно наблюдать за прогрессом в спорах на эту тему, для введения можно посмотреть дебаты с биохакером Каспаровым и более академическую дискуссию с химиком профессором Дадали.

Особенно отозвалась в моей душе серия подкастов Максима Калинина про сирийских мистиков - это философы-богословы в восточной христианской традиции жившие в 4-8 веках н.э в странах ближнего востока - Ирак, Иран, Сирия. Про их рефлексию ранней христианской догматики, про их повседневную мудрость, и практическую философию. Подкаст "Отвечают Сирийские мистики" и цикл семинаров в которых разбираются древние тексты на арамейском языке с филологической и исторической точки зрения. Очень помог мне в успокоении в трудные периоды.

Всем удачного 2025 года!