-- в "A Brain-like Synergistic Core in LLMs Drives Behaviour and Learning", https://arxiv.org/abs/2601.06851 (https://t.me/gonzo_ML/4610) обсуждается архитектура глубоких нейросетей, хотя называется она "анатомия" (крутой выбор термина! уже интересно!), чтобы избежать тавтологии в словосочетаниях вроде functional anatomy of the Transformer architecture. Говорится о том, что где-то в средних слоях есть "синергетическое ядро", ответственное за обобщение (интеграцию самой разной информации, то самое "представление в латентном пространстве", сжатие входа во что-то, где идут основные операции мышления перед тем, как выпихнуть это в выходное представление). А остальное? Остальное не так чтобы можно было сразу выкинуть, но точно не про обобщающую способность сетки. Так сказать, не "бабушкины нейроны", а "абстрагированные от бабушек нейроны", "внутрипонятийное ядро". Это очень напоминает дискуссии о функциональной географии мозга ("где у вас физически в мозгу нейроны благовоспитанности и математического мышления, ткните пальцем, пожалуйста", и там тоже полно противоречивых мнений -- потому как процессинг идёт явно не в этих терминах, а в терминах латентных представлений). Но вот эта "анатомия архитектуры" -- очень интересный ход, надо бы над ним подумать, мне ж заходы на архитектуры делать, а dataflow архитектуры (хм, и анатомии, получается) тут вполне себе примеры.
-- вот очередной заход на "нейросимволические вычисления", только неконвенциональный: Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models, https://github.com/deepseek-ai/Engram/blob/main/Engram_paper.pdf (https://t.me/gonzo_ML/4547), тут авторы отделили хранение знаний от нейронных вычислений и вывели закон распределения разреженности (Sparsity Allocation): замена какого-то зависящего от режима оптимума (например, 20%) параметров MoE (Mixture-of-Experts) на огромные статические таблицы эмбеддингов N-грамм значительно улучшает метрики мышления. "Всё нейронное" оказывается хуже, чем "не всё нейронное".
-- западная цивилизация пытается таки понять, как работают распределённые представления, чтобы потом этим управлять. И оказывается, что это трудно, но возможно -- хотя там ответы получаются "по одному вопросу за раз". Общий принцип там такой: вы делаете набор данных, который заставляет сетку попадать в какое-то определённое состояние, отвечающее за объект интереса вашего узкого viewpoint. Затем смотрите, какие нейроны (веса) отвечают за это состояние. И дальше простая арифметика: либо руками проставляете эти веса, чтобы эти состояния гарантированно возникли, или наоборот -- руками убираете эти веса, чтобы эти состояния гарантированно отсутствовали. Ладно, арифметика там не простая, а сложная -- но сути дела это не меняет. Вот пример: "Reasoning Models Generate Societies of Thought" https://arxiv.org/abs/2601.10825 говорит, что we curate feature 30939, summarized as “a discourse marker for surprise, realization, or acknowledgment” by Gemini-2.5-Pro, which activates on tokens like “Oh!” in contexts involving turn-taking and social exchange. This feature exhibits a conversation ratio of 65.7%—placing it in the 99th percentile among all features—while maintaining high sparsity (0.016% of tokens), indicating that it captures a specific conversational phenomenon rather than general linguistic patterns. We select this feature because prior literature suggests that expressions of surprise signal a shift in contrasting perspectives characteristic of social coordination and afliation. Дальше вот такие фичи, вроде упомянутого conversational surprise, которые оказывались связанными с "внутренним диалогом", стимулировали -- вгоняли сетку в "внутрисебясоциальное поведение" на ровном месте. И получали бешеный прирост в умности модели. Это было исследование Гугла, а вот исследование Anthropic: https://www.anthropic.com/research/assistant-axis -- там нашли некоторое направление Assistant Axis в пространстве активаций, которое определяет склонность к дрейфу характера LLM в сторону злонамеренности.