Михаил Альбертович Лебедев (@lebedevmikhaila) — нейроученый. Индекс Хирша — 57 (Google scholar).
https://sites.google.com/site/lebedevneuro/curriculum-vitae
https://scholar.google.com/citations?user=cvd2xxcAAAAJ&hl=en
Post #15161
488
Статья предлагает новый взгляд на так называемую гипотезу платоновского представления в контексте глубокого обучения.
Исходная платоновская гипотеза утверждает, что разные модели нейронных сетей, обучаясь на разных задачах и модальностях, в конечном итоге сходятся к единому, идеальному представлению о мире, которое отражает объективную реальность. Авторы обсуждаемой статьи спорят с этим утверждением и выдвигают альтернативную, аристотелевскую точку зрения.
По мнению авторов, представление о мире в нейросетях не является статичным, независимым и идеальным. Вместо этого они утверждают, что внутреннее представление данных в модели неразрывно связано с конкретной задачей, которую эта модель решает, а также с архитектурой самой сети и природой обучающих данных. С этой позиции структура представлений возникает из практического взаимодействия модели со своей средой и целями обучения, а не из-за стремления к какому-то абстрактному объективному идеалу.
В работе приводится теоретический анализ и результаты экспериментов, которые показывают, что сходимость моделей, о которой говорили сторонники платоновской гипотезы, является кажущейся или частичной.
Авторы демонстрируют, что даже если модели показывают похожие результаты или кажутся близкими в пространстве признаков, их внутренние структуры все равно сохраняют глубокие различия, продиктованные их специфическими функциями потерь и ограничениями архитектуры. Это означает, что для одной и той же реальности может существовать множество одинаково эффективных, но принципиально разных способов репрезентации.
В заключении авторы подчеркивают, что переход от платоновского взгляда к аристотелевскому важен для развития искусственного интеллекта. Это позволяет лучше понять, как именно формируются знания в машинных системах, и показывает, что вместо поиска одной универсальной идеальной модели исследователям следует сосредоточиться на том, как различные цели обучения и контексты формируют уникальные и специализированные формы понимания.
https://arxiv.org/abs/2602.14486
arXiv.org Revisiting the Platonic Representation Hypothesis: An Aristotelian View The Platonic Representation Hypothesis suggests that representations from neural networks are converging to a common statistical model of reality. We show that the existing metrics used to measure... Исходная платоновская гипотеза утверждает, что разные модели нейронных сетей, обучаясь на разных задачах и модальностях, в конечном итоге сходятся к единому, идеальному представлению о мире, которое отражает объективную реальность. Авторы обсуждаемой статьи спорят с этим утверждением и выдвигают альтернативную, аристотелевскую точку зрения.
По мнению авторов, представление о мире в нейросетях не является статичным, независимым и идеальным. Вместо этого они утверждают, что внутреннее представление данных в модели неразрывно связано с конкретной задачей, которую эта модель решает, а также с архитектурой самой сети и природой обучающих данных. С этой позиции структура представлений возникает из практического взаимодействия модели со своей средой и целями обучения, а не из-за стремления к какому-то абстрактному объективному идеалу.
В работе приводится теоретический анализ и результаты экспериментов, которые показывают, что сходимость моделей, о которой говорили сторонники платоновской гипотезы, является кажущейся или частичной.
Авторы демонстрируют, что даже если модели показывают похожие результаты или кажутся близкими в пространстве признаков, их внутренние структуры все равно сохраняют глубокие различия, продиктованные их специфическими функциями потерь и ограничениями архитектуры. Это означает, что для одной и той же реальности может существовать множество одинаково эффективных, но принципиально разных способов репрезентации.
В заключении авторы подчеркивают, что переход от платоновского взгляда к аристотелевскому важен для развития искусственного интеллекта. Это позволяет лучше понять, как именно формируются знания в машинных системах, и показывает, что вместо поиска одной универсальной идеальной модели исследователям следует сосредоточиться на том, как различные цели обучения и контексты формируют уникальные и специализированные формы понимания.
https://arxiv.org/abs/2602.14486
- ❤ 2
