Разбираем статью подписчика: дискретный подход к машинному обучению

Авторы (один из них – @x7CFE) предлагают перейти от привычных нейросетей и методов их обучения к работе с дискретными элементами – разреженными битовыми векторами.

Идея основана на том, как кодирует и обрабатывает информацию мозг живого существа. В частности, прототипом послужило строение неокортекса, гиппокампа и других его определяющих частей. По части теории исследователи опирались на гипотезу многообразия и лемму Йонеды, а на практике работает все примерно так:

1. Исходные данные кодируются в так называемые стимулы – как раз те самые битовые векторы. Кодирование происходит по набору правил, то есть это не привычные эмбеддинги. Но полезные свойства сохраняются: стимулы похожих понятий похожи друг на друга.

2. Полученные векторы наносятся на плоскость и происходит кластеризация, выявление паттернов и структур. Для каждого кластера формируется детектор, из которого мы получаем дискретные структурные эмбеддинги.

3. Эти эмбеддинги показывают, какие кластеры активируются, когда модель видит новое поступающее на вход слово. Далее процесс повторяется на следующем уровне иерархии.

То есть обучение превращается в изучение четких ассоциаций, а инференс – в поиск соответствий в памяти. И получается, что:

– Модель более устойчива к галлюцинациям
– Память можно редактировать в любое время, добавлять в нее что-то или удалять (привет элаймент и machine unlearning!)
– Это не черный ящик: все шаги модели интерпретируемы и понятны

Модель тестировали на нескольких задачах, в том числе на медицинских изображениях (да, это работает для разных модальностей). Показано, что она способна понимать и интерпретировать незнакомые данные, улавливать их структуру и четко воспринимать семантику.

В статье приведено еще несколько экспериментов и аргументов, почему это удачный сетап, и чем он лучше современного подхода. Так что советуем почитать полностью, реально интересно ⬇️

- Статья на архив
- Лендинг с версией на русском языке, данными и кодом
- Сообщение автора из нашего чата с кратким разбором результатов

В комментариях приглашаем задавать вопросы лично автору (ну и, конечно, поздравлять его с крутой публикацией!)