Недооцененная сложность

Современные нейросети оперируют сотнями миллионов параметров. В хайповом Chat GPT - 175 миллиардов параметров. Для сравнения в мозге человека примерно 86 миллиардов нейронов. И оба числа в триллионы раз меньше, чем количество молекул кислорода в комнате вашей квартиры.

При этом моделирование работы мозга сложнее и требует больше допущений, чем моделирование поведения молекул кислорода в комнате. Получается, оперировать большим количеством параметров трудно. Но само по себе количество параметров ничего не говорит о сложности системы.

Например, нейросети с увеличением количества параметров не только дают более аккуратный результат, но и сильнее наследуют предрассудки из обучающих данных. Стенфорд оценил, что языковая модель с 280 миллиардами параметров стала на 29% более токсичной по сравнению с моделью со 117 миллионами.

Напрашивается заголовок: искусственный интеллект тот еще токсик! А за заголовком - много вопросов. Что больше влияет, количество параметров или что мир стал более токсичным с 2017 по 2021 год? Как именно строится индекс токсичности и не предвзят ли он сам? Как влияет, что данные для обучения взяты из одного пространства без установленных этических правил или с правилами, которые определили корпорации? С ответом на каждый картинка становится объемнее.

Рассуждение про нейросети - пример недооцененной сложности. Вывод очень простой, но имеет смысл только если описаны все предположения и упрощения, в которых он сделан.

Мне самой нравится рассказывать простыми словами о сложных вещах. Находить суть, без которой концепция не работает. Без которой красивая математика лишняя, логические цепочки рушатся и идея пуста. И продавать понятные решения! Простоту (настоящую или иллюзию) покупают заметно быстрее, чем полный пакет дисклеймеров.

Одновременно мне важно видеть сложность мира (N+1, скучаю!) и бесконечное множество влияющих на события параметров. И строить модели, которые достаточно хорошо описывают реальность.

Закончу Тимом Минчином и его версией научного подхода с приобретенной за последний год негативной коннотацией.

PS Артур, привет! Наконец с тобой согласна. Но Талеба все равно читать невозможно 😅

#мемы #ai