OpenAI показала «прозрачный» ИИ — впервые можно увидеть, как нейросеть думает

Компания представила экспериментальную модель, работу которой можно проследить шаг за шагом. Раньше все LLM были чёрными ящиками — даже создатели не могли объяснить, откуда галлюцинации и почему модель принимает решения.

OpenAI создала разреженный трансформер — нейроны соединены только с небольшим числом других нейронов.

Модель слабая (уровня GPT-1), зато можно увидеть весь алгоритм её работы. Если её получится масштабировать до GPT-3, исследователи впервые смогут открыть модель и понять каждый её шаг.

Ученые считают это прорывом, ну а с нас по традиции 👍 для них.

@your_tech