Создана большая языковая модель Galactica на open source для науки, которая станет важной вехой в развитии науки и искусственного интеллекта

Galactica состоит из 120млрд параметров и способна читать. обобщать академическую литературу, решать математические задачи, создавать статьи для Wiki, писать научный код, аннотировать молекулы и белки и многое другое.

Вот почему это большой прорыв для науки и ИИ:

1. Большие языковые модели формируются не архитектурой, а обучающими данными. Такие модели, как GPT-3 и OPT, обучаются на текстах, взятых из Интернета в целом, которые, к сожалению, содержат много нерелевантного, дезинформированного или токсичного контента.

2. А научные тексты - статьи, в основном невосприимчивы к этим проблемам данных, что в п1. Они содержат аналитический текст с нейтральным тоном, знания, подкрепленные фактами, и написаны людьми, которые хотят информировать, а не разжигать гнев.

3. Если Stable Diffusion — это интеллектуальное сжатие всего искусства, то Galactica — его аналог для науки.

4. Galactica умеет рассуждать. Представьте себе, сколько умственных сил и энергии тратится на каждое слово, которое пишет ученый.

5. Подход к ускорению рассуждений тоже весьма интересен. Специальный токен <work> используется для инициации пошагового рассуждения. Другие токены добавляются для обработки новых текстовых режимов, таких как цитаты. Напоминает метаязык, который использует OpenAI Whisper.

6. С открытыми моделями мы сможем исследовать и раскрывать новые возможности. Например, такие работы, как CLIP, изучают интермодальные представления.

Мечта о роботе-ученом, который не только просматривает все существующие статьи со сверхчеловеческой скоростью, но и помогает нам отправиться в неизведанные области науки, служа нашим верным вторым пилотом на этом пути. Galactica — это первый шаг, а лучшее еще впереди.