Alibaba Group выложила в открытый доступ код и веса модели LOGOS для нужд химиков, биологов и разработчиков лекарств.
Это первая модель, которая в рамках единой архитектуры объединяет работу с белками, антителами, малыми молекулами, химическими реакциями и материалами.
LOGOS умеет предлагать молекулы-лиганды, способные связываться с заданным белком, находить на белке участки связывания, предсказывать, из каких исходных веществ можно собрать нужное соединение, генерировать новые материалы, дорабатывать белки под нужные свойства и проектировать антитела.
Главная идея проекта в том, чтобы одна модель справлялась со всеми этими задачами сразу, тогда как обычно под каждую делают отдельную узкоспециализированную программу.
Чтобы это стало возможным, разные объекты и их взаимодействия (белки, молекулы, реакции, материалы) были закодированы в общее дискретное пространство токенов.
LOGOS согласовывает предсказание следующего токена во время обучения с целями генерации в последующих задачах.
Этот метод назвали "научной грамматикой", он дал подлинную интероперабельность и синергию знаний между модальностями.
Корпус обучения составил 44 млрд токенов из 7 типов научных данных.
🟡 Тесты
🟢LOGOS-1B превзошла модель NatureLM (8×7B) в задаче генерации молекул;
🟢LOGOS-8B в генерации металл-органических каркасов обошла профильные решения по всем метрикам, а в проектировании участков антител заняла 1 место по точности восстановления аминокислот.
🟡В релизе 4 модели
🟠Три базовые претрейн-версии на 1, 3 и 8 млрд параметров;
🟠LOGOS-8B - версия после SFT под прикладные задачи.
📌Лицензирование: Apache 2.0 License
🟡Arxiv
🟡Набор моделей
🖥GitHub
@ai_machinelearning_big_data
#AI #ML #LSLM #LOGOS #TongyiLab