Thinking like a CHEMIST: Combined Heterogeneous Embedding Model Integrating Structure and Tokens
[статья]
🔬 Зачем мы это делаем
В химии для представления молекул часто используют строковые форматы, например SMILES. Например, для кофеина SMILES-запись выглядит так:
C[n]1cnc2N(C)C(=O)N(C)C(=O)c12
То есть это буквально текстовое представление, и языковые модели работают с ним как с обычным текстом без помощи маскирования, без дополнительных эвристик [1].
Такие форматы удобны для хранения и передачи, но плохо отражают химическую структуру и свойства молекул. Большинство языковых моделей, применяемых в химии, обучены на SMILES-кодировках с использованием BPE-токенизации или её разновидностей — то есть статистических подходов к токенизации [2], [3].
⚠️ В связи с недостатками SMILES как представления данных для обучения, такие подходы не раскрывают полного потенциала языковых подходов в химии.
🧠 Что мы предлагаем
Мы разработали архитектуру, в основе которой:
• Химически обоснованное разбиение молекул на подструктуры (вместо классической data-driven токенизации),
• Сочетание языковых моделей и графовых нейросетей, объединяющее преимущества обоих подходов.
🔍 Основная идея — приближённое моделирование того, как химик воспринимает молекулу: как набор фрагментов с определёнными свойствами и взаимодействиями.
🧪 Предлагаемый подход
1. Разбиение молекулы на подструктуры с помощью BRICS-разбиения — эвристического метода, учитывающего принципы ретросинтетического анализа.
➕ BRICS разбивает молекулу по химически значимым связям на "кирпичики", используемые в синтезе новых соединений (см. изображение).
2. Для каждой подструктуры рассчитываем набор дескрипторов — численных признаков, описывающих:
• структуру,
• физико-химические свойства,
• топологические характеристики.
3. Передаём последовательность дескрипторов в языковую модель RoBERTa.
4. Параллельно строим граф молекулы и обучаем одну из моделей:
• GCN
• GIN
• Graphormer
с маскированием атомов и связей.
5. Совмещаем два представления (графовое и текстовое) через контрастивное обучение, которое выравнивает эмбеддинги графа и текста в общем латентном пространстве.
✅ Почему это работает
✔️ Дескрипторы дают химически обоснованные признаки, в отличие от случайных статистических токенов SMILES.
✔️ BRICS-разбиение соответствует интуиции химиков: оно оперирует синтетическими блоками.
✔️ Объединение двух каналов (графа и текста) позволяет компенсировать недостатки каждого:
• графовая модель хорошо захватывает структуру,
• языковая — улавливает сложные зависимости.
📊 Результаты
📈 В задачах классификации и регрессии (QSAR) наша модель значительно превосходит существующие подходы, включая MolFormer-XL, несмотря на меньший объём данных и времени обучения.
🤖 Даже простые модели, такие как XGBoost и LightGBM, обученные на наших дескрипторах, показывают впечатляющие результаты — это подтверждает качество предлагаемого представления молекул.
#разборстатьи