Asimo/hnet-smiles
набор байтовых нейросетей для анализа молекул
2 мин чтенияобновлено
Репозиторий содержит восемь компактных моделей архитектуры H-Net от автора Asimo, обученных работать напрямую с химическими формулами в формате SMILES (текстовая запись структуры молекул). Все модели построены на единой двухступенчатой архитектуре (объединение байтов в фрагменты и группы с помощью Transformer и cosine router), но используют разные целевые функции при обучении. За счёт этого нейросети по-разному нарезают молекулу на смысловые куски и решают разные задачи — от предсказания следующего символа до расчёта химических свойств. Подойдёт исследователям в области хемоинформатики и разработчикам ИИ-инструментов для химии.
Ключевые особенности
- Восемь вариантов под разные задачи: представлены версии на ~20M и ~30M параметров для четырёх целей — генерация (next-byte), восстановление скрытых фрагментов (masked-fragments), предсказание отпечатков Morgan (fingerprint) и расчёт дескрипторов RDKit (descriptors).
- Адаптивная сегментация молекул: модель
masked-fragmentsучится разбивать формулы максимально близко к реальным химическим связям (BRICS), почти не разрывая многосимвольные атомы. - Масштабный датасет: обучение прошло на 90,95 млн канонических SMILES-строк из баз PubChem, COCONUT, ChEBI и LIPID MAPS.
- Открытая лицензия: веса моделей доступны под лицензией MIT, а код выложен в открытый репозиторий на GitHub.
Что можно сделать
- Предсказывать 2048-битные молекулярные отпечатки Morgan или 185 физико-химических дескрипторов RDKit напрямую из текстовой строки SMILES.
- Использовать сегментацию из
masked-fragments-30mили20mкак умный токенизатор для разбиения химических соединений на структурные фрагменты. - Восстанавливать пропущенные участки молекул (до 25–45% скрытых байтов) или генерировать новые последовательности побайтово.
Пример
import torch
from data import encode, split
from model import load
model = load("Asimo/hnet-smiles/masked-fragments-30m")
x, n = encode(["CC(C)S(=O)(=O)CCSc1cccc(C(=O)O)c1"])
with torch.no_grad():
out, r = model(x, n)
print(split("CC(C)S(=O)(=O)CCSc1cccc(C(=O)O)c1", r["b"][0]))
Подробнее
Метрики на отложенной выборке (50 000 молекул): descriptors достигают R² 0.998, fingerprint — Tanimoto 0.832 (20M) и 0.831 (30M), masked-fragments восстанавливают 93.2% (20M) и 92.8% (30M) скрытых байтов.Детали обучения: модели 30M обучались 3 эпохи с оптимизатором AdamW, версии 20M — 5 эпох с оптимизатором Muon.
Ограничения: небольшой размер моделей, поддержка только канонических SMILES без стереохимии, использование слоёв Transformer вместо Mamba-2 из оригинальной статьи H-Net.










Комментарии