COMO
химическая формула с картинки превращается в SMILES
2 мин чтения
COMO (Closed-loop Optical Molecule recOgnition) — фреймворк для OCSR (Optical Chemical Structure Recognition, распознавание химических структур по изображению). На вход подаётся картинка 384×384 со структурной формулой, на выходе — SMILES-строка, координаты атомов и матрица связей. Внутри энкодер Swin-B и 6-слойный Transformer-декодер, всего около 94M параметров. Авторы дообучают модель через Minimum Risk Training (MRT — оптимизация сразу по молекулярной метрике, а не по отдельным токенам) на 83K реальных изображений, что заметно подтягивает качество на грязных сканах и патентах. Пригодится тем, кто оцифровывает химическую литературу, патенты и лабораторные архивы.
Ключевые особенности
- Три варианта чекпоинтов: награда по Tanimoto (сходство отпечатков Morgan), по edit distance и по визуальному энкодеру.
- На выходе не просто строка: атомы с 2D-координатами плюс матрица связей из 7 классов, включая wedge и dash.
- Обучение на 1M PubChem и 652K USPTO с аугментациями: тени сканера, волнистые связи, многоязычные подписи.
- В комплекте открытый набор OCSR-Benchmarks из 10 датасетов — от синтетики Indigo до «диких» WildMol-10K.
Что можно сделать
- Оцифровать структурные формулы из PDF-статей и патентов в SMILES для своей базы данных.
- Прогнать пачку изображений через predict_batch и собрать датасет молекул.
- Проверить собственную модель OCSR на готовых бенчмарках USPTO, CLEF, JPO или ACS.
- Взять визуальный чекпоинт, если важнее похожесть картинки, а не точное совпадение строки.
Пример
import como
model = como.load_model("models/tanimoto/final.pth", device="cuda")
smiles = como.predict(model, "molecule.png")
print(smiles) # "CC(=O)O"
smiles_list = como.predict_batch(model, ["mol1.png", "mol2.png"])Подробнее
Exact match: Indigo 98.6%, ChemDraw 96.5%, USPTO 93.4%, CLEF 94.8%, WildMol-10K 77.1%.Вход 384×384 RGB, ~94M параметров, словарь chartok_coords на 200 токенов.
Код и веса — CC BY-NC 4.0, только некоммерческое использование.
Установка: pip install como-ocsr.










Комментарии