选题四 · 多模态分子表征

课程选题四的代码仓库。研究对象是分子性质预测的多模态融合：把同一个分子用多种模态 同时表示，编码后融合，再做下游的性质预测、分子分类、条件生成与反应预测。

四种模态：分子图（2D 拓扑）· SMILES 序列 · 分子图像（2D 渲染）· 属性向量 PV（理化描述符）

核心研究问题：多模态融合是否真的优于最强单模态？

定位：这不是”模态越多越好”的复现，而是”在什么条件下融合不划算“的判据。

---

环境

Python 3.11 + venv，原生 Windows（全程 CPU，无 CUDA）。

python -m venv .venv
.\.venv\Scripts\Activate.ps1          # PowerShell

pip install -r requirements.txt

PyTorch 的装法见 requirements.txt —— 直接 pip install torch 会装成 CPU 版。

⚠️ 本机网络：github.com / huggingface.co 不可达。 下 GitHub 文件走 raw.githubusercontent.com，整仓打包走 codeload.github.com。

---

目录结构

├─ src/          四模态编码器、融合模型、数据管线
├─ scripts/      可执行入口（下载 / 训练 / 消融 / 效率 / 出图）
├─ data/         MoleculeNet 与 USPTO 数据集            （不入库）
├─ results/      实验留档：日志、图、meta               （不入库）
└─ docs/         实验记录、交接文档、汇报材料

---

实验记录

待建：留档机制（每次实验自动落 results/<时间戳>_<实验名>/）尚未接入。

拟沿用与 topic1_neural_operator 相同的约定：

文件	内容
log.txt	终端输出全文
meta.json	时间、耗时、参数、指标、包版本、git commit
summary.md	指标表 + 内嵌图，可直接贴进报告
fig_*.png	图

---

数据与评测协议

• 数据集：MoleculeNet（BBBP / BACE / DILI 二分类，ESOL 回归）+ USPTO-50k 反应预测
• 划分：scaffold split（Bemis-Murcko 骨架），防结构泄漏
• 统计：多种子重复 + 显著性检验，不显著就如实报告

---

进度

• 代码入库
• 实验留档机制
• 环境与数据下载脚本验证
• 主实验矩阵
• 消融与效率分析
• 汇报材料 / 结题报告

---

参考文献定位

• GIT-Mol —— 图/图像/文本三模态 + LLM，GIT-Former 交叉注意（arXiv:2308.06911）
• SPMM —— 把属性向量 PV 当独立模态，结构↔性质双向生成（Nat. Commun. 15:2323）
• Multi-view —— 三模态晚融合 + 可学习权重 α（arXiv:2410.19704）
• MoleculeNet —— scaffold split 的出处（Chem. Sci. 9:513–530）