NV-KERMT-70M-v2对比学习策略分子表示学习的终极优化方案【免费下载链接】NV-KERMT-70M-v2项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/NV-KERMT-70M-v2NV-KERMT-70M-v2是由NVIDIA开发的对比学习图Transformer基础模型专为药物发现中的ADMET吸收、分布、代谢、排泄、毒性特性预测任务设计。该模型通过创新的对比学习策略将2D分子图编码为具有化学意义的潜在表示为计算化学和机器学习研究人员提供了强大的分子表示学习工具。什么是对比学习策略对比学习是一种自监督学习方法通过学习区分相似和不相似的数据样本从而捕获数据的本质特征。在分子表示学习中这种策略尤为重要因为它能够帮助模型理解分子结构与化学性质之间的复杂关系。NV-KERMT-70M-v2采用了一种独特的联合概率目标函数将以下几个关键组件融合在一起SMILES重构通过Transformer解码器从潜在表示中重建分子的SMILES字符串批内对比判别学习区分同一分子的不同表示与其他分子的表示化学特异性自监督包括原子上下文、键上下文和官能团预测任务这种多任务联合训练的方式使得模型能够从多个角度学习分子的本质特征从而生成更具化学意义的分子表示。NV-KERMT-70M-v2的核心优势1. 强大的模型架构NV-KERMT-70M-v2基于图Transformer架构结合了局部消息传递和全局自注意力机制。模型的主要参数如下编码器隐藏大小8006个消息传递加注意力层每层4个注意力头解码器3个Transformer层8个注意力头512隐藏/潜在维度总参数数量7.06×10^7这种架构设计使得模型能够有效地捕捉分子的局部结构特征和全局属性为下游ADMET预测任务提供强大的表示基础。2. 大规模多样化训练数据模型在一个综合语料库上进行了100个epochs的预训练包括11M分子的ZINC15ChEMBL基础池Biogen ADMET数据集约3.5K分子ExpansionRX数据集约7.6K分子ChEMBL-MT数据集约114K分子总计约11.1百万个独特的规范SMILES字符串经过RDKit-based去重处理。这种大规模、多样化的训练数据确保了模型能够学习到广泛的化学知识和分子特性。3. 优异的下游任务性能NV-KERMT-70M-v2在多个ADMET基准测试中表现出色主要评估指标包括平均绝对误差MAE皮尔逊相关系数r斯皮尔曼相关系数ρ这些指标在以下数据集上进行了评估Biogen3.5K分子4个端点Bemis-Murcko scaffold拆分5个随机种子ExpansionRX7.6K分子9个端点时间拆分5个随机种子ChEMBL-MT114K分子25个端点Taylor-Butina聚类拆分2折×2个种子这种全面的评估策略确保了模型在不同类型的ADMET预测任务上都能表现出稳定的性能。如何开始使用NV-KERMT-70M-v21. 环境要求使用NV-KERMT-70M-v2需要以下环境操作系统Linux运行时引擎PyTorch 2.x硬件要求具有计算能力7.0Volta或更新的NVIDIA GPU建议至少32GB GPU vRAM支持的GPU架构包括NVIDIA Ampere、Blackwell、Hopper、Lovelace、Turing和Volta。2. 获取模型和代码要开始使用NV-KERMT-70M-v2首先需要克隆代码仓库git clone https://gitcode.com/hf_mirrors/nvidia/NV-KERMT-70M-v2模型的源代码、训练脚本和推理工具可以在GitHub仓库中找到github.com/NVIDIA-BioNeMo/KERMTv2.0分支或v2.0.0发布标签。3. 模型输入和输出输入表示2D分子结构的SMILES字符串UTF-8格式输出分子嵌入形状为(batch_size, hidden_size800)的浮点张量原子级和键级读出潜在表示形状为(batch_size, latent_dim512)的浮点张量特性预测微调后形状为(batch_size, num_endpoints)的浮点张量生成的SMILES仅预训练时解码器UTF-8 SMILES字符串4. 微调流程NV-KERMT-70M-v2发布的检查点是预训练的骨干网络用户需要在自己的标记数据集上针对特定的ADMET端点进行微调。微调过程通常包括准备目标ADMET数据集配置微调超参数加载预训练模型权重训练下游任务头评估模型性能优化和部署实际应用案例NV-KERMT-70M-v2的分子表示可以应用于多种药物发现任务1. ADMET特性预测通过在特定ADMET端点数据集上微调模型可以预测分子的吸收、分布、代谢、排泄和毒性特性帮助研究人员在药物开发早期筛选候选分子。2. 分子相似性搜索模型生成的分子嵌入可以用于计算分子之间的相似性帮助研究人员找到具有类似性质的分子加速先导化合物的发现过程。3. 分子可视化通过PCA、t-SNE或UMAP等降维技术可以将高维分子嵌入可视化帮助研究人员理解分子空间的结构和分布。注意事项和局限性在使用NV-KERMT-70M-v2时需要注意以下几点预测结果仅为统计估计不应作为安全关键药物开发决策中实验测量的替代。预训练编码器的化学覆盖范围偏向于类药物的商业可用化合物和生物活性分子对远离此分布的分子的预测可能不可靠。建议在应用于新的化学空间时监控潜在空间邻域距离信号。下游ADMET预测性能在Biogen、ExpansionRX和ChEMBL-MT上进行了基准测试但对其他ADMET测定方案或非ADMET端点的泛化能力尚未得到充分表征。用户有责任确保模型生成的分子的物理性质得到适当评估并符合适用的安全法规和伦理标准。总结NV-KERMT-70M-v2通过创新的对比学习策略为分子表示学习提供了一个强大而灵活的解决方案。其独特的联合概率目标函数、强大的模型架构和大规模多样化的训练数据使其成为药物发现中ADMET特性预测的理想选择。无论是作为特征提取器还是作为下游多任务ADMET微调的起点NV-KERMT-70M-v2都能为计算化学和机器学习研究人员提供卓越的性能和灵活性。通过合理利用这一先进的分子表示学习工具研究人员可以加速药物发现过程降低开发成本并最终为患者带来更好的治疗方案。参考资料Adrian, M., Chung, Y., Boyd, K., Paliwal, S., Veccham, S.P., Cheng, A.C.Multitask finetuning and acceleration of chemical pretrained models for small molecule drug property prediction.arXiv:2510.12719 (2025).Rong, Y. et al.Self-Supervised Graph Transformer on Large-Scale Molecular Data.NeurIPS 33, 12559–12571 (2020).Sterling, T., Irwin, J. J.ZINC 15 – Ligand Discovery for Everyone.J. Chem. Inf. Model. 55(11), 2324–2337 (2015).Mendez, D. et al.ChEMBL: towards direct deposition of bioassay data.Nucleic Acids Research 47(D1), D930–D940 (2019).Fang, C., Wang, Y., Grater, R. et al.Prospective Validation of Machine Learning Algorithms for ADMET Prediction.J. Chem. Inf. Model. 63(11), 3263–3274 (2023).【免费下载链接】NV-KERMT-70M-v2项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/NV-KERMT-70M-v2创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考