预测基因与自噬相关性（JCIM基于深度学习的毒性共形预测）
预测基因与自噬相关性（JCIM基于深度学习的毒性共形预测）(4)模型评估：在指定的置信度水平下，如果包含正确标签的预测分数等于或高于设置的置信水平，则称该预测器有效。例如，在80%的置信度水平下，至少80%的预测应包含正确的标签。作者还使用了平衡准确度 (BA)、敏感性、特异性、ROC、F1得分、Kappa、精确度和 Matthews 相关系数(MCC)评估了基础模型的预测性。(3)共性预测：使用nonconformist包(详见网址：https://github.com/donlnz/nonconformist)生成共性预测器。方法简介(1)数据：使用了来自Tox21训练数据(详见网址：https://tripod.nih.gov/tox21/challenge/data.jsp)。该数据集包含受试化合物对12种核受体的毒性以及在体外测试系统中测量的应激反应相关靶标。(2)建模：使用scikit-learn StratifiedKFold 拆分
引言
深度学习方法在药物发现和设计以及毒性预测领域引起了越来越多的关注。目前已经在分子特性预测中应用了几种深度学习方法，其中两种最流行的方法是深度前馈神经网络(deep feedforward neural networks)和图神经网络(graph neural networks)。前者使用预先计算的分子表示，例如分子描述符和指纹作为输入，使用反向传播和优化计算多个全连接隐藏层中隐藏单元的权重和偏差，预测结果由输出层的激活函数给出；后者使用分子表示为近似原子的节点和近似键的边，它通过图节点之间的信息传递来考虑图的依赖性。
共形预测(conformal prediction)是一种置信度预测器，它生成具有用户定义的错误率的预测。在某个置信度水平下，所有预测范围的那部分将包括正确的标签或值(分别用于分类和回归问题)。共形预测的好处之一是它可以逐个类地应用，独立保证每个类的错误率。这对于不平衡的分类问题特别有用，因为其可以大大减少偏差。
毒性预测是一个预测置信度至关重要的领域，但大多数深度学习方法并不能准确量化预测的不确定性。贝叶斯神经网络等一些方法已被证明在毒性预测方面效果很好，但它们缺乏与共形预测相关的灵活性，在这种情况下，任何基础模型都可以转换为共形预测器。因此，深度学习和共形预测的结合是毒性预测的一个有吸引力的选择，并且可能有助于定义一个可靠的可靠性评估框架。本文研究的目的是展示共形预测如何帮助构建基于深度学习的预测器，并具有相关的定量不确定性度量，这些度量对不平衡数据也表现良好。作者展示了实现这一目标的不同方法，并使用了几种不同的深度学习架构，还针对来自Tox21的数据的基础模型评估共形预测器的性能。
方法简介
(1)数据：使用了来自Tox21训练数据(详见网址：https://tripod.nih.gov/tox21/challenge/data.jsp)。该数据集包含受试化合物对12种核受体的毒性以及在体外测试系统中测量的应激反应相关靶标。
(2)建模：使用scikit-learn StratifiedKFold 拆分实现的10倍交叉验证训练模型。在每个fold中，留出10%的训练数据用于验证，其余训练数据的20%用作校正集。训练数据的最后剩余部分，称为共形预测中的适当训练集，用于训练模型。作者使用了几种深度神经网络架构以及基于决策树的算法-随机森林(RF)和LightGBM。对于深度学习，使用了一个四层和一个八层前馈深度神经网络(分别称为DNN4和DNN8)以及图卷积神经网络的几种不同实现形式：图注意力网络(GAT)、图卷积网络(GCN)和r半径子图神经网络(GNN)。
(3)共性预测：使用nonconformist包(详见网址：https://github.com/donlnz/nonconformist)生成共性预测器。
(4)模型评估：在指定的置信度水平下，如果包含正确标签的预测分数等于或高于设置的置信水平，则称该预测器有效。例如，在80%的置信度水平下，至少80%的预测应包含正确的标签。作者还使用了平衡准确度 (BA)、敏感性、特异性、ROC、F1得分、Kappa、精确度和 Matthews 相关系数(MCC)评估了基础模型的预测性。
主要结果
图1-6显示了基于指纹、RDKit描述符和活性/非活性化合物的图卷积的不同模型的交叉验证测试集预测的效率。大多数结果遵循一个典型的模式，其中数据集的平均效率在大约 75-80%的置信度达到峰值，而更高的置信度会导致更多的双重预测和更低的置信度在更多的空预测中。这些结果表明，共形预测器可以达到十分有效的水平，使其在预测毒性任务中非常有用。
为了演示如何解释共形预测器的输出，图7中举例说明了输出以及基于指纹的DNN8 模型的结果。为每个类别获得一个共形p值，并结合所需的显著性水平，这些用于导出预测标签。对于示例化合物，两个类别的p值都相对较低，但毒性类别的p值明显较高，表明是有毒化合物。输出允许对单个化合物进行平衡评估，并有可能增强化学风险评估。
图8显示了基于初始预测类别概率和共形预测结果得出的不同模型的平均BA和MCC。在这项研究中，作者实现了两种主要类型的深度学习算法，即深度前馈神经网络和图神经网络。其中一个基于图的模型(GCN)在BA和MCC方面优于其他模型。但是，需要强调的是，这可能取决于所使用的超参数。
从图8中可以看出，与共形预测框架相比，基础模型的性能出现了两种主要情况：(1)GCN等高性能基础模型的预测性能没有提高。这并不奇怪，因为很难实现更好的预测。但是共形预测框架的添加确保了对模型的适用性域(AD)的严格处理，更清楚地表明无法对哪些化合物进行单标签预测。(2)大多数其他模型通过检索更多少数类化合物从CP框架中受益，BA增加，尽管通常以更多误报为代价，MCC减少。此外，对于不平衡数据集，共形预测框架的应用解决了如何使用严格且经过数学验证的重新分类程序来调整标签分类的截止级别的问题。同时，共形预测还允许用户为预测设置可接受的置信度水平。
总的来说，本文研究强调了与基础模型相比，共形预测增加作用的两个领域。首先，文中所有的共形预测器都生成了有效的模型，从而在选定的置信度水平下提供了预期的错误率。这允许用户将预测调整为适合手头任务的置信度。其次，作者证明了共形预测器通常会检索到更多有毒（少数）类的例子，从而降低了假阴性的风险，尽管以更多的假阳性为代价。
图表汇总
图1. 在不同显著性水平(sig_lvl)的所有数据集中，基于指纹的模型对活性化合物类的预测效率
图片来源于JCIM
图2. 在不同显著性水平(sig_lvl)的所有数据集中，基于指纹的模型对非活性化合物类的预测效率
图片来源于JCIM
图3. 在不同显著性水平(sig_lvl)的所有数据集中，基于RDKit描述符的模型对活性化合物类的预测效率
图片来源于JCIM
图4. 在不同显著性水平(sig_lvl)的所有数据集中，基于RDKit描述符的模型对非活性化合物类的预测效率
图片来源于JCIM
图5. 在不同显著性水平(sig_lvl)的所有数据集中，基于图卷积模型的模型对活性化合物类的预测效率
图片来源于JCIM
图6. 在不同显著性水平(sig_lvl)的所有数据集中，基于图卷积模型的模型对非活性化合物类的预测效率
图片来源于JCIM
图7. 选定化合物的共形预测的输出示例。为每个类别生成一个p值，并将其与所需的置信度水平(1-显着性水平)进行比较以得出标签
图片来源于JCIM
图8. 在测试集上为基础模型和相应的共形预测模型在最大平衡效率下选择的平均性能指标
图片来源于JCIM
亮点总结
毒性预测建模有助于降低一系列应用中的风险，并可能作为药物发现中监管决策的基础。然而，如果相关的不确定性没有被充分量化，这些预测的作用就会受到限制。最近的研究显示基于深度学习的预测模型在毒性预测方面的巨大前景，本文作者研究了基于深度学习的预测器与共形预测框架的结合，以生成具有明确定义的不确定性的高度预测模型。作者在共形预测设置中使用了一系列深度前馈神经网络和图神经网络，并评估它们对来自Tox21的数据的性能。作者还将共形预测器(conformal predictors)的结果与底层机器学习模型的结果进行比较，结果表明，即使在高置信度水平下，也可以获得高度预测模型，从而产生非常有效的共形预测器。总而言之，本文结果突出了共形预测器的实用性，它是一种可靠地提供毒性预测的便捷方式，增加了对模型性能的统计保真以及与基础模型相比对少数类的更好预测能力。同时，本文证实了基于深度学习的共形预测器可以生成高度预测模型，并对来自Tox21的数据具有相关的置信度。与基础模型相比，共形预测增加了可控的错误率和对有毒化合物的更好追溯。在作者看来，高预测性能和置信度的结合使得基于深度学习的共形预测器非常适合预测毒理学中的许多任务。
代码下载
Tox21训练数据：https://tripod.nih.gov/tox21/challenge/data.jsp
nonconformist包：https://github.com/donlnz/nonconformist
本文模型：https://github.com/FredrikSvenssonUK/tox21_conformal
参考文献
Jin Zhang Ulf Norinder and Fredrik Svensson Deep Learning-Based Conformal Prediction of Toxicity Journal of Chemical Information and Modeling 2021 ASAP. DOI: 10.1021/acs.jcim.1c00208.
中大唯信头条号与中大唯信公众号、唯信计算订阅号均由中大唯信科技有限公司运营，欢迎关注转发，未经授权禁止转载
