视觉三维重建技术解析：今日 Paper

逗爷 2022-11-10 12:41:47 243

视觉三维重建技术解析：今日 Paper为了更好地服务广大 AI 青年，AI 研习社正式推出全新「论文」版块，希望以论文作为聚合 AI 学生青年的「兴趣点」，通过论文整理推荐、点评解读、代码复现。致力成为国内外前沿研究成果学习讨论和发表的聚集地，也让优秀科研得到更为广泛的传播和认可。这篇论文考虑的是增量学习中的分类器权重问题。在基于深度学习方法的增量学习中，恒定的算力预算要求所有增量状态都使用固定的架构。有限的内存会产生数据不平衡，从而偏向于新类，出现预测偏差。通常的解决办法是引入数据平衡步骤来消除这种偏见。这篇论文则是提出一种简单但有效的对历史类型分类器权重进行缩放的方法，使其与新类型权重具有可比性。缩放尺度利用到增量状态级别统计信息，并将其应用于在类的初始状态下习得的分类器，以便从其所有可用数据中获利。通过将其与有限内存下的微调原始模型的方法进行比较，这篇论文质疑了增量学习算法中广泛使用的蒸馏损失分量的实用性。在四个公共数据

SCAIL：用于类增量学习的分类器权重缩放

论文名称：ScaIL: Classifier Weights Scaling for Class Incremental Learning

作者：Belouadah Eden /Popescu Adrian

发表时间：2020/1/16

论文链接：https://paper.yanxishe.com/review/9225

这篇论文考虑的是增量学习中的分类器权重问题。

在基于深度学习方法的增量学习中，恒定的算力预算要求所有增量状态都使用固定的架构。有限的内存会产生数据不平衡，从而偏向于新类，出现预测偏差。通常的解决办法是引入数据平衡步骤来消除这种偏见。这篇论文则是提出一种简单但有效的对历史类型分类器权重进行缩放的方法，使其与新类型权重具有可比性。缩放尺度利用到增量状态级别统计信息，并将其应用于在类的初始状态下习得的分类器，以便从其所有可用数据中获利。通过将其与有限内存下的微调原始模型的方法进行比较，这篇论文质疑了增量学习算法中广泛使用的蒸馏损失分量的实用性。在四个公共数据集上根据竞争基准进行的评估结果表明，分级器的权重缩放尺度和蒸馏移除都是对结果有利的。