神经网络训练出来的权重是什么：真正的神经网络 敢于不学习权重

神经网络训练出来的权重是什么：真正的神经网络 敢于不学习权重上图左：以多个权重值作为集成进行实例化的 WANN 比随机权重采样的网络性能好得多，且性能与具有数千个权重的线性分类器相同。上图右：在所有数字上具有更高准确率的单个权重值不存在。WANN 可被实例化为多个不同网络，它们具有创建集成的可能性。即使是在高维分类任务中，WANN 方法依然表现非常好（如图 5 左所示）。虽然局限于单个权重值，WANN 方法能够分类 MNIST 数字，且性能堪比具备数千个权重的单层神经网络（权重通过梯度下降进行训练）。创建的架构依然保持权重训练所需的灵活性，从而进一步提升准确率。图 5：MNIST 数据集上的分类准确率。

模型最终在 CarRacing-v0 任务上获得的最好效果。

有监督分类问题又怎样

WANN 方法在强化学习任务上取得的成果让我们开始思考，它还可以应用到哪些问题？WANN 能够编码输入之间的关系，非常适合强化学习任务：低维输入加上内部状态和环境交互，使反应型和自适应控制器得以发现。

然而，分类问题没那么模糊，它界限分明，对就是对，错就是错。作为概念证明，研究者调查了 WANN 在 MNIST 数据集上的表现。

即使是在高维分类任务中，WANN 方法依然表现非常好（如图 5 左所示）。虽然局限于单个权重值，WANN 方法能够分类 MNIST 数字，且性能堪比具备数千个权重的单层神经网络（权重通过梯度下降进行训练）。创建的架构依然保持权重训练所需的灵活性，从而进一步提升准确率。

图 5：MNIST 数据集上的分类准确率。

上图左：以多个权重值作为集成进行实例化的 WANN 比随机权重采样的网络性能好得多，且性能与具有数千个权重的线性分类器相同。上图右：在所有数字上具有更高准确率的单个权重值不存在。WANN 可被实例化为多个不同网络，它们具有创建集成的可能性。

MNIST 分类网络进化为可以使用随机权重。

作者简介

这篇论文的一作 ADAM GAIER 现在德国波恩-莱茵-锡格应用技术大学和法国国家信息与自动化研究所（INRIA）进行博士研究。2019 年 1 月进入谷歌大脑，担任 Research Intern。

ADAM GAIER

从履历来看，他与中国颇有渊源。2010 年 1 月-2011 年 6 月，他曾担任清华附中国际部（Tsinghua International School）的计算机科学负责人。

David Ha

二作 David Ha 是谷歌大脑研究科学家，目前主要从事机器智能方向的研究。他作为一作或参与撰写的论文多次在顶会上发表。机器之心曾报道过他作为一作所写的一篇论文《World Models》（参见：

模拟世界的模型：谷歌大脑与 Jürgen Schmidhuber 提出「人工智能梦境」

）。

参考内容：https://arxiv.org/abs/1906.04358