编辑/凯霞
众所周知，大脑在各个尺度上都具有深度异质性，神经层面的异质性是否发挥功能作用尚不清楚。以往的研究大多使用简化的任务或网络，异质性是否可以帮助动物解决自然环境中复杂的信息处理任务仍然未知。
近日，来自帝国理工学院的研究人员发现，脑细胞之间的差异可能会加速学习，并提高大脑和未来人工智能的性能。研究发现，通过在大脑网络模拟中调整单个细胞的电学特性，这些网络的学习速度要比模拟相同细胞的学习速度快。网络需要更少的调整细胞来获得相同的结果，并且该方法比具有相同单元的模型能耗更低。
该研究以「Neural heterogeneity promotes robust learning」为题，于 2021 年 10 月 4 日发表在《Nature Communications》杂志上。
作者表示，他们的发现可以告诉我们为什么我们的大脑如此擅长学习，也可能帮助我们构建更好的人工智能系统，例如可以识别语音和面部的数字助理，或自动驾驶汽车技术。
第一作者 Nicolas Perez 博士说：「大脑需要节能，同时仍然能够擅长解决复杂的任务。我们的工作表明，大脑和 AI 中的神经元多样性可以同时满足这些要求。并可以促进学习。」
为什么神经元像雪花？
大脑由数十亿个称为神经元的细胞组成，这些细胞通过巨大的「神经网络」连接起来，使我们能够了解世界。神经元就像雪花：从远处看它们是一样的，但进一步观察就会发现，没有两个是完全相同的。
相比之下，人工神经网络（人工智能所基于的技术）中的每个细胞都是相同的，只是它们的连接性不同。尽管 AI 技术发展迅速，但它们的神经网络学习的准确度或速度不如人脑——研究人员想知道，细胞变异性的缺乏是否可能是罪魁祸首。
他们开始研究通过改变神经网络细胞特性，来模拟大脑是否可以促进人工智能的学习。研究发现，细胞的变异性提高了他们的学习能力，减少了能量消耗。
研究人员通过训练循环尖峰神经网络对具有不同程度时间结构的视觉和听觉刺激进行分类，研究了神经异质性在任务表现中的作用。比较了四种不同的条件：初始值可以是同质的或异质的，训练可以是标准的或异质的。更详细地说，时间常数要么用单个值初始化（同构初始化），要么根据伽马分布随机初始化（异构初始化）。使用了具有不同程度时间结构的五个不同数据集。
图示：网络架构和训练配置图。（来源：论文）
研究发现，时间常数的异质性对那些训练数据集的性能产生了深远的影响，其中信息在输入尖峰的精确时间中编码。并且证明了该结果是由于异质性。
引入异质性可以大幅提高性能，但代价是参数数量的增加很小，并且不使用任何额外的神经元或突触。因此，异质性是一种代谢有效的策略。这也是神经形态计算感兴趣的一种计算效率高的策略。
此外，使用大量神经元可以获得更好的性能。
通讯作者 Dan Goodman 博士说：「进化赋予了我们难以置信的大脑功能——其中大部分我们才刚刚开始理解。研究表明，我们可以从我们自己的生物学中吸取重要的教训，让人工智能更好地为我们工作。」
调整时间
为了进行这项研究，研究人员专注于调整「时间常数」——也就是说，每个细胞根据与其相连的细胞正在做什么来决定它想要做什么的速度。有些细胞会很快做出决定，只看连接的细胞刚刚做了什么。其他细胞的反应会较慢，它们的决定基于其他细胞一段时间以来一直在做什么。
在所有任务中，训练后时间常数的分布近似，但不完全符合对数正态分布或伽马分布（每个任务具有不同的参数）。它们在不同的训练运行和初始分布中也是一致的，这表明学习到的分布可能是最优的。
有趣的是，实验数据中每种细胞类型的分布参数也不同。这表明在不同细胞类型方面引入更多的多样性可能会导致更好的性能。
在改变细胞的时间常数后，他们让网络执行一些基准机器学习任务：对衣服和手写数字的图像进行分类；识别人类手势；并识别口语数字和命令。
结果表明，通过允许网络结合慢速和快速信息，它能够更好地解决更复杂的现实世界中的任务。
当他们改变模拟网络中的变异量时，他们发现表现最好的网络与大脑中看到的变异量相匹配，这表明大脑可能已经进化为具有恰到好处的变异量以实现最佳学习。
最后，通过两个超参数被误调的实验证明了异质性可以提高对错误学习的稳健性。
图示：学习超参数调整的稳健性。（来源：论文）
Nicolas 补充说，「我们证明了人工智能可以通过模拟某些大脑特性来更接近我们大脑的工作方式。然而，目前的人工智能系统远未达到我们在生物系统中发现的能源效率水平。接下来，我们将研究如何降低这些网络的能耗，让 AI 网络更接近于像大脑一样高效地运行。」
