最新新闻 一个神经元顶5到8层神经网络,深度学习的计算复杂度被生物碾压了

  • 首页
  • 优发手机网页版登录入口
  • 产品中心
  • 行业动态
  • 最新新闻
  • 最新新闻 一个神经元顶5到8层神经网络,深度学习的计算复杂度被生物碾压了
    浏览: 发布日期:2021-09-10

    望来人造智能的发展还任重道远最新新闻。

    来自耶路撒冷希伯来大学的钻研者对单个神经元的计算复杂度进走了钻研,他们议定训练人造深度神经网络来模拟生物神经元的计算,得出深度神经网络必要 5 至 8 层互连神经元才能外征(或达到)单个生物神经元的复杂度。

      12月16日,体彩大乐透第20128期全国共开出3注1000万元基本投注一等奖。当期全国销量为2.74亿元,为国家筹集彩票公益金9898万元。

      12月的古城南京,气温早已跌破冰点,室外的人们蜷缩在厚厚的冬衣里,但是,在南京环宇城却是另一番景象,那里人潮涌动,那里欢笑不断,那里热情似火。为什么?自然是因为中国体育彩票吉祥物——乐小星,在这里聚光而来,闪亮登场啦!

      2020年12月17日下午,第六季“体彩爱行走”活动举行了捐赠仪式,江苏体彩现场将20万元“体彩爱心基金”捐赠给江苏省妇女儿童福利基金会,用于资助“我助妇儿康”项目。

      近日,湖北体彩武汉分中心组织20名优秀代销者代表,开展了以“微光熠熠 行走正能量”为主题的活动,学习抗疫精神,传递公益正能量。

      四川体彩在市场营销上始终采取推陈创新。对于线上“拉新”,四川体彩其实并不陌生。

    人类糊状的大脑犹如与计算机处理器中的固态硅芯片相往甚远,但科学家将二者进走比较已经有许众年的历史。正如「人造智能之父」阿兰 · 图灵在 1952 年所说,「吾们对大脑具有冷粥浓厚度这一原形不感有趣。」换句话说,介质不主要,主要的是计算能力。

    现在,最重大的 AI 体系采用机器学习的一个分支——深度学习,这些 AI 体系的算法议定处理互连节点暗藏层的大量数据来学习,这被称为深度神经网络。顾名思义,深度神经网络受到了人类大脑中实在神经网络的启发,它们的节点模拟实在神经元。或者起码按照 1950 年代神经科学家对神经元的晓畅,当时一个被称作「感知器」的有影响力的神经元模型已经诞生了。

    自当时首,吾们对单个神经元的计算复杂度的理解急剧增补,也懂得了生物神经元要比人造神经元更添复杂。但复杂众少呢?这个题目一向异国清晰的解答。

    为了找出答案,耶路撒冷希伯来大学的计算神经科学博士生 David Beniaguev、神经科学教授 Idan Segev 和副教授 Michael London 训练了一幼我造深度神经网络来模拟生物神经元的计算。他们外示,一个深度神经网络必要 5 至 8 层互连神经元才能外征(或达到)单个生物神经元的复杂度。

    作者们也异国意料到会表现出这栽复杂度。一作 Beniaguev 外示:「吾原以为生物神经元会更浅易些最新新闻,3 至 4 层人造神经元就足以捕获细胞内实走的计算。」

    一个神经元顶5到8层神经网络,深度学习的计算复杂度被生物碾压了

    从左至右挨次为耶路撒冷希伯来大学博士生 David Beniaguev、神经科学教授 Idan Segev 和副教授 Michael London。

    他们还发外了有关论文《Single Cortical Neurons as Deep Artificial Neural Networks》。

    一个神经元顶5到8层神经网络,深度学习的计算复杂度被生物碾压了

    论文地址:https://www.sciencedirect.com/science/article/abs/pii/S0896627321005018

    DeepMind 决策算法设计师 Timothy Lillicrap 认为,新的钻研效果外明有必要重新思考将大脑神经元与机器学习周围神经元进走疏松比较的旧传统了。

    5 至 8 层人造神经元才能达到单个生物神经元的复杂度

    人造神经元和生物神经元之间最基本的比较是它们如那里理传入的新闻。这两栽神经元都授与传入信号,并按照输入新闻决定是否将信号发送给其他神经元。固然人造神经元倚赖浅易的计算做出决定,但数十年的钻研外明,生物神经元的这个过程要复杂得众。计算神经科学家行使输入 - 输出函数来模拟生物神经元树突授与到的输入与神经元发出信号之间的有关。

    钻研者让一幼我造深度神经网络模仿输入 - 输出函数(生物神经元树突授与到的输入与神经元发出信号之间的有关),以确定其复杂性。他们最先对一栽神经元的输入 - 输出函数进走了大周围模拟,这栽神经元的顶部和底部有迥异的树突分支,称为锥体神经元,来自夸鼠的皮层。然后,他们将模拟效果输入到一个深度神经网络中,该神经网络每层最众有 256 幼我造神经元。

    接着,他们不息的增补层数,直到在模拟神经元的输入和输出之间达到毫秒级别 99% 的实在率。深度神经网络成功地展望了神经元的输入 - 输出函数的走为,所行使的层数至稀奇 5 层,但不超过 8 层。在大无数网络中,这相等于 1000 幼我造神经元对答一个生物神经元。

    如下图 2 所示,具有 7 个暗藏层、每层包含 128 个特征图的时间卷积网络(TCN)忠厚地捕获了一个 L5PC (layer 5 pyramidal neuron)模型。

    一个神经元顶5到8层神经网络,深度学习的计算复杂度被生物碾压了

    在下图 3 中,钻研者展现了异国 N - 甲基天冬氨酸(NMDA)突触的 L5PC 神经元,它能够被具有单个暗藏层(包含 128 个暗藏单元)的深度神经网络忠厚地捕获。其中 A 为 L5PC 模型暗示图、B 为类比的深度神经网络。

    一个神经元顶5到8层神经网络,深度学习的计算复杂度被生物碾压了

    现在已经晓畅了单个神经元的计算复杂度,如下动图所示,左边的椎体神经元倚赖树突状的分支,这些分支会受到信号的影响。在神经元决定是否发送 spike 信号之前,信号转折会导致部门电压转折,外现为神经元颜色的转折(红色外示高电压,蓝色外示矮电压)。这一 spike 展现了 3 次,如右侧单个分支的轨迹所示,颜色代外树突从顶部(红色)到底部(蓝色)的位置。

    来自贝勒医学院的计算神经科学家 Andreas Tolias 外示,这栽效果竖立了从生物神经元到人造神经元的桥梁。但钻研者外示,这还不是一个直接的对答有关(生物神经元到人造神经元)。

    Michael London 认为「神经网络中的层数与网络的复杂性之间的有关并不清晰,因此吾们不克说网络层数从四层增补到五层复杂度会增补众少。吾们也不克说必要 1,000 幼我造神经元就意味着生物神经元的复杂度正好是生物神经元的 1,000 倍。最后,即使在每一层中行使指数级的人造神经元,最后也有能够形成只有一层的深层神经网络——但这能够必要更众的数据和时间来让算法学习。」

    钻研者尝试了许众架构,几乎都战败了。他们还公开了代码,以鼓励其他钻研人员找到更少层的解决方案。但是,找到一栽能够模仿神经元且实在率高达 99% 的深度神经网络是专门难得,钻研者自夸他们的效果为进一步的钻研挑供了有意义的比较。

    Timothy Lillicrap 认为,这能够挑供了一栽新的手段,将图像分类网络(清淡必要 50 层以上)与大脑有关首来。倘若每个生物神经元都像一个五层人造神经网络,那么一个 50 层的图像分类网络能够相等于一个生物网络中的 10 个实在神经元。

    此外,该钻研还期待他们的效果将转折 SOTA 人造智能深度网络架构。「吾们呼吁替换深度网络技术,使其做事手段更挨近大脑,这一实现过程是将深度网络中的每个浅易单元替换为代外神经元单元,而这栽神经元单元自己就是有深度的,」Segev 外示。在这栽替代方案中,AI 钻研人员和工程师能够插入一个五层深度网络行为「迷你网络」,用来取代每一幼我造神经元。

    各路行家学者如何望

    但有些人疑心这是否真的有利于 AI。「吾认为这是一个悬而未决的题目,这栽做法是否存在实际的计算上风,」来自冷泉港实验室的神经科学家 Anthony Zador 外示道。这项工行为测试奠定了基础。

    除了 AI 行使之外,该钻研还添深了人们对树突状树和单个神经元重大计算能力的共识。早在 2003 年,三名神经科学家展现了锥体神经元的树突树能够进走复杂的计算,议定将其建模为两层人造神经网络。在这项新钻研中,钻研者追求了金字塔神经元的哪些特征激发了 5 到 8 层深度神经网络的复杂性。他们得出结论,这来自树突树,树突形式授与化学信使的特定受体——这一发现与先前钻研者在该周围的钻研相反。

    而一些人认为,这一效果意味着神经科学家答该把单个神经元的钻研放在更主要的位置。「这篇论文使得对树突和单个神经元的思考比以前更添主要」,宾夕法尼亚大学计算神经科学家 Konrad Kording 说。另外还有一些人如 Lillicrap 和 Zador,它们认为关注回路中的神经元对于晓畅大脑如何实际行使单个神经元的计算复杂性同样主要。

    不论如何,人造神经网络的说话能够为理解神经元和大脑的能力挑供新的洞见。伦敦大学学院的计算神经科学家 Grace Lindsay 外示:「从层数、深度和宽度这几方面思考让吾们对计算复杂度有了更直不益看的意识,不过这项钻研照样只是模型与模型之间的比较。」

    遗憾的是,现在神经科学家无法记录实在神经元的完善输入 - 输出功能,因此生物神经元模型无法捕获到的新闻能够更众。也就是说,实在神经元能够更添复杂。

    Michael London 对此也外示:「吾们并不确定 5 至 8 层是否就是最后数字。」

    【编辑保举】最新新闻

    企业如何行使基于人造智能工具管理漏洞人造智能如何添强现有的人类成见?2025 年及以后人造智能的异日(二)人造智能将刷新各大走业AI醒悟有众可怕!人造智能否取代人类地位,成为新的地球霸主?