排名推广 | 企业宣传 | | 加入桌面
资讯
当前位置: 股票配资 » 资讯 » 贸易学院 » 正文

MIT发出「算力」警告:深度学习正在迫近计算极限

放大字体  缩小字体 发布日期:2020-07-19  浏览次数:4
核心提示:新智元报道来源:venturebeat编辑:舒婷、白峰【新智元导读】近日,MIT发出警告:深度学习正在靠近计算极限,必
 

新智元报道

股票期货配资来源:venturebeat

编辑:舒婷、白峰

股票期货配资【新智元导读】近日,MIT发出警告:深度学习正在靠近计算极限,必须变化现有技能「大幅」提高计算效率。

股票期货配资深度学习的流行,本质缘故原由都是人们对算力的寻求。

近日,MIT却发出警告:深度学习正在靠近计算极限,必须变化现有技能「大幅」提高计算效率。

根据麻省理工学院,安德伍德国际学院和巴西利亚大学的研究职员的说法,他们在最近的一项研究中发明,深度学习的进展「非常依赖」计算的增长。他们断言,不停的进步将需要通过改变现有技能或通过尚未发明的新要领来「戏剧性地」更有用地使用深度学习要领。

「我们的研究表明,深度学习的计算成本并非偶然,而是精心设计的。同样的机动性使得它在建模各种征象和优于专家模子方面体现精彩,也使得它的计算成本大大增长。只管云云,我们发明深度学习模子的现实计算负担比理论上扩展得更快,这表明需要会有实质性的改进。」

深度学习是呆板学习的一个子领域,研究的是受大脑结构和功效启发的算法。这些算法被称为人工神经网络,由分列成层的函数(神经元)组成,这些函数将信号传输给其他神经元。

股票期货配资这些信号是输入数据输入网络的产物,从一层传输到另一层,缓慢地「调解」网络,现实上就是调解每个毗连的突触权重。网络终极学会了通过从数据集中提取特性和辨认交织样本的趋势来举行预测。

研究职员分析了预印本服务器Arxiv.org上的1058篇论文和其他基准资料,以理解深度学习性能和计算之间的接洽,特别存眷图像分类、目标检测、问题回答、定名实体辨认和呆板翻译等领域。他们分别对计算需求举行了两项分析,反应了可用的两类信息:

1、每一网络遍历的计算量,或给定深度学习模子中单次遍历(即权值调解)所需的浮点运算数。

2、硬件负担,或用于训练模子的硬件的计算能力,以处置惩罚器数目乘以计算速率和时间计算。(研究职员认可,虽然这是一种不准确的计算要领,但在他们分析的论文中,它的报道比其他基准要遍及得多。)

陈诉说,除从英语到德语的呆板翻译(使用的计算能力险些没有变化)外,全部基准均具有「统计学上显着性」的斜率和「强盛的解释能力」。

股票期货配资对象检测,定名实体辨认和呆板翻译对于硬件的负担大幅增长,而结果的改善却相对较小,计算能力解释了流行的开源ImageNet基准测试中图像分类精度差异的43%。

研究职员预计,三年的算法改进相当于计算能力提高了10倍。他们写道:「总体而言,我们的结果清晰地表明,在深度学习的许多领域中,训练模子的进步取决于所使用的计算能力的大幅提高。」

「另一种可能性是,要改善算法自己可能需要互补地提高计算能力。」

股票期货配资在研究历程中,研究职员还对预测举行了推断,以相识到达各种理论基准所需的计算能力以及相干的经济和情况成本。纵然是最乐观的计算,要降低ImageNet上的图像分类错误率,也需要举行100000次以上的计算。

他们的观点是,一份同步陈诉预计,华盛顿大学(University of Washington)的格罗弗(Grover)假期货配资 检测模子的培训成本为2.5万美元,耗时约两周。据报道,OpenAI花费了1200万美元来训练它的GPT-3语言模子,谷歌花费了约莫6912美元来训练BERT,一个双向转换模子重新界说了11个自然语言处置惩罚使命的最新状态。

股票期货配资在客岁6月的另一份陈诉中,马萨诸塞大学阿姆赫斯特分校(University of Massachusetts at Amherst)的研究职员得出结论称,训练和搜索某一模子所需的能量约莫排放了62.6万磅二氧化碳。这相当于美国汽车平均寿命的五倍。

股票期货配资研究职员写道:「我们不认为这些目标所隐含的计算要求……硬件、情况和钱币成本会令人望而却步。以经济的方式实现这一目标,将需要更高效的硬件、更高效的算法或其他改进,从而产生云云巨大的净影响。」

研究职员指出,在算法级别举行深度学习改进已有汗青先例。他们指出了诸如Google的张量处置惩罚单元,现场可编程门阵列(FPGA)和专用集成电路(ASIC)之类的硬件加速器的出现,以及通过网络压缩和加速技能来降低计算庞大性的实验。

股票期货配资他们还引用了神经体系结构搜索和元学习,以此使用优化来查找在一类问题上保持良好性能的体系结构,以此作为计算上有用的改进要领的途径。

算力确实在提高。一项OpenAI研究表明,自2012年以来,每16个月将AI模子训练到ImageNet图像分类中相同性能所需的计算量就减少了2倍。Google的Transformer架构逾越了从前的状态seq2seq也是由Google开发的模子,在seq2seq推出三年后,计算量减少了61倍。

DeepMind的AlphaZero这个体系从零开始教自己如何掌握国际象棋,将棋和围棋的游戏,而在一年后,与该体系的前身AlphaGoZero的改进版本相匹配,其计算量就减少了八倍。

用于深度学习模子的计算能力的爆炸式增长已经竣事了「人工智能冬天」,并为各种使命的计算机性能树立了新的基准。

股票期货配资但是,深度学习对计算能力的巨大需求限定了它可以以目前的情势提高性能的水平,特别是在硬件性能的提高放缓的期间。这些计算限定的可能影响迫使……呆板学习转向比深度学习更高效的技能。

(声明:本文仅代表作者观点,不代表新浪网态度。)

文章要害词: 网络文化

用微信扫描二维码分享至挚友和朋友圈

股票期货配资' + _substr(uids[i].name, 0, 14) + '

' + _substr(uids[i].v_reason, 0, 16) + '

 
 
[ 资讯搜索 ]  [ 加入收藏 ]  [ 告诉好友 ]  [ 打印本文 ]  [ 关闭窗口 ]

 
0条 [查看全部]  相关评论

 
按分类浏览
行业期货配资 (55725) 国际动态 (54952)
经济观察 (55312) 贸易学院 (55420)
娱乐资讯 (54998) 投资理财 (55514)
 
点击排行