MIT警示“深度学习过度依赖算力”研究三年算法不如用10倍GPU

MIT警示“深度学习过度依赖算力”研究三年算法不如用10倍GPU

2021年4月11日

作者 | 蒋宝尚、青暮

目前深度学习的繁荣过度依赖算力的提升,在后摩尔定律时代可能遭遇发展瓶颈,在算法改进上还需多多努力。

他们得出这个结论的根据,是在1058篇论文中所统计的两个信息:

与线下结合或是在线教学发展之路

为了更清楚的说明“单次传播所需的浮点操作数”和“硬件负担”这两个指标,作者在合著的研究报告中,举了ImageNet的例子。

师资短缺是当地教育的一大难题。2018年起,北京市援疆教师以15人左右为一个团队,开展“组团式”教育援助。

北京首创大学生支教项目、形成“组团式”教育援助模式……不仅解决了受援地教师数量及结构性短缺问题,还带来了先进理念和蓬勃朝气,助推当地学校提升办学水平。

两年来,和田地区不仅解决了1/5的教师缺口,大学生支教教师还为受援地带来了先进的理念和蓬勃的朝气。

随着教学秩序恢复正常,疫情期间“临危受命”的在线教学将如何发展?

作业和课堂测验是在线检测学生学习的常用方法

在硬件设施建设方面,北京利用援疆资金积极支持各类学校建设。2016年至2019年底,新改扩建151所学校及幼儿园,为11所中小学、幼儿园配备现代化教学设备,对38所乡镇中小学、幼儿园实施供暖设施改造,仅2019年便新增学位2.5万余个,帮助地区实现适龄学生“应入尽入”。

北京还培训和田地区各类教师1.7万余人次,并选派北京职业教育专家为和田地区职业学校举办师资培训,2017年,27名职业教育专家组团来和开展“京和学校手拉手”帮教活动,共培训28场、1500余人次;还选派了240名骨干教师赴京跟岗培训提升教研能力,全面提升教师素质与教学水平。

而这算力提高的背后,其实现目标所隐含的计算需求——硬件、环境和金钱成本将无法承受。      

除了“临危受命”的在线教学之外,科技入校还包括近年来不断涌现的智慧教室、虚拟仿真、人脸识别等“科”“教”融合而生的技术与设备。教师对新技术进课堂的使用情况和认可度如何?

新技术进课堂,学习平台应用最广泛

和田市教育局支教办主任、大学生支教项目负责人徐久浩介绍,在未施行大学生支教项目之前,师资力量严重不足是阻碍当地教育发展的非常重要的因素。

图注:模型指标的线性增长和计算代价的指数增长相关。

大学期间曾经支教的魏恒博(左)毕业后留在和田继续任教。

得出的结论是:训练模型的进步取决于算力的大幅提高,具体来说,计算能力提高10倍相当于三年的算法改进。

2019年8月,魏恒博作为实习支教大学生,到和田市阿克恰勒乡第二小学实习支教,讲授语文课程。在新疆和田实习支教结束后,他选择继续留在和田工作。今年7月初,他成为和田市北京海淀小学的一名教师。他说,让他选择留在这里工作的最主要原因,是工作氛围以及新疆的风土人情。

避免干扰关键是加强教学设计

另外,即使是最乐观的计算,要降低ImageNet上的图像分类错误率,也需要进行10^5次以上的计算。

在硬件层面,由于摩尔定律的制约,显然需要改进的是硬件的架构,主要问题就是如何简化处理器和利用应用程序的并行性。通过简化处理器,可以将复杂的处理核替换为晶体管数量需求更少的简单处理核。由此释放出的晶体管预算可重新分配到其他用途上,比如增加并行运行的处理核的数量,这将大幅提升可利用并行性问题的效率。

据介绍,2018年和2019年期间,共招聘支教大学生约1.2万名,投入援疆资金1个多亿。

在线教学是科技入校的“先头部队”,在崭新的教学模式下,教师会遇到哪些教学难题?研究数据显示,92.9%的受访教师在疫情期间有过“空中授课”经历,这些教师认为,“学生自主学习积极性不高”是在线教学的最大痛点(50%)。“师生间交流不便”和“网络硬件条件不好”紧随其后,分别为42.6%和43.8%。

今年22岁的支教大学生魏恒博便是毕业后选择留在和田市继续工作的大学生之一。

另外,约三成教师提出在线教学需要制定相适应的评价学生学习的方法。在上半年的教学过程中,教师主要采用哪些方法评价学生?

10月13日,北京援建的和田市北京海淀小学。 本版摄影/新京报记者 吴江

有没有办法尽量避免电子设备干扰学生学习的发生?在回答“教师如何管控学生携带电子设备进课堂辅助学习”时,近九成受访教师(87.7%)认为学校和教师要做好课程设计,制定需要电子设备的教学环节等。超过三成教师给“严格规定使用时间”和“安装统一的学习软件”投了赞成票。

“组团式”受援学校的办学水平明显提升。

北京市援疆和田指挥部介绍,“十三五”期间,为解决和田地区教育底子薄、条件差的问题,2016年至2019年共投入23.5亿元援疆资金,支持79个教育援疆项目。

首创大学生支教项目解决和田教师缺口

研究结果显示,教师最广泛采用的形式是“课后作业”和“课堂小测验”,使用率超过了五成,而利用在线学习平台组织考试的教师比例较少(周考:31.9%;月考:28.3%;期中考试:28.7%;期末考试:20.9%)。

在算法层面,在已有算法上的改进是不均匀的,而且具有偶然性,大量算法进展可能来源于新的问题领域、可扩展性问题、根据硬件定制算法。

“自由灵活”是在线教学主要优势

2、硬件负担,或用于训练模型的硬件的计算能力,计算方式为处理器数量乘以计算速率和时间。(研究人员承认,尽管这是一种不精确的计算方法,但在他们分析的论文中,对这种计算方式的报告比其他基准要广泛。)

在Science这篇论文中,作者给过去算力的提升归纳了两个原因:一个是“底部”的发展,即计算机部件的小型化,其受摩尔定律制约;另一个是“顶部”的发展,是上面提到的软件、算法、硬件架构的统称。

在研究中,为了了解深度学习性能与计算之间的联系,研究人员分析了Arxiv以及其他包含基准测试来源的1058篇论文。论文领域包括图像分类、目标检测、问答、命名实体识别和机器翻译等。

在软件层面,可以通过性能工程(performance engineering)提高软件的效率,改变传统软件的开发策略,尽可能缩短软件运行时间,而不是缩短软件开发时间。另外,性能工程还可以根据硬件的情况进行软件定制,如利用并行处理器和矢量单元。

软硬件兼顾 四年支持79个教育援疆项目

在文章中,作者提到,在后摩尔定律时代,提升计算性能的方法,虽然“底部”已经没有太多提升的空间,但“顶部”还有机会。

OpenAI的一项研究表明,自2012年以来,将AI模型训练到ImageNet图像分类中相同性能所需的计算量每16个月减少一半。Google的Transformer架构超越了seq2seq,在seq2seq推出三年后,计算量减少了61倍。DeepMind的AlphaZero可以从头开始学习如何掌握国际象棋、将棋和围棋游戏,与一年前该系统的前身AlphaGoZero相比,其计算量减少了八倍。

据介绍,2018年8月,第九批第二期援疆教师队伍从第一期的54人扩大到219人,期限从一年延长为两年;2020年秋季学期进一步扩大到275人,实现学前教育、义务教育、职业教育、高等教育全覆盖。

大学生支教项目有力地促进了受援地师资队伍建设的良性发展。一部分实习支教大学生在完成学业后,来到和田应聘就业、支边留疆。

超六成教师认可技术对教学/管理帮助作用

数据分析:麦可思研究院

当然,研究人员也同时指出,在算法水平上进行深度学习改进已经成为提升算力性能的重要方向。他们提到了硬件加速器,例如Google的TPU、FPGA和ASIC,以及通过网络压缩和加速技术来降低计算复杂性的尝试。他们还提到了神经架构搜索和元学习,这些方法使用优化来搜索在某一类问题上具有良好性能的架构。

2018年,在北京援疆资金支持下,和田地区面向全国招聘高校大学生赴和田实习支教,构建“一举四效”北京模式,有效助力和田教育扶贫,在19个援疆省市中走在了前列。

简化的另一种形式是领域专门化(domain specialization),即针对特定应用程序定制硬件。这种专门化允许考虑领域的特点,自定义简化硬件结构,具有极强的针对性。

根据外媒Venturebeat报道,麻省理工学院联合安德伍德国际学院和巴西利亚大学的研究人员进行了一项“深度学习算力”的研究。

在去年6月的马萨诸塞州大学阿默斯特分校的另一份报告中指出,训练和搜索某种模型所需的电量涉及大约626,000磅的二氧化碳排放量。这相当于美国普通汽车使用寿命内将近五倍的排放量。

在提升职业教育水平促进产业就业方面,针对和田地区职业教育需求突出的问题,北京一方面支持和田技师学院新建实训楼、综合教学楼,提升硬件设施设备;另一方面通过选派职业教育专家来和田授课、强化“京和”两地职业学校结对帮扶、开展校企合作等方式,提升职业教育水平。

北京市援疆和田指挥部介绍,2018年8月,第九批第二期援疆教师队伍从第一期的54人扩大到219人,期限从一年延长为两年;2020年秋季学期进一步扩大到275人,援助学校实现学前教育、义务教育、职业教育、高等教育全覆盖。

同时,北京还高度重视教育资源信息化建设,支持“班班通”工程建设,支持首都师范大学、北京师范大学与当地开展“首都教育远程互助工程”培训交流。借助近年来援疆资金的大力支持,和田地区学校硬件条件已迈上新的台阶,师资水平有效提升。

作为北京对口支援新疆的重要组成部分,教育援疆是“长期建疆”系统工程中的基础性工程。2016年至2019年,北京共投入23.5亿元支持79个教育援疆项目。

深度学习会被算力锁死么?顶层设计仍有希望  

1、在给定的深度学习模型中,单次传播(即权重调整)所需的浮点操作数。

徐久浩介绍,以和田市为例,2017年至今,有8400人次的大学生来到该市支教,其中约有上千人完成学业后留下来继续工作,在留下的大学生中,总体的流失量目前在5%以内。

经过半年来的在线教学经历,教师对其优势与劣势有了较为全面的体会。

作者说,通过分析这些论文,目标检测、命名实体识别和机器翻译尤其显示出硬件负担的大幅增加,而结果的改善却相对较小。在流行的开源ImageNet基准测试中,计算能力贡献了图像分类准确率的43%。      

为什么说“深度学习过度依赖算力”?

如需转载,请注明麦可思。

“新技术”进课堂对教学和教学管理工作有多大帮助?研究发现,“手机/电脑端学习平台”和“教师教学在线评价软件”在一线教学教师和教学管理者中都获得了超过六成的认可度。此外,60.7%的一线教师认为“智慧教室”对教学工作有帮助。

近年来,和田地区人口大幅增加、学生数量增长迅猛,同时无法承担汉语教学的教师占比较大,导致师资力量严重不足。

手机、电脑等电子设备对在线教学的支持功不可没,当学生回到课堂,他们的电子设备也能“回到”课堂吗?数据显示,超过半数(55.4%)受访教师支持学生携带电子设备(手机、电脑等)进入课堂,以丰富教学方法;但也有31.3%的教师认为电子设备容易干扰学生学习注意力,不建议在课堂上使用。

另外,在今年的5月份,OpenAI针对AI算法在过去数年中性能的提升做了一个详细的分析。他们发现,自2012年以来,在 ImageNet 分类上训练具有相同性能的神经网络,所需要的计算量,每16个月降低一半。与2012年相比,现在将神经网络训练到 AlexNet 的性能,所需的计算量仅为原来的1/44(相比之下,摩尔定律仅降低为1/11)。

计算能力的爆发结束了“AI的冬天”,并为各种任务的计算性能树立了新的基准。但是,深度学习对计算能力的巨大需求限制了它改善性能的程度,特别是在硬件性能改善的步伐变得缓慢的时代。研究人员说:“这些计算限制的可能影响迫使机器学习转向比深度学习更高效的技术。”

“组团式”教育援疆即采取“校级领导+中层干部+骨干教师”结构匹配,形成团体作战模式,进行优势互补,切实发挥立体式团队作用,从整体上助推了受援地学校提升办学水平。

“组团式”教育援助提升当地学校办学水平

关于深度学习是否达到了计算能力上限这件事情,之前就有过讨论,例如MIT、英伟达、微软研究者合著的一篇 Science 论文便从软件、算法、硬件架构三个维度分析了算力的发展趋势。

深度学习需要的硬件负担和计算次数自然涉及巨额资金花费。据Synced的一篇报告估计,华盛顿大学的Grover假新闻检测模型在大约两周的时间内训练费用为25,000美元。OpenAI花费了高达1200万美元来训练其GPT-3语言模型,而Google估计花费了6912美元来训练BERT,这是一种双向Transformer模型,重新定义了11种自然语言处理任务的SOTA。

作为“组团式”教育援疆试点学校之一,和田市北京海淀小学援疆团队第一批17名援疆教师把北京先进的办学理念引入学校,并定期培训本地教师,培养了一批后备干部力量,为教师专业发展搭建了平台,提高了学校教师教育教学整体水平,使该校实现跨越式发展,成为和田市知名小学,以及和田市小学教育的一面旗帜。

北京对于新疆的教育帮扶不仅覆盖了建学校、买设备等硬件建设,还投入了大量精力提升“软件”,比如聘请支教老师、培训当地老师等。我们希望通过软硬件结合的方式,提升当地教育水平,增进边疆民族孩子对祖国大家庭的感受认同,增进民族团结。——程永涛(北京市援疆和田指挥部副指挥)

显然,算法上的进步相比服从摩尔定理的硬件的进步,能产生更多的效益。 

雷锋网雷锋网(公众号:雷锋网)雷锋网

本分析所用数据的统计时间从2020年8月31日开始,到2020年9月4日结束。收回有效答卷共536份(包括一线教师313份,教学管理者223份)。问卷通过网络回收,无抽样及其检验,最终结果仅代表回答问卷教师的想法。数据收集、分析与解读由麦可思完成,数据仅供参考。

研究显示,接近八成的教师认为,兼顾线上和线下教学特征的混合式教学应当获得学校支持,例如制定线上线下混合式教学政策,鼓励教师在后疫情时代开展在线教学等。此外,将在线教学纳入绩效考核范畴是不少教师的“心声”,48.2%的教师希望学校能完善在线教学工作量的计算方法,超过六成的教师希望学校把在校教学纳入教师评价机制,在晋升、评奖时加以考虑。

得益于北京教育援疆工作,兵团第十四师高考成绩逐年稳步上升。2018年,产生了和田地区高考文科状元;2020年,一本上线率较上一年有很大提升,理科最好成绩、单列类理科最好成绩均创历史新高。

数据显示,超过六成教师认为在线教育优势在于提供更多可选的课程资源,学生可以灵活安排学习时间,以及教师可以利用软件及时获取学生课堂学习反馈。

大学生支教项目施行之后,这一问题得到非常大的改善,他介绍,以今年为例,和田市大概要招聘1000多个岗位,现在报名的就有5000余人。

“举一个简单的例子,2016年,和田市曾经有一些教师岗位,连续两年都招聘不到老师。”徐久浩说。

研究结果显示,“手机/电脑端学习平台(例如网课学习、在线作业、在线测试等)”是课堂上使用最广泛的“新技术”,73.9%的受访教师表示学校引入了学习平台,实现了网上学习、布置作业、安排考试等功能;其后是“教师教学在线评价软件(包括随堂评价、期中评价、期末评价等)”和“智慧教室(包括电子白板、投影仪以及课堂智能设备等)”,分别有54.5%和41.2%的受访教师表示学校引入了这两种技术。

以实训、实验为代表的教学内容不适合线上教学是教师认为在线教学的最主要劣势(66.7%),其后为“缺乏合理有效的学生学习情况考核机制”(59.6%)“难以实时关注学生学习注意力”(57.2%)“课堂讨论交流不便”(56%)。不过,有些劣势可以通过一些措施弥补。例如教师利用软件平台随机提问或发布小测验,了解学生学习情况。为了增强师生间的交流效果,除了学习平台语音交流外,教师还可以建立网络聊天区,鼓励学生发帖留言,增加交流互动的渠道。

援疆教师通过“师带徒”结对帮扶、“班主任修炼”、“教案撰写专题辅导”、“教学基本功提升训练”、“推门听课评课”、“开放集体教研活动”、“网络公开示范课”、“周末送教下乡”、举办民族教师“国语强化夜校”等形式,全方位加强师资培训,为受援地打造一支带不走的教师队伍。

超半数教师支持电子设备进课堂

学生“不主动”是在线教学最大难题

雷锋网原创文章,。详情见转载须知。