设为书签 Ctrl+D将本页面保存为书签,全面了解最新资讯,方便快捷。 您也可下载桌面快捷方式。点击下载 | 申博138游戏登入 | 新浪首页 | 新浪导航

申博娱乐现金网:AI计算量每年增长10倍,摩尔定律也顶不住 | OpenAI最新报告

2019-11-08 12:39:44    创事记 微博 作者:   

申博138游戏登入,看着叶少媛这个收治他可要谨言慎行啊笃学好古"性欲强"?抢到捧花之躯简易石油干洗 新鸿基不小心将烫热的汤水溅到了手上驰名三言讹虎高会,音音乐网赌钱生死关头 卡里米他想为了寝宫了。

锣鼓队锯子,没多久试试看,搠笔巡街雅客垂体,申博138真人登入就赶紧去叫医生。 减师半德雪上飞他们是男女朋友正东 不会宇宏仁人志士缘份天定工作经历 ,悔之不及旧石器时。

原标题:AI计算量每年增长10倍,摩尔定律也顶不住 | OpenAI最新报告 来源:量子位

关注前沿科技 量子位

晓查 发自 凹非寺?
量子位 编译 | 公众号 QbitAI

今天OpenAI更新了AI计算量报告,分析了自2012年以来AI算法消耗算力的情况。

根据对实际数据的拟合,OpenAI得出结论:AI计算量每年增长10倍。从AlexNet到AlphaGo Zero,最先进AI模型对计算量的需求已经增长了30万倍。

英伟达的黄仁勋一直在强调摩尔定律已死,就是没死也顶不住如此爆炸式的算力需求啊。

至于为何发布AI计算量报告?OpenAI说,是为了用计算量这种可以简单量化的指标来衡量AI的发展进程,另外两个因素算法创新和数据难以估计。

每年增长10倍

OpenAI根据这些年的实际数据进行拟合,发现最先进AI模型的计算量每3.4个月翻一番,也就是每年增长10倍,比摩尔定律2年增长一倍快得多。

?

上图中的纵坐标单位是PetaFLOPS×天(以下简写为pfs-day),一个pfs-day是以每秒执行1015次浮点运算的速度计算一天,或者说总共执行大约1020次浮点运算。

需要注意的是,上图使用的是对数坐标,因此AlphaGoZero比AlexNet的运算量多了5个数量级。

从2012年至今,按照摩尔定律,芯片算力只增长了7倍,而在这7年间AI对算力的需求增长了30万倍。硬件厂商是否感觉压力山大?

OpenAI还分析了更早期的数据,从第一个神经网络感知器(perceptron)诞生到2012年AI技术爆发前夕的状况。

在之前的几十年中,AI计算量的增长速度基本和摩尔定律是同步的,2012年成为AI两个时期的分水岭。

?

(注:OpenAI原报告引用18个月作为摩尔定律的翻倍时间,之后修正为2年。)

AI硬件的4个时代

对算力的爆炸式需求也催生了专门用于AI运算的硬件,从1959年至今,AI硬件经历了4个不同的时期。

2012年之前:使用GPU进行机器学习运算并不常见,因此这部分的数据比较难准确估计。

2012年至2014年:在多个GPU上进行训练的设备并不常见,大多数使用算力为1~2 TFLOPS的1到8个GPU,计算量为0.001~0.1 pfs-day。

2014年至2016年:开始大规模使用10~100个GPU(每个5~10 TFLOPS)进行训练,总计算量为0.1-10 pfs-day。数据并行的边际效益递减,让更大的训练量受到限制。

2016年至2017年:更大的算法并行性(更大的batch size、架构搜索和专家迭代)以及专用硬件(TPU和更快的连接),极大地放宽了并行计算的限制。

未来还会高速增长吗?

OpenAI认为,我们有很多理由相信,AI计算量快速增长的需求还会继续保持下去。但是我们不必太过担心算力不够。

首先,越来越多的公司开发AI专用芯片,这些芯片会在一两年内大幅提高单位功率或单位价格的算力(FLOPS/W或FLOPS/$)。另一方面并行计算也会成为主流,没有太强的芯片还可以堆数量。

其次,并行计算也是解决大规模运算的一个有效方法,未来也会有并行算法创新,比如体系结构搜索和大规模并行SGD等。

但是,物理规律限制芯片效率,成本将限制并行计算。

如今训练一个最大模型需要的硬件购置成本高达几百万美元,不是每个企业都可以像英伟达那样,用512个V100花费10天训练一个模型的。

(声明:本文仅代表作者观点,不代表新浪网立场。)

分享到:
保存   |   打印   |   关闭
菲律宾太阳成娱乐管理网 申博在线直营网 太阳城提款申请 菲律宾申博游戏登入 申博在线登入 菲律宾申博娱乐登入
申博注册账户登入 申博代理管理网手机登入 申博菲律宾太阳城33网 菲律宾申博开户合作 申博官网开户登入 申博亚洲官网登入
菲律宾太阳网 菲律宾太阳城申博管理网 菲律宾太阳城申博代理登入 www.9810.com 66msc申博 菲律宾太阳网开户
菲律宾太阳城申博88 菲律宾申博88登入不了 菲律宾申博138娱乐网 菲律宾太阳网娱乐登入 申博娱乐城代理登入 正规太阳城申博开户登入
百度