英特尔称 Nervana NNP 是专为深度学习定做的架构,拥有新的存储器架构,更高的可扩展性、数值并行化,并且英特尔有将深度学习性能提升100倍的野心,让用户从已有硬件(并非专门为 AI 而设计)的性能限制中解放出来。
英特尔 Nervana NNP 并没有标准的高速缓存层次结构,而且单片存储器由软件直接控制以更好控制存储过程,从而使芯片可以在每一次内存释放(die)中获得高度的计算资源效用,这意味着能将深度学习模型的训练时间大大缩短。
AI 模型的可扩展性达到新的层次
英特尔 Nervana NNP 拥有高速的开和关(on and off)的芯片内部数据互联,从而允许大量数据的双向转换。这种设计的目的是实现真正的模型并行化,即神经网络的参数分布在多个芯片中。这使得多个芯片像一个大型虚拟芯片工作,因而能容纳大型的模型,使客户能从数据中获得更多的洞见。
高度的数值并行化:Flexpoint
在单个芯片上做神经网络计算极大地受到能耗和存储带宽的限制。为了使神经网络的工作负载能获得更大的吞吐量,除了上述的存储技术革新,英特尔还发明了一种新的数值类型,Flexpoint。Flexpoint 允许使用定点乘法和加法实现标量计算,并可以通过共享指数实现大动态范围。由于每一次循环变得更小,使得在每一次投掷中能实现更大规模的并行化,同时大大降低每一次计算的能耗。
英特尔称这只是这个硅基芯片系列的第一个产品,并计划利用这个系列在 2020 年将深度学习训练的性能提升 100 倍。
硅基芯片,英特尔,Nervana,NNP