浪潮AI服务器大幅提高NLP实体模型Transformer训炼特


浪潮AI服务器大幅提高NLP实体模型Transformer训炼特性


浪潮AI服务器大幅提高NLP实体模型Transformer训炼特性 人力智能化正在由“能看、会听”的认知智能化向“能读、会写”的认知能力智能化迈入。因为文本是信息内容、观念的关键载体,假如测算性能够了解文本并可以用文本表述,那末就具有了读写能力工作能力,因此NLP被觉得是认知能力智能化的关键提升口。现阶段流行的NLP实体模型包含Transformer, Bert, GPT, XLNet等,而Bert和GPT都根据Transformer构架。Transformer被视作是NLP的經典实体模型,2017年由谷歌提出,其运用自留意力(self-attention)体制完成迅速并行处理,而且能够提升到十分深的深层,充足发

近日,在北京举办的2019人力智能化测算交流会(AICC 2019)上,浪潮公布流行当然語言解决(NLP)实体模型Transformer的全新特性检测数据信息。Transformer实体模型主要参数经营规模可达数亿,对测算、通讯的规定十分高。特性数据信息显示信息,相比同类服务器,浪潮AI服务器NF5488M5大幅提高了Transformer的训炼特性,GLUE标准训炼至80.4%的時间相比同类商品大幅降低67%。

浪潮AI服务器NF5488M5

人力智能化正在由 能看、会听 的认知智能化向 能读、会写 的认知能力智能化迈入。因为文本是信息内容、观念的关键载体,假如测算性能够了解文本并可以用文本表述,那末就具有了读写能力工作能力,因此NLP被觉得是认知能力智能化的关键提升口。现阶段流行的NLP实体模型包含Transformer, Bert, GPT, XLNet等,而Bert和GPT都根据Transformer构架。Transformer被视作是NLP的經典实体模型,2017年由谷歌提出,其运用自留意力(self-attention)体制完成迅速并行处理,而且能够提升到十分深的深层,充足挖掘DNN实体模型的特点,提高实体模型精确率。

可是Transformer实体模型训炼是1大困难,由于其主要参数经营规模做到数亿,对测算力的要求很大。OpenAI的Transformer实体模型有12层、768个掩藏模块,应用8块P100 GPU在8亿词量的数据信息集上训炼40个Epoch必须1个月。身后的缘故很大水平上在于GPU通讯制约。Transformer Attention体制的全联接层测算时会造成大量主要参数,而升级主要参数梯度必须GPU间高速传送。另外,实体模型经营规模很大致使占有很多GPU显存,而batchsize一般都很小,致使每次测算的時间较快,测算后升级主要参数梯度经常,这也进1步规定更高的GPU间传送速率。

浪潮AI服务器NF5488M5 根据畅通无阻塞的GPU全互连设计方案,提升性地完成了All to All 300GB/s的Peer to Peer带宽。在当今深层学习培训通讯实体模型All Reduce特性主要表现上,NF5488M5的具体通讯带宽能够做到选用基本NVLink互联的GPU服务器的3倍以上。更是这类特点,大大提高了Transformer实体模型在NF5488M5上的通讯高效率,从而加大了测算通讯比,节省了总体运作時间。检测結果说明,NF5488M5大幅提高了Transformer训炼特性,GLUE标准训炼至80.4%的時间比选用PCIe互联的8GPU服务器减少67%,比选用基本NVLink互联的8GPU服务器减少31%。

Transformer训炼特性检测結果

浪潮团体AI HPC总主管刘军觉得,当今根据Transformer的Bert, XLNet等实体模型意味着了NLP的发展趋势方位,而它们的特性便是加快器间通讯制约。检测結果充足说明浪潮AI服务器NF5488M5在GPU间通讯高效率上具备明显领跑优点,可以大幅提高Transformer等大中型AI工作中负载的训炼特性,减少训炼成本费,加快认知能力智能化产品研发和运用落地。

浪潮是人力智能化测算的领导品牌,AI服务器我国销售市场市场份额维持50%以上,并与人力智能化领跑高新科技企业维持在系统软件与运用层面的深层次密不可分协作,协助AI顾客在视频语音、词义、图象、视頻、检索、互联网等层面获得数量级的运用特性提高。浪潮与协作小伙伴共建元脑绿色生态,共享资源AI测算、資源与优化算法3大关键服务平台工作能力,助推制造行业客户开发设计并布署属于自身的 制造行业人的大脑 ,加快推动产业链AI化落地。

 有关阅读文章: