字节跳动开源AI训练引擎 最快提速3倍以上
6月28日，字节跳动火山翻译团队宣布推出LightSeq训练加速引擎，并向全球开发者开源。这是业界首款完整支持Transformer模型全流程加速的训练引擎，最快可提速3倍以上，帮助从业者大幅提升模型生产效率。
Transformer是自然语言处理、计算机视觉等AI技术领域最常用的基础模型，被广泛应用在机器翻译、文本生成、文本摘要、图像处理、时间序列预测等任务中。训练和推理则是AI技术的两个主要过程，相当于学习知识和解决问题。
受到硬件资源限制，一些高校实验室和中小公司无法训练大型模型，降低批处理大小等措施又会导致训练时间成倍增加。如何利用有限的资源最快训练出模型，成为计算机科研工作者和开发者们普遍关注的问题。
据悉，LightSeq训练加速引擎能够支持Transformer的完整加速，从词嵌入层、编码层、解码层，到最后的损失函数层，业内首次实现了全流程支持。而且LightSeq的训练速度极快，相比主流的序列生成库，LightSeq最快只需要三分之一的时间就能完成训练。
火山翻译团队负责人介绍说，LightSeq训练加速引擎具有功能全面、简单易用的特点，并提供了丰富的二次开发工具。通过插入自定义层或修改几个命令行参数等方式，用户可以在各种流行训练库上轻松使用LightSeq。
字节跳动持续投入开源社区的建设，已开源了机器学习平台Klever、联邦学习平台Fedlearner、高性能分布式训练框架BytePS等重磅项目。2019年底，火山翻译团队开源了LightSeq推理加速引擎，此次开源LightSeq训练加速引擎，完全打通了Transformer模型从训练到推理部署的整个流程。
“开源是推动科技进步的重要力量，我们受益于开源，更需要为开源社区做出贡献”，上述负责人表示，字节跳动把LightSeq系列项目开源，与各界共享技术成果，希望能帮助广大科研人员节约时间成本，为学术界和产业界激发创造力提供有力支持。
LightSeq开源项目地址：https://github.com/bytedance/lightseq
核心关键字： 人工智能相关文章
-
首度扭亏之后，阿里影业(1060.HK)“内容+科技”业务模型或迎市场重估
6月9日晚，阿里影业(1060.HK)公布2021财年业绩，这是其疫后的首份年度财报，也是战略迭代后交出的首份答卷。数据显示，截至2021年3月31日的12个月内，阿里影业收入达28.6亿元（人民币，下同），与去年同期基本持平；期内经调整EBITA约1.2亿元，实现首度扭亏为盈，归母净亏损同比大幅缩窄约92%。而且经营活动现金流净额约2.6亿元，同比改善显著。可见，疫后阿里影业的经营总体稳中向好，...
2021-06-14 11:51:32 阿里影业内容 -
快递内卷时代，菜鸟找到新引擎
从2013年成立至今，菜鸟已经走过8个年头。8年时间里，快递行业可谓是风起云涌。一方面，得益于电子商务的迅猛发展和菜鸟的电子面单、驿站和菜鸟裹裹等技术和业务落地，原本低效、杂乱的快递网络在服务质量、标准化和运营效率上都有了长足的提升。快递行业总业务量从2017年的400.6亿件，一路飙升到2020年的833.6亿件。但另一方面，由于激烈竞争引发的价格战，快递公司的单票收入不断下降，2020年的快递...
2021-06-11 18:50:19 菜鸟物流供应链 -
徐旭初：数字乡村建设成为乡村振兴新引擎
“数字乡村建设发展，将会成为引领乡村振兴的实践热点，也将是县域经济跨越式发展的强大助力。”6月9日，浙江大学中国农民合作组织研究中心主任，杭州电子科技大学法学院教授、博士生导师徐旭初在“2021全国数字生态创新发展峰会”发表主题演讲时说。浙江大学中国农民合作组织研究中心主任，杭州电子科技大学法学院教授、博士生导师 徐旭初徐旭初表示，未来需要做的就是数字乡村，通过数字乡村促进乡村经济，通过数字乡村推...
2021-06-10 20:50:06 乡村数字几个 -
动点汽车：加码智能网联生态，实时引擎 Unity 正成为智能汽车行业的新驱动
编者按：伴随着智能车联网时代的到来和电动车市场的火热，如何趁着智能化、数字化之势而上，打造具有丰富、高端体验感的次世代汽车产品，已经成为整个汽车行业追求的目标。而在这背后，Unity凭借积累多年的实时3D技术，正成为智能汽车圈的“软”驱动力和强大的助推新“引擎”。听说过Unity的人可能多少都知道，这是一家游戏引擎公司。作为驱动全球一半以上游戏、71%以上手游的创作和运营平台，Unity的野心却远...
2021-06-10 19:07:32 汽车智能平台 -
鸿蒙不再属于华为？华为最高层发声：开源基金会主导鸿蒙开源项目，所有友商均可参与
华为鸿蒙操作系统（HarmonyOS）的发布引发国内外空前关注。央视点赞华为，称鸿蒙有望打破操作系统垄断；争议也随之而来，有消息称国内几家知名手机厂商都表示不会使用鸿蒙。6月4日，华为内部发布了一个《关于规范HarmonyOS沟通口径的通知》（下称“通知”），对鸿蒙操作系统统一定调。通知表示，内部对“鸿蒙操作系统”缺乏规范的表述和统一口径，导致理解不一致、说法不一致，且容易引起混淆，为此需要做一个...
2021-06-06 12:49:35 华为鸿蒙操作系统 -
蚂蚁集团自研数据库 OceanBase 宣布正式开源，并成立开源社区
6月1日，蚂蚁集团自研数据库 OceanBase宣布正式开源，并成立OceanBase开源社区，社区官网同步上线。数据库是基础软件皇冠上的明珠，也是每一家公司业务系统的核心。传统的开源数据库从性能、可用性、安全性上与实际的企业级业务应用诉求存在不小的差距。据了解，开源已经上升为OceanBase重要的技术战略。OceanBase数据库创始人阳振坤表示，蚂蚁自研数据库OceanBase致力于打造企业...
2021-06-01 15:49:37 开源数据库社区 -
戴礼度简历_深度科技开源社区经理戴礼度受邀参会演讲_活动家
戴礼度，深度科技开源社区经理，于2015-11-28受邀参加“2015第五届深度操作系统开发者与用户大会”会议，并将做精彩演讲。活动家是第三方嘉宾邀约平台。可根据演讲议题、会议日期、活动预算等要求，为您提供该领域内专业嘉宾演讲邀约服务。您可准备好活动信息后，联系客服电话：18911802888（工作日9时至18时，仅邀约嘉宾出席活动，其他需求勿扰）戴礼度简历_深度科技开源社区经理戴礼度受邀参会演讲...
2021-06-01 07:51:26 活动家嘉宾深度 -
哈啰普惠用车获两项发明专利授权，哈啰大脑匹配引擎 2.0 更智能
近日，由上海钧正网络科技有限公司申请的“一种服务业务的匹配方法、装置、计算机设备和存储介质”和“处理方法、装置、计算机设备、存储介质及车辆调度系统”两项发明，双双获得由国家知识产权局颁布的发明专利授权通知。据了解，两项发明专利分别应用哈啰顺风车和哈啰打车业务，将分别提高顺风车的司乘匹配效率和网约车的运力调度能力等。哈啰大脑匹配引擎2.0增加“智能推荐助手”共享出行已经深入到人们生活中，顺风车平等互...
2021-05-31 16:58:36 供需司乘用户 -
阿里云宣布开源PolarDB数据库,与社区共建云原生数据库生态
5月29日，阿里云开发者大会上，阿里云宣布开源云原生数据库能力，对外开放关系型数据库PolarDBforPostgreSQL的源代码，将阿里内部沉淀多年的技术分享出来，服务百万开发者。目前，该项目已在阿里云官网及Github上发布，后续将引入分布式事务、单机高性能等能力。“我们希望将阿里云在数据库技术上积累的丰富经验，通过标准技术组件和系统的方式开放出来，共建开源数据库生态。”阿里云数据库负责人李...
2021-05-29 16:53:26 阿里数据库开源 -
2021青岛新金融高峰论坛大咖云集，打造“双循环”新引擎，助力RCEP新机遇
5月21日，“打造双循环新引擎，助力RCEP新金融发展”2021青岛新金融高峰论坛在青岛市新金融产业园正式举行。本次论坛由中国中小企业发展促进中心、青岛市地方金融监督管理局、青岛市市北区人民政府主办，由青岛市市北区地方金融监督管理局、青岛市市北区历史城区管理委员会、青岛融汇财富投资控股集团有限公司、青岛市北建设投资集团有限公司、青岛新金融产业园、英诺创新空间以及英诺天使基金承办。青岛市北区委书...
2021-05-24 15:41:21 金融青岛双循环
| 留言与评论（共有 0 条评论） |
