您的位置: 首页 > 科技频道

商汤大装置昇腾原生开发实践:集群规模扩展至3倍,线性加速比超97%

出处:北京商报 作者:魏蔚 网编:陶凤 2024-09-25

北京商报讯(记者 魏蔚)9月25日,北京商报记者获悉,商汤大装置事业群研发总监张行程在华为全联接大会2024上分享了商汤大模型基于昇腾原生开发实践。商汤通过高效并行、通信优化及网络架构感知和任务调度等软硬优化技术,构建了大规模并行训练加速系统,其中102B模型的训练性能达到了业界的120%以上,集群规模扩展至3倍后线性加速比97%以上。基于昇腾计算生态,商汤还建设长序列并行训练加速机制,与业界相比,4K序列性能提升1倍以上,32K序列性能持平,还能处理128K长序列训练。

 

右侧广告

本网站所有内容属北京商报社有限公司,未经许可不得转载。 商报总机:010-64101978 媒体合作:010-64101871

商报地址:北京市朝阳区和平里西街21号 邮编:100013 法律顾问:北京市中同律师事务所(010-82011988)

网上有害信息举报  违法和不良信息举报电话:010-84276691 举报邮箱:bjsb@bbtnews.com.cn

ICP备案编号:京ICP备08003726号-1  京公网安备11010502045556号  互联网新闻信息服务许可证11120220001号