算力消耗高、幻觉问题棘手、多模态原生统一难……大模型轰轰烈烈发展至今,仍然面临技术上的诸多挑战。瞄准这些“痛点”,智源研究院放了个大招。在北京智源大会上,涵盖大语言模型、多模态大模型、具身智能大模型以及生物计算大模型的“智源大模型全家桶”面世。智源研究院院长王仲远曾给智源的研究作出过一个高度概括——各家企业都在尝试的、已经相对成熟的技术路线,智源不做。智源要做的是攻克大模型的核心关键痛点,是解决行业前沿的技术难题。
“靶向”创新
“AI的尽头是算力,算力的尽头是电力。”而这一切也建立在一个不可避免的场景上,大模型约等于大算力,过往席卷全球的“算力荒”情况足以说明一二。
为解决这一问题,6月14日,智源研究院和中国电信人工智能研究院(TeleAI)基于模型生长和损失预测等关键技术,联合研发并推出全球首个低碳单体稠密万亿语言模型Tele-FLM-1T。该模型与百亿级的52B版本、千亿级的102B版本共同构成Tele-FLM系列模型。
据了解,Tele-FLM系列模型实现了低碳生长,仅以业界普通训练方案9%的算力资源,基于112台A800服务器,用4个月完成3个模型总计2.3Ttokens的训练,成功训练出万亿稠密模型Tele-FLM-1T。模型训练全程做到了零调整零重试,算力能效高且模型收敛性和稳定性好。
目前,TeleFLM系列模型已经全面开源了52B版本,Tele-FLM-1T版本即将开源。
在接受北京商报等媒体采访时,王仲远说:“Tele-FLM-1T虽然还在训练当中,但它证明了我们的生长技术能够使用很少的算力就达到一个相对不错的结果。另一方面,我们也希望这样一个万亿稠密模型能够促进整个开源社区的发展,让大家不需要从头开始训练万亿参数模型,也就不需要从头解决收敛的问题。”
具身智能
得益于大模型的通用能力,机器人有了注入“灵魂”的可能。王仲远提到,智能体很可能会成为大模型出现爆款应用的一个方向。因为大模型的通用能力意味着可能出现真正意义上的智能助理,如果未来每个人都能拥有这样一个助理,并且足够智能且好用的话,就会催生巨大的产业变革。
但具身智能也面临着实时性、敏捷性等方面的具体挑战。在北京智源大会上,智源研究院具身智能创新中心也分享了在机器人泛化动作执行和智能大小脑决策控制等方面取得的多项世界级突破性成果。
而在分级具身大模型系统方面,智源研究院则研发了能够从失败中重思考、再尝试的铰接物体操作大模型系统SAGE。该系统有效结合了三维视觉小模型对空间几何的精确感知能力和通用图文大模型的通用物体操作知识,使大模型驱动的机器人能够在任务执行失败时重新思考并再次尝试新的交互方式,实现了传统机器人技术无法企及的智能性和鲁棒性。
具身智能泛指人工智能技术尤其是大模型技术与物理世界不同硬件的结合,人形机器人只是具身智能的一种表现形态,即承载具身智能的本体是人形机器人。近来备受资本市场关注的也是这一内涵的人形机器人。
爆发节点
接受采访时,王仲远常强调的一件事就是,智源研究院要做企业没做过的事,要做“不可能”,要做真正的技术突破和原始创新,王仲远说,这是智源的一个重要使命。
对原始创新的追求贯穿于研究始终。比如智源研究院推出的Emu3原生多模态世界模型,就没有采用业界常用的DiT架构,而是采用智源自研的多模态自回归技术路径。
原始创新意味着孤注一掷的押注,也意味着极大的挑战和可能存在的失败风险。王仲远说,原始创新同样遵循科学规律,这就说明存在着失败的可能,“呼吁社会能够给原始创新一个更宽容、更宽松的环境,创新不一定会成功,但即使失败也是非常有意义的失败”。
但大模型自身的发展和外界尤其是普通用户的感知又常常存在着一定的“温差”。对此,王仲远对北京商报记者说:“我们不能高估一次技术革命的速度,也不能低估一次技术革命的深度和广度。几年前我觉得AGI离我们还有四五十年的距离,但现在我觉得这个距离只有四五年,很多时候突破就是一瞬间的事情。而且最后不管是B端的爆发还是C端的杀手级应用,都是一定会到来的,而当绝大部分用户感知到的时候,已经是爆发之后的事情了。”
至于这个爆发的节点,王仲远预测,可能要到GPT-4下一代技术成熟的时候。
北京商报记者 杨月涵
本网站所有内容属北京商报社有限公司,未经许可不得转载。 商报总机:010-64101978 媒体合作:010-64101871
商报地址:北京市朝阳区和平里西街21号 邮编:100013 法律顾问:北京市中同律师事务所(010-82011988)
网上有害信息举报 违法和不良信息举报电话:010-84276691 举报邮箱:bjsb@bbtnews.com.cn
ICP备案编号:京ICP备08003726号-1 京公网安备11010502045556号 互联网新闻信息服务许可证11120220001号