端侧大模型爆发元年,商汤超预期的地方在哪? 端侧大模型爆发元年,商汤超预期的地方在哪?
admin
2024-04-26 21:21:42
0

4月26日,商汤(00020.HK)收盘大涨43.37%,已连续5个交易日上涨,累计涨幅105%。

消息面上,4月23日,商汤发布了业内首个“云、端、边”全栈大模型产品矩阵,以满足不同规模场景的应用需求,并全新升级“日日新SenseNova5.0” (下称“日日新5.0”)大模型体系。“日日新5.0”据悉在知识、数学、推理和代码能力方面大幅提升,综合能力全面对标GP T-4 Turbo。

银河证券发布研报称,商汤“日日新SenseNova”发布节奏超预期,综合能力大幅提升,有望推动国内通用大模型厂商加速迭代,降低应用端成本和门槛,进一步拓宽应用端场景,推动AI商业化进程提速。

“日日新SenseNova5.0”性能对标GPT-4 Turbo

自去年4月首次发布以来,商汤“日日新SenseNova”大模型体系已正式推出五个大版本迭代。基于超过10TB tokens训练、覆盖大量合成数据,全新的“日日新5.0”采用混合专家架构,推理时上下文窗口可以有效到 200K 左右。

据悉,本次更新主要聚集增强了知识、数学、推理及代码能力,全面对标 GPT-4 Turbo,主流客观评测上达到或超越 GPT-4 Turbo。


(资料来源:商汤)

文科能力方面,“日日新5.0”的创意写作能力、推理能力以及总结能力均大幅提升,相同的中文知识注入后,可以获得更好的理解总结及问答,为教育、内容产业等垂直应用场景提供有力辅助。

理科能力方面,“日日新5.0”的数理能力、代码能力及推理能力达到业内领先水平,为金融、数据分析等场景落地提供坚实基础。

多模态能力是大模型的另一大核心指标。商汤介绍称,商汤多模态大模型的图文感知能力达到全球领先水平,在多模态大模型权威综合基准测试MMBench中综合得分排名首位,具备丰富的多模态交互能力。

商汤把大模型能力分为三层:知识层、推理层和执行层。商汤董事长兼CEO徐立介绍,知识层,即过往大模型已经有共识能够把世界的知识融汇到一个模型当中;推理层,也就是世界知识联系背后的道理,是更加高阶的知识,是决定模型是否聪明、是否能够举一反三的核心能力;在推理之上如果能跟世界进行交互就有了执行层。

“知识、推理、执行形成完备的集合来构造大模型的三个基本能力,它给了我们构造高质量数据的核心方法论。商汤在尺度定律的指导下,会持续探索大模型能力的KRE三层架构(知识-推理-执行),不断突破大模型能力边界。”徐立表示。

率先完成“云端边”全栈布局

过去一年,云端大模型在各个行业已开始应用,但智能终端侧,如手机、PC、汽车等AIoT设备,也是通用人工智能应用的广泛载体和场景。时下中心化算力需求正逐渐向端侧扩展,企业在边缘侧的AI需求也在快速增长。

商汤此次在业内首次推出“云、端、边”全栈大模型产品矩阵,其中包括应用于终端设备的“商汤端侧大模型”,以及面向金融、代码、医疗、政务等多个领域的边缘产品“商汤企业级大模型一体机”。


(资料来源:商汤)

商汤表示,日日新·端侧大语言模型的推理速度达到了业内最快,可在中端平台实现18.3字/秒的平均生成速度,旗舰平台更是达到了78.3字/秒;扩散模型同样可在端侧实现业内最快的推理速度,端侧LDM-AI扩图技术在某主流平台上,推理速度小于1.5秒,比友商云端app快10倍,支持输出1200万像素及以上的高清图片,支持在端上快速进行等比扩图、自由扩图、旋转扩图等图像编辑功能。

银河证券认为,未来通用大模型领域可能会更加集中在头部厂商,更多厂商需要向行业专业化转型,寻求赋能行业以及终端应用突破,垂类大模型以及端侧大模型将是未来主战场,市场空间广阔。

商汤此次还推出端云协同解决方案,可以通过智能化判断协同发挥端云各自优势,需要联网搜索或处理复杂场景时分流至云端处理,部分场景端侧处理占比超过80%,从而显著降低推理成本。

端云协同或是未来端侧大模型应用的主流趋势。“有几个重要的问题需要通过端云结合来解决。”商汤联合创始人、首席科学家王晓刚对第一财经表示。

王晓刚表示,一是成本问题,比如全国目前有30亿台手机,假如每人每天调用近10次,那么对于云端的算力需求和消耗成本是巨大的;二是数据的传输和延迟,比如在智能汽车场景,行驶过程中针对车内外特别是车外场景提出的各种问题,需要得到非常及时、准确快速的响应,最典型的比如在自动驾驶里,大模型的部署必须是发生在端侧的;三是数据安全、隐私各方面的问题,此外也有些没有网络的地方,用户还是希望仍然能持续拥有大模型的体验,这一切都实际推动了端侧大模型的普及和推广。

对于端侧大模型来说,其使用体验、性能与云侧大模型对齐至关重要。

“在过去一年里,我们在云端给手机、汽车客户提供服务时,针对手机、智能汽车这些终端用户的需求,对云侧模型做了大量的改进和开发。这样再开发端侧模型,端侧模型的体验就可以和云侧模型对齐。”王晓刚表示。

“这也是商汤端云结合的独特优势。”王晓刚称,“端云结合最终是一个大的MOE(Mixture-of-Experts)架构,会有若干个端侧小模型,当用户输入需求时,我们会做出判断,到底应该调用哪一个模型,或者是到云端调用云端模型。所以它是一个稀疏式的模型的激活,可以大大节省运算成本,降低功耗。”

据悉,目前搭载商汤端侧大模型的设备有部分正在量产,也有部分正处于接洽过程当中。在个人出行场景,近期火爆市场的小米汽车SU7,小米“小爱同学”为车主提供智能化交互体验,当中也集合应用了商汤的大模型技术能力,有基于商汤端云大模型解决方案。

相关内容

热门资讯

比特币价格创历史新高 参考消息网7月11日报道据美国消费者新闻与商业频道网站7月9日报道,9日下午,在英伟达领涨的股市强劲...
两大巨头宣布稀土涨价,公司股价... 受稀土提价消息影响,7月11日开盘后不久,包钢股份(600010.SH)、北方稀土(600111.S...
“高端零食股”良品铺子控制权或...   追踪市场热点,欢迎关注中新经纬《董秘请回答》栏目  中新经纬7月11日电 (陈俊明)10日晚间,...
深交所修订创业板综编制方案,引...   中新经纬7月11日电 据深交所网站11日消息,修订创业板综合指数编制方案,其中包括引入风险警示股...
字节又晚一步?AMR机器人跑出... 本文来自微信公众号:一财商学,作者:王艺霏,原文标题:《200亿!字节又晚一步?AMR机器人跑出全球...
从罚款到坐牢 A股大佬“栽了”... 罚单只是开始,坐牢才是终点——A股“首恶”们的寒冬已至。根据瑞斯康达日前公告,因涉嫌违规披露、不披露...
手握瑞幸的大钲资本,又盯上了&... 据“21世纪经济报道”7月11日消息,有多家媒体援引知情人士消息称,星巴克已收到数份针对其中国业务的...
深交所修订创业板综合指数编制方... 为进一步完善指数编制方法,提升指数可投资性,深圳证券交易所和深圳证券信息有限公司决定对创业板综合指数...
赵伟:6月通胀——三大分化 2... 赵伟 屠强 耿佩璇(赵伟系申万宏源证券首席经济学家、中国首席经济学家论坛理事)摘要事件:7月9日,国...
收盘丨沪指冲高回落微涨0.01... 7月11日,A股三大指数早盘集体上涨,午后震荡回落,截至收盘,上证指数涨0.01%,深证成指涨0.6...