端侧大模型爆发元年,商汤超预期的地方在哪? 端侧大模型爆发元年,商汤超预期的地方在哪?
admin
2024-04-26 21:21:42
0

4月26日,商汤(00020.HK)收盘大涨43.37%,已连续5个交易日上涨,累计涨幅105%。

消息面上,4月23日,商汤发布了业内首个“云、端、边”全栈大模型产品矩阵,以满足不同规模场景的应用需求,并全新升级“日日新SenseNova5.0” (下称“日日新5.0”)大模型体系。“日日新5.0”据悉在知识、数学、推理和代码能力方面大幅提升,综合能力全面对标GP T-4 Turbo。

银河证券发布研报称,商汤“日日新SenseNova”发布节奏超预期,综合能力大幅提升,有望推动国内通用大模型厂商加速迭代,降低应用端成本和门槛,进一步拓宽应用端场景,推动AI商业化进程提速。

“日日新SenseNova5.0”性能对标GPT-4 Turbo

自去年4月首次发布以来,商汤“日日新SenseNova”大模型体系已正式推出五个大版本迭代。基于超过10TB tokens训练、覆盖大量合成数据,全新的“日日新5.0”采用混合专家架构,推理时上下文窗口可以有效到 200K 左右。

据悉,本次更新主要聚集增强了知识、数学、推理及代码能力,全面对标 GPT-4 Turbo,主流客观评测上达到或超越 GPT-4 Turbo。


(资料来源:商汤)

文科能力方面,“日日新5.0”的创意写作能力、推理能力以及总结能力均大幅提升,相同的中文知识注入后,可以获得更好的理解总结及问答,为教育、内容产业等垂直应用场景提供有力辅助。

理科能力方面,“日日新5.0”的数理能力、代码能力及推理能力达到业内领先水平,为金融、数据分析等场景落地提供坚实基础。

多模态能力是大模型的另一大核心指标。商汤介绍称,商汤多模态大模型的图文感知能力达到全球领先水平,在多模态大模型权威综合基准测试MMBench中综合得分排名首位,具备丰富的多模态交互能力。

商汤把大模型能力分为三层:知识层、推理层和执行层。商汤董事长兼CEO徐立介绍,知识层,即过往大模型已经有共识能够把世界的知识融汇到一个模型当中;推理层,也就是世界知识联系背后的道理,是更加高阶的知识,是决定模型是否聪明、是否能够举一反三的核心能力;在推理之上如果能跟世界进行交互就有了执行层。

“知识、推理、执行形成完备的集合来构造大模型的三个基本能力,它给了我们构造高质量数据的核心方法论。商汤在尺度定律的指导下,会持续探索大模型能力的KRE三层架构(知识-推理-执行),不断突破大模型能力边界。”徐立表示。

率先完成“云端边”全栈布局

过去一年,云端大模型在各个行业已开始应用,但智能终端侧,如手机、PC、汽车等AIoT设备,也是通用人工智能应用的广泛载体和场景。时下中心化算力需求正逐渐向端侧扩展,企业在边缘侧的AI需求也在快速增长。

商汤此次在业内首次推出“云、端、边”全栈大模型产品矩阵,其中包括应用于终端设备的“商汤端侧大模型”,以及面向金融、代码、医疗、政务等多个领域的边缘产品“商汤企业级大模型一体机”。


(资料来源:商汤)

商汤表示,日日新·端侧大语言模型的推理速度达到了业内最快,可在中端平台实现18.3字/秒的平均生成速度,旗舰平台更是达到了78.3字/秒;扩散模型同样可在端侧实现业内最快的推理速度,端侧LDM-AI扩图技术在某主流平台上,推理速度小于1.5秒,比友商云端app快10倍,支持输出1200万像素及以上的高清图片,支持在端上快速进行等比扩图、自由扩图、旋转扩图等图像编辑功能。

银河证券认为,未来通用大模型领域可能会更加集中在头部厂商,更多厂商需要向行业专业化转型,寻求赋能行业以及终端应用突破,垂类大模型以及端侧大模型将是未来主战场,市场空间广阔。

商汤此次还推出端云协同解决方案,可以通过智能化判断协同发挥端云各自优势,需要联网搜索或处理复杂场景时分流至云端处理,部分场景端侧处理占比超过80%,从而显著降低推理成本。

端云协同或是未来端侧大模型应用的主流趋势。“有几个重要的问题需要通过端云结合来解决。”商汤联合创始人、首席科学家王晓刚对第一财经表示。

王晓刚表示,一是成本问题,比如全国目前有30亿台手机,假如每人每天调用近10次,那么对于云端的算力需求和消耗成本是巨大的;二是数据的传输和延迟,比如在智能汽车场景,行驶过程中针对车内外特别是车外场景提出的各种问题,需要得到非常及时、准确快速的响应,最典型的比如在自动驾驶里,大模型的部署必须是发生在端侧的;三是数据安全、隐私各方面的问题,此外也有些没有网络的地方,用户还是希望仍然能持续拥有大模型的体验,这一切都实际推动了端侧大模型的普及和推广。

对于端侧大模型来说,其使用体验、性能与云侧大模型对齐至关重要。

“在过去一年里,我们在云端给手机、汽车客户提供服务时,针对手机、智能汽车这些终端用户的需求,对云侧模型做了大量的改进和开发。这样再开发端侧模型,端侧模型的体验就可以和云侧模型对齐。”王晓刚表示。

“这也是商汤端云结合的独特优势。”王晓刚称,“端云结合最终是一个大的MOE(Mixture-of-Experts)架构,会有若干个端侧小模型,当用户输入需求时,我们会做出判断,到底应该调用哪一个模型,或者是到云端调用云端模型。所以它是一个稀疏式的模型的激活,可以大大节省运算成本,降低功耗。”

据悉,目前搭载商汤端侧大模型的设备有部分正在量产,也有部分正处于接洽过程当中。在个人出行场景,近期火爆市场的小米汽车SU7,小米“小爱同学”为车主提供智能化交互体验,当中也集合应用了商汤的大模型技术能力,有基于商汤端云大模型解决方案。

相关内容

热门资讯

净利大增超2倍、订单逼近40亿... 资本市场的活跃,不仅托举起券商的业绩,也让一向低调的证券投资咨询行业走入聚光灯下。近日,港股上市机构...
错误决定未被撤销,股东权益没能... 来源:环球时报【环球时报驻荷兰特约记者 张亮 环球时报特约记者 于文】荷兰阿姆斯特丹企业法庭11日作...
青海一家35口开大巴自驾游云南... 近日,一家35口人开大巴春节自驾游登上热搜。 青海西宁的赵雄一家35口人开着旅游大巴从西宁出发,开启...
美国众议院通过旨在终止对加拿大... 据央视新闻报道,当地时间2月11日,美国众议院以微弱优势通过一项决议,反对美国总统唐纳德·特朗普对加...
起底性商训练营:擦边课程3天收... 制图:易福红(豆包AI生成)“眼神给出去,身体形成了一个X形……”近日,周媛因为一则“X形回眸”教程...
中国将迎人口死亡高峰!22年1... 最近刷到有人聊死亡人数,一开始我还愣了下——2022年居然破千万了?1041万,2023年又涨到11...
盘前必读丨美股收跌苹果重挫5%... 【财经日历】国家统计局公布70个大中城市住宅销售价格月度报告恒指公司宣布2025年第四季度恒指系列检...
担忧AI颠覆市场,美股收跌,白...   中新经纬2月13日电 美东时间周四,美国三大股指全线收跌,截至收盘,道指跌1.34%报49451...
喜力拟裁员超5000人 2月11日,荷兰啤酒巨头喜力集团发布2025年全年业绩报告。在披露核心财务数据的同时,其宣布未来两年...
美国非农“爆表” 降息再添变数... 美国劳动力市场企稳。推迟发布的1月全美就业非农数据增长意外加速,为此前就业增长疲弱的一年画上阶段性句...