Kimi概念盘初大幅跳水 布局长文本并非越大越好 Kimi概念盘初大幅跳水 布局长文本并非越大越好
admin
2024-03-25 11:10:36
0次


3月25日,A股三大指数集体低开,Kimi概念盘初大幅跳水,中广天择闪崩触及跌停,华策影视跌超10%,海天瑞声、世纪天鸿、引力传媒等多股大跌。

与之相对,算力板块组织反扑,润建股份二连板,数据港触及涨停,奥飞数据、依米康、浪潮信息集体走强。二级市场Kimi概念热度逐渐回落,投资逻辑回归产业链本质。

Kimi是AI大模型初创企业月之暗面(Moonshot)推出的AI产品,后者披露Kimi 智能助手在长上下文窗口技术上取得突破,无损上下文长度提升了一个数量级到200万字。该消息在二级市场引发多日追涨,也拉动相关公司布局长文本。

据了解,百度旗下文心一言即将于下月进行升级,开放长文本能力,文本范围在200万-500万。

3月23日,360智脑宣布正式内测500万字长文本处理功能,该功能即将入驻360AI浏览器。目前360AI浏览器已向用户免费开放100万字长文本阅读功能,可一分钟读完《三体》,并就文本外的“超纲”问题进行问答和延展学习。

3月22日,阿里通义千问宣布升级,向所有人免费开放1000万字的长文档处理功能,金融、法律、科研、医疗、教育等领域的专业人士可通过通义千问网站和APP快速读研报、分析财报、读科研论文、总结深度文章。

此前接受媒体采访时,月之暗面创始人杨植麟表示,如果说参数量决定了大模型支持多复杂的“计算”,而能够接收多少文本输入(即长文本技术)决定了大模型有多大的“内存”,两者共同决定模型的应用效果。无损长上下文将是通往AGI(通用人工智能)的关键基础技术。从 Word2vec 到 RNN、LSTM,再到Transformer,历史上所有的模型架构演进,本质上都是在提升有效的、无损的上下文长度。

OpenAI也在进行相关布局,经过三次升级,GPT-3.5上下文输入长度从4000增长至1.6万token(模型输入和输出的基本单位),GPT-4从8000增长至3.2万token。另外,Anthropic也将上下文长度扩至10万token。

那么,长文档规模是否越大越好?对此,阶跃星辰CEO、前微软全球副总裁姜大昕对记者表示,考虑长文档规模大小的时候还需要看智能水平,后者也是一项重要挑战,目前包括GPT-4、Gemini、Claude等模型均未达到理想水平。另外,长文档规模与智能水平也需要进行工程方面的ROI考量。

记者以“大模型上下文规模是否越大越好”问题向Kimi提问,后者解读称:长文本规模会带来增强理解能力、改善连贯性、提高信息整合能力、减少信息丢失等优点,但也伴随计算资源消耗、过拟合风险、稀疏性问题、更新与维护难度、能源消耗与环境影响等挑战。

总结来看,Kimi认为上下文规模的选择需要根据具体的应用场景和需求来决定。在某些需要处理大量信息和保持话题连贯性的任务中,较大的上下文规模可能是必要的。然而,在其他一些对计算资源有限制或对实时性要求较高的场景中,适中或较小的上下文规模可能更为合适。

另外,算力挑战也是长文本需面对的首要问题。华西证券认为,国内长文本带动大厂长文本能力迅速迭代,一方面将会缩小国内外大语言模型的代差,一方面将会进一步加大对底层算力的需求,算力需求爆发引发国内异构算力的构建,会带来AI行业的又一次变革,AI模型、语料库、算力租赁、算力运维、国产算力等将会继续受益。

信通院数据显示,2021年全球计算设备算力总规模达到615EFlops(每秒浮点运算次数),同比增长44%,其中基础算力规模为369EFlops,智能算力规模为 232EFlops,超算算力规模为14EFlops,预计2030 年全球算力规模将达到56ZFlps,平均年均增长65%,中国目前计算设备总规模达到202EFlops,全球占比约为 33%,增速高于全球。

银河证券研报显示,人工智能产业快速增长,对算力需求提升持续爆发,产业链环节持续受益。其中算力产业链将持续受益,随着目前大模型对训练和推理需求提升,其中AI芯片及服务器、交换机及光模块、IDC机房及上游产业链等需求均将获得快速增长。

相关内容

热门资讯

一分钟了解透视器!清风手游透视... 一分钟了解透视器!清风手游透视器AI技巧,清风手游多功能竟然是有透视器技巧1、在清风手游插件功能辅助...
实测分享开挂!冰球突破开挂AI... 实测分享开挂!冰球突破开挂AI插件,冰球突破多功能切实有开挂插件1、超多福利:超高返利,海量正版游戏...
专业讨论辅助!老牌人辅助AI技... 专业讨论辅助!老牌人辅助AI技巧,老牌人多功能一贯真的有辅助技巧1、用户打开应用后不用登录就可以直接...
重大通报作弊器!朱雀大厅作弊器... 重大通报作弊器!朱雀大厅作弊器AI软件,朱雀大厅多功能切实真的是有作弊器软件1、打开软件启动之后找到...
玩家必用作弊器!兴动游戏作弊器... 玩家必用作弊器!兴动游戏作弊器AI教程,兴动游戏多功能果然是有作弊器教程1、玩家必用作弊器!兴动游戏...
一分钟了解开挂!鸿福休闲开挂A... 一分钟了解开挂!鸿福休闲开挂AI教程,鸿福休闲多功能原来存在有开挂教程1、这是跨平台的鸿福休闲轻量版...
一分钟揭秘作弊器!新老夫子作弊... 一分钟揭秘作弊器!新老夫子作弊器AI技巧,新老夫子多功能一直是有作弊器技巧亲,关键说明,新老夫子透视...
专业讨论外挂!掼蛋外挂AI方法... 专业讨论外挂!掼蛋外挂AI方法,掼蛋多功能原来存在有外挂方法1)掼蛋辅助插件:进一步探索掼蛋辅助大陆...
科普透视器!MG棋牌透视器AI... 您好,MG棋牌这款游戏可以开挂的,确实是有挂的,需要了解加去威信【136704302】很多玩家在这款...
科普辅助!微乐广西麻将辅助AI... 科普辅助!微乐广西麻将辅助AI软件,微乐广西麻将多功能好像真的是有辅助软件1、完成微乐广西麻将有辅助...