谷歌推出压缩算法TurboQuant，宣称实现约6倍内存节省
创始人
2026-06-05 13:37:14
0次
3月26日消息，谷歌近日推出了一种可能降低人工智能系统内存需求的压缩算法TurboQuant。根据谷歌介绍，TurboQuant压缩技术旨在降低大语言模型和向量搜索引擎的内存占用。该算法主要针对AI系统中用于存储高频访问信息的键值缓存（key-value cache）瓶颈问题。随着上下文窗口变大，这些缓存正成为主要的内存瓶颈。TurboQuant可在无需重新训练或微调模型的情况下，将键值缓存压缩至3bit精度，同时基本保持模型准确率不受影响。对包括Gemma、Mistral等开源模型的测试显示，该技术可实现约6倍的键值缓存内存压缩效果。此外，在英伟达H100加速器上的测试结果显示，与未量化的键向量相比，该算法最高可实现约8倍性能提升。研究人员也表示，这项技术的应用不局限于AI模型，还包括支撑大规模搜索引擎的向量检索能力。谷歌计划于4月的国际学习表征会议（ICLR 2026）上展示TurboQuant技术。（广角观察）
相关内容
热门资讯
英矽智能：与元羿生物拓展AI驱...
3月26日消息，英矽智能在港交所公告，与TenaciaBiotechnology(Hongkong)...
新加坡迎来首辆中国造自动驾驶公...
3月26日消息，新加坡近日迎来首辆“中国造”自动驾驶公交巴士MOGOBUS，包括该巴士在内的首批六辆...
乘联分会崔东树：2026年1-...
3月26日消息，乘联分会秘书长崔东树发文表示，2025年中国汽车实现出口832万辆，同比2024年全...
上海市市场监管局开展平台企业合...
3月26日消息，上海市市场监管局近日组织全市重点平台企业开展反垄断合规辅导活动，重点宣贯、解读《互联...
社保新险种长期护理保险3年推向...
3月26日消息，国务院新闻办公室今天（26日）上午举行新闻发布会，国家医保局和财政部有关负责人介绍了...
大学生沈某厕所偷拍，上海政法学...
6月1日，上海政法学院发布情况通报称，该校学生沈某将网购的摄像设备，放置在自习教室男女厕所之间的隔墙...
套住“菜”，守住“财”！松原宁...
“中了！一个大包菜！” “快看，我套中了两根黄瓜！” 近日，松原市滨江社区活动室里笑声不断。这里没有...
俄外长：“拜登的战争”变成“特...
新华社圣彼得堡6月4日电 俄罗斯外交部长拉夫罗夫4日在第29届圣彼得堡国际经济论坛期间表示，欧洲国家...
港股持续下挫，恒生科技指数跌超...
3月26日消息，港股低开低走跌幅进一步扩大，恒生科技指数跌超2%，恒生指数现跌1.4%，国企指数跌1...
沪深两市成交额突破1万亿，较上...
3月26日消息，数据显示，沪深两市成交额突破1万亿，较上一日此时缩量超2000亿，预计全天成交金额不...