Gravity:面向长程复杂任务的统一具身智能框架 gravity重力视觉训练 gravity李泽言
创始人
2026-07-18 04:07:04
0

面对任务链长、环境不确定、误差易累积且需精细接触与自主纠错的复杂操作,现有方案难以兼顾"理解"与"预判"。Gravity 给出一套面向长程、复杂、可泛化机器人任务的统一具身智能框架:以 MoT(Mixture-of-Transformers)为骨架,融合 VLM 的指令与场景理解、任务推理,以及世界模型对未来状态的预测与子目标评估;同时引入触觉/力觉、先验知识(Priors)、多模态子任务过程监督、任务阶段与完成度(Stage/Progress)输出及短长期记忆模块,并由强化学习驱动真机部署后的持续自进化。一句话概括:会理解,更会预判与生成;训练时把世界学透,推理时以极简链路实时行动;部署之后,越用越强。



▲Gravity 框架总体架构示意

六大技术特点

1.双脑融合:理解与生成一体化的基座模型

业内主流路线存在割裂:VLA 具备场景理解、指令遵循与动作生成能力,但对环境动态与动作长期后果建模不足;WAM 能模拟未来变化,却缺乏高层语义理解与任务规划。Gravity 构建 AR Transformer 与 Diffusion Transformer 协同的"双脑融合"架构:AR Transformer 作为认知决策中枢,理解指令、识别语义、解析目标,并将复杂任务分解为可执行的阶段与子任务;Diffusion Transformer 负责动态推演与动作生成,通过预测未来状态分布模拟动作影响、评估结果,提前识别碰撞、滑落、遮挡、抓取失败等风险。两者在任务语义、环境状态与动作表征层面深度耦合,使机器人在执行前对多种候选策略进行内部模拟与风险评估,形成"感知—理解—规划—推演—执行"闭环。由此机器人从"看到什么就做什么"升级为"先想清楚再行动",显著提升长流程、多约束、高风险作业的成功率,适用于精密装配、复杂分拣、柔性制造、设备操作等场景。

2.深认知,快行动:多维表征学习,精简动作推理

训练阶段,模型借助 3D 空间结构、Flow、可供性、语义、动力学、物理属性、场景图等多维中间表征,从几何、运动、功能、关系与物理规律多层面理解环境,提高监督密度、减少捷径学习,提升复杂任务的能力上限、泛化性与鲁棒性。推理阶段,这些表征不再显式生成,而作为隐式知识服务于动作决策:关闭非必要解码分支,省去中间结果后处理与传输,只输出动作与任务进度,从而缩短推理路径、降低算力显存成本、提升控制频率与实时性。其本质是能力与效率的解耦——能力在训练中做加法,延迟在推理中做减法。这一"训练重、推理轻"设计已率先由 Gravity 4D(基于 Diffusion Transformer 的 4D WAM)落地并获实验验证。

3.触觉与力觉:从时空几何建模走向物理交互建模

仅靠视觉的 4D 模型能描述几何、运动与形变,却难以感知质量、刚度、摩擦与接触稳定性。Gravity 把触觉与力觉视为一等模态,使模型从"观察世界"走向"通过交互理解世界",升级为视觉—触觉/力觉协同的物理交互智能。

4.任务意识 + 分层记忆:为长程任务而生

长程任务的关键在于持续理解"当前处于哪个阶段、已完成什么、下一步做什么、异常后如何恢复"。传统端到端模型缺乏显式任务状态,易出现步骤遗漏、重复操作、阶段切换错误或异常后无法继续。为此,Gravity 引入显式 Stage/Progress 状态机制,持续输出任务阶段与完成进度,实时判断子任务是否完成、是否满足切换条件、是否偏离目标、是否需暂停重试或回退,使任务进度成为可观测、可解释、可干预的结构化信息。

在此基础上构建与任务时间结构匹配的分层记忆:**短时记忆(秒级)**由 Diffusion Transformer 生成,描述近期观测、动作轨迹、物体运动趋势与接触状态,帮助理解连续动作的因果关系,将割裂的静态图像转化为具速度、方向、惯性的连续动态过程;**长期记忆(数秒至数分钟)**由 AR Transformer 生成,记录任务目标、执行阶段、关键事件、历史决策与异常原因等语义信息,跨越多个动作片段维持任务上下文。短时记忆解决"最近发生了什么、当前动作是否有效",长期记忆解决"为什么执行、完成到哪、下一阶段是什么",两者与 Stage/Progress 协同,支持局部重试、步骤回退、策略切换或请求人工介入,实现长流程作业的稳定、可控、可解释与可恢复,并天然适配制造执行、仓储调度与人机协作等系统。

5.机器人 Skill:注入专家知识,少数据冷启动,安全可控

Gravity 显式引入 Robot Skill 与先验知识注入,支持将操作手册、工艺规范、专家示范、标准作业程序、技能库、约束条件与安全规则纳入训练与推理,使模型以行业经验为基础在明确规则下学习与执行。Robot Skill 将复杂操作封装为标准化、可复用、可组合的能力单元,上层按任务与现场状态选择组合,形成模块化、可解释的执行体系;专家知识用于定义技能适用条件、成功标准与异常处理,避免只顾完成而忽视工艺与安全。进入新场景时可用少量示范结合既有技能与先验快速适配,降低数据与训练成本,并在不同本体、工位间迁移复用。Gravity 由此实现"少数据、快泛化"与"有边界、可审计、能管控"。

6.部署即进化:越用越强

传统模型采用"离线训练、一次部署"的静态模式,上线后难以自动沉淀经验,高价值数据无法转化为能力。Gravity 通过 Evaluation Model 与强化学习,建立"部署—反馈—评估—数据沉淀—再训练—再部署"的持续进化闭环。真实环境中每次成功、失败、人工接管与专家纠正都被结构化记录,由 Evaluation Model 从完成度、动作稳定性、工艺质量、执行效率与安全合规等维度自动评估。成功样本提炼高质量轨迹与有效技能组合,强化最佳实践;失败样本定位失败阶段并分析其与感知误差、规划偏差、动作执行、环境变化或安全约束的关联;专家纠正动作信息密度高,可快速修正长尾场景的行为偏差。通过离线强化学习、偏好学习、失败样本重加权与针对性再训练,将运行经验持续转化为更优策略,使部署现场从能力使用端变为数据生产端与迭代驱动端。随着规模扩大,跨工位、设备、场景的经验在安全隔离与质量筛选下汇聚,形成跨场景经验复用与能力迁移。使用越久、覆盖越广,应对长尾与复杂工况的能力越强,最终形成由真实数据、行业知识、技能资产与反馈闭环构成的持续复利优势与技术壁垒。

结语:一个统一框架下的具身智能

理解、预判、行动、记忆、先验、进化——六者在 Gravity 中被统一进同一套 MoT 双脑架构,其目标始终一致:让机器人在真实世界中真正干活,真正产生客户价值。目前 Gravity VLA 与 Gravity 4D WAM 作为部分模块已率先落地,我们将持续推进完整 Gravity 系统的构建,并在后续发布更多进展。

相关内容

热门资讯

被取消高新企业资格补税超500... 从高端女装赛道转战医美的朗姿交出了一份不太理想的中报“成绩单”。7月15日,朗姿股份(002612....
淮南师范学院党委书记阮爱民看望... “循迹安徽”宣讲实践团师生在薛家洼生态园调研 7月15日,校党委书记阮爱民带队赴马鞍山市看望慰问马克...
越疆科技创业板IPO上会前夕!... 7月17日凌晨,自称越疆科技联合创始人、原常务副总裁兼COO的宋涛公开发文,实名举报越疆科技及创始人...
消失的敖尹,叠纸渡劫 敖尹复活... 一场空降男主的风波,撕碎了“最懂女孩”的人设。《中国企业家》见习记者 李晓天记者 马吉英见习编辑|张...
年入仅3万、员工5人!哈啰因何... 作者 | 谢美浴编辑 | 付影来源 | 独角金融时隔近四年,哈啰把曾经放下的保险经纪牌照又拿起来了。...
东方算芯展出DF1000:14... 智能伙伴 共创未来·聚焦2026世界人工智能大会红星资本局7月17日消息,在2026世界人工智能大会...
小鹏汽车致歉,回应X9问题 小... 据界面新闻报道,7月15日小鹏汽车在官方社区发布关于小鹏X9空气弹簧问题公告。针对高温天气下部分小鹏...
突然爆雷!美股巨头,直线跳水!... 美股财报季“雷声不断”。受业绩指引不及预期的影响,美股流媒体巨头奈飞股价在美股盘前交易中直线跳水,一...
一位快递站长温暖街巷的日常 刚入伏,暑气蒸腾,热浪裹挟着街巷。在天津市红桥区三条石街道中通快递大胡同网点,站长韩志良和同事们有条...
90后扎根慢城,6年拿下全球第... 2026年3月,一封来自美国FDA的批准函,到了南京高淳。批准函对应的,是德文医学自主研发的微波消融...