从泛化性的角度来说，这是一个在学术界非常 amazing 的结果。当然从工业上的角度来说，完全没有用。
而真实部署要的是 99%，甚至 99.99%。
他的意思是，涌现解决的是从 0 分到 50 分、60 分，剩下的几十个点就得靠自主纠错。今天模型失败之后的标准解法还是重新找人采数据、重新标、重新训。
只要你的数据永远需要向人类购买，就很难形成真正的数据闭环和数据飞轮。
他接着讲了一个逻辑。
说这是上一个 AI 时代的惨痛教训，很多 AI 公司接一个单子，专门组一个 20 人团队干 3 个月然后交付，但交付的结果在别的场景不可复用，毛利率极低，几乎不盈利。
所以现在出来创业，必须做一套通用系统。
可复用、可进化、可落地。
谁来判断机器人做得对不对
既然不用人类数据，那就会诞生下一个问题：谁来判断机器人做的对不对？
这也是物理世界层面 RSI 具身要克服的问题。
先说场景。穆尧举了他在 WRC 现场看到的例子：机械臂去抓一个盲盒，碰得比较远，盲盒滑掉了，而policy是基于腕部鱼眼相机训出来的，这时候鱼眼里已经看不到盲盒了。
纯奖励驱动怎么办？
他的思路是让上层 Agent 介入。Agent 有一个顶置相机，能看到全局，可以主动把机械臂复位。
让场景回到端到端 policy 的舒适区，腕部相机就能重新看清楚，然后 policy 继续 rollout。
我当时的理解是：即使全局相机看到了，policy本身没见过这种偏离分布的数据，所以它不知道要复位。
Agent 可以提供更宏观的信息、泛化性也更强，所以可以掰回 OOD 的问题。
这让我想到了他们三月份发的 RoboClaw。
算法的核心是Entangled Action Pairs，把前向操纵动作和逆向恢复动作耦合成自重置循环，用来做自主数据采集。
论文给的结果是长程任务成功率提升 25%，人力时间投入减少 53.7%。
但这里还有个问题：上层怎么知道下层 policy 的舒适区在哪？
穆尧说有两条路。
容易实现的一条是用 text level 描述，我离你多近就差不多了。
他更想要的是第二条，一个 learnable 的小判别模型，实时判断当前 policy 是否在正常运转，还是模型已经开始崩了。
然后他说了一句：
穆尧：现在其实并没有人很认真去做上下层之间的桥接，什么是模型的舒适区，我怎么去帮助模型恢复到它的舒适区。
我当场 confusing 了这个方案：因为小模型自己也会出现 OOD。它在地球上训得好好的，所有 case 都能正常打分，或许一放到月球上马上就崩。
他的答案是 in-context learning 加 test time training，几十条到一百条数据就够，因为进程监测本身是 task relevant 的，只需要一个能冷启动和迅速适应环境的基础。
这个判别模型跟前面的奖励模型是两个东西：
判别模型和奖励模型还是不一样的。
判别模型类似于你监考一个学生是不是在正常答题，还是当前已经打算交白卷了。
奖励模型是我一道一道题认真过，看学生的答题步骤有哪些得分点。
前者是 critic，后者是 reward model，critic 是 reward model 的子集。
还有一段是我没想到的，关于数据回流。
我以为 agent 帮硬件复位，再记录失败的轨迹数据，就能拿去训练了。他说不行，得先编辑。
在模型操作的过程中，假设出现异常情况开始复位。
你会发现几个问题，一是轨迹不连续，二是中间会有若干个静止帧。
这种数据用来训练模型，效果肯定不好。
因为模型可能会混淆：有的情况是正常运行，有的情况会呆滞原地不输出 action。
所以要做后编辑，把静止帧抹掉、让轨迹连贯，然后加 meta data 标质量分。
这一点他说 π0.7 的技术报告写得很清楚，专家数据是 100 分，自主探索来的可能是 80 分，得标出来。他们的奖励模型顺手就干了这个活，用思维链给出打分理由，再格式化成 meta data。
聊到这会的时候，我会觉得这得是踩了很多坑才能积累的经验。
穆老师实验室里面的机器也确实多，绝知此事要躬行哇。
GPT 越来越强，SeeAct AI 要做什么
我把之前在外滩大会的观察抛给他了。
我的逻辑是，大模型正在不断吃掉下游的能力。那具身会不会也是这样？如果 GPT 已经能理解任务、拆解步骤、调用工具，具身公司的空间还在哪里？
进一步聊下来，我觉得这里有两个问题需要展开：怎么把大模型的能力传给机器人，以及机器人如何把这些能力学到自己身上。
先说第一个。
穆尧说他并不排斥用 GPT。包括 Qwen 在内的多模态模型，也可以成为上层 Agent 的基础。
需要 Focus 的问题是，上层理解了任务之后，应该向下层传递什么。
举个例子，一句简单的自然语言指令、目标的位置或者是目标物体的特写，这些选择，会直接改变上下层各自需要具备的能力。
他之前的 HiVLA 就是这个逻辑。用 Qwen3-VL-8B 作为上层规划器，输出子任务和目标框，再从高清图像中裁剪出目标区域。
下层动作模型结合全局画面、带位置信息的局部特写和子任务指令来生成动作。
这个时候传下去的东西，已经包含了上层对“做什么、操作哪个物体”的判断。
所以需要重新理解下“接口”的含义：它在分配整个任务的理解难度。
如果只传一句抽象指令，下层就要自己完成更多语义理解、目标辨认和动作选择。
如果上层提供了更明确的定位和视觉提示，下层就可以把更多能力用于具体执行；与此同时，上层也必须学会稳定地产生这些信息。
我接着追问：这不也还是接口吗？
穆尧说确实是接口，但接口本身也需要研究和演化。上层、下层，以及它们之间的衔接方式，要一起变好。接口则需要随着两者的变化调整。
HiVLA 展示了这种衔接设计的价值。
穆尧说他搞 SeeAct AI 的目的是希望进一步把三者的改进纳入自进化体系，用执行反馈判断。
再说第二个问题：这些能力最后怎么部署。
在探索和学习阶段，可以充分使用强模型，帮助具身 Agent 在虚拟环境里尝试不同策略，自动收集成功和失败的轨迹。
这确实是 RSI 吸引人的地方。
无论是成功还是失败，都有价值。提供有效的执行经验或是暴露能力缺陷，这些都可以进入下轮改进的流程里。
但真实部署还不一样，甲方肯定要看结果。只做一个反复执行的 pick and place，云端大模型怕是 cover 不住推理开销。
所以穆尧说，探索获得的经验，要沿着两个方向沉淀。
一是用训练端的 Agent 基模，提高任务理解、技能调用和异常处理能力；
另外呢，也要持续强化端到端 policy，扩展 skill 的边界，提升执行的稳定性。
在这个过程中，上下层传递的信息及其使用方式，也要随之优化。
这样的话，他讲的自进化闭环就可以描述为：
1）自顶向下，上层组织探索，推动能力增强与扩展；
2）自底向上，执行经验反哺模型，提升上层推理和下层执行能力。
3）接口的演化，让这些进步能够被彼此有效利用。
所以，GPT 的进步可以成为这套系统的助力。
SeeAct AI 想要做的，是将这种助力持续转化为自身模型能力的机制。
一些技术、商业和团队问题的交流
后面还聊了一些技术栈、商业化的问题，我把原话提供给大家。
天南：如果把 RSI 拆开，要让机器人真的自己产生经验、自己变强，最基本的需要哪些东西？
穆尧：最核心的是三套。第一套是 World Engine，解决机器人去哪里大量试错，真机最真实但支撑不了大规模并行探索，所以需要一个可交互、可 scale up 的环境，传统仿真也行，世界模型也行，我们不太纠结形式。
第二套是 Evaluator，也就是 Reward Model，机器人试了一万次，首先得知道哪次做得好、哪次做错了、从哪里开始失败。
第三套是 RL 和policy基座，把这些经验学回模型里，我们比较关心多任务多场景的联合强化学习，如果每个任务都单独 post-training，那还是没有形成真正的自进化。
天南：这四块现在各自用的是什么？
穆尧：世界模型会有一个比较 solid 的版本在 ICLR 发布，年底还会再发一个参数量翻倍的版本。
奖励模型是之前的工作 PRIMO-R1。policy 基座用的是我们之前一个 WAM 的工作。Agent system 是改进版本的 RoboClaw。这些都是沉淀下来比较成熟的技术，现在是基于这些去做一些更有美感的东西。
天南：你们的世界模型跟物理仿真是什么关系？
穆尧：我们不是 physical simulation。核心思考有两点，第一我们是 action condition 的世界模型，第二我们 focus 在 interaction，特别是末端执行器和物体的交互。
所有交互都基于 3D 空间，所以我们非常强调 3D 属性。我们是多视角的 2D 加 3D geometry 同时生成，有一个 unified 的 3D feature，可以解出点云、解出不同视角的 depth。多视角 2D 提供语义，3D feature 提供几何和多视角一致性。
而且可以任意加相机，新加一个视角也能接受。这个技术不难，类似 VGGT 那种 alternating attention，先做帧内的 attention，再做帧与帧之间的 attention，交替进行，里面没有对每一帧做位置 embedding，所以可拓展性很好。
天南：只用专家数据训世界模型会怎样？
穆尧：肯定训得一塌糊涂。比如某个奇怪的姿势其实真实世界里不可能抓起来，但它会言出法随地一样粘过去。
天南：这套系统最后部署到机器人上的是什么？
穆尧：真正部署到端侧的，主要是完整的 agent harness，加上已经训练好的policy基础模型。我们希望在一个显存足够大的端侧计算平台上，形成一套软硬件完整的系统，而且这套系统是通用的，可以卖给不同的场景方。
天南：你们把自己定义成什么？会自研本体吗？
穆尧：类比自动驾驶的话，day one 的商业模式类似域控制器，供应商提供端侧算力加算法加 model，整个以一个预控制器的方式来售卖。next level 肯定还是要形成全闭环。
因为一个公司的本体反映了你对场景的理解，很多本体还是要从场景走出来的。不同场景、不同任务，末端执行器的需求是不一样的。虽然灵巧手号称通用，但手指头粗细、负载，不同场景需求不一样，比如很粗的手去拧小瓶子的瓶盖，就是拧不开。
天南：客户是谁？
穆尧：分两类。
一类是场景方，我们会搭配合作比较好的本体厂商和产投方一起做交付，这也是锻炼公司产品交付能力非常重要的一块。
另一类是开发者客户，包括本体厂商、二次开发者、高校科研团队、各种新型研发机构。开发者这块更重要的是希望把生态打起来，能从更丰富的场景里回流数据。
在商言商肯定是产品交付，但开发者生态能帮你把产品迭代到足够好用。
最后再放一张穆尧老师实验室的合影吧。
写在最后
所以，人还是要大胆的尝试，去试试那些看起来不太现实，甚至当下不太能想象的东西。
这就是 AI 时代，最大的可能性。
所以 RSI 值得投，这一点我的明确的。
大方向上是很有想象空间的，也确实需要一些 AI 原生的人才尝试。
后面我也会和瓦力持续关注穆尧老师公司的进展。
以上。
