机器人在硅谷正在发生的事：一场活动让我看清了物理AI的真实进度

上周我去参加了一场在旧金山举办的 robotics meetup，主办方是 Silicon Valley Robotics 和 Nomadic AI，地点在 717 Market Street。说实话，我去之前没有太高的预期，觉得这类活动大概就是几个人站着聊天喝酒，讲几个 demo 然后散场。但五个演讲下来，我发现我想多了。

那天聊的内容让我重新想了一件事：过去两年，大家谈 AI 谈的几乎全是软件，是模型，是 token，是 agent。但那天晚上在场的这些人，做的是一件完全不同的事——他们在把 AI 塞进真实的物理世界里，然后一头撞上了一堵软件 AI 从来没碰过的墙。五个演讲讲下来，我开始意识到，物理 AI 和软件 AI 之间的鸿沟，比我之前想象的要宽得多，但两者交汇的速度，也比我预期的要快。

建筑工地上的自动驾驶，比路上的难多了

第一个演讲来自 Bedrock Robotics 的 CTO Kevin Peterson，他之前在 Waymo 做自动驾驶。他现在在做的事情是给建筑机械做自主控制系统，挖掘机、轮式装载机、压路机这类工程车辆。

乍一听，这好像比城市道路上的自动驾驶简单，毕竟工地上没有行人乱窜，没有红绿灯，速度也慢。但 Kevin 讲完之后我意识到，恰恰相反，这难得多。原因在于：自动驾驶走的是高度结构化的环境，车道线在那里，交通规则在那里，每一个参与者都经过了某种程度的标准化训练。但建筑工地是一个极度非结构化的世界，没有固定的路线，没有统一的规则，任务本身随时在变。

Kevin 放了一段视频，一台挖掘机在密西西比河边的泥泞工地上作业，地面完全是烂泥，为了让机器不陷进去，工人在下面垫了一排原木，挖掘机沿着原木一点点往前走，挖完之后再把原木从后面捡起来放到前面，循环往复。这套操作逻辑没有任何规则手册，完全是现场即兴。没有一个工程师坐下来写过「遇到泥地怎么办」的 specification，但人类操作员却能自然地想出这套方法。

还有一段视频让我印象极深。一台机器在作业过程中要完成十几次工具切换，先扫地，再夹起一叠钢板，而这些钢板是会弯曲的软性物体，不是刚体。Kevin 说他自己都不知道该怎么描述这个规划问题。这让我想到一个更深的问题：我们现在训练 AI 的方式，几乎都建立在「任务是可以被清晰定义的」这个假设上。但建筑工地的现实告诉你，很多任务根本没有清晰定义，只有不断变化的物理状态，和一个需要随时做出判断的操作者。

他还提到了一个意外发现，让我觉得特别有意思。他们在测试无人驾驶模式的时候，发现机器开始做出一些人类司机在场时从来不会发生的操作——比如把铲斗放在地上，用履带的力量辅助旋转，让整机精准对准挖掘方向。这个动作不是工程师设计的，是从数据里自己涌现出来的。Kevin 说他们一开始甚至以为这是个 bug，后来才意识到这其实是一个极其合理的解法，只是人类司机的操作习惯让他们从来不这样做，所以这个更优的路径一直被压制着。

这件事让我对「涌现行为」这个词有了新的理解。我们平时讨论涌现，通常是在说大语言模型里出现了意料之外的推理能力。但在物理系统里，涌现意味着另一件事：当你把人从控制链条上移开，机器可能会找到一条人类从来没想过的、但在物理意义上更优的路径。这既让人兴奋，也让人警觉，因为你很难事先预测这些行为会是好的还是坏的。

语言模型会做机器人任务吗，我们离这一步还有多远

第二个演讲来自 Covariant 的 David Noursi，他的角度非常不一样。他不是在讲某个具体的产品，而是在认真问一个基础性的问题：现在最好的语言模型，到底有没有能力直接用来做机器人任务？

他的分析框架很清晰。他说做机器人本质上需要解决四件事：感知、规划、行动、反思。如果你拿现在的大模型去做这四件事，规划和反思基本上已经解决了——用自然语言描述怎么做一个任务，大模型表现相当好。真正的瓶颈在感知和行动这两块。

感知这边，他发现了一个很有意思的现象。这些模型在「数字视觉」上表现很好，比如读图表、识别 UI 截图、解析文档里的表格。但在「物理视觉」上却明显弱很多——也就是理解真实三维空间里物体的深度、遮挡关系、空间位置。他的解释是，模型是在互联网数据上训练出来的，互联网里大量的图像是平面的、数字化的，图表、网页截图、扫描文档，这些都是在屏幕上存在的东西，不是物理世界里的三维场景。模型见过太多像素世界，见过太少真实空间。

这让我意识到一件事，我们通常说「大模型有很强的视觉能力」，但这句话其实是有条件的。它的视觉能力是建立在特定数据分布上的，那个分布和机器人真正需要理解的世界之间，存在一条不小的裂缝。要填平这条裂缝，光靠把模型做大是不够的，还需要改变训练数据的构成方式。

行动这边的挑战则更根本，也更难解决。语言模型的生成方式是离散的，一个 token 接一个 token。但机器人的动作控制是连续的，关节角度、速度、力矩，这些都是连续值，不能被简单地离散化。David 说这个矛盾不是通过「把模型做得更聪明」就能绕过去的，而是需要在架构层面正面处理。他说得很直接：感知的问题可以通过给模型更好的三维输入来改善，但行动的问题是输出侧的结构性矛盾，更麻烦。

我听完他的讲解之后有一种感觉：现在很多关于通用机器人的讨论，默认了一个前提，就是「只要语言模型够聪明，身体的问题就会自然解决」。但 David 描述的这两个裂缝告诉我们，感知和行动这两块，根本不是「等模型变强就能顺手绕过去」的问题，而是需要独立正视、正面攻克的挑战。把语言模型的进步等同于机器人能力的进步，这个直觉在方向上没错，但在程度上可能高估了很多。

送外卖的机器人，每天在跟世界上最混乱的环境打交道

Serve Robotics 的 Abhishek Bhatia 讲的是他们的外卖配送机器人。他们现在已经有超过两千台机器人在美国五十多个城市运营，每天在真实街道上送外卖。这是这个行业里我见过商业化落地最扎实的案例之一。

但 Abhishek 没有在台上吹数字，他把时间全部用来讲挑战，这让我对他们的工作有了完全不同的理解。

他提到的一个对比让我印象特别深：自动驾驶走的是有结构的道路，车道线在那里，交通灯在那里，规则清晰，每个参与者上路之前都经过了某种程度的认证。但外卖机器人走的是人行道，这是这个世界上规则最松散、最难预测的公共空间。没有车道线，没有统一规范，每一段人行道的宽度、坡度、地面状况都不一样，而且进入人行道不需要任何资质，任何人任何时候都可以出现在那里，做任何事。

他放了几段真实的运营视频。一段是一群人看到机器人特别兴奋，围上来拍照，机器人必须在不推人的前提下继续移动。另一段是一只狗扑上来，想趴在机器人上。还有一段，一个孩子用滑板追上了机器人，抓住侧面搭了一段便车——机器人检测到了这个情况，但它不能急刹车，因为那样会把孩子甩出去造成伤害，所以它必须以一种安全的方式缓慢减速，同时想办法脱身。

这些场景有点好笑，但背后是一个非常严肃的工程问题：如何在你无法穷举所有情况的前提下，仍然保证系统的行为在任何情况下都是安全的。

他们的解法是双轨制。用基础模型来处理开放场景下的复杂交互，因为场景太多样了，你没办法用规则覆盖。但同时保留一套基于规则的安全系统，处理那些必须有硬性保障的边界情况，比如遮挡区域的预判、紧急制动的触发时机。他举了一个细节：机器人需要学会「靠近过度生长的灌木是可以的，但靠近墙不行」，这两个场景在物体检测层面非常接近，但语义含义完全不同，处理方式也不同。模型可以学会这种区分，但一旦涉及到「绝对不能碰」的安全底线，就必须有规则系统来兜底，而不能完全依赖概率性的模型输出。

这套双轨制让我觉得很有启发。我们现在讨论 AI 安全，很多时候讲的是软件层面的对齐问题。但在物理系统里，安全的含义是另一回事——它意味着一旦出错，代价是真实的、不可撤销的。所以在物理 AI 的工程设计里，「模型负责理解世界，规则负责守住底线」这个分工，不是妥协，而是目前唯一现实的路径。

雷达被低估了，而且低估的方式很荒唐

Zendar 的 Griffin Foster 讲雷达，是这天晚上我觉得最反直觉的一个演讲。他的核心观点是：雷达是一个被整个行业严重低估的传感器，低估它的原因不是因为它本身不好，而是因为几十年来没有人认真投入资源去挖掘它真正的能力。

雷达的物理特性其实相当优秀。它直接测速、直接测距，不需要任何模型估算，不受光线影响，能穿透雨雾，价格极低，几乎每辆量产汽车上都有。但问题在于，行业长期以来对雷达的工程投入方式有问题。为了极度压低成本，雷达硬件变得越来越便宜，信号处理也被做得越来越简单，最后输出的只是一个极其稀疏的点云，信息密度远远低于摄像头输出的密集图像。这就造成了一个先天的不公平比较：雷达的输出是几十个稀疏的点，摄像头的输出是几百万个像素，一比较当然摄像头赢，于是大家就说雷达不行，把它降级成备份传感器，特斯拉干脆直接把它去掉。

但 Griffin 说，这个逻辑其实搞反了。雷达的输出之所以稀疏，不是因为雷达本身的信息量少，而是因为行业几十年来选择了一种极度简化的处理方式，主动丢掉了大量信息。原始的雷达信号里其实有很多东西，只是没有人去认真学习怎么把它们提取出来。

他们 Zendar 在做的事情，就是绕开那个稀疏点云的假设，直接从雷达原始信号里用模型学出更丰富的表示，让摄像头和雷达真正平等地贡献信息，而不是让雷达永远做摄像头的备胎。这样一来，雷达能做的事就完全不同了：它能看到被其他车辆遮挡住的物体，因为雷达信号会绕射反弹；它在夜里和恶劣天气下完全不受影响；它测量到的速度和距离不需要任何估算，天然就是精确值；甚至在某些情况下，它能看到摄像头物理上根本看不到的东西。

他还提到一个让我意外的数据点：因为雷达看到的世界更简单——没有颜色，纹理很少，只有结构和速度信息——在雷达数据上训练模型所需要的数据量，远远少于摄像头。泛化能力反而更强，迁移到新环境的成本更低，计算量也更小。

我觉得 Griffin 讲的这个案例，本质上揭示了一个很普遍的认知陷阱：一个东西在某种被长期固化的劣化形式下表现不好，于是整个行业就认为这个东西本质上不行，然后没有人再认真去想它是不是真的不行。雷达被低估了几十年，不是因为物理定律不允许它做得更好，而是因为「它不行」这个判断被写进了行业共识里，然后大家就停止追问了。这让我开始想，还有多少我们以为已经盖棺论定的技术判断，其实只是历史遗留的工程惯性在作怪？

通用机器人最难解决的不是技术问题，是交互问题

最后一个演讲来自 Innate.bot 的 CEO Axel Peytavin，他在斯坦福研究生阶段就做过早期的 agentic robot 研究。他讲的角度是所有演讲里最不技术化的一个，但我觉得是最接近问题本质的一个。

他的问题很简单：当通用机器人真的到来，我们要怎么告诉它该做什么？

他举了一个例子。你对机器人说「帮我收拾房间」，这句话里缺少了机器人实际需要的大量信息。衣服按颜色分类还是按款式？衬衫挂起来还是叠起来？床单多久换一次？哪些东西不能用水擦？书桌上的纸要不要动？这些我们跟家人说起来完全不需要解释的默认规则，对机器人来说是一片空白。

这背后有一个更深的问题。我们现在对 AI 的交互方式，大都建立在一个假设上：说一句话，期待事情搞定。这个假设在任务有高度社会共识的情况下成立，比如「帮我查一下明天天气」，因为「查天气」这件事在所有人心里的含义是一样的。但一旦任务涉及个人偏好、生活习惯、情境判断，这个假设就开始崩塌。「收拾房间」在每个家庭里的含义是完全不同的，没有任何一个模型能从这四个字里推断出你家具体的规则体系。

Axel 说他们的答案不是「让机器人变得无所不知」，而是「让机器人可以被教」。他们的机器人 Mars 可以通过遥操作来学习任务，你拿着控制器示范一遍，机器人记住这个过程，之后自主执行。他还提到了一个更有意思的方向：头戴式 egocentric 数据采集，你戴着摄像头帽子做一遍任务，机器人从你的第一人称视角学习你是怎么做的。这种方式把「教机器人」这件事的门槛降到了几乎零，不需要写代码，不需要标注数据，你只需要把你自己会做的事情做一遍。

我听完之后觉得，Axel 触碰到了一个很多人没有认真想过的问题。我们花了大量时间讨论机器人的感知能力、运动能力、泛化能力，但很少有人认真讨论：人和机器人之间的「知识传递」到底应该怎么发生？语言是一种方式，但语言能表达的东西是有限的。很多人类知识是内隐的，是「做给你看」而不是「说给你听」的，是几十年生活积累下来的习惯和直觉，根本没有语言化过。

这让我想到，通用机器人最终能不能走进真实家庭，可能不取决于模型有多聪明，而取决于有没有一套足够好的机制，让普通人可以用自然的方式把自己的习惯和规则传递给机器人。交互设计，可能才是这个行业最被低估的核心问题。

我从这个活动里看到的那件事

听完五个演讲，我没有感受到那种「机器人大爆发即将来临」的兴奋情绪，反而感受到了一种更沉的东西：物理 AI 面对的挑战，是一整套在软件世界里从未被认真处理过的问题，而这些问题很难靠「模型更大、数据更多、算力更强」来简单解决。

Kevin 遇到的问题，是任务本身没有清晰定义，只有不断变化的物理状态。David 遇到的问题，是语言模型的训练数据分布和真实物理世界之间有一条结构性的裂缝。Abhishek 遇到的问题，是当你无法穷举所有场景时，如何在不确定性下仍然保证安全。Griffin 遇到的问题，是行业的历史惯性把一个本来很好的技术硬生生压制了几十年。Axel 遇到的问题，是我们根本没有一套成熟的方式来把人类的内隐知识传递给机器。

这五个问题加在一起，构成了物理 AI 真正需要解决的图景。它们不是同一个问题的五种变体，而是五个相互独立的硬挑战，每一个都需要独立的攻克路径。

但我也注意到，这五个问题跟我们在软件 AI 里讨论的很多东西，开始越来越多地对上了。数据质量和训练分布的问题，评估和边界情况的问题，人机协作和知识传递的问题，技术判断和认知偏见的问题——这些在软件 AI 领域被反复讨论的课题，在物理 AI 里有自己的形态，但本质上指向同一批根本性的难题。

我相信接下来几年，做软件的人和做机器人的人之间的对话会越来越多，因为他们碰到的墙越来越像。而在那个交汇点上，可能才是真正有意思的事情开始发生的地方。

文章来自于"深思圈"，作者 "深思圈"。