https://dem-phi.github.io/zh/posts/Recent content in 博客 on Zhenghan ChenHugoenTue, 08 Sep 2026 00:00:00 +0000https://dem-phi.github.io/zh/posts/humanoid-vla/Tue, 08 Sep 2026 00:00:00 +0000https://dem-phi.github.io/zh/posts/humanoid-vla/<h2 id="人形-whole-body-vla的思考"> 人形 Whole-Body VLA的思考 <a class="heading-link" href="#%e4%ba%ba%e5%bd%a2-whole-body-vla%e7%9a%84%e6%80%9d%e8%80%83"> <i class="fa-solid fa-link" aria-hidden="true" title="Link to heading"></i> <span class="sr-only">Link to heading</span> </a> </h2> <p>人形的 Whole-Body Control在beyondmimic和sonic诞生了之后，有了比较好的基本面，学界和各家公司都已经开始探索whole-body VLA的可能性.</p> <p>基本的框架如图所示：</p> <h3 id="后训练和wbc的关系"> 后训练和wbc的关系 <a class="heading-link" href="#%e5%90%8e%e8%ae%ad%e7%bb%83%e5%92%8cwbc%e7%9a%84%e5%85%b3%e7%b3%bb"> <i class="fa-solid fa-link" aria-hidden="true" title="Link to heading"></i> <span class="sr-only">Link to heading</span> </a> </h3> <p>在这个过程中，人形的VLA会和机械臂/轮臂有所不同，主要是VLA究竟输出什么，这与WBC是密切相关的。传统的机械臂或者轮臂，VLA输出的是末端执行器EE的位姿，WBC负责把这些指令映射到整个机械臂的关节空间。而人形由于WBC的复杂性，VLA究竟输出什么是一个值得思考的问题。我们可以考虑几种可能：</p> <ol> <li>WBC的输入是EE的位姿，这样VLA输出EE的位姿，WBC负责把EE的位姿映射到整个关节空间。</li> <li>WBC的输入是整个关节空间，这样VLA输出整个关节空间，WBC只需要关注tracking任务本身。</li> <li>WBC的输入是latent space，这样VLA输出latent space，WBC负责把latent space映射到整个关节空间。</li> </ol> <p>对于输出EE，好处是可以很容易的拓展到UMI数据，并且任务空间比较规范，不容易出现OOD的情况。但是缺点是EE的位姿可能无法完全表达整个关节空间的状态，尤其是对于人形这种高自由度的机器人来说，EE的位姿可能无法完全表达整个关节空间的状态。而且会使得WBC被迫根据EE学会关于EE到全身关节的mapping，这无疑是增大的训练难度。并且还引入平衡与末端精度的trade-off，这在整个闭环系统中，会进一步导致任务的失败。</p> <p>对于关节空间</p> <h3 id="预训练的必要性"> 预训练的必要性 <a class="heading-link" href="#%e9%a2%84%e8%ae%ad%e7%bb%83%e7%9a%84%e5%bf%85%e8%a6%81%e6%80%a7"> <i class="fa-solid fa-link" aria-hidden="true" title="Link to heading"></i> <span class="sr-only">Link to heading</span> </a> </h3>