人形VLA
人形 Whole-Body VLA的思考 Link to heading
人形的 Whole-Body Control在beyondmimic和sonic诞生了之后，有了比较好的基本面，学界和各家公司都已经开始探索whole-body VLA的可能性.
基本的框架如图所示：
后训练和wbc的关系 Link to heading
在这个过程中，人形的VLA会和机械臂/轮臂有所不同，主要是VLA究竟输出什么，这与WBC是密切相关的。传统的机械臂或者轮臂，VLA输出的是末端执行器EE的位姿，WBC负责把这些指令映射到整个机械臂的关节空间。而人形由于WBC的复杂性，VLA究竟输出什么是一个值得思考的问题。我们可以考虑几种可能：
- WBC的输入是EE的位姿，这样VLA输出EE的位姿，WBC负责把EE的位姿映射到整个关节空间。
- WBC的输入是整个关节空间，这样VLA输出整个关节空间，WBC只需要关注tracking任务本身。
- WBC的输入是latent space，这样VLA输出latent space，WBC负责把latent space映射到整个关节空间。
对于输出EE，好处是可以很容易的拓展到UMI数据，并且任务空间比较规范，不容易出现OOD的情况。但是缺点是EE的位姿可能无法完全表达整个关节空间的状态，尤其是对于人形这种高自由度的机器人来说，EE的位姿可能无法完全表达整个关节空间的状态。而且会使得WBC被迫根据EE学会关于EE到全身关节的mapping，这无疑是增大的训练难度。并且还引入平衡与末端精度的trade-off，这在整个闭环系统中，会进一步导致任务的失败。
对于关节空间