base_ang_vel身体旋转有多快内耳前庭平衡感projected_gravity身体倾斜了多少感觉身体是否歪了velocity_commands目标速度是多少大脑下达的走快点/慢点指令joint_pos_rel每个关节的角度知道自己腿弯了多少joint_vel_rel关节转动速度知道自己腿动得有多快last_action刚才做了什么动作肌肉记忆height_scanner地面高低起伏眼睛看路奖励项分数说明走得准3.0达到目标速度给大糖果最重要的目标活着0.15没摔倒的每一秒给一颗小糖果站立稳-5.0身体太歪打手板动作太猛-0.05动作变化太剧烈打手板耗电太多-0.00002太浪费能源轻微打手板关节撞限位-5.0关节角度超出安全范围狠狠打手板奖励项 权重 含义 termination_penalty -400 倒下或姿态不对 → 大惩罚 position_progress 2.0 每步向目标靠近了多少米进度奖励 position_tracking_fine_grained 0.5 用 tanh 核细化距离越接近奖励越大 success_bonus 50.0 到达目标的稀疏奖励 obstacle_soft_zone -6.0 进入障碍物周围的 soft zone 就扣分鼓励避让 action_rate -0.05 高层动作变化太快的惩罚 action_magnitude -0.01 高层动作幅度惩罚
