ロボットモデルの制御

[kyo0221]

ActionCfgにはロボットの制御信号を記述することができる

今回使用するような差動二輪のロボットはJointVelocityActionCfgなどでjointに速度を与えて制御すると良さそう

@configclass
class ActionsCfg:
    joint_velocity = mdp.JointVelocityActionCfg(asset_name="mobility", joint_names=["left_wheel_joint", "right_wheel_joint"], scale=100.0)

[kyo0221]

キャスターにrollとyawそれぞれの角度に対応したjointを追加して, yawの方には30[deg]の制限を設けたが, 直進するような指令値でもyawのjointが曲がってしまい, 旋回するような行動をしてしまった.

Screencast.from.05-03-2025.02.16.16.PM.webm

このことからyawのjointには駆動輪の速度差に対応した位置制御を行ったほうが良いかもしれないと考えた.

[kyo0221]

joint構成について整理

print(env.scene["mobility"].data.joint_names)

でjointの順番を確認できる

出力は以下のとおりになった

['caster_yaw_joint', 'left_wheel_joint', 'right_wheel_joint', 'caster_roll_joint']

この情報はstateのjoint_velocityを確認する際に対応したjointの序列になるため, joint_velocityを参照するときに使用する.

例として, 速度を確認するためのプログラムを用意する

state = env.scene.get_state()
joint_velocity = state["articulation"]["mobility"]["joint_velocity"]

print(f"Joint velocity (actual): {joint_velocity}")

出力は以下のようになった

Joint velocity (actual): tensor([[-6.2195e-07,  1.3749e+00,  1.3749e+00,  2.2627e-02]], device='cuda:0')

この時, tensorの配列に先程のjointの序列が使用されるため, この出力はcasterのyawがほぼ0で回転, left, right_wheelは1.37で回転していることになる

単位にはおそらく[rad/s]が使われている

[kyo0221]

open-rdc/aiformula#36
↑こちらのissueに記載されているようなモータの特性を考慮したパラメータに更新しました

しかし, 問題も発生したので#17 で議論します

更新後のコード

MOBILITY_CONFIG = ArticulationCfg(
    spawn=sim_utils.UsdFileCfg(
        usd_path=os.environ['HOME'] + "/camera_based_rl_isaac/assets/robots/mobility/usd/mobility.usd",
        rigid_props=sim_utils.RigidBodyPropertiesCfg(
            rigid_body_enabled=True,
            max_linear_velocity=12.0,
            max_angular_velocity=20.0,
            max_depenetration_velocity=3.0,
            enable_gyroscopic_forces=True,
            disable_gravity=False,
        ),
        articulation_props=sim_utils.ArticulationRootPropertiesCfg(
            enabled_self_collisions=False,
            solver_position_iteration_count=4,
            solver_velocity_iteration_count=0,
            sleep_threshold=0.005,
            stabilization_threshold=0.001,
        ),
    ),
    init_state=ArticulationCfg.InitialStateCfg(
        pos=(0.6, 0.0, 0.0),
        # orientation<-(0, 0, -1.57)
        rot=(-0.7071, 0, 0, 0.7071),
        joint_pos={"caster_yaw_joint": 0.0}
    ),
    actuators={
        "left_wheel_actuator": ImplicitActuatorCfg(
            joint_names_expr=["left_wheel_joint"],
            effort_limit_sim=9.4,
            velocity_limit_sim=82.9,
            stiffness=100.0,
            damping=1.0,
        ),
        "right_wheel_actuator": ImplicitActuatorCfg(
            joint_names_expr=["right_wheel_joint"],
            effort_limit_sim=9.4,
            velocity_limit_sim=82.9,
            stiffness=100.0,
            damping=1.0,
        ),
    },
)

[kyo0221]

#19 で従動輪の設定を追加したが, 常に初期位置に収束するように力を働かせるには初期位置を目標として目標位置を定める必要がある.

しかし, 学習時にはActionCfgクラスで定めたアクチュエータには強化学習アルゴリズムに従って指令値が与えられてしまう. 学習時の出力対象としてcasterのyaw角を指定しなければ指令値が与えられることは無いが, その場合には目標位置が定められず, 力が働かなくなってしまう.

[kyo0221]

報酬関数側で従動輪の指令値を常に0にするような設計をする必要がありそう

[yasuohayashibara]

今のIssacLabの仕組みを理解していないところはありますが，おそらくアクションを伝える前に値を上書きすることはできると思います．

ChatGPTに聞いてみました．（確認はしていません．）

IssacLabで学習器の出力に関わらずあるアクション（関節の目標角度）の値を０として出力することはできますか？

ChatGPT:
はい、Isaac Lab で学習器（policy）の出力に関わらず、特定のアクション（たとえば特定の関節の目標角度）を常に 0 にすることは可能です。以下のような方法で実現できます。

方法①：カスタム Action Post-Processor を定義する（推奨）
Isaac Lab では、ポリシーの出力に対して post-processing（後処理） を挟むことができます。
そのため、学習器の出力後に特定の次元のアクションを 0 に書き換えるカスタム関数を定義できます。

例：特定の関節を無効化する post-processor

def zero_out_specific_joint_action(actions: torch.Tensor) -> torch.Tensor:
    actions[:, TARGET_INDEX] = 0.0  # 対象の関節のインデックスを指定
    return actions

これを env_cfg や task_cfg に渡すことで適用します。
タスクによっては apply_action の中で直接編集しても良いです。

方法②：カスタム環境で apply_action() 内で書き換える
gym.Env の拡張クラスの中で、apply_action() をオーバーライドし、アクションを変更することもできます。

例：

def apply_action(self, actions):
    actions[:, TARGET_INDEX] = 0.0
    super().apply_action(actions)

方法③：ポリシーモデル自体で無視する（あまり推奨されない）
Policy ネットワークの出力層を制限して、特定の次元を常に 0 出力にすることもできますが、学習の自由度が下がるため非推奨です。後処理で対応した方が柔軟です。

注意点
連続アクション空間を使っている場合、この操作は簡単です（actions は Tensor）。

離散アクション空間の場合は、工夫が必要です（無効化したいアクションを mask などで排除）。

学習時にも常に 0 にする場合、replay buffer に入るデータも同様に修正される必要があります。

[kyo0221]

ロボットモデルのwheelの設定について
https://forums.developer.nvidia.com/t/joint-target-position-not-working/284045

[kyo0221]

isaacsimのGUI画面にて
Tools→Robotics→OmniGraph Controllers→Differential Contoroller
の手順を踏むことで差動二輪ロボットの速度制御ができた.

オプションでキーボードのキーから速度指令値が送信できるようになる.

[kyo0221]

人が操縦しても思ったとおりに操作することが困難であるため, ロボットモデルの改善が必要になりそう