コンテンツにスキップ

Perceptor

Info

Isaac Pereptorは、Visual SLAM, Visual Global Localization, DNN Stereo Depth, Nvblox, Image Pipelineを用いてカメラベースでロボットの位置推定と3Dマップ作成を同時に行えます。

デモ動画

YOUTUBE

Isaac ROS Dockerの起動

Warning

/dev/fb0 が無いせいで CDI デバイス注入がコケて コンテナ起動に失敗してすので、下記Dockerコンテナ起動前に、必ずディスプレイに接続。

1
2
cd ${ISAAC_ROS_WS}/src/isaac_ros_common && \
./scripts/run_dev.sh

Isaac ROS パッケージのインストール

1
2
3
sudo apt update
sudo apt-get install -y ros-humble-nova-developer-kit-bringup 
source /opt/ros/humble/setup.bash

必要なAssetのインストール

1
2
3
4
5
6
sudo apt-get install -y ros-humble-isaac-ros-peoplesemseg-models-install ros-humble-isaac-ros-ess-models-install
source /opt/ros/humble/setup.bash

ros2 run isaac_ros_ess_models_install install_ess_models.sh --eula
ros2 run isaac_ros_peoplesemseg_models_install install_peoplesemsegnet_vanilla.sh --eula
ros2 run isaac_ros_peoplesemseg_models_install install_peoplesemsegnet_shuffleseg.sh --eula

Defaultの条件で起動

1
ros2 launch nova_developer_kit_bringup perceptor.launch.py

Foxglobeで表示

nova_developer_kit_bringup/foxglove_layoutsから、nova_developer_kit_perceptor.jsonをダウンロードする。

設定できるパラメーター

1
ros2 launch nova_developer_kit_bringup perceptor.launch.py --show-args

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
Platform detected as: aarch64. Setting negotiation time to: 20
Using container type: component_container_mt, with arguments: ['--ros-args', '--log-level', 'info']
Arguments (pass arguments as '<name>:=<value>'):

    'mode':
        One of: ['real_world', 'simulation', 'rosbag']
        (default: 'real_world')

    'rosbag':
        no description given
        (default: 'None')

    'enabled_fisheye_cameras':
        no description given
        (default: '')

    'enable_cuvslam':
        no description given
        (default: 'True')

    'stereo_camera_configuration':
        One of: ['front_configuration', 'front_people_configuration', 'front_left_right_configuration']
        (default: 'front_left_right_configuration')

    'use_foxglove_whitelist':
        no description given
        (default: 'True')

    'type_negotiation_duration_s':
        no description given
        (default: '20')

    'nvblox_param_filename':
        no description given
        (default: 'params/nvblox_perceptor.yaml')

    'nvblox_after_shutdown_map_save_path':
        no description given
        (default: '')

    'sim_global_frame':
        no description given
        (default: 'odom_vslam')

    'global_frame':
        no description given
        (default: 'map')

    'vslam_odom_frame':
        no description given
        (default: 'odom')

    'vslam_map_frame':
        no description given
        (default: 'map')

    'urdf_override_file':
        no description given
        (default: 'None')

    'namespace':
        ROS namespace
        (default: 'hesai_lidar')

    'replay':
        Enable replay from rosbag
        (default: 'False')

    'ip':
        Hesai source IP address
        (default: '192.168.1.201')

    'run_foxglove':
        no description given
        (default: 'True')

    'run_rviz':
        no description given
        (default: 'False')

    'rviz_config':
        no description given
        (default: 'None')

Referenceページ