@ -36,13 +36,17 @@
# 🔖 [版本说明 ](CHANGELOG_zh-CN.md )# 🔖 [版本说明 ](CHANGELOG_zh-CN.md )
## 🏷️ v1.3
## 🏷️ v1.4
- 添加 [](https://github.com/unitreerobotics/xr_teleoperate/wiki) [](https://discord.gg/ZwcVwxv5rq)
- **图像服务器**变更为 [teleimager ](https://github.com/silencht/teleimager )，具体请查看仓库README。
- 支持 **IPC 模式** ，默认使用 SSHKeyboard 进行输入控制。
- 合并 **H1_2** 机器人新增运动模式支持。
- 合并 **G1_23** 机械臂新增运动模式支持。
- 升级 [televuer ](https://github.com/silencht/televuer )，具体请查看仓库README。
> 新版本的 [teleimager ](https://github.com/silencht/teleimager/commit/ab5018691943433c24af4c9a7f3ea0c9a6fbaf3c ) + [televuer ](https://github.com/silencht/televuer/releases/tag/v3.0 ) 支持通过 webrtc 传输头部相机图像
- 完善系统的**状态机**信息、IPC模式。
- 新增 **pass-through 模式** ，可以通过VR设备摄像头直接透视外界环境（而不借助机器人头部相机）
- ···- ···
@ -57,11 +61,12 @@
以下是系统示意图：以下是系统示意图：
< p align = "center" > < p align = "center" >
< a href = "https://oss-global-cdn.unitree.com/static/54cff8fe11ac4158b9b15a73f0842843_5990x406 0.png" >
< img src = "https://oss-global-cdn.unitree.com/static/54cff8fe11ac4158b9b15a73f0842843_5990x406 0.png" alt = "Watch the Document" style = "width: 100%;" >
< a href = "https://oss-global-cdn.unitree.com/static/46be5e94e7db4a699b92a8941b13a955_7120x513 0.png" >
< img src = "https://oss-global-cdn.unitree.com/static/46be5e94e7db4a699b92a8941b13a955_7120x513 0.png" alt = "Watch the Document" style = "width: 100%;" >
< / a > < / a >
< / p > < / p >
以下是本仓库目前支持的设备类型：以下是本仓库目前支持的设备类型：
< table > < table >
@ -126,14 +131,42 @@
(tv) unitree@Host:~$ cd xr_teleoperate(tv) unitree@Host:~$ cd xr_teleoperate
# 浅克隆子模块# 浅克隆子模块
(tv) unitree@Host:~/xr_teleoperate$ git submodule update --init --depth 1(tv) unitree@Host:~/xr_teleoperate$ git submodule update --init --depth 1
```
```bash
# 安装 televuer 模块# 安装 televuer 模块
(tv) unitree@Host:~/xr_teleoperate$ cd teleop/televuer(tv) unitree@Host:~/xr_teleoperate$ cd teleop/televuer
(tv) unitree@Host:~/xr_teleoperate/teleop/televuer$ pip install -e .(tv) unitree@Host:~/xr_teleoperate/teleop/televuer$ pip install -e .
# 生成 televuer 模块所需的证书文件# 生成 televuer 模块所需的证书文件
# 1. 如果您使用 pico / quest 等 xr 设备
(tv) unitree@Host:~/xr_teleoperate/teleop/televuer$ openssl req -x509 -nodes -days 365 -newkey rsa:2048 -keyout key.pem -out cert.pem(tv) unitree@Host:~/xr_teleoperate/teleop/televuer$ openssl req -x509 -nodes -days 365 -newkey rsa:2048 -keyout key.pem -out cert.pem
# 2. 如果您使用 apple vision pro 设备
(tv) unitree@Host:~/xr_teleoperate/teleop/televuer$ openssl genrsa -out rootCA.key 2048
(tv) unitree@Host:~/xr_teleoperate/teleop/televuer$ openssl req -x509 -new -nodes -key rootCA.key -sha256 -days 365 -out rootCA.pem -subj "/CN=xr-teleoperate"
(tv) unitree@Host:~/xr_teleoperate/teleop/televuer$ openssl genrsa -out key.pem 2048
(tv) unitree@Host:~/xr_teleoperate/teleop/televuer$ openssl req -new -key key.pem -out server.csr -subj "/CN=localhost"
## 创建 server_ext.cnf 文件，输入以下内容（IP.2 地址应与您的 主机 IP 地址匹配，假设此处地址为 192.168.123.2。可以使用 `ifconfig` 等类似命令查询）
(tv) unitree@Host:~/xr_teleoperate/teleop/televuer$ vim server_ext.cnf
subjectAltName = @alt_names
[alt_names]
DNS.1 = localhost
IP.1 = 192.168.123.164
IP.2 = 192.168.123.2
(tv) unitree@Host:~/xr_teleoperate/teleop/televuer$ openssl x509 -req -in server.csr -CA rootCA.pem -CAkey rootCA.key -CAcreateserial -out cert.pem -days 365 -sha256 -extfile server_ext.cnf
(tv) unitree@Host:~/xr_teleoperate/teleop/televuer$ ls
build cert.pem key.pem LICENSE pyproject.toml README.md rootCA.key rootCA.pem rootCA.srl server.csr server_ext.cnf src test
# 开启防火墙
(tv) unitree@Host:~/xr_teleoperate/teleop/televuer$ sudo ufw allow 8012
# 通过 AirDrop 将 rootCA.pem 复制到 Apple Vision Pro 并安装它
```
```bash
# 安装 dex-retargeting 模块# 安装 dex-retargeting 模块
(tv) unitree@Host:~/xr_teleoperate/teleop/televuer$ cd ../robot_control/dex-retargeting/(tv) unitree@Host:~/xr_teleoperate/teleop/televuer$ cd ../robot_control/dex-retargeting/
(tv) unitree@Host:~/xr_teleoperate/teleop/robot_control/dex-retargeting$ pip install -e .(tv) unitree@Host:~/xr_teleoperate/teleop/robot_control/dex-retargeting$ pip install -e .
```
```bash
# 安装本仓库所需的其他依赖库# 安装本仓库所需的其他依赖库
(tv) unitree@Host:~/xr_teleoperate/teleop/robot_control/dex-retargeting$ cd ../../../(tv) unitree@Host:~/xr_teleoperate/teleop/robot_control/dex-retargeting$ cd ../../../
(tv) unitree@Host:~/xr_teleoperate$ pip install -r requirements.txt(tv) unitree@Host:~/xr_teleoperate$ pip install -r requirements.txt
@ -174,6 +207,8 @@
## 2.1 📥 环境配置## 2.1 📥 环境配置
> v1.4 版本仿真部署暂未上线，请暂时使用 v1.3 进行测试
首先，请安装 [unitree_sim_isaaclab ](https://github.com/unitreerobotics/unitree_sim_isaaclab )。具体安装步骤，可参考该仓库 README 文档。首先，请安装 [unitree_sim_isaaclab ](https://github.com/unitreerobotics/unitree_sim_isaaclab )。具体安装步骤，可参考该仓库 README 文档。
其次，启动 unitree_sim_isaaclab 仿真环境。假设使用 G1(29 DoF) 和 Dex3 灵巧手配置进行仿真，则启动命令示例如下：其次，启动 unitree_sim_isaaclab 仿真环境。假设使用 G1(29 DoF) 和 Dex3 灵巧手配置进行仿真，则启动命令示例如下：
@ -209,7 +244,8 @@
- 基础控制参数- 基础控制参数
| ⚙️ 参数 | 📜 说明 | 🔘 目前可选值 | 📌 默认值 || ⚙️ 参数 | 📜 说明 | 🔘 目前可选值 | 📌 默认值 |
| :---------: | :----------------------------------------------: | :------------------------------------------------------: | :------: |
| :-----------: | :----------------------------------------------: | :------------------------------------------------------: | :------: |
| `--frequency` | 设置录制和控制的 FPS | 任意浮点数 | 30.0 |
| `--xr-mode` | 选择 XR 输入模式（通过什么方式控制机器人） | `hand` （**手势跟踪**）< br /> `controller`（**手柄跟踪**） | `hand` || `--xr-mode` | 选择 XR 输入模式（通过什么方式控制机器人） | `hand` （**手势跟踪**）< br /> `controller`（**手柄跟踪**） | `hand` |
| `--arm` | 选择机器人设备类型（可参考 0. 📖 介绍） | `G1_29` < br /> `G1_23`< br /> `H1_2`< br /> `H1` | `G1_29` || `--arm` | 选择机器人设备类型（可参考 0. 📖 介绍） | `G1_29` < br /> `G1_23`< br /> `H1_2`< br /> `H1` | `G1_29` |
| `--ee` | 选择手臂的末端执行器设备类型（可参考 0. 📖 介绍） | `dex1` < br /> `dex3`< br /> `inspire1`< br /> `brainco` | 无默认值 || `--ee` | 选择手臂的末端执行器设备类型（可参考 0. 📖 介绍） | `dex1` < br /> `dex3`< br /> `inspire1`< br /> `brainco` | 无默认值 |
@ -217,11 +253,18 @@
- 模式开关参数- 模式开关参数
| ⚙️ 参数 | 📜 说明 || ⚙️ 参数 | 📜 说明 |
| :----------: | :----------------------------------------------------------: |
| `--record` | 【启用**数据录制**模式】< br /> 按 **r** 键进入遥操后，按 **s** 键可开启数据录制，再次按 **s** 键可结束录制并保存本次 episode 数据。< br /> 继续按下 **s** 键可重复前述过程。 |
| :---------------: | :----------------------------------------------------------: |
| `--motion` | 【启用**运动控制**模式】< br /> 开启本模式后，可在机器人运控程序运行下进行遥操作程序。< br /> **手势跟踪**模式下，可使用 [R3遥控器 ](https://www.unitree.com/cn/R3 ) 控制机器人正常行走；**手柄跟踪**模式下，也可使用[手柄摇杆控制机器人行走](https://github.com/unitreerobotics/xr_teleoperate/blob/375cdc27605de377c698e2b89cad0e5885724ca6/teleop/teleop_hand_and_arm.py#L247-L257)。 || `--motion` | 【启用**运动控制**模式】< br /> 开启本模式后，可在机器人运控程序运行下进行遥操作程序。< br /> **手势跟踪**模式下，可使用 [R3遥控器 ](https://www.unitree.com/cn/R3 ) 控制机器人正常行走；**手柄跟踪**模式下，也可使用[手柄摇杆控制机器人行走](https://github.com/unitreerobotics/xr_teleoperate/blob/375cdc27605de377c698e2b89cad0e5885724ca6/teleop/teleop_hand_and_arm.py#L247-L257)。 |
| `--headless` | 【启用**无图形界面**模式】< br /> 适用于本程序部署在开发计算单元（PC2）等无显示器情况 || `--headless` | 【启用**无图形界面**模式】< br /> 适用于本程序部署在开发计算单元（PC2）等无显示器情况 |
| `--sim` | 【启用[**仿真模式**](https://github.com/unitreerobotics/unitree_sim_isaaclab)】 || `--sim` | 【启用[**仿真模式**](https://github.com/unitreerobotics/unitree_sim_isaaclab)】 |
| `--ipc` | 【进程间通信模式】< br /> 可通过进程间通信来控制 xr_teleoperate 程序的状态切换，此模式适合与代理程序进行交互 |
| `--pass-through` | 【透视模式】< br /> 在 VR 头显中使用透视模式直接观察外部环境（而不是使用机器人头部相机视频流） |
| `--img-server-ip` | 设置图像服务器的 IP 地址，用于接收图像服务流、配置 WebRTC 信令服务地址 |
| `--affinity` | 【CPU亲和模式】< br /> 设置 CPU 核心亲和性。如果你不知道这是什么，那么请不要设置它。 |
| `--record` | 【启用**数据录制**模式】< br /> 按 **r** 键进入遥操后，按 **s** 键可开启数据录制，再次按 **s** 键可结束录制并保存本次 episode 数据。< br /> 继续按下 **s** 键可重复前述过程。 |
| `--task-*` | 此类参数可配置录制的文件保存路径，任务目标、描述、步骤等信息 |
------------
@ -303,10 +346,12 @@
> 注意1：录制的数据默认存储在 `xr_teleoperate/teleop/utils/data` 中。数据使用说明见此仓库： [unitree_IL_lerobot ](https://github.com/unitreerobotics/unitree_IL_lerobot/blob/main/README_zh.md#%E6%95%B0%E6%8D%AE%E9%87%87%E9%9B%86%E4%B8%8E%E8%BD%AC%E6%8D%A2 )。> 注意1：录制的数据默认存储在 `xr_teleoperate/teleop/utils/data` 中。数据使用说明见此仓库： [unitree_IL_lerobot ](https://github.com/unitreerobotics/unitree_IL_lerobot/blob/main/README_zh.md#%E6%95%B0%E6%8D%AE%E9%87%87%E9%9B%86%E4%B8%8E%E8%BD%AC%E6%8D%A2 )。
>>
> 注意2：请在录制数据时注意您的硬盘空间大小。> 注意2：请在录制数据时注意您的硬盘空间大小。
>
> 注意3: v1.4 及以上版本，record image窗口取消。
## 2.3 🔚 退出## 2.3 🔚 退出
要退出程序，可以在终端窗口（或 'record image' 窗口） 中按下 **q** 键。
要退出程序，可以在终端窗口中按下 **q** 键。
@ -318,35 +363,39 @@
仿真环境中已经自动开启了图像服务。实物部署时，需要针对自身相机硬件类型，手动开启图像服务。步骤如下：仿真环境中已经自动开启了图像服务。实物部署时，需要针对自身相机硬件类型，手动开启图像服务。步骤如下：
将 `xr_teleoperate/teleop/image_server` 目录中的 `image_server.py` 复制到宇树机器人（G1/H1/H1_2 等）的 **开发计算单元 PC2** 。
1. 在宇树机器人（G1/H1/H1_2 等）的 **开发计算单元 PC2** 中安装图像服务程序
```bash```bash
# 提醒：可以通过scp命令将image_server.py传输到PC2，然后使用ssh远程登录PC2后执行它。
# 假设开发计算单元PC2的ip地址为192.168.123.164，那么传输过程示例如下：
# 先ssh登录PC2，创建图像服务器的文件夹
(tv) unitree@Host:~$ ssh unitree@192.168.123.164 "mkdir -p ~/image_server"
# 将本地的image_server.py拷贝至PC2的~/image_server目录下
(tv) unitree@Host:~$ scp ~/xr_teleoperate/teleop/image_server/image_server.py unitree@192.168.123.164:~/image_server/
# ssh登录PC2，下载图像服务程序仓库
(base) unitree@PC2:~$ cd ~
(base) unitree@PC2:~$ git clone https://github.com/silencht/teleimager
# 根据 teleimager 仓库的 https://github.com/silencht/teleimager/blob/main/README.md 文档说明来配置环境
``````
并在 **PC2** 上执行以下命令：
2. 在**本地主机** 上执行以下命令：
```bash```bash
# 提醒：目前该图像传输程序支持OpenCV和Realsense SDK两种读取图像的方式，请阅读image_server.py的ImageServer类的注释以便您根据自己的相机硬件来配置自己的图像传输服务。
# 现在位于宇树机器人 PC2 终端
unitree@PC2:~/image_server$ python image_server.py
# 您可以看到终端输出如下：
# {'fps': 30, 'head_camera_type': 'opencv', 'head_camera_image_shape': [480, 1280], 'head_camera_id_numbers': [0]}
# [Image Server] Head camera 0 resolution: 480.0 x 1280.0
# [Image Server] Image server has started, waiting for client connections...
# 将本地主机 xr_teleoperate/teleop/televuer 路径下在 1.1 节配置的 key.pem 和 cert.pem 文件拷贝到 PC2 对应路径
(tv) unitree@Host:~$ scp ~/xr_teleoperate/teleop/televuer/key.pem ~/xr_teleoperate/teleop/televuer/cert.pem unitree@192.168.123.164:~/teleimager
``````
在图像服务启动后，您可以在 **主机** 终端上使用 `image_client.py` 测试通信是否成功：
3. 在**开发计算单元 PC2** 中按照 teleimager 文档配置 cam_config.yaml 并启动图像服务程序
```bash```bash
(tv) unitree@Host:~/xr_teleoperate/teleop/image_server$ python image_client.py
# 假设使用 conda 创建环境
(teleimager) unitree@PC2:~/image_server$ sudo $(which python) image_server.py
``````
4. 在**本地主机**上执行以下命令订阅图像：
```bash
(tv) unitree@Host:~$ cd ~/xr_teleoperate/teleop/teleimager/src
(tv) unitree@Host:~/xr_teleoperate/teleop/teleimager/src$ python -m teleimager.image_client
# 如果设置了 WebRTC 图像流，那么可以在浏览器中通过 https://192.168.123.164:60001 打开网址，随后点击 Start 按钮进行测试
```
## 3.2 ✋ Inspire 手部服务（可选）## 3.2 ✋ Inspire 手部服务（可选）
> 注意1：如果选择的机器人配置中没有使用 Inspire 系列灵巧手，那么请忽略本节内容。> 注意1：如果选择的机器人配置中没有使用 Inspire 系列灵巧手，那么请忽略本节内容。
@ -396,8 +445,7 @@ sudo ./brainco_hand --id 127 --serial /dev/ttyUSB2
>>
> 1. 所有人员必须与机器人保持安全距离，以防止任何潜在的危险！> 1. 所有人员必须与机器人保持安全距离，以防止任何潜在的危险！
> 2. 在运行此程序之前，请确保至少阅读一次 [官方文档 ](https://support.unitree.com/home/zh/Teleoperation )。> 2. 在运行此程序之前，请确保至少阅读一次 [官方文档 ](https://support.unitree.com/home/zh/Teleoperation )。
> 3. 没有开启**运动控制**模式（`--motion`）时，请务必确保机器人已经进入 [调试模式（L2+R2） ](https://support.unitree.com/home/zh/G1_developer/remote_control )，以停止运动控制程序发送指令，这样可以避免潜在的指令冲突问题。
> 4. 如果要开启**运动控制**模式遥操作，请提前使用 [R3遥控器 ](https://www.unitree.com/cn/R3 ) 确保机器人进入主运控模式。
> 3. 如果要开启**运动控制**模式遥操作，请提前使用 [R3遥控器 ](https://www.unitree.com/cn/R3 ) 确保机器人进入主运控模式。
> 5. 开启**运动控制**模式（`--motion`）时：> 5. 开启**运动控制**模式（`--motion`）时：
> - 右手柄按键 `A` 为遥操作**退出**功能按键；> - 右手柄按键 `A` 为遥操作**退出**功能按键；
> - 左手柄和右手柄的两个摇杆按键同时按下为软急停按键，机器人会退出运控程序并进入阻尼模式，该功能只在必要情况下使用> - 左手柄和右手柄的两个摇杆按键同时按下为软急停按键，机器人会退出运控程序并进入阻尼模式，该功能只在必要情况下使用
@ -430,9 +478,7 @@ xr_teleoperate/
├── hardware [存储 3D 打印模组]├── hardware [存储 3D 打印模组]
││
├── teleop├── teleop
│ ├── image_server
│ │ ├── image_client.py [用于从机器人图像服务器接收图像数据]
│ │ ├── image_server.py [从摄像头捕获图像并通过网络发送（在机器人板载计算单元PC2上运行）]
│ ├── teleimager [全新的图像服务库，支持多种特性]
│ ││ │
│ ├── televuer│ ├── televuer
│ │ ├── src/televuer│ │ ├── src/televuer
@ -454,6 +500,9 @@ xr_teleoperate/
│ │ ├── episode_writer.py [用于记录模仿学习的数据] │ │ ├── episode_writer.py [用于记录模仿学习的数据]
│ │ ├── weighted_moving_filter.py [用于过滤关节数据的滤波器]│ │ ├── weighted_moving_filter.py [用于过滤关节数据的滤波器]
│ │ ├── rerun_visualizer.py [用于可视化录制数据]│ │ ├── rerun_visualizer.py [用于可视化录制数据]
│ │ ├── ipc.py [用于和代理程序进行进程间通信]
│ │ ├── motion_switcher.py [用于切换运控状态]
│ │ ├── sim_state_topic.py [用于仿真部署]
│ ││ │
│ │──teleop_hand_and_arm.py [遥操作的启动执行代码]│ │──teleop_hand_and_arm.py [遥操作的启动执行代码]
``````
@ -477,3 +526,4 @@ xr_teleoperate/
7. https://github.com/zeromq/pyzmq7. https://github.com/zeromq/pyzmq
8. https://github.com/Dingry/BunnyVisionPro8. https://github.com/Dingry/BunnyVisionPro
9. https://github.com/unitreerobotics/unitree_sdk2_python9. https://github.com/unitreerobotics/unitree_sdk2_python
10. https://github.com/ARCLab-MIT/beavr-bot
silencht
5 months ago