HoloLens 2初入——离线记录Depth、RGB、Eye等数据流，并用py处理

HoloLens 2初入——离线记录Depth、RGB、Eye等数据流，并用py处理

引言

倒腾这个工程的目的其实只是为了学习如何将depth图片和彩色图像对齐。因为我实际的需求是在线处理，如何在线获得相关数据已经在博客的另外一篇进行了说明。
这边其实是介绍一下官方的工程如何使用。

基础环境

1. 软件环境见博客其它文章
2. 官方工程

配置流程

3. 下载工程，工程的链接在上方，将整个HoloLens2ForCV都下载下来
4. 打开samples中的StreamRecorder，里面两个文件夹，上面为HL的应用APP，主要用来采集数据，下面文件内python的一些脚本，主要用于数据的离线处理。
5. 打开StreanRecorderApp.sln工程，我用的是VS2019，建议用比较新的版本，不要用15以前的。
   
6. 选择Release、 ARM64 模式.
   
7. 右键工程——>属性——>调试——>在计算机明处填入自己Hololens2的名字（我这边使用的是USB部署）
   
8. 用USB连接Hololens2，打开设备，登录。(非必须)
9. 调试——>开始执行（不调试）
   10.等待部署完成

录制数据并导入到电脑端

1. 在Hololen2中打开“StreanRecorder”应用 ，部署成功后第一次打开会有 相机隐私权限提示（大概就是应用需要征得用户同意才能使用相机的那种界面，实在不明白的见另外一篇博客（介绍应用部署的））
2. 应用成功打开后会出现一个面板，面板上有两个菜单，分别为“Strat”、“Stop”，字面意思。
3. 录制好数据后。用USB再次连接HoloLens2，打开网页端管理界面 “http://127.0.0.1:10080/”
4. 按照下图指示找到数据路径，并依次下载到同一个文件夹即可（注意文件夹路径不要奇奇怪怪的，比如有空格什么的）
   

Python 处理数据

转换图片格式

1. 下载数据后会发现，数据的后缀并不是我们常见的.png格式，而是其它不可视的格式。这是因为.png格式的输出其实比较耗时的，HL为了快速保存数据所以没有直接保存为.png格式。 但是提供了转换格式的代码。

2. 找到convert_images.py文件。

3. 用pycahrm打开，其实在终端也可以运行，但是我习惯用pycharm编辑（终端操作需要键入参数值，和Pycharm方式有点不同，这边不介绍）。

4. 修改参数器的值，a)将recording_path关键词的默认值修改为自己存放数据的文件夹路径。b)将 required设为False。（终端运行的时候需要输入-- recording_path的参数）
   
   3、运行代码，运行成功后，将会在数据文件夹中添加.png格式的图片等
   
   

保存为点云

1. 打开save_pclouds.py
   
2. 同样修改–recording_path参数
   3.运行后在数据文件夹下将会出现对其后的点云数据
   

4.对齐后的图像可能看着有点奇怪，但是这是正常的。 棱边是因为深度相机本身视野为圆形，矫正后近似8边形。下面少掉一大部分是因为深度相机和彩色相机的视野在这部分没有交集导致的（RGB相机视野向前）,两者无法匹配
.

（其他文件的功能这边就不赘述了，有需要的自己研究一下哈）