虚拟现实/增强现实中的三维草图绘制

前言

沉浸式三维虚拟现实（VR）环境下的草图技术在各种交互式三维设计应用中具有巨大的潜力。然而，在空中精确绘制预定笔划可能是一个挑战。草图（freehand sketching）由于其自由形式和表现力的特点，是许多视觉设计管道中使用的一项基本任务。

一、目前存在的问题

Rahul Arora, Rubaiat Habib Kazi, Fraser Anderson, Tovi Grossman, Karan Singh, and George Fitzmaurice. Experimental Evaluation of Sketching on Surfaces in VR. CHI2017.

• 物理表面： 一种可能的方法是用非支配手握住一个剪贴板或其他坚硬的表面。另一种方法是由机械臂驱动的动态可配置拉深表面。或用于辅助三维草图绘制的主动触觉设备。
• 视觉向导：“Guides” feature in Tilt Brush，网格和脚手架曲线；新的笔划处理方法来解释曲线公平性的不足。
• 深度感知：雾渲染模糊远处的物体，3d网格，半透明渲染的自动表面处理
• 方向位置导航：导航工具使他们能够捕捉或投影绘图平面到具有更高“草图能力”的位置和方向
• 绘画尺寸：可管理的小范围内画画，以提高准确性和舒适性，同时允许用户快速切换到全尺寸视图
• 曲面笔画：不知道曲面曲率和扭曲如何影响笔划性能。二维显示的工作使用了平面上表面的正交投影，或围绕表面的三维空间的水平集表示。

二、相关文献

1. Experimental Evaluation of Sketching on Surfaces in VR

CHI2017. Rahul Arora, Rubaiat Habib Kazi, Fraser Anderson, Tovi Grossman, Karan Singh, and George Fitzmaurice.

2. SymbiosisSketch: Combining 2D & 3D Sketching for Designing Detailed 3D Objects in Situ

CHI2018. Rahul Arora, Rubaiat Habib Kazi, Tovi Grossman, George Fitzmaurice, Karan Singh

• 在空中绘制一些曲线，并自动计算出最佳拟合曲面,绑定笔划将映射到所选画布,三维平移、旋转和缩放小部件进行转换.
• 利用平板电脑的全部分辨率。目前的VR显示技术无法提供接近专 业绘图板的分辨率
• 缩放工具通过“放大和缩小”真实世界的比例
• 填充工具创建实体表面，通过遮挡、照明和阴影来改善观察 者的深度感知。 自动检测物理世界中的平面

3. Multiplanes: Assisted Freehand VR Sketching

CHI2018. Mayra D. Barrera Machuca1, Paul Asente, Wolfgang Stuerzlinger, Jingwan Lu, Byungmoon Kim

• 美化触发点（BTP）自动平面生成 (Automatic Plane Generation)对于笔划和当前控制器姿势，多平面会自动识别适当的绘图平面。
• 在此基础上，再根据先前的几何点绘制点，并以此为基础显示系统中的BTP。
• 当用户绘制它或当用户点击一个BTP，多平面还自动实时美化一个笔划。

4. Smart3DGuides: Making Unconstrained Immersive 3D Drawing More Accurate

CHI2019. Mayra D. Barrera Machuca, Wolfgang Stuerzlinger, Paul Asente

• 用于三维草图绘制的无约束视觉指南，可帮助用户避免错误
• （a）SG十字准线以控制器的位置和方向为参考坐标。
• （b） SG lines使用一个独立于内容和控制器的固定全局参考帧。
• （c）SG柱面使用现 有内容作为参考框架

5. VRSketchIn: Exploring the Design Space of Pen and Tablet Interaction for 3D Sketching in Virtual Reality

CHI2020. Tobias Drey, Jan Gugenheimer, Julian Karlbauer, Maximilian Milo, Enrico Rukzio

• 包括 方向位置导航、绘画尺寸、视觉向导、物理表面等

三、定量分析

1. Stroke quality

• a) line straightness, b) matching of line pairs, c) degree of deviation, and d) corrective movements.

Eva Wiese, Johann Habakuk Israel, A. Meyer, and S. Bongartz. 2010.Investigating the learnability of immersive free-hand sketching.Proceedings of the Seventh Sketch-Based Interfaces and Modeling Symposium (SBIM’10), October 2017: 135–142

• mean average deviation & mean project deviation

Rahul Arora, Rubaiat Habib Kazi, Fraser Anderson, Tovi Grossman, Karan Singh, and George Fitzmaurice. Experimental Evaluation of Sketching on Surfaces in VR. CHI2017.

• 绘画时间 & 绘画笔数

2. Stroke aesthetic quality

• mean fairness deviation
  

四、定性分析

• Likert量表
• System Usability Scale (SUS) [Brooke 1996]系统可用性量表
• Perceived Usefulness and Ease of Use (PUEU) [Davis 1989] 感知有用性和易用性
• Think aloud

总结

缺乏物理绘图平面、表面位置、形状和方向、笔划大小和视觉引导是影响VR绘图能力的重要因素