MR现场智能操作辅助系统结合AR眼镜等设备,按照手册定义的操作流程,以虚实融合方式引导用户对手册真实设备进行操作。
软件能够读取3D电子交互手册编辑工具生成的电子交互手册文件包,通过虚实注册将虚拟对象与真实设备进行配准,在真实设备上叠加操作指示、三维操作动作等信息,按照手册定义的流程引导用户进行真实设备操作,在操作过程中能够随时查看操作详情、注意事项、电子资料等信息。
1.虚实融合操作辅助
通过虚实注册将虚拟物体与真实设备进行配准,在操作过程实时进行视点定位,将虚拟操作提示、三维操作动作叠加到真实设备上进行操作引导。

2.操作流程引导
按照手册定义的流程引导用户进行检测、判断或操作,可结合图像识别等方式进行状态识别、防错判断、信息获取等。

3. 多样化人机交互
支持虚拟菜单、语音、手势等多种人机交互方式,使用上进行互补,适应光照差、噪音大等多种实际环境,可解放双手,实现边引导边操作的目标。
4. 手册资料查询
操作过程中查阅手册信息,在AR眼镜中激活3D虚拟窗口,显示文字与图片、电子图纸、视频等信息。
