1. 通过沉浸式虚拟现实训练和考察学生采集病史的完整性和逻辑顺序;
2. 用虚拟仿真平台整合跨专业病例库并搭配丰富的体格检查及实验室检查数据,用来训练和检测医学生的临床思维过程和临床推理技能;
3. 以逼真的虚拟现实案例和模拟病人熏陶医学生的医患沟通能力、人文关怀素质等;
4. 以虚拟的形式实现让医学生有机会进行反复刻意训练,提升临床实践教学的质量和效率。
通过眼睛方位捕捉技术、6DOF自由度的手臂动作捕捉技术、实时可视化的VR交互技术、头戴式VR沉浸设备、基于TCP/UDP的低延迟实时网络通信技术、3D声音定位和语音实时传输等技术手段构建高度仿真的虚拟实验环境和对象,重现各类病人就诊全过程。学生在沉浸式和交互性虚拟诊疗中自主实施病史采集,并通过自然界面交互的方式获取体格检查以及实验室检查结果,逐步进行诊断及治疗的临床思维训练。
实验过程中,学生头戴VR头显设备,选择学习的课程内容(病人主要症状)以后,从云端载入虚拟问诊场景并显示在VR头显中,学生进入VR虚拟问诊场景。系统将根据学生选择的病症,加载课程特定的专项SP和SP的病史、当前病症等全部数据,再将SP(真人)以虚拟人的形式呈现在VR场景中。学生必需进行问诊-完善检查-诊断-鉴别诊断-治疗方案的完整流程。
学生与SP展开问诊过程,系统记录学生所有已执行的问诊操作,包括问诊内容、声音、以及学生问诊时的动作、问诊所用的时间等数据,实验结束后,系统将根据一定的对比算法,将这些数据与标准过程数据进行对比,之后立刻给出评价报告,帮助学生回顾和理清思路,以达到临床诊疗思维训练的目的。
学生交互性操作步骤说明:
1. 学生进入系统:学生带上VR头盔,调整手柄,进入VR平台。选择临床诊疗思维训练虚拟仿真实验软件后,进入虚拟医院大厅场景。
2. 学生选择课程:学生根据个人训练进度,在虚拟医院大厅场景内选择课程。
3. 学生和SP进入虚拟诊间:系统加载课程数据、SP数据、虚拟诊疗室场景美术资源,实例化场景并将学生和SP置于场景中。
4. 学生和SP进行病史采集训练:根据一般问诊流程,学生与SP进行问答,以采集SP病史数据。
5. 问诊阶段结束:SP给予口头反馈和点评。
(初阶实验内容结束,直接跳转至第14步)
6. 学生查看体格检查结果:系统自动将SP本次问诊对应的体格检查结果渲染至自然交互界面上,学生可随手拿取。
7. 学生选择初次实验室检查以及其他辅助检查项目:系统自动将实验室检查以及其他辅助检查项目的3D模型、物件、器材等相关物品的美术模型和纹理资源,加载至场景中,学生通过手柄抓取拿放这些物品,进行相关检查的选择。
8. 学生对初次检查结果进行判读:学生对系统反馈的实验结果进行解读,得到自己的判读结果。
9. 学生给出初步诊断与鉴别诊断名称:系统有若干备选项,学生可直接点选诊断名称。系统自动判断正误。
(中阶实验内容结束,直接跳转至第14步)
10. 学生选择进一步体格检查/实验室检查/其他辅助检查项目:参照上述第6、7两步。
11. 学生对后续检查结果进行详细判读:参照上述第8步。
12. 学生给出明确诊断/修正诊断:参照上述第9步。
13. 学生给出简明治疗方案或进一步处理意见:该方案或意见由学生从系统备选方案中选择,并通过语音转文字功能,将处理意见转换成文字,系统自动记录下来。
(高阶实验内容结束)
14. 学生查看训练评价报告:系统根据采集的学生完整的问诊流程的数据,进行初步自动化分析,根据一定算法,给出学生本次训练的评价报告。
老师查看学生训练结果分析:
老师可带上VR头盔,观看学生整个的问诊过程。上述报告同时可自动由数据采集服务后台上传至指定老师的邮箱或账户下,老师可阅读平面文字版的结果分析。
(1)是否记录每步实验结果:√是
(2)实验结果与结论要求:√其他
(3)其他描述:
① SP评价:SP对学生问诊过程中的表现给予即刻的口头反馈,并用核查表的形式进行更为详细的评价。
② 系统评分:系统可以从病史采集过程、体格检查和辅助检查选择以及结果判读、诊断及鉴别诊断、治疗方案等几个方面对学生能力进行评分,同时以雷达图的形式反映学生在人文关怀、临床技能、学习能力、医患沟通、逻辑分析、时间管理方面的综合能力水平。