本发明属于经颅磁刺激医疗影像学领域,尤其是涉及了基于匿名的全过程经颅磁刺激数据记录采集系统及方法。
背景技术:
1、经颅磁刺激(transcranial magnetic stimulation,tms)是一种非侵入式的神经科学研究技术,可以通过产生磁场来改变特定大脑区域的大脑皮层神经细胞膜电位,使之产生感应电流,影响脑内代谢和神经电活动,从而引起一系列生理、生化反应的磁刺激技术。tms具有无痛、无损伤、操作简便、安全可靠的特点,在临床医学和神经科学研究方面具有广泛的意义。
2、然而,在tms临床应用与研究中,存在刺激过程中刺激位置不准确,刺激效应不明确等问题,缺乏对刺激过程的全程监控也是一大挑战,传统的tms设备和数据采集方法有以下几个缺点:第一,用户无法得到刺激过程中每次脉冲刺激时刺激点位的精确位置信息;第二,用户对被试头动或者线圈位置变化造成的刺激点位置变化无法有直观的体会及定量研究;第三用户无法在事后回溯实验过程。
3、另一方面,对tms产生的大量数据需要进行有效的管理、分析和保护。以至于无法对tms刺激的效应进行进一步的研究和总结,目前对靶点选择及刺激效应也因为缺乏大样本数据研究。目前常见的数据处理方式难以实现对数据进行有效保护的同时满足高效共享的需求。
4、此外,随着近年来大数据和人工智能技术的飞速发展,如何将这些先进技术应用到tms研究,提高数据的利用效率并促进对tms研究的回溯性分析从而提高tms的治疗效果,也成为了该领域亟待解决的问题。因此,亟需一个能够进行精确、可视化刺激,同时能够实现高效、安全的数据处理、分析和共享的经颅磁刺激数据采集分析共享系统。
技术实现思路
1、为了解决背景技术中存在的问题,本发明的目的在于提供了一种基于匿名的全过程经颅磁刺激数据记录采集系统及方法,可为经颅磁刺激使用者提供精准、可视化、全过程监控,并对刺激差异进行定量研究,此外,系统基于大数据及共享系统可解决经颅磁刺激一直以来存在的个体化刺激效应不明确的问题
2、本发明所采用的技术方案如下:
3、刺激发生前,用户输入受试者与受试信息,主要包括以下内容:
4、项目名称;
5、数据来源机构信息;
6、受试者信息:受试者编号、年龄、性别、教育水平以及症状;
7、受试信息:经颅磁设备品牌型号、受试时间、刺激位置、刺激强度以及刺激模式;
8、步骤s1、刺激发生前,将受试者的磁共振数据输入至数据处理终端,数据处理终端根据磁共振数据建立完整的大脑内部的三维结构模型,,通过测量刺激线圈的实际物理尺寸建立刺激线圈完整的三维模型同时设置目标靶点,目标靶点为刺激线圈所聚焦到受试者的大脑内部的位置点,接着摆放刺激线圈并贴近受试者的头部表面;
9、步骤s1中,数据处理终端导入磁共振数据,并重构受试者的头部皮肤表面的点云和网格模型、大脑内部的灰质点云和网格模型;在刺激开始前操作人员可对刺激靶点位置和线圈姿态进行设置和保存;操作人员也可以选择本发明系统内置的设定或导入已有设定。刺激参数输入后或选择后,系统对靶点位置和线圈姿态进行可视化呈现。
10、线圈位置和角度可根据以下两种方式进行确定:
11、方法一:操作者设置靶点的坐标,系统根据靶点坐标获得最佳的线圈位置和角度,接着利用最佳的线圈位置和角度对刺激线圈进行设置;
12、方法二:操作者选取任一位置对刺激线圈的位置和角度进行自由设置。
13、步骤s2、刺激发生时,实时进行以下工作:经颅磁刺激仪向数据处理终端发出脉冲触发信号,数据处理终端基于接收到的原始的rgb-d图像数据进行匿名化处理,得到匿名的rgb-d图像数据:
14、步骤s2.1、经颅磁刺激仪在刺激脉冲发生时向刺激线圈发出脉冲激励信号,使得刺激线圈施加脉冲磁场到受试者的大脑内部,同时向数据处理终端发出和脉冲激励信号对应同频的脉冲触发信号;
15、步骤s2.2、接着,利用面部深度相机和线圈深度相机实时采集原始的rgb-d图像数据,并将原始的rgb-d图像数据(即rgb-深度图像数据)传输给数据处理终端;
16、所述rgb-d图像数据包括受试者的面部图像数据和刺激线圈的线圈图像数据,受试者的面部图像数据包括受试者面部的深度图像和rgb图像,刺激线圈的线圈图像数据包括刺激线圈的深度图像和rgb图像;原始的面部图像数据和线圈图像数据分别通过面部深度相机和线圈深度相机按照相机帧率拍摄得到。
17、步骤s2.3、数据处理终端对接收到的原始rgb-d图像数据进行匿名化处理,得到匿名的rgb-d图像数据并保存。
18、步骤s3、刺激发生后,结合匿名的rgb-d图像数据、磁共振数据进行分析处理和建模,获得目标靶点的刺激误差进行可视化显示和数据安全共享。
19、步骤s3.1、数据处理终端从匿名的rgb-d图像数据中提取出关键帧图像数据并保存;
20、步骤s3.2、数据处理终端根据磁共振数据和匿名的rgb-d图像数据,完成受试者的大脑内部结构与刺激线圈的三维建模获得三维建模数据,并保存三维建模数据;
21、步骤s3.3、数据处理终端根据三维建模数据模拟磁场效应焦点,获得关键帧图像数据的关键帧图像中目标靶点与实际靶点之间的刺激误差,并将刺激误差进行可视化显示;
22、步骤s3.4、数据处理终端对原始rgb-d图像数据、匿名的rgb-d图像数据、关键帧图像数据进行分类存储并共享。
23、所述步骤s2.3中对原始rgb-d图像数据进行匿名化处理的具体方式为:
24、首先通过已有的面部特征深度学习算法(如基于dlib的人脸识别算法等)从面部图像数据中提取出受试者的面部特征,并识别出受试者眼眶的rgb像素以及嘴唇以下的rgb像素;接着通过受试者面部的深度图像与rgb图像的对应点云关系来删除面部图像数据中的眼眶数据以及嘴唇以下面部数据,得到受试者匿名的面部图像数据并保存。
25、所述匿名的rgb-d图像数据包括原始的线圈图像数据和匿名的面部图像数据,匿名的面部图像数据包括受试者面部匿名的深度图像和rgb图像。在后续的数据共享中,匿名的面部图像数据的使用者无法通过这部分数据来识别受试者的身份,因此可以保护受试者的隐私。
26、所述步骤s3.1中,从匿名rgb-d图像数据中提取关键帧图像数据的具体方式如下:从各帧匿名的rgb-d图像数据中提取出刺激发生时刻前后共三帧的rgb-d图像作为关键帧图像数据;所述关键帧图像数据包括刺激线圈的深度图像和rgb图像,以及受试者面部匿名的深度图像和rgb图像。
27、若刺激脉冲频率大于相机帧率,则提取刺激发生时刻前后共两帧的rgb-d图像作为关键帧图像数据进行保存。
28、所述步骤s3.2具体为:
29、步骤s3.2.1、数据处理终端根据匿名rgb-d图像数据中的面部rgb图像检测出受试者的面部特征,通过该面部特征在面部深度图像中对应的深度数据建立受试者的面部遮罩点云数据,根据面部遮罩点云数据删除磁共振数据中的面部特征数据,再利用面部遮罩点云数据与删除面部特征数据的磁共振数据进行对齐匹配整合得到受试者在面部深度相机坐标系中的大脑内部结构模型,该大脑内部结构模型不显示受试者的眼眶数据、以及嘴唇以下的面部数据,以此实现对受试者隐私的保护;
30、步骤s3.2.2、数据处理终端根据刺激线圈的rgb图像检测出线圈图像区域,通过该线圈图像区域在刺激线圈的深度图像中对应的深度数据建立刺激线圈的局部三维模型,将刺激线圈的局部三维模型与刺激线圈完整的三维模型对齐匹配整合得到整个刺激线圈的空间位置信息。
31、所述的步骤s3.3具体为:数据处理终端基于刺激线圈完整的三维模型和空间位置信息模拟磁场效应焦点,获取实际靶点在大脑内部结构模型中的位置,作为实际靶点在大脑内部的位置,接着将各关键帧图像中实际靶点和目标靶点之间的位置误差作为刺激误差,并将刺激误差在数据处理终端中进行可视化显示,并根据实时显示的刺激误差对当下刺激发生时刻的刺激有效性进行判定:
32、若刺激误差小于预设误差阈值,则表明实际靶点的位置满足要求,当下刺激发生时刻的刺激判定为有效刺激;
33、否则,则表明实际靶点的位置不满足要求,当下刺激发生时刻的刺激判定为无效刺激。
34、所述步骤s3.4中,数据处理终端对各类图像数据进行分类存储并共享的方式如下:
35、首先数据处理终端对存储的所有图像数据进行加密并设置共享权限,所述的图像数据包括原始的rgb-d图像数据、匿名的rgb-d图像数据、关键帧图像数据和三维建模后全过程画面;所述原始rgb-d图像数据的来源用户的权限为查看和下载原始的rgb-d图像数据、匿名的rgb-d图像数据、关键帧rgb-d图像数据、三维建模全过程画面和刺激过程的所有刺激误差,其他共享用户的权限为查看和下载匿名的rgb-d图像数据、关键帧图像数据、三维建模过程画面和刺激全过程的刺激误差。
36、所述面部深度相机在采集过程中,以相机帧率实时采集受试者面部的深度数据及rgb数据并存储;线圈深度相机在采集过程中,以相机帧率实时采集刺激线圈的深度数据及rgb数据并存储;所述的深度数据/rgb数据均包含以下数据信息:时间戳、刺激脉冲触发信号和已发脉冲数。
37、数据处理终端在受试过程中以第一个刺激脉冲触发信号为时间起点,以相机帧率实时采集面部及线圈的深度数据及rgb数据并按照数据规范进行存储。
38、系统包括经颅磁刺激仪、面部深度相机、线圈深度相机、数据处理终端和刺激线圈;经颅磁刺激仪与刺激线圈连接,经颅磁刺激仪通过刺激线圈产生调节大脑活动的磁场,并同时向数据处理终端发出脉冲触发信号;面部深度相机朝向受试者的脸部并进行拍摄,用于实时采集受试者的面部图像数据,面部图像数据包括受试者面部的深度图像数据和面部rgb图像数据;线圈深度相机朝向刺激线圈并拍摄刺激线圈,用于实时采集刺激线圈的线圈图像数据,线圈图像数据包括刺激线圈的深度图像数据和rgb图像数据;经颅磁刺激仪、面部深度相机、线圈深度相机均连接到数据处理终端,且数据处理终端接收受试者的磁共振数据,数据处理终端基于接收到的磁共振数据、脉冲触发信号、面部图像数据和线圈图像数据,完成对经颅磁刺激过程的刺激数据处理和共享;
39、所述的数据处理终端中包括回放模块,回放模块中存储有原始的rgb-d图像数据、匿名的rgb-d图像数据、关键帧图像数据和三维建模过程画面数据,回放模块用于对存储的各类图像数据进行预设倍速的回放。
40、数据处理终端对采集的原始数据进行匿名化处理,可保护受试者隐私有利于数据共享及进一步研究。匿名化的方式为通过rgb图像应用深度学习算法来提取面部特征,从受试者的面部图像数据中,删除识别受试者的眼眶数据、以及嘴唇以下的rgb像素,通过深度图与rgb图的对应来删除上述面部特征所对应的点云面部数据,得到受试者匿名化的的面部图像数据并保存。
41、数据处理终端完成磁共振数据与匿名化后面部特征点云数据配准并进行大脑与线圈的三维建模,提供原始数据、匿名化后数据及三维建模不同倍速回放的功能,同时提供不同数据的关键帧的回放。回放功能根据用户权限设置不同的级别,数据来源用户可查看原始数据回放,其他用户可查看匿名化后的数据回放。
42、数据处理终端完成刺激偏差计算与统计:根据线圈结构模拟磁场效应,并且计算实际刺激点位(实际靶点)与目标靶点在关键帧的误差,并进行可视化展示。
43、数据处理终端对原始数据及处理后的数据分级按照规范进行存储与共享,每次刺激后存储的数据结构为:
44、第一级为索引信息,用户可根据关键信息进行数据查询,包括受试者症状、刺激位置、数据来源机构;
45、第二级为索引信息下的被试具体信息,包括:被试编号、性别、年龄;
46、第三级为每次受试的刺激信息,包括:受试时间、原始数据(时间戳、rgb数据、深度数据、刺激脉冲触发信号)、全过程匿名化数据(时间戳、rgb数据、深度数据、刺激脉冲触发信号)、三维建模全过程数据(时间戳、带rgb的点云数据、刺激脉冲触发信号)、刺激关键帧、全过程刺激脉冲靶点误差数据。
47、数据共享方面,数据处理终端对所有存储的数据进行加密并设置分权限提供数据。为提供数据来源用户基本信息、原始数据、匿名化后数据、三维建模数据及全过程刺激误差。为其他共享用户提供匿名化后数据、三维建模数据及全过程刺激误差。
48、本发明系统实现了刺激过程中的实时监控、刺激点位精准呈现、全过程事后回溯、刺激点位在大脑内部的可视化建模,并提供了实际刺激与目标刺激的差异及有效性评估,并对原始数据进行安全有效的共享,可为后续刺激效应研究,优化刺激方案提供帮助。
49、本发明系统支持经颅磁刺激全过程中受试者和刺激线圈的高精度位置信息采集;并将这些位置数据与经颅磁刺激的脉冲数据进行时间对齐;提供在线可视化工具和离线回溯式分析以优化刺激效果;提出一种数据存储规范和匿名化共享方法来提高经颅磁刺激全过程大样本数据存储的效率和数据安全性。本发明解决了现有经颅磁刺激在科研及临床中刺激过程不直观、刺激效应不明确、缺乏大样本数据整合方法的问题,可精准评估不同位置不同姿态的经颅磁刺激效果,同时实现数据的快速安全共享,对于认知神经科学领域的临床及科研具有显著的价值。
50、与现有技术相比,本发明的有益效果如下:
51、1、深度信息与rgb信息的结合:本系统同时采集面部及线圈表面的深度信息和rgb信息,比只采集一种信息能够得到更准确、更丰富的信息。例如,深度信息能反映物体的形状和位置,而rgb信息则能提供物体的色彩及纹理,这两者结合能更精确地描述面部及线圈的状态。
52、2、最佳刺激效果时线圈位置与角度推荐:本系统为用户推荐拟刺激靶点的最佳刺激效果时线圈的位置与角度。
53、3、数据匿名化处理:本系统在保护受试者隐私方面也做了足够的准备。在数据处理阶段加入匿名化处理环节,即使是在后续的数据共享和研究过程中,也保护了受试者的隐私,增加了系统的可信赖性。
54、4、关键帧提取技术:本系统通过关键帧抓取重要的信息,有效降低了数据处理和研究分析的时间和成本,同时保证了数据的有效性。
55、5、回放功能:本系统提供多种数据回放功能,便于用户进行不同维度的事后分析。
56、6、目标靶点与实际靶点定量研究:经颅磁刺激效果与线圈头部的相对位置相关,本系统可以定量研究位置与刺激效果的关系。
57、7、数据共享:系统在充分考虑受试者隐私保护及数据安全保护的前提下实现数据共享,有益于行业内刺激方案优化与刺激效果研究。
1.一种基于匿名的全过程经颅磁刺激数据记录采集系统,其特征在于:
2.根据权利要求1所述的一种基于匿名的全过程经颅磁刺激数据记录采集系统,其特征在于:
3.一种应用于权利要求1-2任一所述系统的基于匿名的全过程经颅磁刺激数据记录采集方法,其特征在于,包括以下步骤:
4.根据权利要求3所述的一种基于匿名的全过程经颅磁刺激数据记录采集方法,其特征在于:所述的步骤s2具体为:
5.根据权利要求3所述的一种基于匿名的全过程经颅磁刺激数据记录采集方法,其特征在于:所述的步骤s3具体为:
6.根据权利要求4所述的一种基于匿名的全过程经颅磁刺激数据记录采集方法,其特征在于:
7.根据权利要求5所述的一种基于匿名的全过程经颅磁刺激数据记录采集方法,其特征在于:
8.根据权利要求5所述的一种基于匿名的全过程经颅磁刺激数据记录采集方法,其特征在于:所述步骤s3.2具体为:
9.根据权利要求5所述的一种基于匿名的全过程经颅磁刺激数据记录采集方法,其特征在于:
10.根据权利要求5所述的一种基于匿名的全过程经颅磁刺激数据记录采集方法,其特征在于:所述步骤s3.4中,数据处理终端(4)对各类图像数据进行分类存储并共享的方式如下: