1.本发明涉及车机交互领域，尤其涉及一种基于触摸屏的画面系统上的手势交互识别系统。
背景技术：2.目前量产的车型上，主要是二维空间的画面，不存在空间的叠加。二维空间能够展示的信息非常有限。随着芯片技术的发展，车载芯片的算力越来越强大，比如高通8155的芯片，使得我们可以在车载芯片上，实现更酷炫的三维空间叠加二维空间的人机交互画面。但是在三维空间叠加二维空间时，存在用户点击屏幕时，无法区分点击的是三维空间的元素，还是二维空间的元素的问题。
3.同时，目前车载电脑上的画面视觉设计越来越复杂，很难在项目前期一次性定义好画面的视觉设计。每次视觉设计变更时，软件部分都需要进行大量的代码修改。所以需要软件开发人员在设计程序的初期，就考虑到这个问题，设计出能够适应界面视觉设计变化的程序，当视觉设计变化时，不需要变更软件代码。
技术实现要素：4.本发明主要是为了解决用户点击屏幕时，无法区分点击的是三维空间的元素，还是二维空间的元素，且画面的视觉设计变更时，代码变更量大的技术问题。
5.本发明提供了一种基于触摸屏的画面系统上的手势交互识别系统，包括：
6.人机交互显示模块、参数获取模块、动作检测模块、动作识别模块和控制响应模块；
7.所述人机交互显示模块，渲染车机三维空间元素和二维空间元素；
8.所述参数获取模块，获取json配置文件中的画面布局和对应坐标区域；
9.所述动作检测模块，检测手势信息；
10.所述动作识别模块，根据手势信息，识别对应的交互动作；
11.所述控制响应模块，根据交互动作，调用不同的预设脚本，在人机交互显示模块上完成动作响应。
12.本发明提供的有益效果是：实现检测触摸屏被按下，并根据当前屏幕显示的内容，以及触控区域，执行包括三维、二维不同控制类型的精准功能控制。
附图说明
13.图1是本发明系统结构示意图。
具体实施方式
14.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。
15.请参考图1，图1是本发明系统结构示意图；一种基于触摸屏的画面系统上的手势交互识别系统，包括以下：
16.人机交互显示模块、参数获取模块、动作检测模块、动作识别模块和控制响应模块；
17.所述人机交互显示模块，渲染车机三维空间元素和二维空间元素；
18.所述参数获取模块，获取json配置文件中的画面布局和对应坐标区域；
19.所述动作检测模块，检测手势信息；
20.所述动作识别模块，根据手势信息，识别对应的交互动作；
21.所述控制响应模块，根据交互动作，调用不同的预设脚本，在人机交互显示模块上完成动作响应。
22.所述画面布局和对应坐标区域包括：汽车模型的屏幕坐标范围、汽车设置弹窗的屏幕坐标范围、场景标题栏屏幕坐标范围、场景底栏屏幕坐标范围和设置按钮的屏幕坐标范围。
23.需要说明的是，在不同的工程项目中，画面的布局不同，画面坐标是不同的。
24.本技术为了提高程序的可复用性，将画面布局信息写到json配置文件中，而不是在程序中固定。可以实现画面设计变更后，只需要根据设计信息修改json配置文件，而不需要修改程序。
25.在解决三维汽车模型这个场景的版本中，人机交互显示模块的画面上的区域划分为以下5种，对应的坐标范围存储在json配置文件中。
26.(1)汽车模型的屏幕坐标范围；
27.(2)汽车设置弹窗的屏幕坐标范围；
28.(3)场景中屏幕上方的标题栏的屏幕坐标范围；
29.(4)场景中底部状态栏的屏幕坐标范围；
30.(5)设置按钮的坐标范围；
31.所述手势信息包括：手势类型和角度坐标信息angle；手势类型包括单击、左滑、右滑；
32.所述控制响应模块，包括多种不同控制类型，控制类型包括：顺时针旋转汽车、逆时针旋转汽车、切换上一场景、切换下一场景、弹出汽车设置窗口、隐藏汽车设置窗口；
33.需要说明的是，本技术中，从json配置文件中，读取手势类型与角度坐标的对应关系。
34.手势类型与angle的对照关系，与屏幕上采用的坐标系有关。将对照关系写到json文件中，而不是在程序中固定，可以实现更换坐标系之后，只需要修改此配置文件，不需要修改程序。提高程序的可复用性。
35.当前版本中，手势类型与angle的对照关系如下：
36.(1)单击click《
‑‑‑
》angle为0；
37.(2)屏幕左滑slideleft《
‑‑‑‑‑‑
》angle为负数；
38.(3)屏幕右滑slideright《
‑‑‑‑
》angle为正数；
39.整个过程如下：
40.s101、检测手指按下的动作
41.s102、记录手指按下屏幕的坐标prepoint
42.s103、持续检测手指与屏幕接触点的坐标currentpoint
43.s104、angle＝currentpoint
–
prepoint
44.s105、根据angle，计算出手势滑动类型
45.(1)单击click
46.(2)屏幕左滑slideleft
47.(3)屏幕右滑slideright
48.s106、根据currentpoint和prepoint，识别出当前操作所在的区域
49.s107、根据touch区域及手势类型，计算出控制类型；
50.当前版本中，控制类型有6种：
51.(1)顺时针旋转汽车模型；
52.(2)逆时针旋转汽车模型；
53.(3)切换到下一个场景；
54.(4)切换到上一个场景；
55.(5)弹出设置汽车参数的弹窗；
56.(6)隐藏设置汽车参数的弹窗；
57.不同控制类型通过调用lua脚本进行直接响应处理。
58.需要说明的是，根据控制类型，调用lua脚本中，不同控制类型对应的处理脚本。
59.将控制类型，与类型执行的控制内容的关系写在lua脚本中，是为了实现程序的热更新。
60.比如，当想要把控制类型1与控制类型2的执行的动作互换时，只需要修改lua脚本中的映射关系。不需要重新编译程序，就能使修改生效，开发人员不需要重新发布程序。用户根本不需要花费大流量去升级巨大的程序安装包，只需要花费少量的流量，升级一个lua脚本文件就行了。
61.根据lua脚本中的处理脚本，渲染画面。最终渲染画面元素，通过人机交互显示模块显示至用户端。
62.下面本技术对6中不同控制类型的识别详细流程阐述如下。
63.1、顺时针旋转汽车模型
64.s201、检测手指按下动作；
65.s202、记录手指按下屏幕的坐标prepoint，同时检测手指松开动作；
66.s203、读取当前显示的场景id；
67.s204、判断当前是否为汽车三维模型显示场景(实际使用过程中还可包括其它场景，如音乐播放场景、导航场景等，判断方式可以通过场景id进行)；若是，进入步骤s205；否则，表明不在汽车场景，不需要区分touch区域，流程结束；
68.s205、读取汽车模型的屏幕坐标范围1；
69.s206、判断touch区域是否在屏幕坐标范围1内，若是，进入步骤s207；否则流程结束；
70.s207、计算touch的屏幕区域；
71.s208、根据touch的屏幕坐标计算touch方向；
72.s209、检测touch方向否为手势类型2(屏幕左滑)，若是，则进入步骤s210；否则流程结束；
73.s210、识别出当前的控制类型为顺时针旋转汽车类型；
74.s211、人机交互界面显示控制汽车模型顺时针旋转。
75.2、逆时针旋转汽车模型
76.s301、检测手指按下动作；
77.s302、记录手指按下屏幕的坐标prepoint，同时检测手指松开动作；
78.s303、读取当前显示的场景id；
79.s304、判断当前是否为汽车三维模型显示场景(实际使用过程中还可包括其它场景，如音乐播放场景、导航场景等，判断方式可以通过场景id进行)；若是，进入步骤s305；否则，表明不再汽车场景，不需要区分touch区域，流程结束；
80.s305、读取汽车模型的屏幕坐标范围1；
81.s306、判断touch区域是否在屏幕坐标范围1内，若是，进入步骤s307；否则流程结束；
82.s307、计算touch的屏幕区域；
83.s308、根据touch的屏幕坐标计算touch方向；
84.s309、检测touch方向是否为手势类型3(屏幕右滑)，若是，则进入步骤s310；否则流程结束；
85.s310、识别出当前的控制类型为逆时针旋转汽车类型；
86.s311、人机交互界面显示控制汽车模型逆时针旋转。
87.3、切换到下一场景
88.s401、检测手指按下动作；
89.s402、记录手指按下屏幕的坐标prepoint，同时检测手指松开动作；
90.s403、读取当前显示的场景id；
91.s404、判断当前是否为汽车三维模型显示场景(实际使用过程中还可包括其它场景，如音乐播放场景、导航场景等，判断方式可以通过场景id进行)；若是，进入步骤s405；否则，表明不再汽车场景，不需要区分touch区域，流程结束；
92.s405、读取汽车模型的屏幕坐标范围3；
93.s406、判断touch区域是否在屏幕坐标范围3内，若是，进入步骤s407；否则流程结束；
94.s407、计算touch的屏幕区域；
95.s408、根据touch的屏幕坐标计算touch方向；
96.s409、检测touch方向是否为手势类型2(屏幕左滑)，若是，则进入步骤s410；否则流程结束；
97.s410、识别出当前的控制类型为切换到下一场景；
98.s411、人机交互界面显示控制画面切换到下一场景。
99.4、切换到上一场景
100.s501、检测手指按下动作；
101.s502、记录手指按下屏幕的坐标prepoint，同时检测手指松开动作；
102.s503、读取当前显示的场景id；
103.s504、判断当前是否为汽车三维模型显示场景(实际使用过程中还可包括其它场景，如音乐播放场景、导航场景等，判断方式可以通过场景id进行)；若是，进入步骤s405；否则，表明不再汽车场景，不需要区分touch区域，流程结束；
104.s505、读取汽车模型的屏幕坐标范围3；
105.s506、判断touch区域是否在屏幕坐标范围3内，若是，进入步骤s507；否则流程结束；
106.s507、计算touch的屏幕区域；
107.s508、根据touch的屏幕坐标计算touch方向；
108.s509、检测touch方向是否为手势类型3(屏幕右滑)，若是，则进入步骤s510；否则流程结束；
109.s510、识别出当前的控制类型为切换到上一场景；
110.s511、人机交互界面显示控制画面切换到上一场景。
111.5、弹出设置汽车参数的弹窗
112.s601、检测手指按下动作；
113.s602、判断汽车设置按钮是否被按下(通过按钮点击事件进行)，若是，则进入步骤s603；否则流程结束；
114.s603、识别出当前的控制类型为弹出设置汽车参数的弹窗；
115.s604、人机交互界面显示控制设置汽车参数弹窗。
116.6、隐藏设置汽车参数的弹窗
117.s701、检测手指按下动作；
118.s702、记录手指按下屏幕的坐标prepoint；
119.s703：持续检测手指与屏幕接触点的坐标currentpoint；
120.s704：计算出touch的屏幕区域；
121.s705、读取当前显示的场景id；
122.s706、判断当前是否为汽车三维模型显示场景(实际使用过程中还可包括其它场景，如音乐播放场景、导航场景等，判断方式可以通过场景id进行)；若是，进入步骤s707；否则，表明不再汽车场景，不需要区分touch区域，流程结束；
123.s707、判断汽车设置是否正在弹窗显示；若是，进入步骤s708；否则流程结束；
124.s708、读取汽车模型的屏幕坐标范围1；
125.s709、读取汽车设置弹窗的屏幕坐标范围2；
126.s710、读取场景屏幕上方标题栏的屏幕坐标范围3；
127.s711、读取场景中底部状态栏的屏幕坐标范围4；
128.s712：判断touch区域是否在上述1，2，3，4范围内；若是则进入步骤s713；否则，流程结束；
129.s713：识别当前控制类型为隐藏设置汽车参数弹窗；
130.s714、人机交互界面显示控制隐藏汽车参数弹窗。
131.本发明的有益效果是：实现检测触摸屏被按下，并根据当前屏幕显示的内容，以及触控区域，执行包括三维、二维不同控制类型的精准功能控制。
132.以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
技术特征：1.一种基于触摸屏的画面系统上的手势交互识别系统，其特征在于：包括：人机交互显示模块、参数获取模块、动作检测模块、动作识别模块和控制响应模块；所述人机交互显示模块，渲染车机三维空间元素和二维空间元素；所述参数获取模块，获取json配置文件中的画面布局和对应坐标区域；所述动作检测模块，检测手势信息；所述动作识别模块，根据手势信息，识别对应的交互动作；所述控制响应模块，根据交互动作，调用不同的预设脚本，在人机交互显示模块上完成动作响应。2.如权利要求1所述的一种基于触摸屏的画面系统上的手势交互识别系统，其特征在于：所述画面布局和对应坐标区域包括：汽车模型的屏幕坐标范围、汽车设置弹窗的屏幕坐标范围、场景标题栏屏幕坐标范围、场景底栏屏幕坐标范围和设置按钮的屏幕坐标范围。3.如权利要求1所述的一种基于触摸屏的画面系统上的手势交互识别系统，其特征在于：所述手势信息包括：手势类型和角度坐标信息angle；手势类型包括单击、左滑、右滑。4.如权利要求2所述的一种基于触摸屏的画面系统上的手势交互识别系统，其特征在于：所述控制响应模块，包括多种不同控制类型，控制类型包括：顺时针旋转汽车、逆时针旋转汽车、切换上一场景、切换下一场景、弹出汽车设置窗口、隐藏汽车设置窗口。5.如权利要求4所述的一种基于触摸屏的画面系统上的手势交互识别系统，其特征在于：不同控制类型通过调用lua脚本进行直接响应处理。
技术总结本发明公开了一种基于触摸屏的画面系统上的手势交互识别系统，包括：人机交互显示模块、参数获取模块、动作检测模块、动作识别模块和控制响应模块；所述人机交互显示模块，渲染车机三维空间元素和二维空间元素；所述参数获取模块，获取json配置文件中的画面布局和对应坐标区域；所述动作检测模块，检测手势信息；所述动作识别模块，根据手势信息，识别对应的交互动作；所述控制响应模块，根据交互动作，调用不同的预设脚本，在人机交互显示模块上完成动作响应。本发明有益效果是：实现检测触摸屏被按下，并根据当前屏幕显示的内容，以及触控区域，执行包括三维、二维不同控制类型的精准功能控制。能控制。能控制。
技术研发人员：李诒雯 王伟 范桂香 何标
受保护的技术使用者：武汉乐庭软件技术有限公司
技术研发日：2022.07.19
技术公布日：2022/11/1
