一种基于触摸屏的画面系统上的手势交互识别系统的制作方法

专利2024-04-10  97



1.本发明涉及车机交互领域,尤其涉及一种基于触摸屏的画面系统上的手势交互识别系统。


背景技术:

2.目前量产的车型上,主要是二维空间的画面,不存在空间的叠加。二维空间能够展示的信息非常有限。随着芯片技术的发展,车载芯片的算力越来越强大,比如高通8155的芯片,使得我们可以在车载芯片上,实现更酷炫的三维空间叠加二维空间的人机交互画面。但是在三维空间叠加二维空间时,存在用户点击屏幕时,无法区分点击的是三维空间的元素,还是二维空间的元素的问题。
3.同时,目前车载电脑上的画面视觉设计越来越复杂,很难在项目前期一次性定义好画面的视觉设计。每次视觉设计变更时,软件部分都需要进行大量的代码修改。所以需要软件开发人员在设计程序的初期,就考虑到这个问题,设计出能够适应界面视觉设计变化的程序,当视觉设计变化时,不需要变更软件代码。


技术实现要素:

4.本发明主要是为了解决用户点击屏幕时,无法区分点击的是三维空间的元素,还是二维空间的元素,且画面的视觉设计变更时,代码变更量大的技术问题。
5.本发明提供了一种基于触摸屏的画面系统上的手势交互识别系统,包括:
6.人机交互显示模块、参数获取模块、动作检测模块、动作识别模块和控制响应模块;
7.所述人机交互显示模块,渲染车机三维空间元素和二维空间元素;
8.所述参数获取模块,获取json配置文件中的画面布局和对应坐标区域;
9.所述动作检测模块,检测手势信息;
10.所述动作识别模块,根据手势信息,识别对应的交互动作;
11.所述控制响应模块,根据交互动作,调用不同的预设脚本,在人机交互显示模块上完成动作响应。
12.本发明提供的有益效果是:实现检测触摸屏被按下,并根据当前屏幕显示的内容,以及触控区域,执行包括三维、二维不同控制类型的精准功能控制。
附图说明
13.图1是本发明系统结构示意图。
具体实施方式
14.为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地描述。
15.请参考图1,图1是本发明系统结构示意图;一种基于触摸屏的画面系统上的手势交互识别系统,包括以下:
16.人机交互显示模块、参数获取模块、动作检测模块、动作识别模块和控制响应模块;
17.所述人机交互显示模块,渲染车机三维空间元素和二维空间元素;
18.所述参数获取模块,获取json配置文件中的画面布局和对应坐标区域;
19.所述动作检测模块,检测手势信息;
20.所述动作识别模块,根据手势信息,识别对应的交互动作;
21.所述控制响应模块,根据交互动作,调用不同的预设脚本,在人机交互显示模块上完成动作响应。
22.所述画面布局和对应坐标区域包括:汽车模型的屏幕坐标范围、汽车设置弹窗的屏幕坐标范围、场景标题栏屏幕坐标范围、场景底栏屏幕坐标范围和设置按钮的屏幕坐标范围。
23.需要说明的是,在不同的工程项目中,画面的布局不同,画面坐标是不同的。
24.本技术为了提高程序的可复用性,将画面布局信息写到json配置文件中,而不是在程序中固定。可以实现画面设计变更后,只需要根据设计信息修改json配置文件,而不需要修改程序。
25.在解决三维汽车模型这个场景的版本中,人机交互显示模块的画面上的区域划分为以下5种,对应的坐标范围存储在json配置文件中。
26.(1)汽车模型的屏幕坐标范围;
27.(2)汽车设置弹窗的屏幕坐标范围;
28.(3)场景中屏幕上方的标题栏的屏幕坐标范围;
29.(4)场景中底部状态栏的屏幕坐标范围;
30.(5)设置按钮的坐标范围;
31.所述手势信息包括:手势类型和角度坐标信息angle;手势类型包括单击、左滑、右滑;
32.所述控制响应模块,包括多种不同控制类型,控制类型包括:顺时针旋转汽车、逆时针旋转汽车、切换上一场景、切换下一场景、弹出汽车设置窗口、隐藏汽车设置窗口;
33.需要说明的是,本技术中,从json配置文件中,读取手势类型与角度坐标的对应关系。
34.手势类型与angle的对照关系,与屏幕上采用的坐标系有关。将对照关系写到json文件中,而不是在程序中固定,可以实现更换坐标系之后,只需要修改此配置文件,不需要修改程序。提高程序的可复用性。
35.当前版本中,手势类型与angle的对照关系如下:
36.(1)单击click《
‑‑‑
》angle为0;
37.(2)屏幕左滑slideleft《
‑‑‑‑‑‑
》angle为负数;
38.(3)屏幕右滑slideright《
‑‑‑‑
》angle为正数;
39.整个过程如下:
40.s101、检测手指按下的动作
41.s102、记录手指按下屏幕的坐标prepoint
42.s103、持续检测手指与屏幕接触点的坐标currentpoint
43.s104、angle=currentpoint

prepoint
44.s105、根据angle,计算出手势滑动类型
45.(1)单击click
46.(2)屏幕左滑slideleft
47.(3)屏幕右滑slideright
48.s106、根据currentpoint和prepoint,识别出当前操作所在的区域
49.s107、根据touch区域及手势类型,计算出控制类型;
50.当前版本中,控制类型有6种:
51.(1)顺时针旋转汽车模型;
52.(2)逆时针旋转汽车模型;
53.(3)切换到下一个场景;
54.(4)切换到上一个场景;
55.(5)弹出设置汽车参数的弹窗;
56.(6)隐藏设置汽车参数的弹窗;
57.不同控制类型通过调用lua脚本进行直接响应处理。
58.需要说明的是,根据控制类型,调用lua脚本中,不同控制类型对应的处理脚本。
59.将控制类型,与类型执行的控制内容的关系写在lua脚本中,是为了实现程序的热更新。
60.比如,当想要把控制类型1与控制类型2的执行的动作互换时,只需要修改lua脚本中的映射关系。不需要重新编译程序,就能使修改生效,开发人员不需要重新发布程序。用户根本不需要花费大流量去升级巨大的程序安装包,只需要花费少量的流量,升级一个lua脚本文件就行了。
61.根据lua脚本中的处理脚本,渲染画面。最终渲染画面元素,通过人机交互显示模块显示至用户端。
62.下面本技术对6中不同控制类型的识别详细流程阐述如下。
63.1、顺时针旋转汽车模型
64.s201、检测手指按下动作;
65.s202、记录手指按下屏幕的坐标prepoint,同时检测手指松开动作;
66.s203、读取当前显示的场景id;
67.s204、判断当前是否为汽车三维模型显示场景(实际使用过程中还可包括其它场景,如音乐播放场景、导航场景等,判断方式可以通过场景id进行);若是,进入步骤s205;否则,表明不在汽车场景,不需要区分touch区域,流程结束;
68.s205、读取汽车模型的屏幕坐标范围1;
69.s206、判断touch区域是否在屏幕坐标范围1内,若是,进入步骤s207;否则流程结束;
70.s207、计算touch的屏幕区域;
71.s208、根据touch的屏幕坐标计算touch方向;
72.s209、检测touch方向否为手势类型2(屏幕左滑),若是,则进入步骤s210;否则流程结束;
73.s210、识别出当前的控制类型为顺时针旋转汽车类型;
74.s211、人机交互界面显示控制汽车模型顺时针旋转。
75.2、逆时针旋转汽车模型
76.s301、检测手指按下动作;
77.s302、记录手指按下屏幕的坐标prepoint,同时检测手指松开动作;
78.s303、读取当前显示的场景id;
79.s304、判断当前是否为汽车三维模型显示场景(实际使用过程中还可包括其它场景,如音乐播放场景、导航场景等,判断方式可以通过场景id进行);若是,进入步骤s305;否则,表明不再汽车场景,不需要区分touch区域,流程结束;
80.s305、读取汽车模型的屏幕坐标范围1;
81.s306、判断touch区域是否在屏幕坐标范围1内,若是,进入步骤s307;否则流程结束;
82.s307、计算touch的屏幕区域;
83.s308、根据touch的屏幕坐标计算touch方向;
84.s309、检测touch方向是否为手势类型3(屏幕右滑),若是,则进入步骤s310;否则流程结束;
85.s310、识别出当前的控制类型为逆时针旋转汽车类型;
86.s311、人机交互界面显示控制汽车模型逆时针旋转。
87.3、切换到下一场景
88.s401、检测手指按下动作;
89.s402、记录手指按下屏幕的坐标prepoint,同时检测手指松开动作;
90.s403、读取当前显示的场景id;
91.s404、判断当前是否为汽车三维模型显示场景(实际使用过程中还可包括其它场景,如音乐播放场景、导航场景等,判断方式可以通过场景id进行);若是,进入步骤s405;否则,表明不再汽车场景,不需要区分touch区域,流程结束;
92.s405、读取汽车模型的屏幕坐标范围3;
93.s406、判断touch区域是否在屏幕坐标范围3内,若是,进入步骤s407;否则流程结束;
94.s407、计算touch的屏幕区域;
95.s408、根据touch的屏幕坐标计算touch方向;
96.s409、检测touch方向是否为手势类型2(屏幕左滑),若是,则进入步骤s410;否则流程结束;
97.s410、识别出当前的控制类型为切换到下一场景;
98.s411、人机交互界面显示控制画面切换到下一场景。
99.4、切换到上一场景
100.s501、检测手指按下动作;
101.s502、记录手指按下屏幕的坐标prepoint,同时检测手指松开动作;
102.s503、读取当前显示的场景id;
103.s504、判断当前是否为汽车三维模型显示场景(实际使用过程中还可包括其它场景,如音乐播放场景、导航场景等,判断方式可以通过场景id进行);若是,进入步骤s405;否则,表明不再汽车场景,不需要区分touch区域,流程结束;
104.s505、读取汽车模型的屏幕坐标范围3;
105.s506、判断touch区域是否在屏幕坐标范围3内,若是,进入步骤s507;否则流程结束;
106.s507、计算touch的屏幕区域;
107.s508、根据touch的屏幕坐标计算touch方向;
108.s509、检测touch方向是否为手势类型3(屏幕右滑),若是,则进入步骤s510;否则流程结束;
109.s510、识别出当前的控制类型为切换到上一场景;
110.s511、人机交互界面显示控制画面切换到上一场景。
111.5、弹出设置汽车参数的弹窗
112.s601、检测手指按下动作;
113.s602、判断汽车设置按钮是否被按下(通过按钮点击事件进行),若是,则进入步骤s603;否则流程结束;
114.s603、识别出当前的控制类型为弹出设置汽车参数的弹窗;
115.s604、人机交互界面显示控制设置汽车参数弹窗。
116.6、隐藏设置汽车参数的弹窗
117.s701、检测手指按下动作;
118.s702、记录手指按下屏幕的坐标prepoint;
119.s703:持续检测手指与屏幕接触点的坐标currentpoint;
120.s704:计算出touch的屏幕区域;
121.s705、读取当前显示的场景id;
122.s706、判断当前是否为汽车三维模型显示场景(实际使用过程中还可包括其它场景,如音乐播放场景、导航场景等,判断方式可以通过场景id进行);若是,进入步骤s707;否则,表明不再汽车场景,不需要区分touch区域,流程结束;
123.s707、判断汽车设置是否正在弹窗显示;若是,进入步骤s708;否则流程结束;
124.s708、读取汽车模型的屏幕坐标范围1;
125.s709、读取汽车设置弹窗的屏幕坐标范围2;
126.s710、读取场景屏幕上方标题栏的屏幕坐标范围3;
127.s711、读取场景中底部状态栏的屏幕坐标范围4;
128.s712:判断touch区域是否在上述1,2,3,4范围内;若是则进入步骤s713;否则,流程结束;
129.s713:识别当前控制类型为隐藏设置汽车参数弹窗;
130.s714、人机交互界面显示控制隐藏汽车参数弹窗。
131.本发明的有益效果是:实现检测触摸屏被按下,并根据当前屏幕显示的内容,以及触控区域,执行包括三维、二维不同控制类型的精准功能控制。
132.以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

技术特征:
1.一种基于触摸屏的画面系统上的手势交互识别系统,其特征在于:包括:人机交互显示模块、参数获取模块、动作检测模块、动作识别模块和控制响应模块;所述人机交互显示模块,渲染车机三维空间元素和二维空间元素;所述参数获取模块,获取json配置文件中的画面布局和对应坐标区域;所述动作检测模块,检测手势信息;所述动作识别模块,根据手势信息,识别对应的交互动作;所述控制响应模块,根据交互动作,调用不同的预设脚本,在人机交互显示模块上完成动作响应。2.如权利要求1所述的一种基于触摸屏的画面系统上的手势交互识别系统,其特征在于:所述画面布局和对应坐标区域包括:汽车模型的屏幕坐标范围、汽车设置弹窗的屏幕坐标范围、场景标题栏屏幕坐标范围、场景底栏屏幕坐标范围和设置按钮的屏幕坐标范围。3.如权利要求1所述的一种基于触摸屏的画面系统上的手势交互识别系统,其特征在于:所述手势信息包括:手势类型和角度坐标信息angle;手势类型包括单击、左滑、右滑。4.如权利要求2所述的一种基于触摸屏的画面系统上的手势交互识别系统,其特征在于:所述控制响应模块,包括多种不同控制类型,控制类型包括:顺时针旋转汽车、逆时针旋转汽车、切换上一场景、切换下一场景、弹出汽车设置窗口、隐藏汽车设置窗口。5.如权利要求4所述的一种基于触摸屏的画面系统上的手势交互识别系统,其特征在于:不同控制类型通过调用lua脚本进行直接响应处理。

技术总结
本发明公开了一种基于触摸屏的画面系统上的手势交互识别系统,包括:人机交互显示模块、参数获取模块、动作检测模块、动作识别模块和控制响应模块;所述人机交互显示模块,渲染车机三维空间元素和二维空间元素;所述参数获取模块,获取json配置文件中的画面布局和对应坐标区域;所述动作检测模块,检测手势信息;所述动作识别模块,根据手势信息,识别对应的交互动作;所述控制响应模块,根据交互动作,调用不同的预设脚本,在人机交互显示模块上完成动作响应。本发明有益效果是:实现检测触摸屏被按下,并根据当前屏幕显示的内容,以及触控区域,执行包括三维、二维不同控制类型的精准功能控制。能控制。能控制。


技术研发人员:李诒雯 王伟 范桂香 何标
受保护的技术使用者:武汉乐庭软件技术有限公司
技术研发日:2022.07.19
技术公布日:2022/11/1
转载请注明原文地址: https://tieba.8miu.com/read-7679.html

最新回复(0)