用于实现hud平台化的方法、装置、系统和存储介质
技术领域
1.本发明涉及抬头显示器（head-up display，hud）仿真设计技术领域，并且更具体地涉及一种用于实现hud平台化的方法、控制装置、数据处理系统和存储介质。
背景技术：2.近年来，抬头显示被广泛应用于汽车领域，其旨在将仪表、时速以及导航等重要的行车信息投影到驾驶员面前的风挡玻璃上，以便驾驶员在无需频繁低头的情况下能够获取行车信息，从而提高驾驶的安全性。随着hud技术的发展，配置有hud产品的车型日益增多。随之，如何开发一款能够同时匹配多种车型的hud产品成为本领域的讨论重点。
3.为了能够满足图像质量的要求，当前主流的设计思路是利用系统内部的光学器件（例如，非球面镜、图像生成单元）的型面设计和摆放位置来反补偿因风挡玻璃的曲面结构带来的图像扭曲和形变，然而，这种方案将导致相应的光学器件布置过于倾斜和扭转（如图1所示）。同时，若不同车型的玻璃型面或布置角度稍有不同，则无法实现hud产品的借用，而重新开发将带来巨大的研发和开模成本。
技术实现要素：4.本技术的实施例提供了一种用于实现hud平台化的方法、控制装置、数据处理系统和存储介质，以用于在产品设计初期通过主动矫正的方式为后期的机械和结构设计释放调整空间，从而实现平台化的概念。
5.按照本发明的一个方面，提供了一种用于实现hud平台化的方法，包括下列步骤：a、在光学设计阶段，构建hud光学元件的仿真模型，其中所述hud光学元件包括风挡单元、图像生成单元以及反射单元；b、至少基于所述仿真模型，获取用于将图像畸变限制在预设范围内的图像预矫正参数；以及c、利用所述图像预矫正参数对所述图像生成单元生成的源图像进行预矫正，以生成用于投射至所述反射单元的预矫正图像。
6.作为以上方案的替代或补充，在根据本发明一实施例的方法中，在步骤a中，所述仿真模型中的光学元件布置成与整车x轴的偏转角度小于或等于第一角度阈值。
7.作为以上方案的替代或补充，在根据本发明一实施例的方法中，步骤b包括：b1、根据所述图像生成单元的显示屏大小以及图像分辨率要求，将所述显示屏的显示区域划分为多个点阵区域，其中所述多个点阵区域中的每一个点阵区域由一个或多个特征点界定。
8.作为以上方案的替代或补充，在根据本发明一实施例的方法中，步骤b进一步包括：b2、利用所述仿真模型，获取测试图像投射在所述风挡单元上的投影信息；b3、根据所述投影信息，获取与特征点相对应的各中心眼盒位置的坐标信息；以及b4、将所述各中心眼盒位置的坐标信息作为所述图像预矫正参数存储至所述图像生成单元。
9.作为以上方案的替代或补充，在根据本发明一实施例的方法中，步骤c包括：c1、读取所述图像预矫正参数；c2、基于所述图像预矫正参数，计算与所述特征点相对应的偏移量；以及c3、基于所述偏移量对源图像进行反向偏移矫正，以生成所述预矫正图像。
10.作为以上方案的替代或补充，在根据本发明一实施例的方法中，步骤c1还包括：基于各中心眼盒位置的坐标信息，利用线性插值法计算与特征点相对应的多个调节位置的坐标信息。
11.作为以上方案的替代或补充，在根据本发明一实施例的方法中，步骤c2还包括：基于所述多个调节位置的坐标信息，计算与所述特征点相对应的偏移量。
12.按照本发明的另一个方面，提供了一种用于实现hud平台化的控制装置，包括：模型构建模块，用于在光学设计阶段构建hud光学元件的仿真模型，其中所述hud光学元件包括风挡单元、图像生成单元以及反射单元；数据处理模块，用于至少基于所述仿真模型，获取用于将图像畸变限制在预设范围内的图像预矫正参数；以及主动矫正模块，用于利用所述图像预矫正参数对所述图像生成单元生成的源图像进行预矫正，以生成用于投射至所述反射单元的预矫正图像。
13.作为以上方案的替代或补充，在根据本发明一实施例的装置中，所述数据处理模块配置成：利用所述仿真模型，获取测试图像投射在所述风挡单元上的投影信息；根据所述投影信息，获取与特征点相对应的各中心眼盒位置的坐标信息；以及将所述各中心眼盒位置的坐标信息作为所述图像预矫正参数存储至所述图像生成单元。
14.作为以上方案的替代或补充，在根据本发明一实施例的装置中，所述主动矫正模块配置成：读取所述图像预矫正参数；基于所述图像预矫正参数，计算与所述特征点相对应的偏移量；以及基于所述偏移量对源图像进行反向偏移矫正，以生成所述预矫正图像。
15.作为以上方案的替代或补充，在根据本发明一实施例的装置中，所述主动矫正模块进一步配置成：基于各中心眼盒位置的坐标信息，利用线性插值法计算与特征点相对应的多个调节位置的坐标信息；以及基于所述多个调节位置的坐标信息，计算与所述特征点相对应的偏移量。
16.按照本发明的又一个方面，提供了一种数据处理系统，包括：存储器；处理器；以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序的运行使得下列步骤被执行：a、在光学设计阶段，构建hud光学元件的仿真模型，其中所述hud光学元件包括风挡单元、图像生成单元以及反射单元；b、至少基于所述仿真模型，获取用于将图像畸变限制在预设范围内的图像预矫正参数；以及c、利用所述图像预矫正参数对所述图像生成单元生成的源图像进行预矫正，以生成用于投射至所述反射单元的预矫正图像。
17.按照本发明的又一个方面，提供了一种计算机可读存储介质，其上存储计算机程序，该程序被处理器执行时实现如上所述的方法中的任意一项。
18.首先，本发明提出的用于实现hud平台化的方案通过在光学设计阶段利用仿真模型获取用于将图像畸变限制在预设范围内的图像预矫正参数，实现了图像的主动预矫正。相比于产品测试阶段或使用阶段进行的图像被动矫正，本发明提出的主动预矫正方案所需的为畸变矫正预留的像素区域将大大降低，节省的像素区域可应用于图像的显示，从而提高了整体图像的分辨率。同时，该主动预矫正方案将节省产品测试阶段中的被动矫正流程，从而缩短了hud产品的下线检测时间，提高了生产和检测效率。
19.其次，本发明提出的用于实现hud平台化的方案通过前期软件主动矫正的方式为后期的机械和结构设计释放了空间，解决了传统hud设计完全依赖于内部光学器件摆放角度、镜面设计、风挡曲率范围限制严格等导致的产品移植性较差的问题。
附图说明
20.本发明的上述和/或其它方面和优点将通过以下结合附图的各个方面的描述变得更加清晰和更容易理解，附图中相同或相似的单元采用相同的标号表示。附图包括：图1示出了抬头显示器的光学器件的传统布局；图2为根据本发明的一个实施例的用于实现hud平台化的方法20的示意性流程图；图3示出了在根据本发明的一个实施例的光学布局下，未采用预矫正时的源图像和仿真虚像；图4为根据本发明的一个实施例的点阵区域划分的示意图；以及图5示出了根据本发明的一个实施例的用于实现hud平台化的控制装置50的示意性框图。
具体实施方式
21.在本说明书中，参照其中图示了本发明示意性实施例的附图更为全面地说明本发明。但本发明可以按不同形式来实现，而不应解读为仅限于本文给出的各实施例。给出的各实施例旨在使本文的披露全面完整，以将本发明的保护范围更为全面地传达给本领域技术人员。
22.需要说明的是，本文中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述对象在时间、空间、大小等方面的顺序。此外，除非另外特别指明，本文中的术语“包括”、“具备”以及类似表述意在表示不排他的包含。
23.在本说明书中，术语“车辆”或者其它类似的术语包括一般的机动车辆，例如乘用车（包括运动型多用途车、公共汽车、卡车等）、各种商用车等等，并包括混合动力汽车、电动车、插电式混动电动车等。混动动力汽车是一种具有两个或更多个功率源的车辆，例如汽油动力和电动车辆。
24.如上所述，现有技术利用系统内部的光学器件的型面设计和摆放位置来反补偿因风挡玻璃的曲面结构带来的图像扭曲和形变。然而，这种方案由于需要补偿风挡引起的虚像形变，从而导致相应的光学器件（例如，如图1所示的非球面镜、折叠镜和图像生成单元）相对于整车x轴均有较大的角度倾斜。由于过度依赖于物理布置，因此在将hud应用到其他车型时，一旦风挡型面或角度稍有偏差，就需相应地调整光学器件的相对位置，从而导致无法借用，增加了研发和开模的成本。
25.根据本发明的用于实现hud平台化的方案无需完全利用光学器件的物理设计和布置来补偿玻璃带来的图像扭曲和形变，而是留有部分余量，利用软件方法实现图像的主动预矫正，最终输出合格的图像。在下文中，将参考附图详细描述根据本发明的各示例性实施例。
26.现在参考图2，图2为根据本发明的一个实施例的用于实现hud平台化的方法20的示意性流程图。
27.在步骤s210中，在光学设计阶段，构建hud光学元件的仿真模型，其中hud光学元件包括风挡单元、图像生成单元以及反射单元。示例性地，可以利用部署有光学成像仿真软件的任何电子设备构建上述hud光学元件的仿真模型。示例性地，反射单元包括非球面镜以及折叠镜（例如，自由曲面镜、平面镜）。
28.可选地，在步骤s110中，仿真模型中的各光学元件布置成与整车x轴的偏转角度小于或等于第一角度阈值。需要说明的是，本文中所述的“整车x轴”指的是整车坐标系下整车中心线的纵向方向。应理解，在根据本发明的光学布局下，仿真hud光学元件（例如，风挡单元、图像生成单元以及反射单元）相对于整车x轴偏转角度较小（例如，偏转角度小于或等于15度）且整体沿整车x轴居中。在这种光学布局下，若未采取任何矫正方式，投影出的仿真虚像将发生如图3所示的变形。
29.为解决上述变形问题，步骤s220-s230旨在通过仿真，确保最终投射图像的各类畸变全部符合预设要求。具体而言，在步骤s220中，至少基于仿真模型，获取用于将图像畸变限制在预设范围内的图像预矫正参数。示例性地，将图像畸变限制在预设范围内包括：仿真得到的最终投射图像的倾斜角度小于或等于第二角度阈值、最终投射图像的畸变率小于或等于第一阈值、以及最终投射图像的尺寸变化率小于或等于第二阈值。需要说明的是，对于畸变率和尺寸变化的限制还可以包括其他或更细分的条件，本发明的实施例对此不做具体限定。还需要说明的是，上述第一角度阈值、第二角度阈值、第一阈值以及第二阈值可以是系统预设值或用户自定义值。示例性地，第二角度阈值可以为10度，并且第一阈值和第二阈值可以为3%。
30.可选地，在步骤s220中，根据图像生成单元的显示屏大小以及图像分辨率要求，将显示屏的显示区域划分为多个点阵区域，其中多个点阵区域中的每一个点阵区域由一个或多个特征点界定。示例性地，为了在实现主动预矫正的同时减少处理器的工作负荷并节省数据存储空间，将不会以像素点为单位执行主动预矫正操作，而是综合考虑显示屏大小、图像质量要求以及处理器的处理能力，将显示区域划分为多个点阵区域，例如，5行*5列、11行*5列、21行*9列的点阵区域。下面将以21行*9列的点阵区域（例如，如图4所示）为例对本发明提出的主动预矫正方案进行详细描述。
31.如图4所示，从点位0开始，利用相邻两个点位（即，点位1和点位21），形成三角点阵区域，进而按照图示顺序形成多个三角点阵区域。可以理解的是，由相邻3个点位界定的三角点阵区域的偏移量可视为相同。因此，可针对每个三角点阵区域进行整体调整。
32.可选地，在步骤s220中，利用仿真模型，获取测试图像投射在风挡单元上的投影信息。接下来，根据投影信息获取与特征点（即，21*9个点位）相对应的低、中、高三个中心眼盒位置的坐标信息，并将各点位的低、中、高中心眼盒位置的坐标信息作为图像预矫正参数存储至图像生成单元，以用于后续主动预矫正功能的实现。
33.在步骤s230中，利用图像预矫正参数对图像生成单元生成的源图像进行预矫正，以生成用于投射至反射单元的预矫正图像。
34.可选地，在主动预矫正过程中，除了低、中、高三个中心眼盒位置之外，还可以在介于上眼盒位置与中心眼盒位置、中心眼盒位置与下眼盒位置之间的区域设置多个调节位置。示例性地，在上眼盒位置与中心眼盒位置的中心设置第一调节位置，并在中心眼盒位置与下眼盒位置的中心设置第二调节位置。考虑到系统存储空间限制，不会存储每个调节位置的坐标信息，而是根据三个中心眼盒位置的坐标信息，利用线性插值法计算与特征点相对应的调节位置的坐标信息。示例性地，在抬头显示器上电后，读取已经存储的三个中心眼盒位置的坐标信息，并计算调节位置的坐标信息。可选地，可以将上述调节位置的坐标信息临时存储在随机存取存储器（ram）中，以作为附加的图像预矫正参数用于后续的预矫正步
骤。
35.可选地，步骤s230还包括：基于图像预矫正参数和/或附加的图像预矫正参数，计算与特征点相对应的偏移量。在一个示例中，根据驾驶员实际输入的调节信号（例如，经由can总线输入的高度调节信号），调用图像预矫正参数和/或附加的图像预矫正参数中的相应位置（例如，低、中、高中心眼盒位置、调节位置之一）的坐标信息，通过计算该坐标信息与原始点位坐标之间的偏移量，实现实时图像预矫正。
36.可选地，步骤s230还包括：基于计算出的偏移量对源图像进行反向偏移矫正，以生成预矫正图像。在一个示例中，可以基于与21*9个点位相对应的偏移量，对由图像生成单元生成的源图像进行反向偏移矫正，并将生成的预矫正图像经由反射单元投射至风挡单元。
37.根据本实施例的方法10通过在光学设计阶段获取图像预矫正参数，实现了图像的主动预矫正。相比于产品测试阶段或使用阶段进行的图像被动矫正，本发明提出的主动预矫正方案所需的为畸变矫正预留的像素区域将大大降低。本技术的发明人经过深入研究和大量实验后发现，根据本实施例的方法10所需的预留像素区域的像素点约占显示屏总像素点的6%，而传统方法（即，产品测试阶段中的被动矫正）通常要预留10%的像素点。节省的像素区域可应用于图像的显示，从而提高了整体图像的分辨率。同时，该主动预矫正方案将节省产品测试阶段中的被动矫正流程，从而缩短了hud产品的下线检测时间，提高了生产和检测效率。
38.此外，根据本实施例的方法10通过前期软件主动矫正的方式为后期的机械和结构设计释放了空间，解决了传统设计中完全依赖内部光学器件摆放角度、镜面设计、严格限制风挡曲率范围等导致的产品移植性较差的问题。
39.下面继续参考图5，图5示出了根据本发明的一个实施例的用于实现hud平台化的控制装置50的示意性框图。如图5所示，控制装置50包括模型构建模块510、数据处理模块520以及主动矫正模块530。
40.模型构建模块510用于在光学设计阶段构建hud光学元件的仿真模型，其中hud光学元件包括风挡单元、图像生成单元以及反射单元。有关仿真模型的构建流程可以参考上文中关于步骤s210的描述，此处不再赘述。
41.数据处理模块520用于至少基于仿真模型，获取用于将图像畸变限制在预设范围内的图像预矫正参数。可选地，数据处理模块520配置成：利用仿真模型，获取测试图像投射在风挡单元上的投影信息；根据投影信息，获取与特征点相对应的各中心眼盒位置的坐标信息；以及基于各中心眼盒位置的坐标信息作为图像预矫正参数存储至图像生成单元。有关图像预矫正参数的获取流程可以参考上文中关于步骤s220的描述，此处不再赘述。
42.主动矫正模块530用于利用图像预矫正参数对图像生成单元生成的源图像进行预矫正，以生成用于投射至反射单元的预矫正图像。可选地，主动矫正模块530配置成：读取图像预矫正参数；基于图像预矫正参数，计算与特征点相对应的偏移量；以及基于偏移量对源图像进行反向偏移矫正，以生成预矫正图像。可选地，主动矫正模块530进一步配置成：基于各中心眼盒位置的坐标信息，利用线性插值法计算与特征点相对应的多个调节位置的坐标信息；以及基于多个调节位置的坐标信息，计算与特征点相对应的偏移量。有关主动预矫正流程可以参考上文中关于步骤s230的描述，此处不再赘述。
43.按照本发明的另一方面，还提供了一种数据处理系统，包括：存储器；处理器；以及
存储在存储器上并可在处理器上运行的计算机程序，该计算机程序的运行使得相应的用于实现hud平台化的流程（例如，如图2所示的方法20）被执行。示例性地，该数据处理系统中部署有光学成像仿真软件，并且可以为任何一种可与用户通过键盘、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互的数据处理系统，例如，pc（personal computer，个人计算机）、掌上电脑ppc（pocket pc）、平板电脑、智能手机等。本领域技术人员应能理解上述光学成像仿真软件和数据处理系统仅为举例，其他现有的或今后可能出现的光学成像仿真软件和数据处理系统如可适用于本技术实施例，也应包含在本发明实施例保护范围以内。
44.按照本发明的另一方面，还提供了一种计算机可读存储介质，其上存储计算机程序，该程序被处理器执行时实现如图1所示的方法。该计算机可读存储介质可以包括随机存取存储器（ram）（诸如同步动态随机存取存储器（sdram））、只读存储器（rom）、非易失性随机存取存储器（nvram）、电可擦除可编程只读存储器（eeprom）、闪存、其他已知的存储介质等。
45.应当理解的是，本发明附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或者在一个或多个硬件模块或集成电路中实现这些功能实体，或者在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
46.还应当理解的是，在一些备选实施例中，前述方法中所包括的功能/步骤可以不按流程图所示的次序来发生。例如，依次示出的两个功能/步骤可以基本同时执行或甚至逆序执行。这具体取决于所涉及的功能/步骤。
47.另外，本领域技术人员容易理解，本发明的上述一个或多个实施例提供的方法可通过计算机程序来实现。例如，当存有该计算机程序的计算机存储介质（例如u盘）与计算机相连时，运行该计算机程序即可执行本发明的一个或多个实施例的方法。
48.以上尽管只对其中一些本发明的实施方式进行了描述，但是本领域普通技术人员应当了解，本发明可以在不偏离其主旨与范围内以许多其他的形式实施。因此，所展示的例子与实施方式被视为示意性的而非限制性的，在不脱离如所附各权利要求所定义的本发明精神及范围的情况下，本发明可能涵盖各种的修改与替换。
技术特征：1.一种用于实现hud平台化的方法，其特征在于，包括下列步骤：a、在光学设计阶段，构建hud光学元件的仿真模型，其中所述hud光学元件包括风挡单元、图像生成单元以及反射单元；b、至少基于所述仿真模型，获取用于将图像畸变限制在预设范围内的图像预矫正参数；以及c、利用所述图像预矫正参数对所述图像生成单元生成的源图像进行预矫正，以生成用于投射至所述反射单元的预矫正图像。2.根据权利要求1所述的方法，其中，在步骤a中，所述仿真模型中的光学元件布置成与整车x轴的偏转角度小于或等于第一角度阈值。3.根据权利要求1所述的方法，其中，步骤b包括：b1、根据所述图像生成单元的显示屏大小以及图像分辨率要求，将所述显示屏的显示区域划分为多个点阵区域，其中所述多个点阵区域中的每一个点阵区域由一个或多个特征点界定。4.根据权利要求1所述的方法，其中，步骤b进一步包括：b2、利用所述仿真模型，获取测试图像投射在所述风挡单元上的投影信息；b3、根据所述投影信息，获取与特征点相对应的各中心眼盒位置的坐标信息；以及b4、将所述各中心眼盒位置的坐标信息作为所述图像预矫正参数存储至所述图像生成单元。5.根据权利要求1所述的方法，其中，步骤c包括：c1、读取所述图像预矫正参数；c2、基于所述图像预矫正参数，计算与所述特征点相对应的偏移量；以及c3、基于所述偏移量对源图像进行反向偏移矫正，以生成所述预矫正图像。6.根据权利要求5所述的方法，其中，步骤c1还包括：基于各中心眼盒位置的坐标信息，利用线性插值法计算与特征点相对应的多个调节位置的坐标信息。7.根据权利要求6所述的方法，其中，步骤c2还包括：基于所述多个调节位置的坐标信息，计算与所述特征点相对应的偏移量。8.一种用于实现hud平台化的控制装置，其特征在于，包括：模型构建模块，用于在光学设计阶段构建hud光学元件的仿真模型，其中所述hud光学元件包括风挡单元、图像生成单元以及反射单元；数据处理模块，用于至少基于所述仿真模型，获取用于将图像畸变限制在预设范围内的图像预矫正参数；以及主动矫正模块，用于利用所述图像预矫正参数对所述图像生成单元生成的源图像进行预矫正，以生成用于投射至所述反射单元的预矫正图像。9.根据权利要求8所述的控制装置，其中，所述数据处理模块配置成：利用所述仿真模型，获取测试图像投射在所述风挡单元上的投影信息；根据所述投影信息，获取与特征点相对应的各中心眼盒位置的坐标信息；以及将所述各中心眼盒位置的坐标信息作为所述图像预矫正参数存储至所述图像生成单元。
10.根据权利要求8所述的控制装置，其中，所述主动矫正模块配置成：读取所述图像预矫正参数；基于所述图像预矫正参数，计算与所述特征点相对应的偏移量；以及基于所述偏移量对源图像进行反向偏移矫正，以生成所述预矫正图像。11. 根据权利要求8所述的控制装置，其中，所述主动矫正模块进一步配置成：基于各中心眼盒位置的坐标信息，利用线性插值法计算与特征点相对应的多个调节位置的坐标信息；以及基于所述多个调节位置的坐标信息，计算与所述特征点相对应的偏移量。12.一种数据处理系统，其特征在于，包括：存储器；处理器；以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序的运行使得下列步骤被执行：a、在光学设计阶段，构建hud光学元件的仿真模型，其中所述hud光学元件包括风挡单元、图像生成单元以及反射单元；b、至少基于所述仿真模型，获取用于将图像畸变限制在预设范围内的图像预矫正参数；以及c、利用所述图像预矫正参数对所述图像生成单元生成的源图像进行预矫正，以生成用于投射至所述反射单元的预矫正图像。13.一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当所述指令由处理器执行时，使得所述处理器执行如权利要求1-7中任一项所述的方法。
技术总结本发明涉及一种用于实现HUD平台化的方法、控制装置、数据处理系统和存储介质。该方法包括：A、在光学设计阶段，构建HUD光学元件的仿真模型，其中HUD光学元件包括风挡单元、图像生成单元以及反射单元；B、至少基于仿真模型，获取用于将图像畸变限制在预设范围内的图像预矫正参数；以及C、利用图像预矫正参数对图像生成单元生成的源图像进行预矫正，以生成用于投射至反射单元的预矫正图像。射至反射单元的预矫正图像。射至反射单元的预矫正图像。
技术研发人员：腾朋飞
受保护的技术使用者：蔚来汽车科技（安徽）有限公司
技术研发日：2022.07.04
技术公布日：2022/11/1
