1.本发明涉及传感器数据经由网络的传输和存储，所述传感器数据例如是由例如车辆上或车辆中的相机记录的图像数据。
背景技术：2.驾驶员辅助系统和用于至少部分自动驾驶的系统越来越多地使用机器学习模型来评估来自车辆环境的图像。为了训练这种系统，需要收集由车辆在真实交通状况下记录的训练图像。
3.车辆环境图像的连续记录和存储还可以用于保存证据，以便在事故后澄清过错问题。
4.同样出于安全原因，也使用相机来监视出租车或自驾租赁车辆的内部空间。例如，基于相机图像可以识别出租车司机和乘客之间的攻击，或可以确定造成租赁车辆的污垢和损坏的责任人。
5.高质量的图像数据具有很大的容量。正是在经由移动无线电网络传输时，每月的成本强烈取决于数据传输的可用容量配额。如果配额用完，速度通常会受到限制，直到实际上无法使用，和/或收取额外费用。
技术实现要素：6.在本发明的范围内开发了一种用于将传感器数据从源站经由网络传输到汇站的方法，所述传感器数据特别是图像数据。所述图像数据可以涉及任何成像模态的静止图像或运动图像（图像序列）。除了相机图像之外，这里例如也可以使用热图像、超声图像、雷达图像或激光雷达图像。
7.该方法特别是也可以应用于例如可以转换为图像数据的传感器数据。例如，各种其他传感器数据可以转换为频谱或类似的表示，然后作为图像受到进一步处理。
8.具有第一高质量的传感器数据样本从源站经由网络传输到汇站。这相当于通过汇站经由网络从源站以第一高质量接收这种传感器数据样本。例如，图像数据样本可以是静止图像、视频帧或这种帧的序列。
9.通过汇站将所述样本转换为第二较低质量，同时减小数据容量，然后使用经过训练的机器学习模型将所述样本反向计算为第一高质量。在此，“通过汇站”不应被限制性地理解为必须在从源站接收了所述样本的同一设备上执行转换和/或反向计算。而是例如汇站促使这些动作在其他设备上执行也是足够的。例如，可以在短时间内在云中产生容器或其他执行环境，在所述其他执行环境中进行转换和/或反向计算。此外，汇站也不一定必须是物理计算机。例如，汇站可以是接收样本然后实例化所述容器或所述执行环境的云实体。例如，可以将amazon aws“lambda函数”用作这样的云实体。
10.转换后的样本重新创建了传感器数据的减少了容量的版本，源站可能已经传输了所述减少了容量的版本而不是具有第一高质量的版本。这例如可以是通过将用于记录图像
的传感器设置为较低质量级别而获得的版本。但是，也可以例如是由源站从最初以高质量检测的传感器数据中确定的版本，例如通过按比例缩小、下采样或有损压缩。
11.响应于反向计算后的样本与从源站接收的样本一致，汇站指示源站将传感器数据以减小了容量的版本传输到汇站。这意味着为将来传输其他传感器数据（如特别是图像数据）节省了带宽。
12.已经认识到，通过这种方式在将传感器数据从源站连续传输到汇站的情况下可以节省相当多的数据容量。例如，如果机器学习模型能够正确地将以较低质量从源站接收的图像数据升级为高质量，则图像仍然能够以高质量用于进一步处理。此外，以低质量接收的图像数据也可以以节省空间的方式存档。从而例如在视频监视的情况下，通常预给定必须将记录的图像存档的时间段，其中实际上很少由于具体事故来访问这些图像。
13.为了达到这种效果，机器学习模型不需要能够改善所有接收到的图像数据样本的质量。即使这仅对部分样本成功，也已经展现出数据容量的节省。必须由源站以高质量提供的那些样本可以例如与以低质量提供并且可由机器学习模型反向计算的样本一起保存。
14.在本文中，“高质量”、“较低质量”以及两个质量级别之间的差异具体表现在什么方面取决于预给定应用的上下文。该上下文例如决定哪些图像信息对于图像数据的进一步处理是绝对必要的以及哪些图像信息可以被丢弃。例如，第二较低质量的图像数据可以比第一高质量的图像数据具有
•
更低的像素分辨率，和/或
•
更低的帧速率，和/或
•
更低的色深，和/或第二较低质量的图像数据可能比第一高质量的图像数据有损压缩到更大的程度。
15.例如，当反向计算到较高的帧速率时，可以在较低质量的图像数据的每两帧之间插入中间帧，所述中间帧正确地内插出在图像数据中显示的两帧之间场景的进一步发展。
16.例如，高质量的图像数据可以是彩色的，而较低质量的图像数据仅以灰度存在。在反向计算时，可以对灰度图像进行着色。
17.例如，较低质量的图像数据可能具有（例如根据h.264/h.265/vp8/vp9编解码器的）有损压缩的量化伪影。反向计算可以去除这些伪影。
18.机器学习模型通常被理解为一种模型，其体现用可适配参数参数化的函数具有强大的泛化能力。特别地，机器学习模型可以包括人工神经网络knn，和/或机器学习模型可以是knn。特别有利地，将生成对抗网络（generative adversarial network）gan的生成器、递归神经网络rnn或被训练为自动编码器的编码器-解码器装置的解码器选择为机器学习模型。
19.gan的生成器典型地被训练为产生数据，这里为：特定目标域的传感器数据，特别是图像数据。同时，在这种训练中将判别器训练为将生成器所产生的目标域的传感器数据与目标域的“真实”传感器数据区分开来。这里，所述目标域是高质量传感器数据的域。这意味着判别器尝试区分输送给它的高质量样本是实际上以这种高质量记录的还是从较低质量样本中反向计算出来的。在这种关联下，关于反向计算出来的样本是否正好与源站所提供的高质量样本一致的额外检查代表了gan对该样本所涉及的场景的“调节”：不是在寻找
任何高质量的传感器数据，而是寻找那些涉及同一场景的数据，因为在进一步处理所述传感器数据时正好应当从该场景中得出结论。
20.自动编码器包括编码器和解码器。编码器将传感器数据的输入样本映射为“潜在空间”中的表示，该表示的维度明显低于原始传感器数据的维度。解码器尝试从该表示中再次重建原始传感器数据。编码器和解码器一起朝着以下目标训练，即，使得所述重建是最佳的。编码器学习的是：在将传感器数据压缩为所述表示的情况下从传感器数据中选择对所述重建最重要的信息。解码器学习的是：最佳地评估所述表示中的稀缺信息。
21.在向源站指示未来以减小了容量的版本传输传感器数据后，可以例如定期或不定期地检查反向计算是否仍然正常工作。为此，汇站可以例如再次指示源站传输高质量的传感器数据样本。然后可以按照与以前相同的方式检查是否可以再次成功地反向计算该样本的人为恶化版本。
22.在有利的设计中，响应于反向计算后的样本与从源站接收的样本不一致，朝着以下目标训练所述机器学习模型，即所述机器学习模型未来从转换后的样本中正确地重建从源站接收的样本。为此，例如还可以收集多个训练样本。
23.通过这种方式，所述机器学习模型可以从完全未经训练的状态开始学会反向计算到高质量。然而，所述机器学习模型也可以从已经预训练的状态开始进一步训练。例如，提供可以在一般预训练状态下的所述机器学习模型，然后针对具体存在的应用来对所述机器学习模型进行特殊训练。
24.如上文所解释的，有利地以减小了容量的版本到达汇站的传感器数据样本（特别是图像数据样本）被反向计算为第一高质量，以供机器学习模型进一步使用和/或处理。这种进一步使用和/或处理可以利用一方面反向计算后的样本和另一方面从一开始就以高质量接收的样本的任何混合物。
25.如果所述机器学习模型首先还不能将特定样本的较低质量升级到高质量，则所述机器学习模型可以通过进一步训练来准确地学习这一点。从此时起，即使所述样本本身不再以高质量保存，也可以访问高质量。因此，有利地，响应于反向计算后的样本与从源站接收的样本一致，将转换为第二较低质量的样本存储在存储器中，并且丢弃从源站接收的样本。
26.在有利的设计中，通过使用另外的机器学习模型的域转移将从源站接收的样本转换为第二较低质量。例如，可以为此使用cyclegan网络。可以基于示例性的高质量和低质量的传感器数据来学习域转移，而无需具体了解这两个质量级别的确切区别。通过这种方式，还可以学会更复杂的劣化，例如通过更短的曝光时间和有损压缩的组合而对图像数据引起的劣化。
27.如前所解释的，当源站和汇站经由移动无线电网络进行通信时，传输期间带宽节省的效果尤其明显。在经由这些网络传输时，成本特别剧烈地取决于传输的数据容量。
28.在有利的设计中，图像数据作为传感器数据由观察车辆的环境和/或内部空间的至少一个相机检测。在此，源站特别是例如可以由车辆携带。
29.例如，对环境的观察可以用作“增强型行车记录仪”，其中车辆用户没有机会以有利于自己的方式操纵图像数据或抑制其不喜欢的图像数据，因为这些图像数据显示了例如交通违规或驾驶错误。例如，车辆用户对图像数据的读取访问也可以被限制于在具体事故
的情况下需要证据的状况。由此进入“增强型行车记录仪”的图像中的其他道路参与者的隐私得到了更好的保护。
30.观察车辆内部空间时也是如此。例如，所述观察可以用于识别抢劫、攻击或其他危险状况。例如，可以使用机器学习或其他方法识别潜在的危险状况，并且只有在识别出这种状况时才能允许安全中心的员工查看图像数据。例如，可以根据是否应当澄清车辆内部空间的具体损坏或污垢来访问图像档案。正是对于共享车辆和其他具有频繁更换的用户的车辆而言，总是存在用户不想负责的污垢和损坏。
31.所描述的从较低质量到高质量的反向计算在先前描述的方法中使得能够在传输期间节省带宽，而且也可以用于在用车队收集图像数据时节省硬件成本。
32.因此，本发明还提供了一种用于处理由车队的车辆上的相机记录的图像数据的方法。
33.该方法假定：
•
车队的第一部分车辆均配备有能够记录具有第一高质量的图像的第一类型相机和能够记录具有第二较低质量的图像的第二类型相机，以及
•
车队的第二部分车辆只配备了第二类型相机。
34.基于由车队的第一部分车辆记录的第一高质量的图像数据和第二较低质量的图像数据来训练机器学习模型，目标是从第二较低质量的图像数据中重建第一高质量的图像数据。因此，将较低质量的图像数据输送给所述机器学习模型，并且检查由此重建的图像数据与分别关联的高质量图像数据在多大程度上一致。所述机器学习模型的参数被适配为，使得这些重建得到连续的改善。
35.利用以这种方式训练的机器学习模型，将由车队的第二部分车辆记录的第二较低质量的图像数据处理为升值的图像数据。第一高质量的图像数据与升值后的图像数据组合以用于进一步处理。
36.通过这种方式，即使只有部分车辆配备有更高价值的相机，用于进一步处理的每个车辆最终都会提供高质量的图像数据以供进一步处理。这例如对于图像数据的“众包”是有利的，其中参与者以借用的方式获得可用相机并且应当经由移动无线电网络在中心位置收集图像材料。这里有利的是，只需要为参与者提供具有较低质量的更便宜的相机，因为根据经验，没有被退回的相机总是存在一定的“损失”。此外，结合第一种方法描述的带宽节省在经由移动无线电网络传输时也发挥作用，从而参与者可以使用其常见的容量配额来进行数据传输，而不必自己增加该容量配额。
37.除了在道路交通中运行的车辆上的应用之外，特别是例如在生产机器、割草机器人和经由窄带网络连接和/或根据带宽消耗收费的网络连接连接的其他设备上的应用对于所描述的方法也是有利的。
38.特别地，这些方法可以完全或部分地由计算机实现。因此，本发明还涉及一种具有机器可读指令的计算机程序，当所述机器可读指令在一个或多个计算机上执行时，所述机器可读指令促使所述一个或多个计算机执行所描述的方法之一。从这个意义上说，同样能够执行机器可读指令的车辆的控制设备和技术设备的嵌入式系统也应被视为计算机。
39.本发明同样还涉及具有计算机程序的机器可读数据载体和/或下载产品。下载产品是可经由数据网络传输的、即可由所述数据网络的用户下载的数字产品，所述数字产品
可以在在线商店中出售以供立即下载。
40.此外，计算机可以配备有所述计算机程序、所述机器可读数据载体或所述可下载产品。
41.下面与基于附图对本发明的优选实施例的描述一起，更详细地介绍改进本发明的其他措施。
附图说明
42.图1示出了用于将传感器数据4从源站1经由网络2传输到汇站3的方法100的实施例；图2示出了用于执行方法100的源站1、网络2和汇站3的示例性布置；图3所述车辆用于处理来自车队8的车辆81-88上的相机的图像数据4的方法200的实施例。
具体实施方式
43.图1是用于将传感器数据4从源站1经由网络2传输到汇站3的方法100的实施例的示意流程图。
44.在步骤105中，选择车辆携带的源站。在步骤106中，选择由观察车辆的环境和/或内部空间的至少一个相机检测的图像数据作为传感器数据4。
45.在步骤110中，具有第一高质量的图像数据的样本4+经由网络2传输到汇站3。
46.在步骤120中，样本4+由汇站3转换为第二低质量，同时减小了数据容量，从而产生样本4#。根据框121，这可以例如通过使用特殊机器学习模型7的域转移来进行。转换后的样本4#形成了容量减小的版本4，该版本重新创建了源站1代替具有第一高质量的版本4+而可能已经传输的图像数据4。
47.在步骤130中，使用机器学习模型5将转换后的样本4#反向计算为第一高质量，从而产生反向计算后的样本4*。根据框131，机器学习模型5可以特别是例如生成对抗网络gan的生成器、递归神经网络rnn或被训练为自动编码器的编码器-解码器装置的解码器。
48.在步骤140中，利用任何适用于各个具体应用的度量来检查反向计算后的样本4*是否与从源站1接收的样本4+一致。
49.如果样本4*和4+不一致（真值0），则在步骤160中将机器学习模型5训练为以下目标，即该机器学习模型未来从转换后的样本4#中正确地重建从源站1接收的样本4+。在此，模型5的参数5a得到了优化。
50.相反，如果样本4*和4+一致（真值1），则汇站3在步骤150中指示源站1未来以容量减小的版本4-将图像数据4传输到汇站3。然后在步骤170中将这种容量减小的图像数据4-反向计算为第一高质量以供机器学习模型5进一步使用和/或处理，从而产生样本4*。
51.可替代地或与此组合地，也可以在步骤180中将转换为第二较低质量的样本4#存储在存储器6中。然后在步骤190中，可以丢弃从源站1接收的样本4+。
52.图2示出了源站1、网络2和汇站3的示意性布置。源站1能够提供高质量图像数据的样本4+和具有较低质量的样本4-。
53.具有高质量的样本4+可以从汇站3直接输送给进一步处理。具有较低质量的样本
4-由机器学习模型5处理为反向计算后的高质量的样本4*，从而样本4*可以与具有高质量的样本4+一起用于进一步处理。
54.为了训练机器学习模型5，可以从具有高质量的样本4+中创建转换后的具有较低质量的样本4#，并且可以检查由此反向计算后的样本4*是否与原始的具有高质量的样本4+一致。可以定期或不定期地重复该检查。根据该检查的结果，汇站3控制源站未来是传输高质量的样本4+还是较低质量的样本4-。
55.图3是用于处理作为传感器数据4的图像数据的方法200的实施例的示意性流程图。图像数据由车队8的车辆81-88上的相机记录。
56.车队8的第一部分8a车辆81-84分别配备有
•
第一类型相机91a-94a，其能够记录具有第一高质量的图像数据4+，和
•
第二类型相机91b-94b，其能够记录具有第二较低质量的图像数据4-。
57.车队8的第二部分8b车辆85-88分别仅配备有第二类型相机95b-98b。
58.在步骤210，基于由车队8的第一部分8a车辆81-84记录的第一高质量的图像数据4+以及第二较低质量的图像数据4-来训练机器学习模型5，目标是从第二较低质量的图像数据4-中重建第一高质量的图像数据4+。机器学习模型5的完全训练状态用附图标记5*表示。
59.在步骤220中，利用经过训练的机器学习模型5*将由车队8的第二部分8b车辆85-88记录的第二较低质量的图像数据4-处理为升值的图像数据4*。
60.在步骤230中，将第一高质量的图像数据4+与升值的图像数据4*组合以用于进一步处理。
技术特征：1.一种用于将传感器数据（4）、特别是图像数据从源站（1）经由网络（2）传输到汇站（3）的方法（100），具有以下步骤：
•
通过所述汇站（3）经由所述网络（2）从所述源站（1）以第一高质量接收传感器数据（4）的样本（4+）；
•
通过所述汇站（3）将所述样本（4+）转换（120）为第二较低质量，同时减小数据容量，然后使用经过训练的机器学习模型（5）将所述样本（4+）反向计算（130）为第一高质量，其中转换后的样本（4#）重新创建了所述源站（1）代替具有第一高质量的版本（4+）而可能已经传输的传感器数据（4）的容量减小的版本（4-）；以及
•
响应于反向计算后的样本（4*）与从所述源站（1）接收的样本（4+）一致（140），所述汇站（3）指示（150）所述源站（1）将图像数据（4）以容量减小的版本（4-）传输到所述汇站（3）。2.一种用于将传感器数据（4）、特别是图像数据从源站（1）经由网络（2）传输到汇站（3）的方法（100），具有以下步骤：
•
从所述源站（1）经由所述网络（2）将具有第一高质量的传感器数据（4）的样本（4+）传输（110）到所述汇站（3）；
•
通过所述汇站（3）将所述样本（4+）转换（120）为第二较低质量，同时减小数据容量，然后使用经过训练的机器学习模型（5）将所述样本（4+）反向计算（130）为第一高质量，其中转换后的样本（4#）重新创建了所述源站（1）代替具有第一高质量的版本（4+）而可能已经传输的传感器数据（4）的容量减小的版本（4-）；以及
•
响应于反向计算后的样本（4*）与从所述源站（1）接收的样本（4+）一致（140），所述汇站（3）指示（150）所述源站（1）将图像数据（4）以容量减小的版本（4-）传输到所述汇站（3）。3.根据权利要求1至2中任一项所述的方法（100），其中响应于反向计算后的样本（4*）与从所述源站（1）接收的样本（4+）不一致（140），朝着以下目标训练（160）所述机器学习模型（5），即所述机器学习模型未来从转换后的样本（4#）中正确地重建从所述源站（1）接收的样本（4+）。4.根据权利要求1至3中任一项所述的方法（100），其中以减小了容量的版本到达所述汇站（3）的传感器数据（4）的样本（4-）被反向计算（170）为第一高质量，以供所述机器学习模型（5）进一步使用和/或处理。5.根据权利要求1至4中任一项所述的方法（100），其中响应于反向计算后的样本（4*）与从所述源站（1）接收的样本（4+）一致（140），将转换为第二较低质量的样本（4#）存储（180）在存储器（6）中，并且丢弃（190）从所述源站（1）接收的样本（4+）。6.根据权利要求1至5中任一项所述的方法（100），其中作为传感器数据（4）的图像数据在第二较低质量下比在第一高质量下具有
•
更低的像素分辨率，和/或
•
更低的帧速率，和/或
•
更低的色深，和/或作为传感器数据（4）的图像数据在第二较低质量下相对于第一高质量被有损压缩到更大的程度。7.根据权利要求1至6中任一项所述的方法（100），其中将生成对抗网络gan的生成器、递归神经网络rnn或被训练为自动编码器的编码器-解码器装置的解码器选择（131）为机器
学习模型（5）。8.根据权利要求1至7中任一项所述的方法（100），其中通过使用另外的机器学习模型（7）的域转移将从所述源站（1）接收的样本（4+）转换（121）为第二较低质量。9.根据权利要求1至8中任一项所述的方法（100），其中所述源站（1）和所述汇站（3）经由移动无线电网络进行通信。10.根据权利要求1至9中任一项所述的方法（100），其中图像数据作为传感器数据（4）由观察车辆的环境和/或内部空间的至少一个相机检测（106）。11.根据权利要求10所述的方法（100），其中所述源站（1）由所述车辆携带（105）。12.一种用于处理由车队（8）的车辆（81-88）上的相机记录的图像数据（4）的方法（200），其中
•
所述车队（8）的第一部分（8a）车辆（81-84）均配备有能够记录具有第一高质量的图像数据（4+）的第一类型相机（91a-94a）和能够记录具有第二较低质量的图像数据（4-）的第二类型相机（91b-94b），以及
•
所述车队（8）的第二部分（8b）车辆（85-88）只配备了第二类型相机（95b-98b），以及其中所述方法（200）具有以下步骤：
•
基于由所述车队（8）的第一部分（8a）车辆（81-84）记录的第一高质量的图像数据（4+）和第二较低质量的图像数据（4-）来训练（210）机器学习模型（5），目标是从第二较低质量的图像数据（4-）中重建第一高质量的图像数据（4+）；
•
使用经过训练的机器学习模型（5*），将由所述车队（8）的第二部分（8b）车辆（85-88）记录的第二较低质量的图像数据（4-）处理（220）为升值的图像数据（4*）；
•
将第一高质量的图像数据（4+）与升值的图像数据（4*）组合（230）以用于进一步处理。13.一种具有机器可读指令的计算机程序，当所述机器可读指令在一个或多个计算机上执行时，所述机器可读指令促使所述一个或多个计算机执行根据权利要求1至12中任一项所述的方法。14.一种机器可读数据载体和/或下载产品，具有根据权利要求13所述的计算机程序。15.一种或多种计算机，具有根据权利要求13所述的计算机程序和/或具有根据权利要求14所述的机器可读数据载体和/或下载产品。
技术总结用于将传感器数据从源站经由网络传输到汇站的方法，具有步骤：从所述源站经由所述网络将具有第一高质量的传感器数据的样本传输到所述汇站；通过所述汇站将所述样本转换为第二较低质量，同时减小数据容量，然后使用经过训练的机器学习模型将所述样本反向计算为第一高质量，其中转换后的样本重新创建了所述源站代替具有第一高质量的版本而可能已经传输的传感器数据的容量减小的版本；以及响应于反向计算后的样本与从所述源站接收的样本一致，所述汇站指示所述源站将图像数据以容量减小的版本传输到所述汇站。的版本传输到所述汇站。的版本传输到所述汇站。
技术研发人员：G
受保护的技术使用者：罗伯特
技术研发日：2022.04.28
技术公布日：2022/11/1
