1.本发明涉及数据传输领域，具体涉及一种高效的大数据实时传输方法及系统。
背景技术：2.随着科技的发展和数字化的推进，数据传输量随之增多，为了保障数据传输的实时性，一般需对数据进行降维压缩，现多使用自编码压缩的方式来实现数据降维，该方式能按照传输要求对数据进行定量的降维，能尽可能的保留数据的关键特征信息。
3.但是传统的自编码系统没有考虑相同损失量的数据，造成的信息损失量不同；再者有些数据虽然损失，但是其可以根据周围数据信息进行推演出来，而有的数据信息损失后很难通过已有的信息推演得到，可能会损失数据的关键信息，因此，需要一种高效的大数据实时传输方法及系统。
技术实现要素：4.为了克服上述现有技术的缺点，本发明提供一种高效的大数据实时传输方法及系统。
5.本发明的一种高效的大数据实时传输方法采用如下技术方案：
6.获取原图像和自编码压缩网络训练过程中的压缩恢复图像；
7.确定原图像中各像素点的注意力权重；
8.获取原图像的非边缘像素点、压缩恢复图像的压缩非边缘像素点、原图像的边缘像素点、压缩恢复图像的压缩边缘像素点，通过非边缘像素点与压缩非边缘像素点的像素值得到非边缘像素点的像素值损失量；
9.获取压缩非边缘像素点的周围像素点，利用该压缩非边缘像素点的周围像素点得到压缩非边缘像素点的推演像素值；
10.根据非边缘像素点的像素值损失量、注意力权重和压缩非边缘像素点的推演像素值得到非边缘像素点的重构难度；
11.获取压缩边缘像素点的周围像素点,获取压缩边缘像素点的周围像素点的梯度向量和曲率值，根据该周围像素点的梯度向量和曲率值得到压缩边缘像素点的梯度推演向量和曲率推演值；
12.获取边缘像素点的梯度向量和曲率值，根据压缩边缘像素点的梯度推演向量、曲率推演值和边缘像素点的梯度向量、曲率值、注意力权重得到边缘像素点的重构难度；
13.结合边缘像素点和非边缘像素点的重构难度得到原图像中所有像素点的重构难度，通过重构难度构建损失函数；
14.根据损失函数对自编码压缩网络进行监督训练，通过完成训练后的自编码压缩网络对原图像进行压缩传输。
15.进一步，确定原图像中各像素点的注意力权重的步骤包括：
16.获取原图像的非边缘像素点，将非边缘像素点作为第一层级像素点；
17.对原图像进行方差为σ的高斯滤波，然后对高斯滤波后的图像进行下采样，得到第一层图像，对第一层图像进行重复的高斯滤波和下采样过程得到第二层图像，以此类推，得到第三层图像，再将第一、二、三层图像分别进行上采样恢复成与原图像尺寸相同的恢复图像，恢复图像记为t1、t2、t3；
18.分别获取t1、t2、t3的边缘像素点集合，t3的边缘像素点集合作为第四层级像素点；t2 边缘像素点集合减t3边缘像素点集合得到的集合为第三层级像素点；t1边缘像素点集合减t2 边缘像素点集合得到的集合为第二层级像素点；
19.根据高斯滤波的方差确定各层级像素点的注意力权重，各层级像素点的注意力权重即为对应的原图像中各像素点的注意力权重。
20.进一步，根据根据非边缘像素点的像素值损失量、推演像素值和注意力权重得到非边缘像素点的重构难度的步骤包括：
21.根据下式(1)计算非边缘像素点的重构难度：
[0022][0023]
式中，x0i表示第i个非边缘像素点的像素值，xi表示第i个压缩非边缘像素点的推演像素值，qi表示第i个非边缘像素点的注意力权重,si表示第i个非边缘像素点的像素值损失量,ni表示第i个非边缘像素点的重构难度。
[0024]
进一步，根据该周围像素点的梯度向量得到压缩边缘像素点的梯度推演向量的步骤包括：
[0025]
将压缩边缘像素点中求梯度推演向量的像素点作为中心像素点，当中心像素点为边缘像素点的交点时，获取中心像素点两侧的邻接像素点，邻接像素点记为2n个；
[0026]
将2n个邻接像素点两两组合形成若干个像素组，每n个像素组记为一个完全组合；
[0027]
计算像素组中两像素点的梯度向量模长差值，选出所有完全组合中梯度向量模长差值之和最小的完全组合作为最佳完全组合；
[0028]
将最佳完全组合中每个像素组内两像素点的梯度向量模长求均值得到多个均值模长，选最大的均值模长作为中心像素点的梯度向量模长；
[0029]
将均值模长最大的像素组中两像素点的梯度向量相加得到中心像素点的梯度方向，通过中心像素点的梯度向量模长和梯度方向得到中心像素点的梯度推演向量；
[0030]
当中心像素点不是边缘像素点的交点时，通过中心像素点两侧邻接两像素点的向量得出中心像素点的梯度推演向量。
[0031]
进一步，根据周围像素点的曲率值得到压缩边缘像素点的曲率推演值的步骤包括：
[0032]
将压缩边缘像素点中求曲率推演值的像素点作为中心像素点，当中心像素点为边缘像素点的交点时，获取中心像素点两侧的邻接像素点；
[0033]
将邻接像素点两两组合计算曲率差值，选取曲率差值最小的像素组所在的边缘，作为用来计算中心像素点的曲率推演值的连通边缘；
[0034]
获取中心像素点在连通边缘11领域内的连通像素点的曲率值，对连通像素点的曲率值线性插值分析得出中心像素点的曲率推演值；
[0035]
当中心像素点不是边缘像素点的交点时，获取中心像素点11邻域内连通像素点的
曲率值，对中心像素点11邻域内连通像素点进行线性插值分析得到中心像素点的曲率推演值。
[0036]
进一步，根据压缩边缘像素点的梯度推演向量、曲率推演值和边缘像素点的梯度向量、曲率值、注意力权重得到边缘像素点的重构难度的步骤包括：
[0037]
根据下式(2)计算边缘像素点的重构难度：
[0038][0039]
式中，qj表示第j个边缘像素点的注意力权重，k0,k1表示超参数，lj表示第j个边缘像素点的曲率推演值，l0j表示第j个边缘像素点的曲率值，l1j表示第j个压缩边缘像素点的曲率值， r0j表示第j个边缘像素点的梯度向量，r1j表示第j个压缩边缘像素点的梯度向量，rj表示第j个压缩边缘像素点的梯度推演向量，nj表示第j个边缘像素点的重构难度。
[0040]
进一步，通过重构难度构建损失函数的步骤包括：
[0041]
根据下式(3)计算损失函数：
[0042][0043]
式中，ni表示原图像中第i个非边缘像素点的重构难度，nj表示原图像中第j个像素点的重构难度，m表示原图像中非边缘像素点的数量，w表示原图像中边缘像素点的数量，θ表示损失函数。
[0044]
本发明还包括一种高效的大数据实时传输系统，包括：
[0045]
数据采集单元，用于获取待传输的原图像以及自编码网络训练中的压缩恢复图像；
[0046]
第一数据处理单元，用于确定原图像中各像素点的注意力权重；
[0047]
第二数据处理单元，用于获取原图像的非边缘像素点、压缩恢复图像的压缩非边缘像素点、原图像的边缘像素点、压缩恢复图像的压缩边缘像素点，通过非边缘像素点与压缩非边缘像素点的像素值得到非边缘像素点的像素值损失量；
[0048]
获取压缩非边缘像素点的周围像素点，根据压缩非边缘像素点的周围像素点得到压缩非边缘像素点的推演像素值；
[0049]
根据非边缘像素点的像素值损失量、注意力权重和压缩非边缘像素点的推演像素值和得到非边缘像素点的重构难度；
[0050]
第三数据处理单元，用于获取压缩边缘像素点的周围像素点，获取压缩边缘像素点的每个周围像素点的梯度向量和曲率值，根据周围像素点的梯度向量和曲率值，得到压缩边缘像素点的梯度推演向量和曲率推演值；
[0051]
获取边缘像素点的梯度向量和曲率值，根据压缩边缘像素点的梯度推演向量、曲率推演值、注意力权重和边缘像素点的梯度向量和曲率值得到边缘像素点的重构难度；
[0052]
第四数据处理单元，结合边缘像素点和非边缘像素点的重构难度得到原图像中所有像素点的重构难度，通过重构难度构建损失函数；
[0053]
数据压缩传输单元，根据损失函数对自编码压缩网络进行监督训练得到压缩网络，通过完成训练后的自编码压缩网络对原图像进行压缩传输。
[0054]
本发明的有益效果是：本发明提供一种高效的大数据实时传输方法及系统，考虑
到相同像素损失量下像素点承载的信息量损失不同，通过图像金字塔确定了各像素点的注意力权重，不同的像素损失后进行推演恢复的程度不同，利用各像素点的周围像素点确定压缩恢复图像的推演像素值，然后通过各像素点的损失量，注意力权重，推演值得到各像素点的重构难度，利用重构难度构建出损失函数，能够保证降低数据维度实时传输的同时减少数据损失。
附图说明
[0055]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0056]
图1为本发明的一种高效的大数据实时传输方法的实施例的流程示意图；
[0057]
图2为本发明的一种高效的大数据实时传输系统的结构示意图。
具体实施方式
[0058]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0059]
本发明的一种高效的大数据实时传输方法的实施例，如图1所示，包括：
[0060]
s1、获取待传输的原图像和自编码压缩网络训练过程中的压缩恢复图像。
[0061]
具体的，获取待传输的原图像并利用自编码压缩网络训练先对原图像进行压缩；然后再对压缩后的图像进行解压得到压缩恢复图像。
[0062]
s2、确定原图像中各像素点的注意力权重。
[0063]
具体的，不同位置的像素点的损失对整个图像的信息影响不同，边缘像素点的信息损失相对于非边缘像素点的信息损失要大，因而需将原图像的像素点分为非边缘像素点与边缘像素点，利用图像金字塔来确定像素点的注意力权重。
[0064]
s21、通过sobel算子处理原图像，分割出原图像中的非边缘像素点集合，将非边缘像素点集合作为第一层级像素点。
[0065]
s22、通过图像金字塔处理原图像，分割出不同层级的边缘像素点集合：
[0066]
利用方差为σ的高斯滤波器对原图像进行滤波处理，根据经验σ通常取2，对滤波处理过的原图像进行下采样得到下层图像，对下层图像进行重复滤波和下采样操作，重复2次得到三层图像；将三层图像分别进行上采样恢复成与原图像相同尺寸的恢复图像，恢复图像记为t1、 t2、t3；
[0067]
利用sobel算子分别处理t1、t2、t3，得到t1、t2、t3各自的边缘像素点集合；t3的边缘像素点集合作为第四层级像素点，t2边缘像素点集合减去t3边缘像素点集合得到第三层级像素点，t1边缘像素点集合减去t2边缘像素点集合得到第二层级像素点；
[0068]
层级越高的像素点的信息承载量越高，像素点的信息损失造成的影响程度越大，所以其注意力权重越大，具体的像素点的注意力权重：
[0069]
q1＝a
[0070]
q2＝a*σ
[0071]
q3＝a*σ2[0072]
q4＝a*σ3[0073]
式中，a表示常量参数，根据经验该值通常取1，σ表示高斯滤波器中的方差值，q1，q2，q3，q4表示原图像中与第一、二、三层级像素点对应的各像素点的注意力权重。
[0074]
s3、获取原图像的非边缘像素点、压缩恢复图像的压缩非边缘像素点、原图像的边缘像素点、压缩恢复图像的压缩边缘像素点，通过非边缘像素点与压缩非边缘像素点的像素值得到非边缘像素点的像素值损失量。
[0075]
图像损失包括像素值损失和纹理参数损失，纹理参数损失即图像中的纹理像素点的曲率、纹理像素点的梯度向量损失，主要从这几个方面确定原图像中各像素点的重构难度(重构难度是指通过压缩恢复图像像素点的周围像素点推演，弥补原图像像素损失量的程度)。由于边缘像素点与非边缘像素点的信息承载量不同，所以对原图像的边缘像素点和非边缘像素点分别求重构难度。非边缘像素点相对边缘像素点信息量承载不高，所以只考虑像素值的损失量得到非边缘像素点的重构难度。
[0076]
具体的，利用sobel算子分割原图像和压缩回复图像，得到原图像的非边缘像素点和压缩恢复图像的压缩非边缘像素点，将非边缘像素点和压缩非边缘像素点的对应颜色通道的对应像素值相减得到非边缘像素点的像素值损失量。
[0077]
s4、获取压缩非边缘像素点的周围像素点，利用该压缩非边缘像素点的周围像素点得到压缩非边缘像素点的推演像素值。
[0078]
具体的，获取压缩非边缘像素点的周围像素点，以求推演像素值的像素点为中心像素点，设置一个11*11的窗口，以水平方向为0度，以30度为角度间隔得到6个方向的直线，通过各直线所通过窗口内的像素点进行线性插值分析，得到中心像素点的像素值c
i,e
，根据下式(a) 计算压缩非边缘像素点的推演像素值：
[0079][0080]
式中，c
i,e
表示第i个压缩非边缘像素点在第e个方向的直线得到的像素估计值，xi表示第i个压缩非边缘像素点的推演像素值。
[0081]
s5、根据非边缘像素点的像素值损失量、注意力权重和压缩非边缘像素点的推演像素值得到非边缘像素点的重构难度。
[0082]
根据下式(1)计算非边缘像素点的重构难度：
[0083][0084]
式中，x0i表示第i个非边缘像素点的像素值，xi表示第i个压缩非边缘像素点的推演像素值，qi表示第i个非边缘像素点的注意力权重,si表示第i个非边缘像素点的像素值损失量,ni表示第i个非边缘像素点的重构难度；表示单位损失量的修复偏差比重，该值越大说明修复该像素点信息的可能性越小。
[0085]
s6、获取压缩边缘像素点的周围像素点,获取压缩边缘像素点的周围像素点的梯度向量和曲率值，根据该周围像素点的梯度向量和曲率值得到压缩边缘像素点的梯度推演
向量和曲率推演值。
[0086]
具体的，s61、获取压缩边缘像素点的周围像素点,获取周围像素点的梯度向量，将压缩边缘像素点中求梯度推演向量的像素点作为中心像素点。
[0087]
当中心像素点为边缘像素点的交点时，获取中心像素点两侧的邻接像素点，邻接像素点记为2n个；将2n个邻接像素点两两组合形成若干个像素组，每n个像素组记为一个完全组合。
[0088]
计算像素组中两像素点的梯度向量模长的差值，选出多组完全组合中梯度向量模长差值之和最小的完全组合作为最佳完全组合；将最佳完全组合中每个像素组内两像素点的梯度向量模长求均值得到多个均值模长，选最大的均值模长作为中心像素点的梯度向量模长，将均值模长最大的像素组中两像素点的梯度向量相加得到中心像素点的梯度方向，通过中心像素点的梯度向量模长和梯度方向得到中心像素点的梯度推演向量。
[0089]
当中心像素点不是边缘像素点的交点时，获取中心像素点的两个邻接像素点，求两个邻接像素点的梯度向量模长的均值，作为中心像素点的梯度向量模长，将两个邻接像素点的梯度向量相加得到中心像素点的梯度方向，通过中心像素点的梯度向量模长和梯度方向得到中心像素点的梯度推演向量。
[0090]
s62、通过海森矩阵获取压缩边缘像素点的周围像素点的曲率值，将压缩边缘像素点中求曲率推演值的像素点作为中心像素点。
[0091]
当中心像素点为边缘像素点的交点时，获取中心像素点两侧的邻接像素点；将邻接像素点两两组成若干个像素组，计算每个像素组中两像素点的曲率差值，选出曲率差值最小的像素组，将曲率差值最小的像素组所在的边缘作为连通边缘；获取中心像素点在连通边缘11领域内的与中心像素点连通的像素点的曲率值，通过线性插值分析连通的像素点的曲率值得出中心像素点的曲率推演值；
[0092]
当中心像素点不是边缘像素点的交点时，获取中心像素点11邻域内连通的像素点的曲率值，通过线性插值分析中心像素点11邻域内连通的像素点的曲率值得到中心像素点的曲率推演值。
[0093]
s7、获取边缘像素点的梯度向量和曲率值，根据压缩边缘像素点的梯度推演向量、曲率推演值和边缘像素点的梯度向量、曲率值、注意力权重得到边缘像素点的重构难度。
[0094]
根据下式(2)计算边缘像素点的重构难度：
[0095][0096]
式中，qi表示第j个边缘像素点的注意力权重，k0,k1表示超参数，k0,k1是为了调整取值等级，该值可根据两个模块和的取值宽度进行调整，根据经验该值通常取1，2；lj表示第j个边缘像素点的曲率推演值，l0j表示第j个边缘像素点的曲率值， l1j表示第j个压缩边缘像素点的曲率值，r0j表示第j个边缘像素点的梯度向量，r1j表示第j个压缩边缘像素点的梯度向量，rj表示第j个压缩边缘像素点的梯度推
演向量，nj表示第j个边缘像素点的重构难度，表示单位压缩边缘像素点的曲率值损失量的修复偏差比值，该值越大说明压缩恢复图像中的利用周围像素点的曲率值修复压缩边缘像素点的曲率值的可能性较小，修复难度较大，表示单位压缩边缘像素点的梯度向量损失量的修复偏差比值，该值越大说明压缩恢复图像中利用周围像素点的梯度向量修复压缩边缘像素点的梯度向量的难度较大。
[0097]
s8、结合边缘像素点和非边缘像素点的重构难度得到原图像中所有像素点的重构难度，通过重构难度构建损失函数。
[0098]
具体的，根据下式(3)计算损失函数：
[0099][0100]
式中，ni表示原图像中第i个非边缘像素点的重构难度，nj表示原图像中第j个像素点的重构难度，m表示原图像中非边缘像素点的数量，w表示原图像中边缘像素点的数量，θ表示损失函数。
[0101]
s9、根据损失函数对自编码压缩网络进行监督训练，通过完成训练后的自编码压缩网络对原图像进行压缩传输。
[0102]
具体的，根据损失函数训练自编码压缩网络；将待传输的原图像输入压缩网络进行降维压缩，再将压缩后的图像利用传输线路进行传输。
[0103]
本发明还包括一种高效的大数据实时传输系统，如图2所示，包括：数据采集单元201，用于获取待传输的原图像以及自编码压缩网络训练中的压缩恢复图像。
[0104]
第一数据处理单元202，用于确定原图像中各像素点的注意力权重。第二数据处理单元203，用于获取原图像的非边缘像素点、压缩恢复图像的压缩非边缘像素点、原图像的边缘像素点、压缩恢复图像的压缩边缘像素点，通过非边缘像素点与压缩非边缘像素点的像素值得到非边缘像素点的像素值损失量；获取压缩非边缘像素点的周围像素点，根据压缩非边缘像素点的周围像素点得到压缩非边缘像素点的推演像素值；根据非边缘像素点的像素值损失量、注意力权重和压缩非边缘像素点的推演像素值和得到非边缘像素点的重构难度。
[0105]
第三数据处理单元204，用于获取压缩边缘像素点的周围像素点,获取压缩边缘像素点的每个周围像素点的梯度向量和曲率值，根据周围像素点的梯度向量和曲率值，得到压缩边缘像素点的梯度推演向量和曲率推演值；获取边缘像素点的梯度向量和曲率值，根据压缩边缘像素点的梯度推演向量、曲率推演值、注意力权重和边缘像素点的梯度向量和曲率值得到边缘像素点的重构难度。
[0106]
第四数据处理单元205，结合边缘像素点和非边缘像素点的重构难度得到原图像中所有像素点的重构难度，通过重构难度构建损失函数。
[0107]
数据压缩传输单元206，用于根据损失函数对自编码压缩网络进行监督训练得到压缩网络，通过完成训练后的自编码压缩网络对原图像进行压缩传输。
[0108]
综上所述，本发明提供一种高效的大数据实时传输方法及系统，考虑到相同像素损失量下像素点承载的信息量损失不同，通过图像金字塔确定了各像素点的注意力权重，
不同的像素损失后进行推演恢复的程度不同，利用各像素点的周围像素点确定压缩恢复图像的推演像素值，然后通过各像素点的损失量，注意力权重，推演值得到各像素点的重构难度，利用重构难度构建出损失函数，能够保证降低数据维度实时传输的同时减少数据损失。
[0109]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
技术特征：1.一种高效的大数据实时传输方法，其特征在于，包括：获取原图像和自编码压缩网络训练过程中的压缩恢复图像；确定原图像中各像素点的注意力权重；获取原图像的非边缘像素点、压缩恢复图像的压缩非边缘像素点、原图像的边缘像素点、压缩恢复图像的压缩边缘像素点，通过非边缘像素点与压缩非边缘像素点的像素值得到非边缘像素点的像素值损失量；获取压缩非边缘像素点的周围像素点，利用该压缩非边缘像素点的周围像素点得到压缩非边缘像素点的推演像素值；根据非边缘像素点的像素值损失量、注意力权重和压缩非边缘像素点的推演像素值得到非边缘像素点的重构难度；获取压缩边缘像素点的周围像素点,获取压缩边缘像素点的周围像素点的梯度向量和曲率值，根据该周围像素点的梯度向量和曲率值得到压缩边缘像素点的梯度推演向量和曲率推演值；获取边缘像素点的梯度向量和曲率值，根据压缩边缘像素点的梯度推演向量、曲率推演值和边缘像素点的梯度向量、曲率值、注意力权重得到边缘像素点的重构难度；结合边缘像素点和非边缘像素点的重构难度得到原图像中所有像素点的重构难度，通过重构难度构建损失函数；根据损失函数对自编码压缩网络进行监督训练，通过完成训练后的自编码压缩网络对原图像进行压缩传输。2.根据权利要求1所述的一种高效的大数据实时传输方法，其特征在于，确定原图像中各像素点的注意力权重的步骤包括：获取原图像的非边缘像素点，将非边缘像素点作为第一层级像素点；对原图像进行方差为σ的高斯滤波，然后对高斯滤波后的图像进行下采样，得到第一层图像，对第一层图像进行重复的高斯滤波和下采样过程得到第二层图像，以此类推，得到第三层图像，再将第一、二、三层图像分别进行上采样恢复成与原图像尺寸相同的恢复图像，恢复图像记为t1、t2、t3；分别获取t1、t2、t3的边缘像素点集合，t3的边缘像素点集合作为第四层级像素点；t2边缘像素点集合减t3边缘像素点集合得到的集合为第三层级像素点；t1边缘像素点集合减t2边缘像素点集合得到的集合为第二层级像素点；根据高斯滤波的方差确定各层级像素点的注意力权重，各层级像素点的注意力权重即为对应的原图像中各像素点的注意力权重。3.根据权利要求1所述一种高效的大数据实时传输方法，其特征在于，根据根据非边缘像素点的像素值损失量、推演像素值和注意力权重得到非边缘像素点的重构难度的步骤包括：根据下式(1)计算非边缘像素点的重构难度：式中，x0
i
表示第i个非边缘像素点的像素值，x
i
表示第i个压缩非边缘像素点的推演像素值，q
i
表示第i个非边缘像素点的注意力权重,s
i
表示第i个非边缘像素点的像素值损失量,n
i
表示第i个非边缘像素点的重构难度。
4.根据权利要求1所述的一种高效的大数据实时传输方法，其特征在于，根据该周围像素点的梯度向量得到压缩边缘像素点的梯度推演向量的步骤包括：将压缩边缘像素点中求梯度推演向量的像素点作为中心像素点，当中心像素点为边缘像素点的交点时，获取中心像素点两侧的邻接像素点，邻接像素点记为2n个；将2n个邻接像素点两两组合形成若干个像素组，每n个像素组记为一个完全组合；计算像素组中两像素点的梯度向量模长差值，选出所有完全组合中梯度向量模长差值之和最小的完全组合作为最佳完全组合；将最佳完全组合中每个像素组内两像素点的梯度向量模长求均值得到多个均值模长，选最大的均值模长作为中心像素点的梯度向量模长；将均值模长最大的像素组中两像素点的梯度向量相加得到中心像素点的梯度方向，通过中心像素点的梯度向量模长和梯度方向得到中心像素点的梯度推演向量；当中心像素点不是边缘像素点的交点时，通过中心像素点两侧邻接两像素点的向量得出中心像素点的梯度推演向量。5.根据权利要求1所述的一种高效的大数据实时传输方法，其特征在于，根据该周围像素点的曲率值得到压缩边缘像素点的曲率推演值的步骤包括：将压缩边缘像素点中求曲率推演值的像素点作为中心像素点，当中心像素点为边缘像素点的交点时，获取中心像素点两侧的邻接像素点；将邻接像素点两两组合计算曲率差值，选取曲率差值最小的像素组所在的边缘，作为用来计算中心像素点的曲率推演值的连通边缘；获取中心像素点在连通边缘11领域内的连通像素点的曲率值，对连通像素点的曲率值线性插值分析得出中心像素点的曲率推演值；当中心像素点不是边缘像素点的交点时，获取中心像素点11邻域内连通像素点的曲率值，对中心像素点11邻域内连通像素点进行线性插值分析得到中心像素点的曲率推演值。6.根据权利要求1所述的一种高效的大数据实时传输方法，其特征在于，根据压缩边缘像素点的梯度推演向量、曲率推演值和边缘像素点的梯度向量、曲率值、注意力权重得到边缘像素点的重构难度的步骤包括：根据下式(2)计算边缘像素点的重构难度：式中，q
j
表示第j个边缘像素点的注意力权重，k0,k1表示超参数，l
j
表示第j个边缘像素点的曲率推演值，l0
j
表示第j个边缘像素点的曲率值，l1
j
表示第j个压缩边缘像素点的曲率值，r0
j
表示第j个边缘像素点的梯度向量，r1
j
表示第j个压缩边缘像素点的梯度向量，r
j
表示第j个压缩边缘像素点的梯度推演向量，n
j
表示第j个边缘像素点的重构难度。7.根据权利要求1所述的一种高效的大数据实时传输方法，其特征在于，通过重构难度构建损失函数的步骤包括：根据下式(3)计算损失函数：式中，n
i
表示原图像中第i个非边缘像素点的重构难度，n
j
表示原图像中第j个像素点的
重构难度，m表示原图像中非边缘像素点的数量，w表示原图像中边缘像素点的数量，θ表示损失函数。8.根据权利要求1-7任一项所述的一种高效的大数据实时传输系统，其特征在于，包括：数据采集单元，用于获取待传输的原图像以及自编码网络训练中的压缩恢复图像；第一数据处理单元，用于确定原图像中各像素点的注意力权重；第二数据处理单元，用于获取原图像的非边缘像素点、压缩恢复图像的压缩非边缘像素点、原图像的边缘像素点、压缩恢复图像的压缩边缘像素点，通过非边缘像素点与压缩非边缘像素点的像素值得到非边缘像素点的像素值损失量；获取压缩非边缘像素点的周围像素点，根据压缩非边缘像素点的周围像素点得到压缩非边缘像素点的推演像素值；根据非边缘像素点的像素值损失量、注意力权重和压缩非边缘像素点的推演像素值和得到非边缘像素点的重构难度；第三数据处理单元，用于获取压缩边缘像素点的周围像素点,获取压缩边缘像素点的每个周围像素点的梯度向量和曲率值，根据周围像素点的梯度向量和曲率值，得到压缩边缘像素点的梯度推演向量和曲率推演值；获取边缘像素点的梯度向量和曲率值，根据压缩边缘像素点的梯度推演向量、曲率推演值、注意力权重和边缘像素点的梯度向量和曲率值得到边缘像素点的重构难度；第四数据处理单元，结合边缘像素点和非边缘像素点的重构难度得到原图像中所有像素点的重构难度，通过重构难度构建损失函数；数据压缩传输单元，根据损失函数对自编码压缩网络进行监督训练得到压缩网络，通过完成训练后的自编码压缩网络对原图像进行压缩传输。
技术总结本发明涉及数据传输领域，提供一种高效的大数据实时传输方法及系统，包括：获取原图像和压缩恢复图像的数据，得到非边缘像素点的像素值损失量，利用图像金字塔确定原图像各像素点的注意力权重，通过压缩非边缘像素点的周围像素点确定推演像素值，通过非边缘像素点的像素值损失量、注意力权重、压缩非边缘像素点的推演像素值得到非边缘像素点的重构难度，通过压缩边缘像素点的梯度推演向量、曲率推演值和边缘像素点的梯度向量、曲率值、注意力权重得到边缘像素点的重构难度，利用重构难度构建出损失函数，基于损失函数进行自编码训练得到压缩网络，压缩图像并传输，本发明在保证降低数据维度实时传输的同时减少了数据损失。据维度实时传输的同时减少了数据损失。据维度实时传输的同时减少了数据损失。
技术研发人员：苗润昱 娄嘉慧
受保护的技术使用者：南京问量网络科技有限公司
技术研发日：2022.06.08
技术公布日：2022/11/1
