一种基于his、nsct和pcnn的遥感影像融合方法
技术领域
1.本发明涉及一种摇感影像融合方法，具体涉及一种基于his、nsct和pcnn的遥感影像融合方法。
背景技术：2.非下采样contourlet变换(nsct)的核心思想是采用非下采样金字塔变换(nspfb)和非下采样方向滤波器组(nsdfb)对图像进行多尺度、多方向分解。nspfb对图像进行多尺度分解，以保证图像变换具有多分辨率特性；nsdfb对得到各尺度子带图像进行方向分解，以保证图像变换具有多方向特性，从而得到了不同尺度、不同方向子带的图像。经过k层分解，可得到1个低频子带图像和个高频子带图像，其中lk为第k层的方向分解级数。nsct不仅具有多尺度、良好的空域和频域局部特性以及多方向特性，还具有平移不变性以及各子带图像之间尺寸大小相同等特性，有利于更好地保持原始图像的边缘轮廓信息和纹理细节信息，适合表达具有丰富细节及方向信息的多传感器图像。
3.脉冲耦合神经网络(pcnn)是由eckhorn为解释猫等小型哺乳动物的大脑视觉皮层细胞处理视觉信号的过程而提出的，已经被广泛应用于图像处理中，如图像分割、边缘提取、目标识别、图像融合等领域。pcnn神经元模型是由若干个分支pcnn的神经元互连所构成的反馈型网络，其中每一个神经元由接受域、调制部分和脉冲发生器三个功能单元组成。由于传统pcnn模型的众多参数限制了其应用的深度和广度，本发明采用常用的改进型pcnn模型，其数学表达式如下：
4.f
ij
(n)＝s
ij
[0005][0006]uij
(n)＝f
ij
(n)
×
[1+βl
ij
(n)]
[0007]
θ
ij
(n)＝exp(-α
θ
)θ
ij
(n-1)+v
θyij
(n)
[0008][0009]
式中，(i,j)下标是神经元或像素的坐标；n是迭代次数；s
ij
表示外部输入激励信号，通常是图像中第(i,j)个像素的灰度值；w
ijkl
表示神经元之间的连接权系数矩阵；f
ij
、l
ij
、θ
ij
和u
ij
分别表示神经元的反馈输入、链接输入、动态阈值和内部活动项；v
l
、v
θ
分别为链接输入和变阈值函数的幅度系数；α
l
、α
θ
分别为链接输入和变阈值函数的时间常数；β表示链接强度；y
ij
表示神经元的输出；当y
ij
(n)输出为1时，表示像素点(i,j)点火一次。pcnn用于处理图像时，它是一个单层连接的二维网络，网络中神经元数目与像素数目相一致，每个神经元与每个像素一一对应。
技术实现要素：[0010]
综上，本发明针对landsat遥感数据多光谱和全色波段特点，结合ihs彩色变换、非
下采样contourlet变换和脉冲耦合神经网络在图像融合中的优势，提出了一种基于ihs、nsct和pcnn理论的遥感影像融合新方法。
[0011]
本发明采用的技术方案为：
[0012]
一种基于his、nsct和pcnn的遥感影像融合方法，包括以下步骤：
[0013]
步骤一，对即将融合的遥感影像进行地理配准，使得要融合的影像地理坐标系一致；
[0014]
步骤二，对已配准的将要融合的遥感影像a和b分别进行nsct不同尺度不同方向的分解，对要融合的遥感影像分别得到各自的nsct分解在不同尺度上和不同方向上的系数，得到nsct分解系数和
[0015]
式中，中，表示待融合的a遥感图像在第j个尺度分解下的第k个方向的nsct高频子代系数；公式中，表示待融合的b遥感图像在第j个尺度分解下的第k个方向的低频子代系数；da表示待融合的图像a在nsct分解下的低频系数，da表示待融合的图像b在nsct分解下的高频系数，j表示非下采样剪切波变换的分解尺度，j＝1,2,3
……
j，并且j为最大分解尺度，k表示在j分解尺度下的分解方向数，满足k＝2j；
[0016]
步骤三，采用高频系数和低频融合规则对带融合遥感影像的nsct分解系数和进行融合，得到融合后的系数；
[0017]
步骤四：对融合后的系数进行nsct逆变换，得到融合后的强度分量i
′
；
[0018]
步骤五：对将得到的强度分量i
′
与多光谱图像的h和s分量进行ihs逆变换，得到最终的融合图像。
[0019]
进一步，在步骤三中，低频系数融合采用高斯隶属度函数作为自适应加权函数，计算以(i,j)像素点为中心，邻域框采取3
×
3窗口区域进行计算，其数学表达式为：
[0020][0021]
η1(i,j)＝1-η0(i,j)
[0022]
式中：l(i,j)为低频子带系数；u和σ分别为一幅源图像的低频子带图像的均值和方差；k为高斯函数调整参数，是由控制变量法得到的极值作为经验值，取值为k＝0.8；
[0023]
因此，低频系数的融合规则为
[0024]
lf(i,j)＝η0(i,j)la(i,j)+η1(i,j)lb(i,j)
[0025]
式中：la(i,j)为图像a的低频子带系数；lb(i,j)为图像b的低频子带系数；lf(i,j)表示融合后的低频子带系数；
[0026]
所述高频系数融合采用改进的局部拉普拉斯能量sml和作为pcnn模型输入，所述sml定义为：
[0027][0028]
式中，(2m+1,2n+1)为窗口大小，ml
j,l
(x,y)表示离散形式的拉普拉斯算子，定义为：
[0029]
ml
j,l
(x,y)＝|2h
j,l
(x,y)-h
j,l
(x-s,y)-h
j,l
(x+s,y)|+|2h
j,l
(x,y)-h
j,l
(x,y-s)-h
j,l
(x,y+s)|
[0030]
其中，s为系数或像素间可变距离；
[0031]
对于m
×
n的图像块，改进的空间频率msf定义如下：
[0032][0033][0034][0035][0036]
对全色图像和i分量经nsct分解后的高频系数在整幅图像上分别计算其3
×
3领域的拉普拉斯能量和、改进的空间频率，分别作为pcnn的输入激励信号i
ij
(n)和链接强度β，通过比较pcnn的点火输出来确定融合后的高频系数，规则如下：
[0037][0038]
式中：da，db和df分别为全色图像、i分量图像和融合后图像的高频子带系数；ya，yb分别为2幅图像的点火输出。
[0039]
本发明产生的有益效果是：本发明既提高了影像空间分辨率，又能较好保持原有多光谱波段的光谱信息。
附图说明
[0040]
图1为基于nsct和pcnn的遥感影像融合流程图。
具体实施方式
[0041]
下面结合附图对本发明作进一步的说明。
[0042]
如图1所示，本发明是一种基于his、nsct和pcnn的遥感影像融合方法，包括以下步骤：
[0043]
步骤一，对即将融合的遥感影像进行地理配准，使得要融合的影像地理坐标系一致。
[0044]
步骤二，对已配准的将要融合的遥感影像a和b分别进行nsct不同尺度不同方向的分解，对要融合的遥感影像分别得到各自的nsct分解在不同尺度上和不同方向上的系数，得到nsct分解系数和
[0045]
式中，中，表示待融合的a遥感图像在第j个尺度分解下的第k个方向的nsct高频子代系数；公式中，表示待融合的b遥感图像在第j个尺度分解下的第k个方向的低频子代系数；da表示待融合的图像a在nsct分解下的低频系数，da表示待融合的图像b在nsct分解下的高频系数，j表示非下采样剪切波变换的分解尺度，j＝1,2,3
……
j，并且j为最大分解尺度，k表示在j分解尺度下的分解方向数，满足k＝2j。
[0046]
步骤三，采用高频系数和低频融合规则对带融合遥感影像的nsct分解系数和进行融合，得到融合后的系数。
[0047]
低频系数融合采用高斯隶属度函数作为自适应加权函数，计算以(i,j)像素点为中心，邻域框采取3
×
3窗口区域进行计算，其数学表达式为：
[0048][0049]
η1(i,j)＝1-η0(i,j)
[0050]
式中：l(i,j)为低频子带系数；u和σ分别为一幅源图像的低频子带图像的均值和方差；k为高斯函数调整参数，是由控制变量法得到的极值作为经验值，取值为k＝0.8；
[0051]
因此，低频系数的融合规则为
[0052]
lf(i,j)＝η0(i,j)la(i,j)+η1(i,j)lb(i,j)
[0053]
式中：la(i,j)为图像a的低频子带系数；lb(i,j)为图像b的低频子带系数；lf(i,j)表示融合后的低频子带系数。
[0054]
所述高频系数融合采用改进的局部拉普拉斯能量sml和作为pcnn模型输入，所述sml定义为：
[0055][0056]
式中，(2m+1,2n+1)为窗口大小，ml
j,l
(x,y)表示离散形式的拉普拉斯算子，定义为：
[0057]
ml
j,l
(x,y)＝|2h
j,l
(x,y)-h
j,l
(x-s,y)-h
j,l
(x+s,y)|+|2h
j,l
(x,y)-h
j,l
(x,y-s)-h
j,l
(x,y+s)|
[0058]
其中，s为系数或像素间可变距离。
[0059]
对于高频系数融合规则，图像的高频子带反映图像的细节信息，传统融合规则仅仅考虑到单个或区域像素特征，采用梯度，方差，绝对值最大和区域能量和等特征，往往损失了细节信息。为了更好的融合源图像的特征信息，基于pcnn模型进行高频系数融合。传统基于pcnn模型的融合规则，通常是将单个像素的灰度值作为反馈输入，并未考虑图像相邻像素间的相关性，且容易将噪声引入融合图像。局部拉普拉斯能量和(sml)表征了图像相邻像素之间的变化程度，可用来分析图像的边缘信息。本文采用高频系数的改进的局部拉普
拉斯能量和作为pcnn模型输入。sml定义为：
[0060][0061]
式中，(2m+1,2n+1)为窗口大小，ml
j,l
(x,y)表示离散形式的拉普拉斯算子，定义为
[0062]
ml
j,l
(x,y)＝|2h
j,l
(x,y)-h
j,l
(x-s,y)-h
j,l
(x+s,y)|+|2h
j,l
(x,y)-h
j,l
(x,y-s)-h
j,l
(x,y+s)|
[0063]
其中，s为系数或像素间可变距离。
[0064]
链接强度β反映系数间的变化，并能调整内部活动项中链接通道的权重和中心神经元的点火周期，通常在[0～1]之间取值，在图像融合过程中至关重要。传统的pcnn模型中通过经验和实验确定，对每个神经元取相同的β值，对于人眼视觉系统来说，将所有神经元的连接系数设置成同一数值是不合理的，一个实际神经元的连接系数应该和该神经元所处的环境有关，β值应随输入神经元的不同而有所变。
[0065]
一般选取像素的清晰度以自适应调整pcnn神经元的链接强度，如空间频率，方向信息，标准差等。据人类视觉系统特性可知，空间频率(sf)反映了图像局部区域特性和细节的信息，但原始的sf缺少图像中存在的方向信息，会导致图像重要细节的丢失。改进的空间频率(msf)在原始空间频率sf的基础上，除计算水平(rf)和垂直(cf)方向图像的梯度能量外，增加两个对角线(df)方向的梯度能量，可以更好地提取图像信息，并作为图像清晰度或活动能级的度量。本文采用改进的空间频率作为pcnn的链接强度。对于m
×
n的图像块，msf定义如下：
[0066][0067][0068][0069][0070]
对全色图像和i分量经nsct分解后的高频系数在整幅图像上分别计算其3
×
3领域的拉普拉斯能量和、改进的空间频率，分别作为pcnn的输入激励信号i
ij
(n)和链接强度β，通过比较pcnn的点火输出来确定融合后的高频系数，规则如下：
[0071][0072]
da，db和df分别为全色图像、i分量图像和融合后图像的高频子带系数；ya，yb分别为2幅图像的点火输出。
[0073]
步骤四：对融合后的系数进行nsct逆变换，得到融合后的强度分量i
′
；
[0074]
步骤五：对将得到的强度分量i
′
与多光谱图像的h和s分量进行ihs逆变换，得到最终的融合图像。
技术特征：1.一种基于his、nsct和pcnn的遥感影像融合方法，其特征在于，包括以下步骤：步骤一，对即将融合的遥感影像进行地理配准，使得要融合的影像地理坐标系一致；步骤二，对已配准的将要融合的遥感影像a和b分别进行nsct不同尺度不同方向的分解，对要融合的遥感影像分别得到各自的nsct分解在不同尺度上和不同方向上的系数，得到nsct分解系数和式中，中，表示待融合的a遥感图像在第j个尺度分解下的第k个方向的nsct高频子代系数；公式中，表示待融合的b遥感图像在第j个尺度分解下的第k个方向的低频子代系数；d
a
表示待融合的图像a在nsct分解下的低频系数，d
a
表示待融合的图像b在nsct分解下的高频系数，j表示非下采样剪切波变换的分解尺度，j＝1,2,3
……
j，并且j为最大分解尺度，k表示在j分解尺度下的分解方向数，满足k＝2
j
；步骤三，采用高频系数和低频融合规则对带融合遥感影像的nsct分解系数和进行融合，得到融合后的系数；步骤四：对融合后的系数进行nsct逆变换，得到融合后的强度分量i
′
；步骤五：对将得到的强度分量i
′
与多光谱图像的h和s分量进行ihs逆变换，得到最终的融合图像。2.根据权利要求1所述的一种基于his、nsct和pcnn的遥感影像融合方法，其特征在于：在步骤三中，低频系数融合采用高斯隶属度函数作为自适应加权函数，计算以(i,j)像素点为中心，邻域框采取3
×
3窗口区域进行计算，其数学表达式为：η1(i,j)＝1-η0(i,j)式中：l(i,j)为低频子带系数；u和σ分别为一幅源图像的低频子带图像的均值和方差；k为高斯函数调整参数，是由控制变量法得到的极值作为经验值，取值为k＝0.8；因此，低频系数的融合规则为l
f
(i,j)＝η0(i,j)l
a
(i,j)+η1(i,j)l
b
(i,j)式中：l
a
(i,j)为图像a的低频子带系数；l
b
(i,j)为图像b的低频子带系数；l
f
(i,j)表示融合后的低频子带系数；所述高频系数融合采用改进的局部拉普拉斯能量sml和作为pcnn模型输入，所述sml定义为：式中，(2m+1,2n+1)为窗口大小，ml
j,l
(x,y)表示离散形式的拉普拉斯算子，定义为：ml
j,l
(x,y)＝|2h
j,l
(x,y)-h
j,l
(x-s,y)-h
j,l
(x+s,y)|+|2h
j,l
(x,y)-h
j,l
(x,y-s)-h
j,l
(x,y+s)|其中，s为系数或像素间可变距离；对于m
×
n的图像块，改进的空间频率msf定义如下：
对全色图像和i分量经nsct分解后的高频系数在整幅图像上分别计算其3
×
3领域的拉普拉斯能量和、改进的空间频率，分别作为pcnn的输入激励信号i
ij
(n)和链接强度β，通过比较pcnn的点火输出来确定融合后的高频系数，规则如下：式中：d
a
，d
b
和d
f
分别为全色图像、i分量图像和融合后图像的高频子带系数；y
a
，y
b
分别为2幅图像的点火输出。
技术总结一种基于HIS、NSCT和PCNN的遥感影像融合方法，首先对即将融合的遥感影像进行地理配准，使得要融合的影像地理坐标系一致；再对已配准的将要融合的遥感影像A和B分别进行NSCT不同尺度不同方向的分解，对要融合的遥感影像分别得到各自的NSCT分解在不同尺度上和不同方向上的系数，得到NSCT分解系数和再采用高频系数和低频融合规则对带融合遥感影像的NSCT分解系数和进行融合，得到融合后的系数；再对融合后的系数进行NSCT逆变换，得到融合后的强度分量I
技术研发人员：张成才 刘林锋 刘威 杨峰 孙喜梅 罗蔚然 王永辉 姜明梁
受保护的技术使用者：郑州大学
技术研发日：2022.07.04
技术公布日：2022/11/1
