基于马氏距离和稀疏矩阵的libs煤质灰分预测方法
技术领域
1.本发明涉及基于马氏距离和稀疏矩阵的libs煤质灰分预测方法，属于煤质灰分检测技术领域。
背景技术：2.煤质灰分的快速检测有利于煤炭资源的清洁高效利用，激光诱导击穿光谱(laser-induced breakdown spectroscopy，libs)具有无需制样或简单制样、快速检测、多元素同时分析等优点，在煤的灰分检测中具有很大的应用潜力。
3.目前对于libs煤灰分检测中对于基体效应和光谱异常值处理常用的方法是，通过多次测量数据的平均消除异常数据的影响，但均值处理只能削弱异常值的干扰，且次数过多会增加测量的成本和时间。通常光谱去噪算法也可用于实现光谱的基线校正，如小波变换法、多项式拟合法、中值滤波法等，但这些基线校正算法原理都较为复杂，计算量大，且受到参数影响较大。
技术实现要素：4.本发明的目的在于克服现有技术中的不足，提供基于马氏距离和稀疏矩阵的libs煤质灰分预测方法，通过使用马氏距离进行异常数据剔除后，再结合基于稀疏矩阵技术的基线估计与降噪算法进行谱图降噪处理，可以有效去除光谱中的噪声和异常值。
5.为达到上述目的，本发明是采用下述技术方案实现的：
6.第一方面，本发明提供了基于马氏距离和稀疏矩阵的libs煤质灰分预测方法，包括：
7.获取煤样的libs光谱数据集；
8.以马氏距离作为异常值剔除算法，删除libs光谱数据集中发生突变的数据点，得到剔除异常值后的libs光谱数据集；
9.采用基于稀疏矩阵技术的基线估计与降噪算法，对剔除异常值后的libs光谱数据集进行基线校正处理，得到去噪后的libs光谱数据集；
10.基于去噪后的libs光谱数据集优化plsr/svr参数后，建立灰分预测模型；
11.基于灰分预测模型进行煤质灰分预测。
12.进一步的，所述马氏距离计算公式如下：
[0013][0014]
式中，d为各次激发光谱与样品平均光谱的马氏距离；y为单次激发的光谱数据矩阵；μ为参考光谱平均值；σ为参考光谱的协方差矩阵。
[0015]
进一步的，所述稀疏矩阵技术的基线估计与降噪算法将剔除异常值后的libs光谱数据集分解为三种贡献：
[0016]
y＝[y1,y1,
…
,yn]＝c+b+e
[0017]
式中，y为单次激发的光谱数据矩阵；yn为n次激发的光谱数据；c、b、e为参考了稀
疏矩阵技术的基线估计与降噪算法计算得到的稀疏光谱图、基线向量和噪声向量。
[0018]
进一步的，所述煤样的libs光谱数据集由煤样经预处理并压制成型后，利用激光诱导击穿光谱仪对所述煤样进行光谱数据采集得到。
[0019]
进一步的，基于去噪后的libs光谱数据集优化plsr/svr参数后，建立灰分预测模型，包括：提取光谱中与灰分含量相关的元素的特征谱峰，并按照随机分配的原则划分训练集和预测集，对训练集样本采用偏最小二乘或支持向量机进行学习和参数优化，建立灰分预测模型。
[0020]
第二方面，本发明提供了基于马氏距离和稀疏矩阵的libs煤质灰分预测系统，包括：
[0021]
数据接收模块：用于获取煤样的libs光谱数据集；
[0022]
光谱异常值剔除模块：用于以马氏距离作为异常值剔除算法，删除libs光谱数据集中发生突变的数据点，得到剔除异常值后的libs光谱数据集；
[0023]
光谱去噪模块：用于采用基于稀疏矩阵技术的基线估计与降噪算法，对剔除异常值后的libs光谱数据集进行基线校正处理，得到去噪后的libs光谱数据集；
[0024]
建模模块：用于基于去噪后的libs光谱数据集优化plsr/svr参数后，建立灰分预测模型；
[0025]
预测模块：用于基于灰分预测模型进行煤质灰分预测。
[0026]
第三方面，本发明提供了基于马氏距离和稀疏矩阵的libs煤质灰分预测装置，包括处理器及存储介质；
[0027]
所述存储介质用于存储指令；
[0028]
所述处理器用于根据所述指令进行操作以执行根据上述任一项所述方法的步骤。
[0029]
第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述方法的步骤。
[0030]
与现有技术相比，本发明所达到的有益效果：
[0031]
本发明将通过使用马氏距离进行异常数据剔除后，再结合基于稀疏矩阵技术的基线估计与降噪算法进行谱图降噪处理，可以有效去除光谱中的噪声和异常值，再采用偏最小二乘(plsr)或支持向量机(svr)进行灰分估算，为libs煤质灰分快速检测提出一种全新的技术方案。
附图说明
[0032]
图1是本发明实施例一提供的煤质灰分预测流程图；
[0033]
图2是本发明实施例一提供的煤样异常数据剔除前后各谱线强度的相对标准偏差的对比图；
[0034]
图3是本发明实施例一提供的煤样光谱经beads基线校正前后的对比图；
[0035]
图4是本发明实施例一提供的基于原始数据的plsr灰分预测效果；
[0036]
图5是本发明实施例一提供的基于数据处理后数据的plsr灰分预测效果；
[0037]
图6是本发明实施例一提供的基于原始数据的svr灰分预测效果；
[0038]
图7是本发明实施例一提供的基于原始数据的svr灰分预测效果。
具体实施方式
[0039]
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0040]
实施例一：
[0041]
基于马氏距离和稀疏矩阵的libs煤质灰分预测方法，本方案实施例的主要目的在于提出一种解决libs技术在测量煤中灰分含量的高精度预测模型，以消除libs光谱基体效应、随机噪声等的影干扰，该模型可实现libs用于现场煤质分析的高精度预测。为实现上述目的，本方案提供了一种基于马氏距离和稀疏矩阵技术的异常值剔除和谱图去噪算法，结合plsr或svr建立煤质灰分定量分析模型，整体技术方案的流程如下：
[0042]
1)将现场采集的煤样简单预处理并压制成煤饼；
[0043]
2)设置激光功率、采样延迟和采样次数，启动libs光谱仪，获得煤样的libs光谱数据集；
[0044]
3)光谱异常值剔除：以马氏距离(mahalanobis distance，md)作为异常值剔除算法，删除发生突变的数据点，得到代表煤样的光谱数据集。
[0045]
马氏距离计算公式如下：
[0046][0047]
式中，d为各次激发光谱与样品平均光谱的马氏距离；y为单次激发的光谱数据矩阵；μ为参考光谱平均值，本实验以自身多次激发的光谱为参考；σ为参考光谱的协方差矩阵。
[0048]
4)光谱去噪：通过马氏距离剔除异常值后，光谱数据仍然存在较大噪声，采用基于稀疏矩阵技术的基线估计与降噪算法(baseline estimation ans denoising using sparsity，beads)对libs光谱进行基线校正处理。beads算法将信号y同时分解为三种贡献：
[0049]
y＝[y1,y1,
…
,yn]＝c+b+e
[0050]
其中，yn为n次激发的光谱数据，c、b、e参考了beads计算得到的稀疏光谱图、基线向量和噪声向量，它们依赖于一组工作参数p。工作参数p是指截止频率(fc，由基线和其他贡献之间的边界构成)、不对称(r,惩罚负值)和正则化参数(λ0，λ1和λ2，控制向量c的稀疏性)。另一个参数是振幅(a)，它乘以正则化参数；因此，正则化参数实际上是a
×
λi，这使得λi参数之间的比率与它们的大小无关。beads计算系统提供的结果的质量在很大程度上取决于工作参数的正确选择，特别是截止频率，它对返回基线有重大影响。
[0051]
5)plsr或svr参数优化：去噪后的数据集用于plsr或svr参数优化，
[0052]
6)plsr或svr建模：利用优化后的plsr或svr参数建立灰分预测模型；
[0053]
7)煤质灰分预测。
[0054]
libs煤质灰分预测算法流程如图1所示，选取煤样libs数据共200组，前140组数据用于初始模型的建立，后60组数据进行验证及模型。图2是煤样异常数据剔除前后各谱线强度的相对标准偏差的对比，图3是煤样光谱经beads基线校正前后的对比。图4和图5分别为基于原始数据和基于数据处理后数据的plsr灰分预测效果。图6和图7分别为基于原始数据和基于数据处理后数据的svr灰分预测效果。
[0055]
本方案的关键包括基于马氏距离和稀疏矩阵的libs光谱数据异常值剔除和谱图
降噪技术，以及基于偏最小二乘和支持向量机的煤质灰分预测模型，欲保护点也分为这两个方面。
[0056]
本方案涉及一种提高libs测量煤的灰分准确度的方法。煤样经预处理并压制成型，利用激光诱导击穿光谱仪对所述煤样进行光谱数据采集；利用马氏距离进行异常数据剔除，结合基于稀疏矩阵技术的基线估计与降噪算法进行谱图降噪处理；提取光谱中与灰分含量相关的元素的特征谱峰，并按照随机分配的原则划分训练集和预测集；对训练集样本采用偏最小二乘或支持向量机进行学习和参数优化；建立灰分预测模型。本方案对于采用libs进行煤的灰分含量检测时，简单样品预处理造成的基体效应的影响，有效去除光谱中的噪声和异常值，提高谱线强度的稳定性，大大提高检测的准确度。
[0057]
实施例二：
[0058]
基于马氏距离和稀疏矩阵的libs煤质灰分预测系统，可实现实施例一所述的基于马氏距离和稀疏矩阵的libs煤质灰分预测方法，包括：
[0059]
数据接收模块：用于获取煤样的libs光谱数据集；
[0060]
光谱异常值剔除模块：用于以马氏距离作为异常值剔除算法，删除libs光谱数据集中发生突变的数据点，得到剔除异常值后的libs光谱数据集；
[0061]
光谱去噪模块：用于采用基于稀疏矩阵技术的基线估计与降噪算法，对剔除异常值后的libs光谱数据集进行基线校正处理，得到去噪后的libs光谱数据集；
[0062]
建模模块：用于基于去噪后的libs光谱数据集优化plsr/svr参数后，建立灰分预测模型；
[0063]
预测模块：用于基于灰分预测模型进行煤质灰分预测。
[0064]
实施例三：
[0065]
本发明实施例还提供了基于马氏距离和稀疏矩阵的libs煤质灰分预测装置，可实现实施例一所述的基于马氏距离和稀疏矩阵的libs煤质灰分预测方法，包括处理器及存储介质；
[0066]
所述存储介质用于存储指令；
[0067]
所述处理器用于根据所述指令进行操作以执行下述方法的步骤：
[0068]
获取煤样的libs光谱数据集；
[0069]
以马氏距离作为异常值剔除算法，删除libs光谱数据集中发生突变的数据点，得到剔除异常值后的libs光谱数据集；
[0070]
采用基于稀疏矩阵技术的基线估计与降噪算法，对剔除异常值后的libs光谱数据集进行基线校正处理，得到去噪后的libs光谱数据集；
[0071]
基于去噪后的libs光谱数据集优化plsr/svr参数后，建立灰分预测模型；
[0072]
基于灰分预测模型进行煤质灰分预测。
[0073]
实施例四：
[0074]
本发明实施例还提供了一种计算机可读存储介质，可实现实施例一所述的基于马氏距离和稀疏矩阵的libs煤质灰分预测方法，其上存储有计算机程序，该程序被处理器执行时实现下述方法的步骤：
[0075]
获取煤样的libs光谱数据集；
[0076]
以马氏距离作为异常值剔除算法，删除libs光谱数据集中发生突变的数据点，得
到剔除异常值后的libs光谱数据集；
[0077]
采用基于稀疏矩阵技术的基线估计与降噪算法，对剔除异常值后的libs光谱数据集进行基线校正处理，得到去噪后的libs光谱数据集；
[0078]
基于去噪后的libs光谱数据集优化plsr/svr参数后，建立灰分预测模型；
[0079]
基于灰分预测模型进行煤质灰分预测。
[0080]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0081]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0082]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0083]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0084]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
技术特征：1.基于马氏距离和稀疏矩阵的libs煤质灰分预测方法，其特征是，包括：获取煤样的libs光谱数据集；以马氏距离作为异常值剔除算法，删除libs光谱数据集中发生突变的数据点，得到剔除异常值后的libs光谱数据集；采用基于稀疏矩阵技术的基线估计与降噪算法，对剔除异常值后的libs光谱数据集进行基线校正处理，得到去噪后的libs光谱数据集；基于去噪后的libs光谱数据集优化plsr/svr参数后，建立灰分预测模型；基于灰分预测模型进行煤质灰分预测。2.根据权利要求1所述的基于马氏距离和稀疏矩阵的libs煤质灰分预测方法，其特征是，所述马氏距离计算公式如下：式中，d为各次激发光谱与样品平均光谱的马氏距离；y为单次激发的光谱数据矩阵；μ为参考光谱平均值；σ为参考光谱的协方差矩阵。3.根据权利要求1所述的基于马氏距离和稀疏矩阵的libs煤质灰分预测方法，其特征是，所述稀疏矩阵技术的基线估计与降噪算法将剔除异常值后的libs光谱数据集分解为三种贡献：y＝[y1,y1,
…
,y
n
]＝c+b+e式中，y为单次激发的光谱数据矩阵；y
n
为n次激发的光谱数据；c、b、e为参考了稀疏矩阵技术的基线估计与降噪算法计算得到的稀疏光谱图、基线向量和噪声向量。4.根据权利要求1所述的基于马氏距离和稀疏矩阵的libs煤质灰分预测方法，其特征是，所述煤样的libs光谱数据集由煤样经预处理并压制成型后，利用激光诱导击穿光谱仪对所述煤样进行光谱数据采集得到。5.根据权利要求1所述的基于马氏距离和稀疏矩阵的libs煤质灰分预测方法，其特征是，基于去噪后的libs光谱数据集优化plsr/svr参数后，建立灰分预测模型，包括：提取光谱中与灰分含量相关的元素的特征谱峰，并按照随机分配的原则划分训练集和预测集，对训练集样本采用偏最小二乘或支持向量机进行学习和参数优化，建立灰分预测模型。6.基于马氏距离和稀疏矩阵的libs煤质灰分预测系统，其特征是，包括：数据接收模块：用于获取煤样的libs光谱数据集；光谱异常值剔除模块：用于以马氏距离作为异常值剔除算法，删除libs光谱数据集中发生突变的数据点，得到剔除异常值后的libs光谱数据集；光谱去噪模块：用于采用基于稀疏矩阵技术的基线估计与降噪算法，对剔除异常值后的libs光谱数据集进行基线校正处理，得到去噪后的libs光谱数据集；建模模块：用于基于去噪后的libs光谱数据集优化plsr/svr参数后，建立灰分预测模型；预测模块：用于基于灰分预测模型进行煤质灰分预测。7.基于马氏距离和稀疏矩阵的libs煤质灰分预测装置，其特征是，包括处理器及存储介质；所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1～5任一项所述方法的步骤。8.计算机可读存储介质，其上存储有计算机程序，其特征是，该程序被处理器执行时实现权利要求1～5任一项所述方法的步骤。
技术总结本发明公开了煤质灰分检测技术领域的基于马氏距离和稀疏矩阵的LIBS煤质灰分预测方法，包括：获取煤样的LIBS光谱数据集；以马氏距离作为异常值剔除算法，删除LIBS光谱数据集中发生突变的数据点，得到剔除异常值后的LIBS光谱数据集；采用基于稀疏矩阵技术的基线估计与降噪算法，对剔除异常值后的LIBS光谱数据集进行基线校正处理，得到去噪后的LIBS光谱数据集；基于去噪后的LIBS光谱数据集优化PLSR/SVR参数后，建立灰分预测模型；基于灰分预测模型进行煤质灰分预测。本发明通过使用马氏距离进行异常数据剔除后，再结合基于稀疏矩阵技术的基线估计与降噪算法进行谱图降噪处理，可以有效去除光谱中的噪声和异常值。效去除光谱中的噪声和异常值。效去除光谱中的噪声和异常值。
技术研发人员：李盛冬 许斐 韦祎 茌方 倪明辉 李燕
受保护的技术使用者：南京理工大学
技术研发日：2022.07.13
技术公布日：2022/11/1
