1.本发明涉及海域数据测量领域,尤其是涉及一种海洋气象锚碇浮标数据集研制方法。
背景技术:2.锚碇浮标是海基观测系统的重要组成部分,可长期稳定监测重点海域气象要素、水文信息的变化情况。我国渤海、黄海和东海等近海区域已建设多部锚碇浮标,但从未进行数据整合,基于中国近海锚碇浮标气象要素观测数据,通过优化质控方法,完善质控环节,改进我国锚碇浮标质量控制算法,形成中国近海锚碇浮标标准数据集,改变我国海洋气象近海标准数据集缺失的现状,为后续海洋气象数据的开发应用提供标准。
3.锚碇浮标观测数据包括气温、气压、风速和能见度等气象要素和海温等水文要素的小时观测数据,两者原理存在差异,故需制定不同的质控方案。
技术实现要素:4.本发明的目的是为了解决现有技术锚碇浮标数据存在未分级的缺陷,提供一种海洋气象锚碇浮标数据集研制方法。
5.为了实现上述目的,本发明采用的技术方案如下:
6.一种海洋气象锚碇浮标数据集研制方法,包括如下步骤:
7.s1.气象要素质量控制;
8.s2.水文要素质量控制;
9.其中,s1.气象要素质量控制包括:
10.s11.缺测检查;
11.s12.气候学界限值检查;
12.s13.气候极值检查;
13.s14.内部一致性检查;
14.s15.时间一致性检查;
15.s16.人工勘误;
16.s2.水文要素质量控制包括:
17.s21.数据预处理;
18.s22.数据合理性检查;
19.s23.内部一致性检查;
20.s24.贝叶斯一致性检查。
21.进一步,s11.缺测检查:
22.检查观测数据是否为缺测数据,未通过缺测检查时,相应质控码为“8”,缺测数据不再进行后续检查。
23.进一步,s12.气候学界限值检查:
24.检查数据是否超出其从气候学角度上不可能超出的气象要素临界值。气候界限值检查结果为:正确或错误,相应的质控码为“0”或“2”,错误数据不再进行后续检查。
25.进一步,s13.气候极值检查:
26.在指定的海域和时域范围内,根据历史气候统计值对数据进行气候极值检查。气候极值检查结果为:正确或可疑,相应质控码为“0”或“1”,可疑数据保留,进一步进行质控。
27.进一步,s14.内部一致性检查:
28.检查同一时间观测的气象要素记录之间的关系是否符合一定的物理联系,主要是同类要素之间的内部一致性检查。内部一致性检查结果为:正确或可疑,相应质控码为“0”或“1”,可疑数据保留,进一步进行质控。
29.进一步,s15.时间一致性检查:
30.检查气象记录在一定时间范围内的变化是否具有特定规律,气象要素的变化都具有一定的规律,出现跳变或者长时间不变都可能出现异常,需要进行最大允许变化速率检查和最小应该变化速率检查。
31.进一步,s16.人工勘误:
32.人工勘误检查结果为:正确或错误,相应质控码为“0”或“2”。
33.进一步,s21.数据预处理:
34.数据采集传输过程中,遇到多次补传数据的情况会造成数据重复,预处理中将经度或者纬度相差一定距离,且在相近时间内的同源数据视为重复数据,对于一系列重复数据中,基于海表温度差异情况保留队列中数据或者删除队列中所有重复数据。
35.进一步,s22.数据合理性检查:
36.对于锚碇浮标数据中出现的经纬度、海温超出有效范围的错误数据,以及海温值出现在陆地站点的情况进行合理性检查,设定合理的经纬度、海表温度合理范围,剔除不合理数据,并且将定位不合理的数据删除,数据合理性检查结果为:正确或错误,相应的质控码为“0”或“2”,错误数据不再进行后续检查。
37.进一步,s23.内部一致性检查:
38.检查连续海表温度数据序列中出现的峰值,将判断其在时间或空间变化梯度合理性,海表温度变化梯度合理性检查中设定海表温度在时空上的最大变化梯度值,考虑到仪器噪声引起的连续记录之间存在的正常波动,针对不同海域设定不同阈值,以此剔除异常值,内部一致性检查结果为:正确或错误,相应的质控码为“0”或“2”,错误数据不再进行后续检查;
39.s24.贝叶斯一致性检查:
40.使用基于贝叶斯理论的客观质量控制方法,将卫星遥感海表温度资料经最优插值法处理后得到的高分辨率海表温度分析产品作为背景场,计算海温误差的概率密度,基于经验、敏感度分析设置相关参数,得到贝叶斯区间估计,删除落区外的数据,贝叶斯一致性检查结果为:正确或错误,相应的质控码为“0”或“2”。
41.本发明的有益效果为:该方法的气象要素质控模块用于对锚碇浮标的气象数据进行质控,水文要素质控模块用于对锚碇浮标海温数据进行质控,对错误数据、可疑数据等质量较差的数据进行合理判识,对判识结果进行分类分级标识,根据需求制定文件组织方式输出锚碇浮标数据集,对锚碇浮标数据进行分级应用,满足了不同级别的应用需求,提高了
数据在不同需求下的应用效益。
附图说明
42.图1为本发明气象要素质量控制的流程示意图;
43.图2为本发明水文要素质量控制的流程示意图;
44.图3为北方海域站点质控前的气温时序图;
45.图4为北方海域站点质控后的气温时序图;
46.图5为北方海域站点质控前的气压时序图;
47.图6为北方海域站点质控后的气压时序图。
具体实施方式
48.如图1,图2所示,一种海洋气象锚碇浮标数据集研制方法,包括如下步骤:
49.s1.气象要素质量控制;
50.s2.水文要素质量控制;
51.其中,s1.气象要素质量控制包括:
52.s11.缺测检查;
53.s12.气候学界限值检查;
54.s13.气候极值检查;
55.s14.内部一致性检查;
56.s15.时间一致性检查;
57.s16.人工勘误;
58.s2.水文要素质量控制包括:
59.s21.数据预处理;
60.s22.数据合理性检查;
61.s23.内部一致性检查;
62.s24.贝叶斯一致性检查。
63.首先,定义质量控制码,锚碇浮标数据进行质量控制后,需要对不同质量的数据进行标识,以满足不同使用需求,因此首先定义质量控制码。
64.质量控制码及其含义具体如下表:
65.质量控制码含义0正确1可疑2错误8缺测
66.其中,s11.缺测检查:
67.检查观测数据是否为缺测数据,未通过缺测检查时,相应质控码为“8”,缺测数据不再进行后续检查。
68.进一步,s12.气候学界限值检查:
69.确定气候学界限值:分析我国锚碇浮标海洋气象要素的气候学特征,结合锚碇浮
标行业标准、功能规格需求书、设计原理及设备性能,确定锚碇浮标的气候学界限值。
70.检查数据是否超出其从气候学角度上不可能超出的气象要素临界值。气候界限值检查结果为:正确或错误,相应的质控码为“0”或“2”,错误数据不再进行后续检查。
71.进一步,s13.气候极值检查:
72.确定气候极值:将我国近海海域根据渤海、黄海、东海、南海进行划分,再按照春(3-5月)、夏(6-8月)、秋(9-11月)、冬(12-次年2月)进行季节分类,分别统计2016-2020年气温、气压、风速和能见度等气象要素的历史气候极值;
73.气候极值检查是在指定的海域和时域范围内,根据历史气候统计值对数据进行气候极值检查。气候极值检查结果为:正确或可疑,相应质控码为“0”或“1”,可疑数据保留,进一步进行质控。
74.进一步,s14.内部一致性检查:
75.检查同一时间观测的气象要素记录之间的关系是否符合一定的物理联系,主要是同类要素之间的内部一致性检查。内部一致性检查结果为:正确或可疑,相应质控码为“0”或“1”,可疑数据保留,进一步进行质控。
76.各要素内部一致性算法列表如下:
[0077][0078]
进一步,s15.时间一致性检查:
[0079]
时间一致性检查是指气象记录在一定时间范围内的变化是否具有特定规律的检查。气温、气压等气象要素的变化都具有一定的规律,出现跳变或者长时间不变都可能出现异常,进行最大允许变化速率检查和最小应该变化速率检查。
[0080]
(1)气象要素的最大允许变化速率
[0081]
检查当前观测值与前一个值的差,是否小于规定的最大允许变化速率。在极端天气条件下,气象变量可能会发生不同寻常的变化,这种情况下,正确的数据也有可能大于等于规定的最大允许变化速率,再作进一步验证。
[0082]
(2)气象要素的最小应该变化速率检查
[0083]
观测值的示值更新周期为1h,规定气象观测值的“最小应该变化速率”,由于锚碇浮标数据集数据为小时历史数据,且存在小时内分钟数据变化、小时整点数据不变的情况,故创新性提出最小应该变化速率检查依次检查当前观测值与前一个值的差、当前观测值与后一个值的差、前观测值与前三个值的差的判识方法,以上三次检查均不通过则认为未通过检查。
[0084]
时间一致性检查结果为:正确或可疑,相应质控码为0或1,可疑数据保留,进一步进行质控。
[0085]
进一步,s16.人工勘误:
[0086]
如图3,图4,图5,图6所示,为了提高锚碇浮标正确率,需对质控结果进行人工勘误。锚碇浮标需要定期检修,因此会存在较长时间缺测,因此当锚碇浮标重新布放以后,需对观测数据进行人工勘误,以判识初始数据质量,便于开展后续质控;极端天气条件下,气象变量变化速率有可能大于等于规定的最大允许变化速率,需对观测数据进行人工勘误;
[0087]
人工勘误检查结果为:正确或错误,相应质控码为“0”或“2”。
[0088]
进一步,s21.数据预处理:
[0089]
数据采集传输过程中,遇到多次补传数据的情况会造成数据重复,预处理中将经度或者纬度相差一定距离,且在相近时间内的同源数据视为重复数据,对于一系列重复数据中,基于海表温度差异情况保留队列中数据或者删除队列中所有重复数据。
[0090]
进一步,s22.数据合理性检查:
[0091]
对于锚碇浮标数据中出现的经纬度、海温超出有效范围的错误数据,以及海温值出现在陆地站点的情况进行合理性检查,设定合理的经纬度、海表温度合理范围,剔除不合理数据,并且将定位不合理(如陆地站点出现海表温度测量值)的数据删除,数据合理性检查结果为:正确或错误,相应的质控码为“0”或“2”,错误数据不再进行后续检查。
[0092]
进一步,s23.内部一致性检查:
[0093]
检查连续海表温度数据序列中出现的峰值,将判断其在时间或空间变化梯度合理性,海表温度变化梯度合理性检查中设定海表温度在时空上的最大变化梯度值,考虑到仪器噪声引起的连续记录之间存在的正常波动,针对不同海域设定不同阈值,以此剔除异常值,内部一致性检查结果为:正确或错误,相应的质控码为“0”或“2”,错误数据不再进行后续检查。
[0094]
s24.贝叶斯一致性检查:
[0095]
使用基于贝叶斯理论的客观质量控制方法,将卫星遥感海表温度资料经最优插值法处理后得到的高分辨率海表温度分析产品作为背景场,计算海温误差的概率密度,基于经验、敏感度分析设置相关参数,得到贝叶斯区间估计,删除落区外的数据,贝叶斯一致性检查结果为:正确或错误,相应的质控码为“0”或“2”。
[0096]
将锚碇浮标观测数据进行质量控制并标示正确的质控码以后,根据需求制定数据集结构与文件组织方式,形成我国海洋气象锚碇浮标数据集实体文件,并根据数据集内容制作相应的数据集说明文档、数据集台站信息文件、格式说明文件和元数据文档。
[0097]
其中,数据集内容包括:
[0098]
数据集中全部数据都放在实体文件中,每个月一个要素所有站点的观测数据及相应的数据质量控制码为一个文件,文件命名为“ocen_moored_chn_ftm-xxx-yyyymm.txt”,其中“xxx”为要素代码,“yyyy”为年份,“mm”为月份。
[0099]
要素代码xxx说明:tem表示气温,win表示风向风速,prs表示气压,vis表示能见度,sst表示海温。
[0100]
数据集结构包括:
[0101]
数据集包含datasets、description、documents、metadata四个文件夹,其中:
[0102]
a)datasets存放数据集实体文件,下设tem(气温)、win(风向风速)、prs(气压)、vis(能见度)、sst(海温)五个子目录,分别存放各要素数据集实体。
[0103]
b)description存放数据集说明文档。
[0104]
c)documents存放数据集台站信息文件、格式说明文件。
[0105]
d)metadata存放元数据文档。
[0106]
数据集实体文件组织方式如下:
[0107][0108]
综上所述,该方法的气象要素质控模块用于对锚碇浮标的气象数据进行质控,水文要素质控模块用于对锚碇浮标海温数据进行质控,对错误数据、可疑数据等质量较差的数据进行合理判识,对判识结果进行分类分级标识,根据需求制定文件组织方式输出锚碇浮标数据集,对锚碇浮标数据进行分级应用,满足了不同级别的应用需求,提高了数据在不同需求下的应用效益。
[0109]
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是本发明的原理,在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。
技术特征:1.一种海洋气象锚碇浮标数据集研制方法,其特征在于,包括如下步骤:s1.气象要素质量控制;s2.水文要素质量控制;其中,所述s1.气象要素质量控制包括:s11.缺测检查;s12.气候学界限值检查;s13.气候极值检查;s14.内部一致性检查;s15.时间一致性检查;s16.人工勘误;所述s2.水文要素质量控制包括:s21.数据预处理;s22.数据合理性检查;s23.内部一致性检查;s24.贝叶斯一致性检查。2.根据权利要求1所述的一种海洋气象锚碇浮标数据集研制方法,其特征在于,所述s11.缺测检查:检查观测数据是否为缺测数据,未通过缺测检查时,相应质控码为“8”,缺测数据不再进行后续检查。3.根据权利要求1所述的一种海洋气象锚碇浮标数据集研制方法,其特征在于,所述s12.气候学界限值检查:检查数据是否超出其从气候学角度上不可能超出的气象要素临界值。气候界限值检查结果为:正确或错误,相应的质控码为“0”或“2”,错误数据不再进行后续检查。4.根据权利要求1所述的一种海洋气象锚碇浮标数据集研制方法,其特征在于,所述s13.气候极值检查:在指定的海域和时域范围内,根据历史气候统计值对数据进行气候极值检查。气候极值检查结果为:正确或可疑,相应质控码为“0”或“1”,可疑数据保留,进一步进行质控。5.根据权利要求1所述的一种海洋气象锚碇浮标数据集研制方法,其特征在于,所述s14.内部一致性检查:检查同一时间观测的气象要素记录之间的关系是否符合一定的物理联系,主要是同类要素之间的内部一致性检查。内部一致性检查结果为:正确或可疑,相应质控码为“0”或“1”,可疑数据保留,进一步进行质控。6.根据权利要求1所述的一种海洋气象锚碇浮标数据集研制方法,其特征在于,所述s15.时间一致性检查:检查气象记录在一定时间范围内的变化是否具有特定规律,气象要素的变化都具有一定的规律,出现跳变或者长时间不变都可能出现异常,需要进行最大允许变化速率检查和最小应该变化速率检查。7.根据权利要求1所述的一种海洋气象锚碇浮标数据集研制方法,其特征在于,所述s16.人工勘误:
人工勘误检查结果为:正确或错误,相应质控码为“0”或“2”。8.根据权利要求1所述的一种海洋气象锚碇浮标数据集研制方法,其特征在于,所述s21.数据预处理:数据采集传输过程中,遇到多次补传数据的情况会造成数据重复,预处理中将经度或者纬度相差一定距离,且在相近时间内的同源数据视为重复数据,对于一系列重复数据中,基于海表温度差异情况保留队列中数据或者删除队列中所有重复数据。9.根据权利要求1所述的一种海洋气象锚碇浮标数据集研制方法,其特征在于,所述s22.数据合理性检查:对于锚碇浮标数据中出现的经纬度、海温超出有效范围的错误数据,以及海温值出现在陆地站点的情况进行合理性检查,设定合理的经纬度、海表温度合理范围,剔除不合理数据,并且将定位不合理的数据删除,数据合理性检查结果为:正确或错误,相应的质控码为“0”或“2”,错误数据不再进行后续检查。10.根据权利要求1所述的一种海洋气象锚碇浮标数据集研制方法,其特征在于,所述s23.内部一致性检查:检查连续海表温度数据序列中出现的峰值,将判断其在时间或空间变化梯度合理性,海表温度变化梯度合理性检查中设定海表温度在时空上的最大变化梯度值,考虑到仪器噪声引起的连续记录之间存在的正常波动,针对不同海域设定不同阈值,以此剔除异常值,内部一致性检查结果为:正确或错误,相应的质控码为“0”或“2”,错误数据不再进行后续检查;所述s24.贝叶斯一致性检查:使用基于贝叶斯理论的客观质量控制方法,将卫星遥感海表温度资料经最优插值法处理后得到的高分辨率海表温度分析产品作为背景场,计算海温误差的概率密度,基于经验、敏感度分析设置相关参数,得到贝叶斯区间估计,删除落区外的数据,贝叶斯一致性检查结果为:正确或错误,相应的质控码为“0”或“2”。
技术总结本发明涉及海域数据测量领域,具体公开了一种海洋气象锚碇浮标数据集研制方法,其包括如下步骤:S1.气象要素质量控制;S2.水文要素质量控制;其中,S1.气象要素质量控制包括:S11.缺测检查;S12.气候学界限值检查;S13.气候极值检查;S14.内部一致性检查;S15.时间一致性检查;S16.人工勘误;S2.水文要素质量控制包括:S21.数据预处理;S22.数据合理性检查;S23.内部一致性检查;S24.贝叶斯一致性检查。该方法的气象要素质控模块用于对锚碇浮标的气象数据进行质控,水文要素质控模块用于对锚碇浮标海温数据进行质控,对错误数据、可疑数据等质量较差的数据进行合理判识,对判识结果进行分类分级标识,满足了不同级别的应用需求,提高了数据在不同需求下的应用效益。提高了数据在不同需求下的应用效益。提高了数据在不同需求下的应用效益。
技术研发人员:李肖霞 李凤 雷勇 张雨潇 刘圆 张志龙 李哲
受保护的技术使用者:中国气象局气象探测中心
技术研发日:2022.06.22
技术公布日:2022/11/1