1.本技术涉及工业物联网应用领域，具体涉及一种用于物联网终端设备的数据高效采集传输方法。
背景技术：2.在工业物联网领域，大量工业现场设备通过良好的控制可以实现不同类别的功能，以生产出实际需要的优良产品。然而，在工业研发、生产、制造以及后续的全流程中会运行大量实时数据，由于工业现场设备的安全性不能够直接联网，这些运行数据也就无法被传输至服务器中，这就会造成大量数据价值不能充分挖掘，从而使资源浪费。
3.目前国内工业数据采集主要有以下两种方式：
4.(1)有线数据采集。工业现场各种设备的运行数据采集，主要是由现场总线、工业以太网、工业光纤网络等工业通讯网络与上位机进行连接，以完成工厂设备的数据采集，可分为3类，主要包括传感器、变送器、采集器等特殊的采集装置；对常用的plc，嵌入式系统，ipc等进行数据采集；完成机器人，数控机床，agv等特殊智能仪器的数据采集。其主要根据其对机床、机器人等设备的现场数据进行采集，包括机床、机器人、原材料、在制品、成品、工艺、质量等过程数据、温度、湿度等环境数据、现场工人操作数据(如单次操作时间)等作业数据。该方式虽然高效采集数据，但大量数据仍存储在本地上位机中，不同厂房、工厂中的数据无法互联互通，不能统一被传输至服务器，无法为后期决策提供依据。
5.(2)无线数据采集。涉及远距离传输的数据采集主要通过工业物联网(4g、5g、lte专网、nb-iot、zigbee等)来远程访问工厂中的数据采集设备，其智能采集设备通常采用dtu、数据采集网关等方式采集数据。主要收集智能产品或设备运行时的重要指标，如工作电流，电压，功率消耗，电池电量，内部资源消耗，通信状态，通信流量等。该方式虽然可以将大量数据统一传输至服务器中，但由于本地设备不同接口的不统一，数据的采集和传输过程是单一的，不兼容的，不安全的。
6.第一种方式采集的数据大都通过监督每个上位机的人员后期统计汇总，而第二种方式采集和传输的数据是网络直接访问数据采集设备，这两种传统方法存在相当大的弊端，人工统计科学依据不牢靠、统计结果不精确、极易出错，网络直接访问采集不安全、易泄露、易被攻击，后续也无法扩展为更加智能化的制造设备。
技术实现要素：7.本发明的目的在于，提供一种用于物联网终端设备的数据高效采集传输方法，能够解决传统工业现场设备数据联网不安全，不同本地设备运行数据采集过程中的不统一、规避数据传输错误，检测数据的健康状态，从而有效解决工业现场设备数据的高效采集和传输问题。
8.本发明采取的技术方案是：一种用于物联网终端设备的数据高效采集传输方法，包括如下步骤：
9.s1：根据采集数据的设备种类选定工业现场设备的采集模式，并进行工业现场原始数据的采集，采集到的原始数据采用表格文件的形式存至上位机；
10.s2：对原始数据采用anti-occupancy方法进行预处理，防止要读取的原始数据文件被其它设备占用，保证文件的实时可读；
11.s3：将系统日期与原始数据文件的日期进行比较，若不一致则更正系统日期并重新执行s3；若一致则对最新的原始数据进行检测，检测最新的原始数据是否已经传输，若已传输则定时后重新检测，定时的时间间隔为t；将检测好的原始数据进行格式统一，并采用crc-16/xmodem方法对统一好格式的原始数据进行校验，得到对应的校验值；
12.s4：采用ctfie协议对校验好的数据进行封装，所述ctfie协议包括前缀prefix、包体长度packet_length、扩展位extension_bit、健康检测位healthytest_bit、节点号node_id、消息数目message_num、消息类型message_type、传感器号sensor_id、数据统一后数据集data、校验位check_bit和后缀suffix；将封装好的数据通过无线通信设备传输至解析服务器中，进行健康检测和数据解析；对健康的数据包解除封装并存储至服务器中，对不健康的数据包判断工业现场出现的故障类型，并将健康检测的结果反馈给服务器。
13.进一步地，所述步骤s1中采集模式通过参数m指定，m为自定义的设备来源或已定义过现场设备。
14.进一步地，所述步骤s1中的表格文件格式为.xls、.xlsx或.csv。
15.进一步地，所述步骤s2中采用anti-occupancy方法进行数据预处理的具体方法为：在同一文件夹下生成另外一个与原始数据文件的格式和内容均相同的缓存数据文件，在步骤s3和s4需要读取原始数据时只缓存数据文件；当新的实时数据文件输入时，缓存文件也同样被新的数据文件覆盖。
16.进一步地，所述步骤s3中将原始数据进行格式统一方法包括dunity统一法、nunity统一法和funity统一法，统一后的数据为4位十六进制数；
17.所述dunity统一法，是对所有位数不超过2的小数乘以位数化整、对所有位数大于2的小数乘以100并向下取整，再将化整后的整数转化为4位十六进制数，转化后不足4位则在前面补0；
18.所述nunity统一法，是对负数取绝对值，再将取绝对值后的整数转化为4位十六进制数，，转化后不足4位则在前面补0，然后将最高位的0变为1；
19.所述funity统一法，是直接将正数转化为4位十六进制数，转化后不足4位则在前面补0。
20.进一步地，所述步骤s3中采用crc-16/xmodem方法对统一好格式的原始数据进行校验值计算的多项式为x
16
+x
12
+x5+x0，其中x
16
代表bit16为1、x
12
代表bit12为1、x5代表bit5为1、x0代表bit1为1，x
16
+x
12
+x5+x0即代表多项式为0x11021。
21.进一步地，所述步骤s4中的健康检测结果包括四种状态，分别是healthy、runerror、peopleerror和equipmenterror；healthy表示接收到的数据包中数据为正常数据，runerror表示接收到的数据包中数据为异常数据，异常状态为系统运行故障，peopleerror表示接收到的数据包中数据为异常数据，异常状态为人为因素故障，equipmenterror表示接收到的数据包中数据为异常数据，异常状态为无线通信设备故障。
22.本发明的有益效果在于：
23.(1)运用本发明所述的数据高效采集传输方法，工业现场设备可以实时将本地数据上传至任意配置的服务器，解决了国内目前由于安全和技术不兼容等因素，造成大量工业设备未能联网，大量工业设备运行数据未能高效上传云端的问题。
24.(2)本发明使用采集模式、定时、ctfie协议对不同数据进行处理和检测，可以用一种方法同时采集工业现场的不同设备接口和仪器数据、依据工厂原有设备和仪器的数据运行时间来定时采集传输并根据数据包的健康状态判断工业现场数据采集故障并进行反馈；实现了工业现场设备数据的实时采集、实时传输、实时反馈，解决了目前其他方法的不统一、不灵活、无采集过程健康检测和反馈的问题；因此，本发明所述的方法具有可定制、实用性强、准确度高、稳定可靠、高效等优点。
附图说明
25.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
26.图1为本发明实施例的方法流程图。
具体实施方式
27.为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例的限制。
28.除非另作定义，此处使用的技术术语或者科学术语应当为本技术所述领域内具有一般技能的人士所理解的通常意义。本专利申请说明书以及权利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”或者“一”等类似词语也不表示数量限制，而是表示存在至少一个。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也相应地改变。
29.如图1所示，一种用于物联网终端设备的数据高效采集传输方法，包括如下步骤：
30.s1：根据采集数据的设备种类选定工业现场设备的采集模式，并进行工业现场原始数据的采集，采集到的原始数据采用表格文件的形式存至上位机。所述采集模式通过参数m指定，m为自定义的设备来源或已定义过的现场设备，设备来源可以是应用的传感器设备、生产控制仪器等，m的种类和取值由工厂的设备或仪器决定，如m＝”均温炉上位机”、m＝”窑炉上位机”等。当本地原始数据产生时，将产生的原始数据发送至该上位机，选择不同的采集模式，采集数据时则会将该上位机收到的原始数据以不同表格文件存储，表格文件格式为.xls、.xlsx或.csv，表格文件的内容为不同采集模式在不同时间下对应的数据内容。在本发明实施例中，所述上位机包括但不限于使用windows、ios、linux系统的本地pc端。
31.s2：对原始数据采用anti-occupancy方法进行预处理，防止要读取的原始数据文件被其它设备占用，保证文件的实时可读，提高数据的提取速度；具体方法为：在同一文件夹下生成另外一个与原始数据文件的格式和内容均相同的缓存数据文件，在步骤s3和s4需要读取原始数据时只缓存数据文件；当新的实时数据文件输入时，缓存文件也同样被新的数据文件覆盖。
32.s3：将系统日期与原始数据文件的日期进行比较，所述系统日期是指采用本发明实施例所述的方法开发设计的软件系统日期。若系统日期与原始数据文件的日期不一致，则更正系统日期并重新执行s3；若系统日期与原始数据文件的日期一致，则对最新的原始数据进行检测，检测最新的原始数据是否已经传输。若已传输则定时后重新检测，定时的时间间隔为t，t应小于原始数据定时发送至该上位机的时间间隔，防止在新数据来之前还未能重新检测。在本发明实施例中，t设定为原始数据定时发送至该上位机时间间隔的十分之一。
33.将检测好的原始数据进行格式统一，数据格式统一的方法包括dunity统一法、nunity统一法和funity统一法，统一后的数据为4位十六进制数。该数据格式统一法可以使工业现场采集到的各种杂乱小数、负数和正数数据，在数据封装过程中统一以4位16进制数的长度依次向后添加，在复杂多变的工厂各种设备的数据中，既容易计算封装后数据包的长度，也方便校验，从而使后期数据传输更加高效。所述dunity统一法，是对所有位数不超过2的小数乘以位数化整、对所有位数大于2的小数乘以100并向下取整，再将化整后的整数转化为4位十六进制数，转化后不足4位则在前面补0；所述nunity统一法，是对负数取绝对值，再将取绝对值后的整数转化为4位十六进制数，，转化后不足4位则在前面补0，然后将最高位的0变为1；所述funity统一法，是直接将正数转化为4位十六进制数，转化后不足4位则在前面补0。
34.统一后的数据采用crc-16/xmodem方法进行校验，得到对应的校验值。crc-16/xm odem方法可以捕捉到所有的单位差错和双位差错、所有奇数位数的差错、所有长度小于等于16bit的突发差错、99.997％的长度为17bit的突发差错以及99.998％的长度为18bit或多于18bit的突发差错。校验值计算的多项式为x
16
+x
12
+x5+x0，其中x
16
代表bit16为1、x
12
代表bit12为1、x5代表bit5为1、x0代表bit1为1，x
16
+x
12
+x5+x0即代表多项式为0x11021，由于该多项式的最高位的1总是与被除数的最高位1异或得0，故略去计算只采用0x1021。通过crc-16/xmodem方法可对统一后的数据进行计算，得到的四位数的校验值并进行高低位对换，例如4500ffffffff0d55060201a2000b0b60000011eb0000的校验值为0049，4500fffffff1955060201a600000014000a0028000a001e000a0028000a003c000a6的校验值为5427。
35.s4：采用ctfie协议对校验好的数据进行封装，相比于其他封装方法，ctfie协议在数据传输过程中更加安全、高效，同时也对数据的健康程度做出了判断。所述ctfie协议包括前缀prefix、包体长度packet_length、扩展位extension_bit、健康检测位healthytest_bit、节点号node_id、消息数目message_num、消息类型message_type、传感器号sensor_id、数据统一后数据集data、校验位check_bit和后缀suffix。所述采集模式、定时、ctfie协议均可以自行进行参数配置，各模块参数的具体含义如表1所示。
[0036][0037]
本发明实施例中，prefix＝7e4500ffffffff；packet_length＝0d；extension_bit＝55；healthytest_bit＝06；node_id＝02；massage_num＝01；message_type＝a2；sensor_id＝000b；data＝0b60000011eb0000；check_bit＝0499；suffix＝7e。
[0038]
将封装好的数据通过无线通信设备传输至解析服务器中，进行健康检测和数据解析。首先解析healthytest_bit，若为healthy则解析check_bit，若正确则将数据包解除封装并存储至服务器中，若不正确则丢弃。若不为healthy，则判断工业现场出现了哪种故障，并将健康检测的结果反馈给服务器。所述无线通信设备包括但不限于4g模块、5g模块、nb-iot、lora等设备。所述健康检测包括四种状态，分别是healthy、runerror、peopleerror和equipmenterror；healthy对应healthytest_bit＝06、runerror对应healthytest_bit＝00、peopleerror对应healthytest_bit＝66和equipmenterror对应healthytest_bit＝60；healthy表示接收到的数据包中数据为正常数据，runerror表示接收到的数据包中数据为异常数据，异常状态为系统运行故障，peopleerror表示接收到的数据包中数据为异常数据，异常状态为人为因素故障，equipmenterror表示接收到的数据包中数据为异常数据，异常状态为无线通信设备故障。所述判断工业现场出现了哪种故障，即在工业现场数据采集过程出现故障时会封装对应健康状态的数据包自动发送至解析服务器。
[0039]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
技术特征：1.一种用于物联网终端设备的数据高效采集传输方法，其特征在于，包括如下步骤：s1：根据采集数据的设备种类选定工业现场设备的采集模式，并进行工业现场原始数据的采集，采集到的原始数据采用表格文件的形式存至上位机；s2：对原始数据采用anti-occupancy方法进行预处理，防止要读取的原始数据文件被其它设备占用，保证文件的实时可读；s3：将系统日期与原始数据文件的日期进行比较，若不一致则更正系统日期并重新执行s3；若一致则对最新的原始数据进行检测，检测最新的原始数据是否已经传输，若已传输则定时后重新检测，定时的时间间隔为t；将检测好的原始数据进行格式统一，并采用crc-16/xmodem方法对统一好格式的原始数据进行校验，得到对应的校验值；s4：采用ctfie协议对校验好的数据进行封装，所述ctfie协议包括前缀prefix、包体长度packet_length、扩展位extension_bit、健康检测位healthytest_bit、节点号node_id、消息数目message_num、消息类型message_type、传感器号sensor_id、数据统一后数据集data、校验位check_bit和后缀suffix；将封装好的数据通过无线通信设备传输至解析服务器进行数据解析，并将正确的数据存储至服务器中，同时对数据进行健康检测，判断工业现场是否存在故障，并将健康检测的实时数据反馈给服务器。2.根据权利要求1所述的一种用于物联网终端设备的数据高效采集传输方法，其特征在于，所述步骤s1中采集模式通过参数m指定，m为自定义的设备来源或已定义过现场设备。3.根据权利要求1所述的一种用于物联网终端设备的数据高效采集传输方法，其特征在于，所述步骤s1中的表格文件格式为.xls、.xlsx或.csv。4.根据权利要求1所述的一种用于物联网终端设备的数据高效采集传输方法，其特征在于，所述步骤s2中采用anti-occupancy方法进行数据预处理的具体方法为：在同一文件夹下生成另外一个与原始数据文件的格式和内容均相同的缓存数据文件，在步骤s3和s4需要读取原始数据时只缓存数据文件；当新的实时数据文件输入时，缓存文件也同样被新的数据文件覆盖。5.根据权利要求1所述的一种用于物联网终端设备的数据高效采集传输方法，其特征在于，所述步骤s3中将原始数据进行格式统一方法包括dunity统一法、nunity统一法和funity统一法，统一后的数据为4位十六进制数；所述dunity统一法，是对所有位数不超过2的小数乘以位数化整、对所有位数大于2的小数乘以100并向下取整，再将化整后的整数转化为4位十六进制数，转化后不足4位则在前面补0；所述nunity统一法，是对负数取绝对值，再将取绝对值后的整数转化为4位十六进制数，，转化后不足4位则在前面补0，然后将最高位的0变为1；所述funity统一法，是直接将正数转化为4位十六进制数，转化后不足4位则在前面补0。6.根据权利要求1所述的一种用于物联网终端设备的数据高效采集传输方法，其特征在于，所述步骤s3中采用crc-16/xmodem方法对统一好格式的原始数据进行校验值计算的多项式为x
16
+x
12
+x5+x0，其中x
16
代表bit16为1、x
12
代表bit12为1、x5代表bit5为1、x0代表bit1为1，x
16
+x
12
+x5+x0即代表多项式为0x11021。7.根据权利要求1所述的一种用于物联网终端设备的数据高效采集传输方法，其特征
在于，所述步骤s4中的健康检测结果包括四种状态，分别是healthy、runerror、peopleerror和equipmenterror；healthy表示接收到的数据包中数据为正常数据，runerror表示接收到的数据包中数据为异常数据，异常状态为系统运行故障，peopleerror表示接收到的数据包中数据为异常数据，异常状态为人为因素故障，equipmenterror表示接收到的数据包中数据为异常数据，异常状态为无线通信设备故障。
技术总结本申请涉及一种用于物联网终端设备的数据高效采集传输方法，包括如下步骤：S1：选定数据采集模式，进行数据采集并存储至上位机；S2：对数据进行预处理，防止数据被其它占用；S3：将系统日期与原始数据文件的日期进行比较，若不一致则更正系统日期并重新执行S3；若一致则对最新的原始数据进行格式统一，并计算校验值；S4：对校验好的数据进行封装，并将封装好的数据通过无线通信设备传输至解析服务器进行健康检测和数据解析，判断工业现场是否存在故障。本发明可实现工业现场设备数据的实时采集、实时传输、实时反馈，具有可定制、实用性强、准确度高、稳定可靠、高效等优点。高效等优点。高效等优点。
技术研发人员：蔡海多 陈利明 刘长虹 刘继辉 邵晨育 杨丰玉 杨志勇
受保护的技术使用者：南昌航空大学
技术研发日：2022.07.10
技术公布日：2022/11/1
