1.本发明涉及智能控制技术领域，尤其涉及一种基于截屏技术和模拟输入装置的远程监控系统及方法。
背景技术：2.在半导体制造业中，目前国内外的设备自动化联网通讯协议均基于国际半导体设备与材料协会(semi)制定的连接性标准sec/sgem协议，但是针对电子电路、pcb等行业没有集成sec/sgem协议的设备。
3.secs(semiconductor equipment communication standard，半导体设备通讯标准)/gem(generic equipment model，通用设备模型)是由国际半导体设备与材料协会(semi)制定的连接性标准协议。此连接性标准用于在设备和工厂的资讯和控制系统间建立通讯。secs是semi设备通讯标准的缩写。gem指semi连接性标准e30，被定义为制造设备实现通讯和控制的一般模型。一般来说，secs/gem标准定义了信息、状态机和情境，来让工厂软件能够控制并监视制造设备。
4.然而，由于secs/gem开发周期长、实施成本高，大部分的封装测试的设备厂商都不愿意实现secs/gem协议，同时大量的老旧设备由于技术限制(例如，无法加入网路连线的dos作业系统)，也无法进行任何的更新。目前的技术以截屏为主，最多只能做到部分的参数监视，无法做到控制。
技术实现要素：5.本发明的目的在于提供一种基于截屏技术和模拟输入装置的远程监控系统及方法，以解决上述技术背景中提出的问题，透过截屏技术和模拟输入装置，实现对设备主机的secs/gem远程管控。与其它实现方法最大的区别就是，本技术使用了模拟输入装置对设备主机进行操作。
6.为实现上述目的，本发明采用以下技术方案：
7.本技术第一个方面提供了一种基于截屏技术和模拟输入装置的远程监控方法，包括设备主机、远程监控端，以及分别与设备主机和远程监控端通信连接的模拟输入装置，其中，所述模拟输入装置为secs/gem协议转换器，所述方法包括：
8.s1，模拟输入装置透过vga/hdmi截屏技术，以预设周期读取设备主机的每个画面，通过ocr(optical character recognition，光学字符识别)技术读取每个画面预设参数位置的参数值；其中，每个参数值被配置有对应的secs/gem参数和事件，每个画面的预设参数位置都配置有跳转到其对应画面的模拟按键，每个模拟按键被配置有能处理的控制操作所对应的secs/gem控制命令；
9.s2，模拟输入装置将读取到的截屏画面、预设参数位置、参数值、以及预设参数位置所对应的模拟按键按照secs/gem通信协议进行转换，并将转换后的数据发送至远程监控端；
10.s3，模拟输入装置与远程监控端实时通信，接收远程监控端发送的secs/gem控制命令，触发所述设备主机切换至所述secs/gem控制命令对应的画面，从而实现对设备主机的远程控制。
11.优选地，所述方法还包括：所述模拟输入装置通过第一vga/hdmi接口读取设备主机的截屏画面。
12.优选地，所述方法还包括：所述模拟输入装置透过rs232/usb接口向所述设备主机实现模拟输出。
13.优选地，所述方法还包括：所述模拟输入装置还通过第二vga/hdmi接口将显示信号输出至设备显示器上进行显示。
14.优选地，每个参数值所对应的secs/gem参数和事件，包括、但不限于：
15.svid，参数(透过s1f3询问或是s6f11报告送出)；
16.event，事件(透过s6f11/s6f19送出)；
17.alarm，报警(透过s5f1/s5f3送出。
18.优选地，每个模拟按键能处理的控制操作所对应的secs/gem控制命令，包括、但不限于：
19.远程命令(透过s2f41/s2f49下达)；
20.配方选择。
21.本技术第二个方面提供了一种基于截屏技术和模拟输入装置的远程监控系统，包括：设备主机、远程监控端，以及分别与设备主机和远程监控端通信连接的模拟输入装置，所述模拟输入装置为secs/gem协议转换器；其中，
22.所述模拟输入装置，被配置为通过第一vga/hdmi接口读取设备主机的截屏画面，通过ocr技术读取每个画面预设参数位置的参数值，定义每个参数值与其对应的secs/gem参数和事件之间的关联关系，定义每个画面的预设参数位置与跳转到其对应画面的模拟按键的对应关系，以及定义每个模拟按键与能处理的控制操作所对应的secs/gem控制命令之间的对应关系；以及将截屏画面、预设参数位置、参数值、以及预设参数位置所对应的模拟按键按照secs/gem通信协议进行转换后发送至远程监控端；
23.所述远程监控端，与所述模拟输入装置进行secs/gem连接，被配置为通过所述模拟输入装置实时收集设备主机生产过程中的数据，用于实时监视半导体生产过程，以及向模拟输入装置发送secs/gem控制命令，通过模拟输入装置触发所述设备主机切换至所述secs/gem控制命令对应的画面，从而实现对设备主机的远程控制。
24.优选地，所述远程监控系统还包括：设备显示器，所述设备显示器连接至所述模拟输入装置的第二vga/hdmi接口上，用于显示所述模拟输入装置输出的显示信号。
25.本技术第三个方面提供了一种模拟输入装置，应用于半导体的设备主机和远程监控端之间的通信中，所述模拟输入装置包括：
26.第一接收模块，用于设定设备主机需要截取的画面及截屏周期，以及通过第一vga/hdmi接口接收按照截屏周期截取的截屏画面，所述截屏画面来自于设备主机；
27.第一处理模块，用于通过ocr技术读取每个截屏画面上预设参数位置的参数值；
28.关系定义模块，用于定义每个参数值与其对应的secs/gem参数和事件之间的关联关系，每个画面的预设参数位置与跳转到其对应画面的模拟按键的对应关系，以及每个模
拟按键与能处理的控制操作所对应的secs/gem控制命令之间的对应关系；
29.协议转换模块，用于将第一接收模块接收到的截屏画面、预设参数位置、参数值、以及预设参数位置所对应的模拟按键按照secs/gem通信协议进行转换；
30.第一发送模块，用于将协议转换模块转换后的数据发送至远程监控端；
31.第二接收模块，用于接收远程监控端发送的secs/gem控制命令；
32.第二发送模块，用于将secs/gem控制命令透过rs232/usb接口向设备主机模拟输出，触发所述设备主机切换至所述secs/gem控制命令对应的画面。
33.优选地，所述关系定义模块包括配置表，所述配置表中记载有每个参数值与其对应的secs/gem参数和事件之间的关联关系，每个画面的预设参数位置与跳转到其对应画面的模拟按键的对应关系，以及每个模拟按键与能处理的控制操作所对应的secs/gem控制命令之间的对应关系。
34.优选地，所述模拟输入装置还包括：第三发送模块，用于通过第二vga/hdmi接口将显示信号输出至设备显示器上进行显示。
35.优选地，所述模拟输入装置还包括：usb电源接口，用于与外接电源端口连接。
36.优选地，所述第一处理模块包括图像预处理单元、字符切分单元、特征提取识别单元和字符数据库；其中，
37.所述图像预处理单元，用于对所识别的截屏画面进行二值化处理，得到只有前景色与背景色的二值图像；
38.所述字符切分单元，用于对二值图像进行行、列字符切分，获得单个字符；
39.所述特征提取识别单元，用于对单个字符进行特征提取，将提取到的特征与字符特征库进行匹配，匹配成功则识别出字符。
40.与现有技术相比，本发明的技术方案具有以下有益效果：
41.1)本技术透过截屏技术和模拟输入装置，实现了设备主机的secs/gem远程管控。本技术与现有技术实现方法的最大区别在于：通过使用模拟输入装置，不仅实现了对设备主机在生产过程中的参数的实时监视，还通过模拟输入装置的模拟输入功能触发设备主机切换至控制命令对应的画面，实现了对设备主机的远程控制。
42.2)在传统的基于secs/gem解决方案中，半导体封装测试企业需要花费高额的代价请求设备厂商为设备开发标准的secs/gem通讯接口，研发周期长，研发成本高。本技术技术方案不仅支持新式机台设备，对于生产车间中大量旧式机台设备同样支持，解决了传统方案实施的局限性。
附图说明
43.构成本技术的一部分附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
44.图1是一种基于截屏技术和模拟输入装置的远程监控系统的结构框图；
45.图2是本技术实施例中设备主机的一个截屏画面的示例图。
具体实施方式
46.为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实例对本
发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
47.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序，应该理解这样使用的数据在适当情况下可以互换。此外，术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
48.实施例
49.图1为一种基于截屏技术和模拟输入装置的远程监控系统的结构框图。
50.如图1所示，一种基于截屏技术和模拟输入装置的远程监控系统，包括：设备主机、远程监控端，以及分别与设备主机和远程监控端通信连接的模拟输入装置，所述模拟输入装置为secs/gem协议转换器。
51.上述的模拟输入装置，被配置为通过第一vga/hdmi接口读取设备主机的截屏画面，通过ocr技术读取每个画面预设参数位置的参数值，定义每个参数值与其对应的secs/gem参数和事件之间的关联关系，定义每个画面的预设参数位置与跳转到其对应画面的模拟按键的对应关系，以及定义每个模拟按键与能处理的控制操作所对应的secs/gem控制命令之间的对应关系；以及将截屏画面、预设参数位置、参数值、以及预设参数位置所对应的模拟按键按照secs/gem通信协议进行转换后发送至远程监控端。
52.上述的远程监控端，与所述模拟输入装置进行secs/gem连接，被配置为通过所述模拟输入装置实时收集设备主机生产过程中的数据，用于实时监视半导体生产过程，以及向模拟输入装置发送secs/gem控制命令，通过模拟输入装置触发所述设备主机切换至所述secs/gem控制命令对应的画面，从而实现对设备主机的远程控制。
53.所述远程监控系统还包括：设备显示器，所述设备显示器连接至所述模拟输入装置的第二vga/hdmi接口上，用于显示所述模拟输入装置输出的显示信号。
54.基于上述的基于截屏技术和模拟输入装置的远程监控系统，其远程监控方法包括：
55.s1，模拟输入装置通过第一vga/hdmi接口与设备主机连接，模拟输入装置透过vga/hdmi截屏技术，以预设周期读取设备主机的每个画面，通过ocr(optical character recognition，光学字符识别)技术读取每个画面预设参数位置的参数值，同时记录需要转到该画面所需要的模拟按键。
56.参阅图2给出的截取画面的示例图，该图是一个设备主机的某一画面中的一页。一般地，设备主机的每一个画面对应着一个功能，但由于参数和设定过多，会存在多个页面。如图2所示，其中，该页面中例如x(μm)、y(μm)下方的数据就是参数值。
57.这里，设备主机的控制命令的输入是通过模拟输入装置的软件代码实现的，用于模拟键盘和鼠标的输入动作，模拟输入装置通过定义模拟按键与设备主机中跳转画面的对应关系，可以实现设备主机的画面切换。
58.例如，系统需要设备主机跳转到第五个画面的第二页找第6个参数，第6个参数就对应了一个预设参数位置，需要按f5跳转至第五个画面，然后再进行截屏操作，通过ocr技
术可以找到第6个参数所在位置的参数值，这样，在定义的配置表中可以定义第6个参数所在的画面＝f5+pgdown，即跳转到该画面所对应的模拟按键。
59.s2，每个参数值都被配置有对应的secs/gem参数和事件，每个画面的预设参数位置都配置有跳转到其对应画面的模拟按键，每个模拟按键被配置有能处理的控制操作所对应的secs/gem控制命令。这些配置关系都定义于模拟输入装置的配置表中。
60.其中，每个参数值所对应的secs/gem参数和事件，包括、但不限于：
61.svid，参数(透过s1f3询问或是s6f11报告送出)；
62.event，事件(透过s6f11/s6f19送出)；
63.alarm，报警(透过s5f1/s5f3送出。
64.其中，每个模拟按键能处理的控制操作所对应的secs/gem控制命令，包括、但不限于：
65.远程命令remotecommand(透过s2f41/s2f49下达)；
66.配方选择(这里主要针对没有配方管理的设备主机，透过s7f3下达后，去设定每一个参数)。
67.需要说明的是，配方是recipe的直译。recipe＝菜单，在半导体行业中，指的是生产产品的不同参数的设定和步骤。一台设备针对生产不同的产品有对应的配方。在新产品导入的时候，工艺工程师根据生产特性和设备的特性，定义相关产品的参数设定和步骤，调试完以后，这一组“数据“就会被当成集合存下来给予一定的名字，这里指为recipe(配方)。每一次生产不同产品时，需要在生产前定义并确认好可以用的配方。
68.s3，模拟输入装置将读取到的截屏画面、预设参数位置、参数值、以及预设参数位置所对应的模拟按键按照secs/gem通信协议进行转换，并将转换后的数据发送至远程监控端，用于远程监控端实时监视半导体的生产过程。
69.s4，模拟输入装置与远程监控端实时通信，接收远程监控端发送的secs/gem控制命令，并透过模拟输入装置的rs232/usb接口向所述设备主机实现模拟输出，触发所述设备主机切换至所述secs/gem控制命令对应的画面，从而实现对设备主机的远程控制。
70.在一种优选实施例中，所述模拟输入装置还通过第二vga/hdmi接口将显示信号输出至设备显示器上进行显示。
71.参阅图1所示，上述内容中，模拟输入装置secs/gem即协议转换器，实现了模拟输入功能，secs/gem协议转换器用usb线连接至设备主机的usb port，这时，secs/gem协议转换器就取代了鼠标和键盘的功能，相当于“手”，而vga/hdmi in是作为secs/gem协议转换器截屏的方式，相当于“眼”，根据“眼”看到的画面，可以截屏我们所需要的参数，然后透过“手”将设备主机的画面切换至下一个我们想用“眼”看到的画面，不断循环上述操作直到我们获取到想要的参数为止。secs/gem协议转换器的vga/hdmi out则是把显示信号传送给设备显示屏进行显示。
72.另一方面，本技术还公开了一种模拟输入装置，应用于半导体的设备主机和远程监控端之间的通信中。
73.例如，该模拟输入装置使用一个arm/risc-v作为secs/gem协议转换器的设计，其操作系统以linux为主，开发语言为python。
74.具体的，所述模拟输入装置包括：
75.第一接收模块，用于设定设备主机需要截取的画面及截屏周期，以及通过第一vga/hdmi接口接收按照截屏周期截取的截屏画面，所述截屏画面来自于设备主机；
76.第一处理模块，用于通过ocr技术读取每个截屏画面上预设参数位置的参数值；
77.关系定义模块，用于定义每个参数值与其对应的secs/gem参数和事件之间的关联关系，每个画面的预设参数位置与跳转到其对应画面的模拟按键的对应关系，以及每个模拟按键与能处理的控制操作所对应的secs/gem控制命令之间的对应关系；
78.协议转换模块，用于将第一接收模块接收到的截屏画面、预设参数位置、参数值、以及预设参数位置所对应的模拟按键按照secs/gem通信协议进行转换；
79.第一发送模块，用于将协议转换模块转换后的数据发送至远程监控端；
80.第二接收模块，用于接收远程监控端发送的secs/gem控制命令；
81.第二发送模块，用于将secs/gem控制命令透过rs232/usb接口向设备主机模拟输出，触发所述设备主机切换至所述secs/gem控制命令对应的画面。
82.在一种优选实施例中，所述关系定义模块包括配置表，所述配置表中记载有每个参数值与其对应的secs/gem参数和事件之间的关联关系，每个画面的预设参数位置与跳转到其对应画面的模拟按键的对应关系，以及每个模拟按键与能处理的控制操作所对应的secs/gem控制命令之间的对应关系。
83.在一种优选实施例中，所述模拟输入装置还包括：第三发送模块，用于通过第二vga/hdmi接口将显示信号输出至设备显示器上进行显示。
84.在一种优选实施例中，所述模拟输入装置还包括：usb电源接口，用于与外接电源端口连接。
85.在一种优选实施例中，所述第一处理模块包括图像预处理单元、字符切分单元、特征提取识别单元和字符数据库。其中，所述图像预处理单元，用于对所识别的截屏画面进行二值化处理，得到只有前景色与背景色的二值图像；所述字符切分单元，用于对二值图像进行行、列字符切分，获得单个字符；所述特征提取识别单元，用于对单个字符进行特征提取，将提取到的特征与字符特征库进行匹配，匹配成功则识别出字符。
86.综上所述，本技术通过使用模拟输入装置，不仅实现了对设备主机在生产过程中的参数的实时监视，还通过模拟输入装置的模拟输入功能触发设备主机切换至控制命令对应的画面，实现了对设备主机的远程控制。本技术技术方案不仅支持新式机台设备，对于生产车间中大量旧式机台设备同样支持，解决了传统方案实施的局限性。
87.以上对本发明的具体实施例进行了详细描述，但其只是作为范例，本发明并不限制于以上描述的具体实施例。对于本领域技术人员而言，任何对本发明进行的等同修改和替代也都在本发明的范畴之中。因此，在不脱离本发明的精神和范围下所作的均等变换和修改，都应涵盖在本发明的范围内。
技术特征：1.一种基于截屏技术和模拟输入装置的远程监控方法，其特征在于，包括设备主机、远程监控端，以及分别与设备主机和远程监控端通信连接的模拟输入装置，其中，所述模拟输入装置为secs/gem协议转换器，所述方法包括：s1，模拟输入装置透过vga/hdmi截屏技术，以预设周期读取设备主机的每个画面，通过ocr技术读取每个画面预设参数位置的参数值；其中，每个参数值被配置有对应的secs/gem参数和事件，每个画面的预设参数位置都配置有跳转到其对应画面的模拟按键，每个模拟按键被配置有能处理的控制操作所对应的secs/gem控制命令；s2，模拟输入装置将读取到的截屏画面、预设参数位置、参数值、以及预设参数位置所对应的模拟按键按照secs/gem通信协议进行转换，并将转换后的数据发送至远程监控端；s3，模拟输入装置与远程监控端实时通信，接收远程监控端发送的secs/gem控制命令，触发所述设备主机切换至所述secs/gem控制命令对应的画面，从而实现对设备主机的远程控制。2.根据权利要求1所述的一种基于截屏技术和模拟输入装置的远程监控方法，其特征在于，所述方法还包括：所述模拟输入装置通过第一vga/hdmi接口读取设备主机的截屏画面。3.根据权利要求1所述的一种基于截屏技术和模拟输入装置的远程监控方法，其特征在于，所述方法还包括：所述模拟输入装置透过rs232/usb接口向所述设备主机实现模拟输出。4.根据权利要求1所述的一种基于截屏技术和模拟输入装置的远程监控方法，其特征在于，所述方法还包括：所述模拟输入装置还通过第二vga/hdmi接口将显示信号输出至设备显示器上进行显示。5.一种基于截屏技术和模拟输入装置的远程监控系统，其特征在于，包括：设备主机、远程监控端，以及分别与设备主机和远程监控端通信连接的模拟输入装置，所述模拟输入装置为secs/gem协议转换器；其中，所述模拟输入装置，被配置为通过第一vga/hdmi接口读取设备主机的截屏画面，通过ocr技术读取每个画面预设参数位置的参数值，定义每个参数值与其对应的secs/gem参数和事件之间的关联关系，定义每个画面的预设参数位置与跳转到其对应画面的模拟按键的对应关系，以及定义每个模拟按键与能处理的控制操作所对应的secs/gem控制命令之间的对应关系；以及将截屏画面、预设参数位置、参数值、以及预设参数位置所对应的模拟按键按照secs/gem通信协议进行转换后发送至远程监控端；所述远程监控端，与所述模拟输入装置进行secs/gem连接，被配置为通过所述模拟输入装置实时收集设备主机生产过程中的数据，用于实时监视半导体生产过程，以及向模拟输入装置发送secs/gem控制命令，通过模拟输入装置触发所述设备主机切换至所述secs/gem控制命令对应的画面，从而实现对设备主机的远程控制。6.根据权利要求5所述的一种基于截屏技术和模拟输入装置的远程监控系统，其特征在于，还包括：设备显示器，所述设备显示器连接至所述模拟输入装置的第二vga/hdmi接口上，用于显示所述模拟输入装置输出的显示信号。7.一种模拟输入装置，应用于半导体的设备主机和远程监控端之间的通信中，其特征在于，所述模拟输入装置包括：
第一接收模块，用于设定设备主机需要截取的画面及截屏周期，以及通过第一vga/hdmi接口接收按照截屏周期截取的截屏画面，所述截屏画面来自于设备主机；第一处理模块，用于通过ocr技术读取每个截屏画面上预设参数位置的参数值；关系定义模块，用于定义每个参数值与其对应的secs/gem参数和事件之间的关联关系，每个画面的预设参数位置与跳转到其对应画面的模拟按键的对应关系，以及每个模拟按键与能处理的控制操作所对应的secs/gem控制命令之间的对应关系；协议转换模块，用于将第一接收模块接收到的截屏画面、预设参数位置、参数值、以及预设参数位置所对应的模拟按键按照secs/gem通信协议进行转换；第一发送模块，用于将协议转换模块转换后的数据发送至远程监控端；第二接收模块，用于接收远程监控端发送的secs/gem控制命令；第二发送模块，用于将secs/gem控制命令透过rs232/usb接口向设备主机模拟输出，触发所述设备主机切换至所述secs/gem控制命令对应的画面。8.根据权利要求7所述的一种模拟输入装置，其特征在于，所述关系定义模块包括配置表，所述配置表中记载有每个参数值与其对应的secs/gem参数和事件之间的关联关系，每个画面的预设参数位置与跳转到其对应画面的模拟按键的对应关系，以及每个模拟按键与能处理的控制操作所对应的secs/gem控制命令之间的对应关系。9.根据权利要求7所述的一种模拟输入装置，其特征在于，还包括：第三发送模块和usb电源接口；其中，所述第三发送模块用于通过第二vga/hdmi接口将显示信号输出至设备显示器上进行显示；所述usb电源接口，用于与外接电源端口连接。10.根据权利要求7所述的一种模拟输入装置，其特征在于，所述第一处理模块包括图像预处理单元、字符切分单元、特征提取识别单元和字符数据库；其中，所述图像预处理单元，用于对所识别的截屏画面进行二值化处理，得到只有前景色与背景色的二值图像；所述字符切分单元，用于对二值图像进行行、列字符切分，获得单个字符；所述特征提取识别单元，用于对单个字符进行特征提取，将提取到的特征与字符特征库进行匹配，匹配成功则识别出字符。
技术总结本申请公开了一种基于截屏技术和模拟输入装置的远程监控系统及方法，所述系统包括设备主机、远程监控端，以及分别与设备主机和远程监控端通信连接的模拟输入装置，所述模拟输入装置为SECS/GEM协议转换器。本申请通过使用截屏技术和模拟输入装置，不仅实现了对设备主机在生产过程中的参数的实时监视，还通过模拟输入装置的模拟输入功能触发设备主机切换至控制命令对应的画面，实现了对设备主机的远程控制。本申请技术方案不仅支持新式机台设备，对于生产车间中大量旧式机台设备同样支持，解决了传统方案实施的局限性。决了传统方案实施的局限性。决了传统方案实施的局限性。
技术研发人员：陈远明 刘用文 吕建更
受保护的技术使用者：上海轩田工业设备有限公司
技术研发日：2022.07.04
技术公布日：2022/11/1
