1.本公开涉及存储领域,具体涉及一种固态硬盘、图像存储设备和远程图像处理配置方法。
背景技术:2.固态硬盘是常见的存储数据的存储介质,由于其读写速度快、低功耗等性能,被广泛应用在车载、工控或者视频监控中,特别是在需要数据读写速度要求较高的图像或者视频存储中,固态硬盘的应用较多。常见的固态硬盘将闪存(flash)作为存储单元的类型较多,通常由主控芯片、缓存芯片和闪存芯片组成。
3.然而,在面对高端装备制造中的多场景,综合应用工业机器人、移动agv等开展有效性验证中,对延迟时间的要求越来越高,在后续的数据处理中,如果通过读取固态硬盘中的数据进行处理后再反馈给本地进行工业现场控制,往往无法满足实时性要求。有些研究也提出过感存算一体的解决方案,但是感存算一体的解决方案往往只能应用到数据处理量较小的应用场景,对于图像处理等数据处理量较大且存储容量要求较大的情况暂时无法直接适配使用。
技术实现要素:4.本公开提供一种固态硬盘、图像存储设备和远程图像处理配置方法,能够解决对延迟时间要求较高的场景中,如果通过读取固态硬盘中的数据进行处理后再反馈给本地进行工业现场控制,往往无法满足实时性要求的问题。
5.为解决上述技术问题,本公开提供如下技术方案:
6.作为本公开实施例的一个方面,提供一种固态硬盘,包括:
7.闪存单元;
8.可配置单元,与所述闪存单元连接,用于被配置为处理待存储到闪存单元的待存储数据;
9.处理单元,与所述闪存单元和可配置单元连接,用于接收可配置单元的配置信息并配置所述可配置单元,并控制待存储到闪存单元的待存储数据在可配置单元中的处理。
10.可选地,所述固态硬盘还包括无线收发单元,所述无线收发单元与所述处理单元连接,用于接收和发送所述可配置单元的配置信息。
11.可选地,所述可配置单元被进一步配置为:接收处理单元指令获取待存储数据,将待存储数据按照配置信息所配置的方式处理所述待存储数据得到存储数据,将存储数据存储到处理单元指令所指示的闪存单元中的存储位置。
12.可选地,所述处理单元包括主控制器和闪存控制器,所述主控制器与无线收发单元和所述可配置单元连接,所述闪存控制器与所述闪存单元连接;
13.和/或,所述处理单元还包括接口控制器,所述接口控制器连接固态硬盘接口和可配置单元以实现可配置单元对待存储到闪存单元的数据的读取,所述接口控制器被配置为
通过固态硬盘接口直接读取闪存单元中存储位置的存储数据;
14.和/或,所述处理单元还包括缓存控制器,所述缓存控制器连接动态随机存取存储器以实现待存储数据和存储数据在读取和写入时的缓存。
15.作为本公开实施例的另一个方面,提供一种图像存储设备,包括上述的固态硬盘和编解码器,所述编解码器与所述处理单元和所述可配置单元连接,所述编解码器用于将接收的图像数据或视频数据转换为待存储数据。
16.可选地,所述图像存储设备还包括与所述编解码器连接的用于获取图像或视频的图像获取模块。
17.可选地,所述图像存储设备还包括与所述固态硬盘的无线收发单元连接的服务器,所述服务器用于生成所述配置信息。
18.可选地,所述服务器生成所述配置信息具体为:根据图像数据或视频数据的获取场景生成对图像数据或视频数据进行预处理的最佳方式,将所述预处理的最佳方式转换为可配置单元的配置信息,将所述配置信息发送至所述固态硬盘。
19.作为本公开实施例的另一个方面,提供一种远程图像处理配置方法,包括如下步骤:
20.根据图像数据或视频数据的获取场景生成对图像数据或视频数据进行预处理的最佳方式;
21.将所述预处理的最佳方式转换为可配置单元的配置信息,将所述配置信息发送至处理单元;
22.所述处理单元控制所述配置信息配置到可配置单元;
23.获取图像数据或视频数据,并将所述图像数据或视频数据转换为待存储数据;
24.控制待存储到闪存单元的待存储数据在可配置单元中的处理得到存储数据;
25.根据处理单元指令将所述存储数据存储到闪存单元。
26.可选地,根据图像数据或视频数据的获取场景生成对图像数据或视频数据进行预处理的最佳方式,具体包括如下步骤:
27.获取场景分辨率、帧率和光感参数;
28.将场景分辨率、帧率和光感参数作为遗传算法的输入;
29.将遗传算法输出的最优解作为预处理的最佳方式。
30.本公开的有益效果是:通过配置可配置单元的方式实现对待存储数据的预处理,将预处理后的存储数据存储到闪存单元,这样能够减少数据的读取次数的同时实现数据的预处理,减少了处理时间和读取存储次数,在数据进行存储前即完成了预处理并同时进行了存储,减少了延迟时间,能够满足对延迟时间的要求高的多场景识别和控制的实时性要求。
附图说明
31.图1为本公开实施例中的固态硬盘示意框图;
32.图2为本公开实施例中具有无线收发单元的固态硬盘示意框图;
33.图3为本公开实施例中具有固态硬盘接口的固态硬盘示意框图;
34.图4为本公开实施例中编解码器位于图像存储设备内的固态硬盘示意框图;
35.图5为本公开实施例中编解码器位于图像存储设备外的固态硬盘示意框图;
36.图6为本公开实施例中远程图像处理配置方法流程图。
具体实施方式
37.下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
38.作为本公开实施例的一个方面,如图1所示,提供一种固态硬盘100,包括:
39.闪存单元1;
40.可配置单元2,与所述闪存单元1连接,用于被配置为处理待存储到闪存单元1的待存储数据;
41.处理单元3,与所述闪存单元1和可配置单元2连接,用于接收可配置单元2的配置信息并配置所述可配置单元2,并控制待存储到闪存单元1的待存储数据在可配置单元2中的处理。
42.基于上述配置本公开实施例通过配置可配置单元2的方式实现对待存储数据的预处理,将预处理后的存储数据存储到闪存单元1,这样能够减少数据的读取次数的同时实现数据的预处理,减少了处理时间和读取存储次数,在数据进行存储前即完成了预处理并同时进行了存储,减少了延迟时间,能够满足对延迟时间的要求高的多场景识别和控制的实时性要求。
43.下面分别对本公开实施例的各个模块进行详细说明:
44.闪存单元1,为flash颗粒,用于储存存储数据,如处理后的图像数据或视频数据,本领域技术人员可以获知的是,flash颗粒可为若干个,以满足存储需求。
45.可配置单元2可以为cpld或fpga等可编程逻辑单元芯片,也可以为数字处理单元3如dsp(digital signal processing)芯片,上述芯片均可被配置为能够实现对图像或者视频数据的预处理,且预处理的算法是可以根据实际场景进行配置的,这样可以实现多场景的自适应。若可配置单元2为fpga,则可选用如赛灵思(xilinx)virtex系列的fpga,通过在线配置方式实现对fpga配置,如采用ps模式,将epcs作为控制器件,把fpga当做存储器,把数据写入到fpga中,实现对fpga的编程。可以采用处理单元实现对fpga在线可编程,以方便实现对可配置单元的数据处理方式的升级或替换。
46.处理单元3可以为一个或多个arm内核的处理器,可以配合实现对可配置单元2的配置,也可控制实现对可配置单元2处理后的存储数据的存储。
47.在一些实施例中,如图2所示,所述固态硬盘100还包括无线收发单元4,所述无线收发单元4与所述处理单元3连接,用于接收和发送所述可配置单元2的配置信息。所述无线收发单元4可为5g通信模块、wifi通信模块等方式实现,作为一种廉价或替换实现方式,无线收发单元也可为蓝牙模块、zigbee模块等其他无线通信方式实现。
48.在一些实施例中,所述可配置单元2被进一步配置为:接收处理单元3的指令获取待存储数据,将待存储数据按照配置信息所配置的方式处理所述待存储数据得到存储数据,将存储数据存储到处理单元3指令所指示的闪存单元1中的存储位置。所述待存储数据
可以为图像数据,例如经过编码的图像数据或者视频数据,所述图像数据或者视频数据可为摄像头拍摄的图像或者视频数据。
49.在一些实施例中,如图3所示,所述处理单元3包括主控制器31和闪存控制器32,所述主控制器31与无线收发单元4和所述可配置单元2连接,所述闪存控制器32与所述闪存单元1连接;例如,主控制器31采用arm内核的32位处理器,用于获取无线收发单元4接收的配置信息,将所述配置信息进行存储后,给所述可配置单元2例如fpga发送指令,控制epcs器件实现对fpga的配置,所述fpga被配置成ps模式,以便于根据主控制器31发出的指令也就是与fpga控制接口进行接口时的约定好的控制指令进行配置;其中,闪存控制器32用于与所述闪存单元连接以实现对闪存单元内存储位置的数据写读进行控制,而且,闪存控制器32也需要根据主控制器31的控制实现对可配置单元输出的存储数据的存储位置进行存储。
50.在一些实施例中,所述处理单元3还包括接口控制器33,所述接口控制器33连接固态硬盘接口7和可配置单元2以实现可配置单元2对待存储到闪存单元1的数据的读取,所述接口控制器33被配置为通过固态硬盘接口直接读取闪存单元1中存储位置的存储数据;所述接口控制器33与所述主控制器31连接,根据主控制器31发出的指令控制对固态硬盘接口数据的读写。
51.在一些实施例中,所述处理单元3还包括缓存控制器34,所述缓存控制器34连接动态随机存取存储器以实现待存储数据和存储数据在读取和写入时的缓存。所述缓存控制器34通过接口控制器33与固态硬盘接口7连接,所述缓存控制器34也与主控制器31连接。其中,所述接口控制器33通过缓存控制器34与可配置单元2连接。
52.作为本公开实施例的另一个方面,如图4和图5所示,提供一种图像存储设备200,包括上述的固态硬盘100和编解码器5,所述编解码器5与所述处理单元3和所述可配置单元2连接,所述编解码器5用于将接收的图像数据或视频数据转换为待存储数据。
53.在一些实施例中,所述编解码器5可位于图像存储设备200内(如图4)或者图像存储设备200外(如图5)。例如,编解码器5可采用能够对图像进行编解码的图像处理专用芯片实现,将其与图像存储设备200其他模块布置在同一pcb板中,以增加图像存储设备200的集成度,节省成本以及硬件开销。当然,作为一种可选的实现方式,编解码器5也可以采用与图像获取模块6配套使用的编解码器5,所述编解码器5可为成品,使得本公开的图像存储设备200具有更好的可适配和可定制性,以节省客户成本。
54.在一些实施例中,在存储图像数据时,可配置单元2对图像数据进行预处理后存储到闪存单元中;在读取图像数据时,可配置单元2仅仅作为通道使用,并不进行处理。这样处理能够减少数据读取或预处理时的读写周期,能够减少读写数据的延迟时间。
55.在一些实施例中,所述图像存储设备还包括与所述编解码器5连接的用于获取图像或视频的图像获取模块6。所述图像获取模块6可为摄像头等其他图像或视频采集设备。作为一种可选的实施方式,所述图像获取模块6也可为多个,所采集到的多个图像获取模块6中的图像数据或者视频数据依次发送带有图像获取模块6的身份信息如id编码或者网络地址以区分不同设备。
56.在一些实施例中,所述图像存储设备200还包括与所述固态硬盘的无线收发单元4连接的服务器300,所述服务器300用于生成所述配置信息。
57.其中,所述服务器300可为云服务器或者远程计算机,在涉及远程计算机的情形
中,远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
58.在一些实施例中,所述服务器300生成所述配置信息具体为:根据图像数据或视频数据的获取场景生成对图像数据或视频数据进行预处理的最佳方式,将所述预处理的最佳方式转换为可配置单元2的配置信息,将所述配置信息发送至所述固态硬盘。其中,所述获取场景由以下数据或参数表示:
59.(1)获取场景所需要的分辨率,例如,1080p的分辨率,分辨率越高,视频或图像后期能够处理的空间越大,但是对图像获取模块和图像存储的要求也会越高,因此,分辨率定为多少是根据需求来定的;
60.(2)帧率,例如30fps,帧率越高视频播放起来会越流畅,同样的,对图像获取模块和图像存储的要求也会越高;
61.(3)曝光度或光感,例如光感为5,曝光度也即感受到光亮的强弱及时间的长短等
62.上述参数可以通过读取图像获取模块或应用场景的条件或要求来获得,在获得上述数据或参数后,将上述数据或参数与试成像效果图像输入遗传算法模块,即可收敛得到预处理的最佳方式,并最终转换为所需要的配置信息。
63.其中,所述遗传算法可采用适合对fpga进行配置的紧凑遗传算法((cga,compact genetic algorithm))或简单遗传算法(sga,simple genetic algorithm),也可采用其他方便dsp选择的遗传算法实现。
64.作为一种可选的实施方式,所述服务器也可采用计算机或dsp来运行上述的遗传算法。
65.作为本公开实施例的另一个方面,如图6所示,提供一种远程图像处理配置方法,包括如下步骤:
66.s10、根据图像数据或视频数据的获取场景生成对图像数据或视频数据进行预处理的最佳方式;
67.其中,所述获取场景由以下数据或参数表示:
68.a)获取场景所需要的分辨率,例如,1080p的分辨率,分辨率越高,视频或图像后期能够处理的空间越大,但是对图像获取模块和图像存储的要求也会越高,因此,分辨率定为多少是根据需求来定的;
69.b)帧率,例如30fps,帧率越高视频播放起来会越流畅,同样的,对图像获取模块和图像存储的要求也会越高;
70.c)曝光度或光感,例如光感为5,曝光度也即感受到光亮的强弱及时间的长短等。
71.上述参数可以通过读取图像获取模块或应用场景的条件或要求来获得,在获得上述数据或参数后,将上述数据或参数与试成像效果图像输入遗传算法模块,即可收敛得到预处理的最佳方式,并最终转换为所需要的配置信息。
72.s20、将所述预处理的最佳方式转换为可配置单元2的配置信息,将所述配置信息发送至处理单元3;
73.其中,将所述预处理的最佳方式也就是遗传算法的最优解相对应的可配置单元如fpga所对应的算法实现方式以配置信息的方式保存,如采用matlab中的simulink中的算法转换为hdl语言,再对所述hdl语言进行自动化的运行,然后转换为bitstream作为配置信息
转发到处理单元3。
74.s30、所述处理单元3控制所述配置信息配置到可配置单元2;其中,处理单元3中的主控制器31采用arm内核的32位处理器,用于获取无线收发单元4接收的配置信息,将所述配置信息进行存储后,给所述可配置单元2例如fpga发送指令,控制epcs器件实现对fpga的配置,所述fpga被配置成ps模式,以便于根据主控制器31发出的指令也就是与fpga控制接口进行接口时的约定好的控制指令进行配置;其中,闪存控制器32用于与所述闪存单元连接以实现对闪存单元内存储位置的数据写读进行控制,而且,闪存控制器32也需要根据主控制器31的控制实现对可配置单元输出的存储数据的存储位置进行存储。
75.s40、获取图像数据或视频数据,并将所述图像数据或视频数据转换为待存储数据;
76.其中,所述图像数据或者视频数据可为摄像头拍摄的图像或者视频数据,所述编解码器5用于将接收的图像数据或视频数据转换为待存储数据。
77.s50、控制待存储到闪存单元1的待存储数据在可配置单元2中的处理得到存储数据;
78.s60、根据处理单元3指令将所述存储数据存储到闪存单元1。
79.其中,所述可配置单元2被配置为:接收处理单元3的指令获取待存储数据,将待存储数据按照配置信息所配置的方式处理所述待存储数据得到存储数据,将存储数据存储到处理单元3指令所指示的闪存单元1中的存储位置。
80.在一些实施例中,根据图像数据或视频数据的获取场景生成对图像数据或视频数据进行预处理的最佳方式,具体包括如下步骤:
81.获取场景分辨率、帧率和光感参数;
82.根据上述参数作为遗传算法的输入;其中,所述试拍摄图像为图像获取模块拍摄得到的作为场景试拍得到的图像,其作用是作为各个参数获得结果的一种表达,作为遗传算法的其中一个非最优解的验证。
83.将遗传算法输出的最优解作为预处理的最佳方式。
84.其中,其中,所述获取场景由以下数据或参数表示:
85.1)获取场景所需要的分辨率,例如,1080p的分辨率,分辨率越高,视频或图像后期能够处理的空间越大,但是对图像获取模块和图像存储的要求也会越高,因此,分辨率定为多少是根据需求来定的;
86.2)帧率,例如30fps,帧率越高视频播放起来会越流畅,同样的,对图像获取模块和图像存储的要求也会越高;
87.3)曝光度或光感,例如光感为5,曝光度也即感受到光亮的强弱及时间的长短等。
88.上述参数可以通过读取图像获取模块或应用场景的条件或要求来获得,在获得上述数据或参数后,将上述数据或参数与试成像效果图像输入遗传算法模块,即可收敛得到预处理的最佳方式,并最终转换为所需要的配置信息。
89.其中,所述遗传算法可采用适合对fpga进行配置的紧凑遗传算法((cga,compact genetic algorithm))或简单遗传算法(sga,simple genetic algorithm),也可采用其他方便dsp选择的遗传算法实现。
90.本公开实施例存在以下有益效果:通过配置可配置单元2的方式实现对待存储数
据的预处理,将预处理后的存储数据存储到闪存单元1,这样能够减少数据的读取次数的同时实现数据的预处理,减少了处理时间和读取存储次数,在数据进行存储前即完成了预处理并同时进行了存储,减少了延迟时间,能够满足对延迟时间的要求高的多场景识别和控制的实时性要求。
91.尽管已经示出和描述了本公开的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本公开的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本公开的范围由所附权利要求及其等同物限定。
技术特征:1.一种固态硬盘,其特征在于,包括:闪存单元;可配置单元,与所述闪存单元连接,用于被配置为处理待存储到闪存单元的待存储数据;处理单元,与所述闪存单元和可配置单元连接,用于接收可配置单元的配置信息并配置所述可配置单元,并控制待存储到闪存单元的待存储数据在可配置单元中的处理。2.如权利要求1所述的固态硬盘,其特征在于,所述固态硬盘还包括无线收发单元,所述无线收发单元与所述处理单元连接,用于接收和发送所述可配置单元的配置信息。3.如权利要求1或2所述的固态硬盘,其特征在于,所述可配置单元被进一步配置为:接收处理单元指令获取待存储数据,将待存储数据按照配置信息所配置的方式处理所述待存储数据得到存储数据,将存储数据存储到处理单元指令所指示的闪存单元中的存储位置。4.如权利要求1或2所述的固态硬盘,其特征在于,所述处理单元包括主控制器和闪存控制器,所述主控制器与无线收发单元和所述可配置单元连接,所述闪存控制器与所述闪存单元连接;和/或,所述处理单元还包括接口控制器,所述接口控制器连接固态硬盘接口和可配置单元以实现可配置单元对待存储到闪存单元的数据的读取,所述接口控制器被配置为通过固态硬盘接口直接读取闪存单元中存储位置的存储数据;和/或,所述处理单元还包括缓存控制器,所述缓存控制器连接动态随机存取存储器以实现待存储数据和存储数据在读取和写入时的缓存。5.一种图像存储设备,其特征在于,包括如权利要求1-4任一项所述的固态硬盘和编解码器,所述编解码器与所述处理单元和所述可配置单元连接,所述编解码器用于将接收的图像数据或视频数据转换为待存储数据。6.如权利要求5所述的图像存储设备,其特征在于,所述图像存储设备还包括与所述编解码器连接的用于获取图像或视频的图像获取模块。7.如权利要求5或6所述的图像存储设备,其特征在于,所述图像存储设备还包括与所述固态硬盘的无线收发单元连接的服务器,所述服务器用于生成所述配置信息。8.如权利要求7所述的图像存储设备,其特征在于,所述服务器生成所述配置信息具体为:根据图像数据或视频数据的获取场景生成对图像数据或视频数据进行预处理的最佳方式,将所述预处理的最佳方式转换为可配置单元的配置信息,将所述配置信息发送至所述固态硬盘。9.一种远程图像处理配置方法,其特征在于,包括如下步骤:根据图像数据或视频数据的获取场景生成对图像数据或视频数据进行预处理的最佳方式;将所述预处理的最佳方式转换为可配置单元的配置信息,将所述配置信息发送至处理单元;所述处理单元控制所述配置信息配置到可配置单元;获取图像数据或视频数据,并将所述图像数据或视频数据转换为待存储数据;控制待存储到闪存单元的待存储数据在可配置单元中的处理得到存储数据;根据处理单元指令将所述存储数据存储到闪存单元。
10.如权利要求9所述的远程图像处理配置方法,其特征在于,根据图像数据或视频数据的获取场景生成对图像数据或视频数据进行预处理的最佳方式,具体包括如下步骤:获取场景分辨率、帧率和光感参数;将场景分辨率、帧率和光感参数作为遗传算法的输入;将遗传算法输出的最优解作为预处理的最佳方式。
技术总结本公开涉及一种固态硬盘、图像存储设备和远程图像处理配置方法,所述固态硬盘包括:闪存单元;可配置单元,与所述闪存单元连接,用于被配置为处理待存储到闪存单元的待存储数据;处理单元,与所述闪存单元和可配置单元连接,用于接收可配置单元的配置信息并配置所述可配置单元,并控制待存储到闪存单元的待存储数据在可配置单元中的处理。本公开能够通过配置可配置单元的方式实现对待存储数据的预处理,将预处理后的存储数据存储到闪存单元,这样能够减少数据的读取次数的同时实现数据的预处理,减少了处理时间和读取存储次数,能够满足对延迟时间的要求高的多场景识别和控制的实时性要求。时性要求。时性要求。
技术研发人员:吴佳 李礼 吴叶楠
受保护的技术使用者:浙江威固信息技术有限责任公司
技术研发日:2022.07.08
技术公布日:2022/11/1