一种8k视频的超分辨率处理与显示平台
技术领域
1.本发明涉及超高清视频的视频实时处理、视频显示、视频传输与超分辨率算法领域，尤其是一种能够支持超分辨率算法部署、8k@60hz无损视频处理与显示的设备。
背景技术：2.随着超高清视频显示领域的蓬勃发展，超高清影像在人们生活中应用范围越来越广。8k超高清视频的应用场景正在不断扩充，这将带动视频采集、视频传输、视频显示与视频实时处理等一系列相关产业的升级，并且8k超高清视频将为政府、电信、家电、教育、医疗、卫星遥感等行业注入新的活力。
3.超分辨算法指将一幅或者一组低分辨率图像恢复成对应的高分辨率图像，得到更多的细节和信息。高清影像采集设备价格昂贵，并且高清影像的传输还容易受到带宽的限制，目前常见的视频源，仍然以1080p或者720p为主。然而，随着8k超高清视频的发展，市场对于能够提供更多细节的高分辨的视频需求越来越大。这就使得超分辨率算法有着越来越广阔的应用前景。
技术实现要素：4.本发明的目的是面向超高清视频领域中，流量大且延时低的超高清视频数据，进行实时处理，提供一个运算能力强、传输速度快、传输带宽大的实时处理及显示的设备。
5.实现本发明的具体技术方案是：一种8k视频的超分辨率处理与显示平台，包括：电源供给模块、系统时钟模块、超分辨率智能处理模块、视频输入模块、视频输出模块和控制模块；所述电源供给模块与系统时钟模块、超分辨率智能处理模块、视频输入模块、视频输出模块和控制模块连接，为其提供稳定工作所需的电源；系统时钟模块与超分辨率智能处理模块、视频输入模块、视频输出模块和控制模块连接，提供所需的工作时钟；超分辨率智能处理模块与视频输入模块、视频输出模块及控制模块相连，视频数据经由视频输入模块流入超分辨率智能处理模块，超分辨率智能处理模块完成超分辨率处理之后将视频流输入视频输出模块；视频输入模块与控制模块相连；视频输出模块与控制模块相连；其中：所述超分辨率智能处理模块包括ddr4高速视频缓存模块、sfp+接口输入模块、高速信号互联模块、ddr4高速数据缓存模块和超分辨算法实现模块；所述ddr4高速视频缓存模块、高速信号互联模块及ddr4高速数据缓存模块分别与超分辨算法实现模块相连；超分辨算法实现模块由fpga芯片及sd卡组成；所述视频输入模块包括hdmi输入模块和输入超高清视频收发模块；其中hdmi输入模块包含三路独立的hdmi2.0输入通道，输入超高清视频收发模块包含3块hdmi视频处理芯片，hdmi输入模块的每路hdmi2.0输入通道分别与输入超高清视频收发模块的一块芯片相连；所述视频输出模块，包括hdmi输出接口、输出超高清视频收发模块 、ddr3高速视
频缓存模块和视频分割算法模块； 其中hdmi输出接口包含五路hdmi2.0输出通道，输出超高清视频收发模块包含五片hdmi视频处理芯片，输出超高清视频收发模块的每片芯片分别与hdmi输出接口的一路独立的hdmi2.0输出通道相连；输出超高清视频收发模块与视频分割算法模块相连；ddr3高速视频缓存模块与视频分割算法模块相连；视频分割算法模块包括fpga芯片及flash模块，fpga芯片连接flash模块；所述控制模块包括hdmi收发芯片控制模块与系统加载模块，各自独立；所述超分辨率智能处理模块的sfp+接口输入模块包含8个sfp+网口，用来传输网口输入的超分辨率算法所用到的数据，与视频输出模块中的视频分割算法模块相连，高速信号互联模块与视频分割算法模块相连，超分辨算法实现模块与视频输入模块的输入超高清视频收发模块及控制模块的系统加载模块相连；视频输入模块的输入超高清视频收发模块和控制模块的hdmi收发芯片控制模块相连；视频输出模块的输出超高清视频收发模块与控制模块的hdmi收发芯片控制模块相连。
6.与现有的技术相比，本发明的有益效果是：a）针对hdmi 2.0输入输出接口驱动，各大fpga厂商均研发了高性能ip核，供用户使用，使用户不必了解底层运转机制，能够从顶层的平台完成系统的搭建。然而，这些hdmi 2.0输入输出的接口ip核需要付费才能使用。因此，本平台通过硬件电路创新，从电路底层原理入手，使用hdmi编解码芯片，实现hdmi 2.0输入输出接口的驱动，完成4k@60hz实时视频像素数据的接收与发送。
7.b）本发明总共包含三对hdmi2.0输入接口和五对hdmi2.0输出接口，单路能够支持4k@60hz视频的输入或是输出，本发明的系统无损像素读写带宽大于8k@60hz视频像素数据传输带宽，本发明的核心处理器具备像素实时处理运算能力，能够完成超分辨率算法的部署，并且保证图像处理延时在三帧之内。
附图说明
8.图1为本发明的结构框图；图2为本发明的视频输入模块结构框图；图3为本发明的超分辨率智能处理模块结构框图；图4为本发明的视频输出模块结构框图；图5为本发明的控制模块的结构框图；图6为本发明实施例的工作流程框图。
具体实施方式
9.参阅图1，本发明包括：电源供给模块1、系统时钟模块2、超分辨率智能处理模块3、视频输入模块4、视频输出模块5和控制模块6。电源供给模块1为系统时钟模块2、超分辨率智能处理模块3、视频输入模块4、视频输出模块5和控制模块6提供稳定工作需要的电源；系统时钟模块2为超分辨率智能处理模块3、视频输入模块4、视频输出模块5和控制模块6提供所需的工作时钟。视频输入模块4与超分辨率智能处理模块3、控制模块6相连，其接收外部输入的视频数据后便会在控制模块6的控制下将视频流输出到超分辨率智能处理模块3；超分辨率智能处理模块3与视频输入模块4、视频输出模块5和控制模块6相连，其接收来自视
频输入模块4的数据后，在控制模块6的协助下完成视频的超分辨率运算，将处理后的视频数据送至视频输出模块5进行视频输出；视频输出模块5与超分辨率智能处理模块3、控制模块6相连，其接受来自超分辨率智能处理模块3的超分辨率处理后的视频流后，在控制模块6的控制下，输出视频；控制模块6与视频输入模块4、超分辨率智能处理模块3、视频输出模块5相连，用于配置hdmi收发芯片的参数和加载固化在sd卡模块21中的超分辨率实现代码。
10.参阅图2，本发明的视频输入模块4包括hdmi输入模块7和输入的超高清视频收发模块8。hdmi输入模块7接收视频源传入的外部视频数据，送至输入超高清视频收发模块8。接收到来自hdmi输入接口7的视频数据后，输入超高清视频收发模块8在控制模块6的控制下解码视频数据，并将解码好的数据送入超分辨率智能处理模块3。
11.参阅图3，图3中图a为本发明的超分辨率智能处理模块3结构框图，包括ddr4高速视频缓存模块9、ddr4高速数据缓存模块13、sfp+接口输入模块10、高速信号互联模块11和超分辨算法实现模块14。图3中图b为超分辨算法实现模块14结构框图，超分辨算法实现模块14由fpga芯片20及sd卡模块21组成，fpga芯片20连接sd卡模块21。超分辨算法实现模块14在控制模块6协助下自sd卡模块21中读取编译的超分辨率代码，对视频输入模块4中输入的解码后的视频数据进行超分辨率运算，其中还会配合ddr4高速视频缓存模块9完成视频数据存储或者调用、配合ddr4高速数据缓存模块13完成超分辨率算法运算数据的存储或者调用。对视频数据完成超分辨率处理后，超分辨算法实现模块14将数据送入高速信号互联模块11，高速信号互联模块11负责将数据发送给视频输出模块5。sfp+接口输入模块10可以用来传输网口输入的超分辨率算法所用到的数据，其可以将数据送入视频输出模块5的视频分割算法模块18，再通过视频分割算法模块18将数据从高速信号互联模块11送到超分辨算法实现模块14，这一功能是为超分辨率算法的调试过程中与计算机交互的需求所保留的。
12.参阅图4，图4中图a为本发明的视频输出模块5结构框图，包括视频分割算法模块18、ddr3高速视频缓存模块15、输出超高清视频收发模块17、hdmi输出接口16。图4中图b为视频分割算法模块18结构框图，由fpga芯片22（与fpga芯片20不一定同型号）、flash模块23组成，fpga芯片22连接flash模块23。视频分割算法模块18接收来自超分辨率智能处理模块3的超分辨率算法处理后的数据，然后将数据发送给输出超高清视频收发模块17。输出超高清视频收发模块17在控制模块6的控制下编码视频数据，并将编码好的数据送入hdmi输出接口16。hdmi输出接口16将数据输出至显示设备。视频分割算法模块18可以由flash模块23中读取固化好的视频分割算法，完成8k画面按左上，右上，左下，右下分割成四幅4k画面，最后在4k显示设备上输出，也可以不进行视频分割，直接在8k显示设备上输出。
13.参阅图5，本发明的控制模块6包括hdmi收发芯片控制模块12和系统加载模块19。hdmi收发芯片控制模块12与视频输入模块4的输入超高清视频收发模块8相连，完成对输入hdmi收发芯片的配置；与视频输出模块5的输出超高清视频收发模块17相连，完成对输出hdmi收发芯片的配置。系统加载模块19与超分辨率智能处理模块3的超分辨算法实现模块14相连，完成固化代码的加载。实施例本实施例选型如下：电源供给模块1可以使用德州仪器公司的dc-dc和ldo芯片；系统时钟模块2可选择sitime公司的晶振；视频输入模块4可以选用基石酷联公司的gsv2011芯片；超分辨率智能
处理模块3的超分辨算法实现模块14中的fpga芯片20可以使用赛灵思公司的zynq ultrascale+ mpsoc系列芯片，ddr4高速视频缓存模块9、ddr4高速数据缓存模块13可以选择镁光公司的mt41a256m芯片实现；视频输出模块5的视频分割算法模块18中的fpga芯片22可以使用赛灵思公司的kintex7系列芯片，输出超高清视频收发模块17以选用基石酷联公司的gsv2011芯片，ddr3高速视频缓存模块15可以使用镁光公司的mt41j128m芯片实现；控制模块6可以使用赛灵思公司的zynq ultrascale+ mpsoc系列芯片的arm部分实现。
14.参阅图6，本实施例的具体工作流程如下：系统上电后，电源供给模块1为系统时钟模块2、超分辨率智能处理模块3、视频输入模块4、视频输出模块5和控制模块6提供稳定工作需要的电源；系统时钟模块2为超分辨率智能处理模块3、视频输入模块4、视频输出模块5和控制模块6提供所需的工作时钟；外部视频源向视频输入模块4输入视频流，视频输入模块4的hdmi输入接口7接收外部视频数据，送至输入超高清视频收发模块8。接收到来自hdmi输入接口7的视频数据后，输入超高清视频收发模块8在控制模块6的控制下解码视频数据，并将解码好的数据送入超分辨率智能处理模块3的超分辨算法实现模块14。超分辨算法实现模块14在控制模块6协助下自sd卡模块21中读取编译的超分辨率代码。同时，sfp+接口输入模块10可以用来传输网口输入的超分辨率算法所用到的数据，其可以将数据送入视频输出模块5的视频分割算法模块18，再通过视频分割算法模块18将数据从高速信号互联模块11送到超分辨算法实现模块14，这一功能是为超分辨率算法的调试过程中与计算机交互的需求所保留的。对视频输入模块4中输入的解码后的视频数据进行超分辨率运算，其中还会配合ddr4高速视频缓存模块9完成视频数据存储或者调用、配合ddr4高速数据缓存模块13完成超分辨率算法运算数据的存储或者调用。对视频数据完成超分辨率处理后，超分辨算法实现模块14将数据送入高速信号互联模块11，高速信号互联模块11负责将数据发送给视频输出模块5。视频输出模块5的视频分割算法模块18接收来自超分辨率智能处理模块3的超分辨率算法处理后的数据，然后将数据发送给输出超高清视频收发模块17。输出超高清视频收发模块17在控制模块6的控制下编码视频数据，并将编码好的数据送入hdmi输出接口16。hdmi输出接口16将数据输出至显示设备。视频分割算法模块18可以由flash模块23中读取固化好的视频分割算法，完成8k画面按左上，右上，左下，右下分割成四幅4k画面，最后在4k显示设备上输出，也可以不进行视频分割，直接在8k显示设备上输出。
技术特征：1.一种8k视频的超分辨率处理与显示平台，其特征在于，包括：电源供给模块（1）、系统时钟模块（2）、超分辨率智能处理模块（3）、视频输入模块（4）、视频输出模块（5）和控制模块（6）；所述电源供给模块（1）与系统时钟模块（2）、超分辨率智能处理模块（3）、视频输入模块（4）、视频输出模块(5)和控制模块(6)连接，为其提供稳定工作所需的电源；系统时钟模块（2）与超分辨率智能处理模块（3）、视频输入模块（4）、视频输出模块（5）和控制模块（6）连接，提供所需的工作时钟；超分辨率智能处理模块（3）与视频输入模块（4）、视频输出模块（5）及控制模块（6）相连，视频数据经由视频输入模块（4）流入超分辨率智能处理模块（3），超分辨率智能处理模块（3）完成超分辨率处理之后将视频流输入视频输出模块（5）；视频输入模块（4）与控制模块（6）相连；视频输出模块（5）与控制模块（6）相连；其中：所述超分辨率智能处理模块（3）包括ddr4高速视频缓存模块（9）、sfp+接口输入模块（10）、高速信号互联模块（11）、ddr4高速数据缓存模块（13）和超分辨算法实现模块（14）；所述ddr4高速视频缓存模块（9）、高速信号互联模块（11）及ddr4高速数据缓存模块（13）分别与超分辨算法实现模块（14）相连；超分辨算法实现模块（14）由fpga芯片（20）及sd卡（21）组成；所述视频输入模块（4）包括hdmi输入模块（7）和输入超高清视频收发模块（8）；其中hdmi输入模块（7）包含三路独立的hdmi2.0输入通道，输入超高清视频收发模块（8）包含3块hdmi视频处理芯片，hdmi输入模块（7）的每路hdmi2.0输入通道分别与输入超高清视频收发模块（8）的一块芯片相连；所述视频输出模块（5），包括hdmi输出接口（16）、输出超高清视频收发模块 (17)、ddr3高速视频缓存模块（15）和视频分割算法模块（18）； 其中hdmi输出接口（16）包含五路hdmi2.0输出通道，输出超高清视频收发模块 (17)包含五片hdmi视频处理芯片，输出超高清视频收发模块（17）的每片芯片分别与hdmi输出接口（16）的一路独立的hdmi2.0输出通道相连；输出超高清视频收发模块（17）与视频分割算法模块（18）相连；ddr3高速视频缓存模块（15）与视频分割算法模块（18）相连；视频分割算法模块（18）包括fpga芯片（22）及flash模块（23），fpga芯片（22）连接flash模块（23）；所述控制模块（6），包括hdmi收发芯片控制模块（12）与系统加载模块（19），各自独立；所述超分辨率智能处理模块（3）的sfp+接口输入模块（10）包含8个sfp+网口，用来传输网口输入的超分辨率算法所用到的数据，与视频输出模块（5）中的视频分割算法模块（18）相连，高速信号互联模块（11）与视频分割算法模块（18）相连，超分辨算法实现模块（14）与视频输入模块（4）的输入超高清视频收发模块（8）及控制模块（6）的系统加载模块（19）相连；视频输入模块（4）的输入超高清视频收发模块（8）和控制模块（6）的hdmi收发芯片控制模块（12）相连；视频输出模块（5）的输出超高清视频收发模块(17)与控制模块（6）的hdmi收发芯片控制模块（12）相连。
技术总结本发明公开了一种8K视频的超分辨率处理与显示平台，包括了电源供给模块、系统时钟模块、超分辨率智能处理模块、视频输入模块、视频输出模块和控制模块。其中视频的超分辨率处理模块包括了DDR4高速视频缓存模块、DDR4高速数据缓存模块、SFP+接口输入模块、高速信号互联模块和超分辨算法实现模块；视频输入模块包括HDMI输入模块、输入超高清视频收发模块；视频输出模块包括HDMI输出模块、DDR3高速视频缓存模块、输出超高清视频收发模块和视频分割算法模块；控制模块包括了HDMI收发芯片控制模块和系统加载模块。本发明面向超高清视频处理领域，最高能够支持低分辨率视频转8K超高清视频的处理，提供了一个低延迟、大流量的视频实时处理与显示平台。处理与显示平台。处理与显示平台。
技术研发人员：胡沂婷 栾天 刘玉华 曾文龙 王淑仙
受保护的技术使用者：华东师范大学
技术研发日：2022.06.23
技术公布日：2022/11/1
