本发明涉及图像处理,尤其涉及一种图像去除水印的方法、装置、电子设备和存储介质。
背景技术:
1、随着互联网的发展,数字图像通过互联网传播和分享,人们可以下载图像进行使用。为了保护图像创作者的权益,在图像中添加有水印,所添加的水印干扰和破坏了图像的信息,在图像下载后使用图像前需要去除图像中的水印。
2、目前,可以通过训练机器学习模型去除图像中的水印,但是现有的机器学习模型无法结合整体图像、图像结构以及图像语义去除水印,尤其是对图像中较大的水印,经过机器学习模型去除水印后难以恢复由于去除水印的像素损失。
技术实现思路
1、本发明提供了一种图像去除水印的方法、装置、电子设备和存储介质,以解决目前通过机器学习模型去除图像中的水印对图像的像素造成损失的问题。
2、第一方面,本发明提供了一种图像去除水印的方法,包括:
3、通过图像编码模型对包括水印的第一图像进行编码得到所述第一图像的隐式向量;
4、将所述第一图像输入水印检测模型中得到包括水印掩膜的第二图像;
5、将所述第一图像输入图像标签预测模型中得到所述第一图像的显式语义标签,并基于所述显式语义标签生成提示文本;
6、将所述第一图像、隐式向量以及提示文本输入稳定扩散模型,在所述稳定扩散模型中以所述隐式向量和提示文本为引导,基于所述第一图像对所述第二图像中的水印掩膜区域进行重绘,得到去除水印后的第三图像。
7、第二方面,本发明提供了一种图像去除水印的装置,包括:
8、图像隐式编码模块,用于通过图像编码模型对包括水印的第一图像进行编码得到所述第一图像的隐式向量;
9、水印检测模块,用于将所述第一图像输入水印检测模型中得到包括水印掩膜的第二图像;
10、提示文本生成模块,用于将所述第一图像输入图像标签预测模型中得到所述第一图像的显式语义标签,并基于所述显式语义标签生成提示文本;
11、图像重绘模块,用于将所述第一图像、隐式向量以及提示文本输入稳定扩散模型,在所述稳定扩散模型中以所述隐式向量和提示文本为引导,基于所述第一图像对所述第二图像中的水印掩膜区域进行重绘,得到去除水印后的第三图像。
12、第三方面,本发明提供了一种电子设备,所述电子设备包括:
13、至少一个处理器;以及
14、与所述至少一个处理器通信连接的存储器;其中,
15、所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明第一方面所述的图像去除水印的方法。
16、第四方面,本发明提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本发明第一方面所述的图像去除水印的方法。
17、本发明实施例通过对包括水印的第一图像编码获得第一图像的隐式向量,以及通过预测第一图像的显式语义标签生成提示文本,以及检测水印生成包括水印掩膜的第二图像,在稳定扩散模型中以第一图像的隐式向量和提示文本为引导,基于第一图像对水印掩膜区域进行重绘得到去除水印后的第三图像,能够结合包括水印的第一图像的图像结构、整体图像的隐式语义和第一图像的显示语义对水印掩膜区域进行重绘,生成与第一图像整体语义、结构相符合的无水印的水印掩膜区域的图像块,通过该图像块所生成的无水印图像像素损失小,去除水印后的图像更为自然和完整。
18、应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
1.一种图像去除水印的方法,其特征在于,包括:
2.根据权利要求1所述的图像去除水印的方法,其特征在于,所述图像编码模型为clip模型,所述clip模型通过以下方式训练:
3.根据权利要求2所述的图像去除水印的方法,其特征在于,采用所述第一图像特征和所述第二图像特征计算损失率,包括:
4.根据权利要求1所述的图像去除水印的方法,其特征在于,将所述第一图像输入水印检测模型中得到包括水印掩膜的第二图像,包括:
5.根据权利要求1所述的图像去除水印的方法,其特征在于,将所述第一图像输入图像标签预测模型中得到所述第一图像的显式语义标签,并基于所述显式语义标签生成提示文本,包括:
6.根据权利要求1-5任一项所述的图像去除水印的方法,其特征在于,所述稳定扩散模型包括自编码器、条件编码器、正向扩散网络以及反向扩散网络,将所述第一图像、隐式向量以及提示文本输入稳定扩散模型,在所述稳定扩散模型中以所述隐式向量和提示文本为引导,基于所述第一图像对所述第二图像中的水印掩膜区域进行重绘,得到去除水印后的第三图像,包括:
7.根据权利要求6所述的图像去除水印的方法,其特征在于,反向扩散网络为denoising u-net,在所述反向扩散网络中以所述图像向量和所述文本向量为引导,对所述第二特征向量进行去噪处理得到第三特征向量,包括:
8.一种图像去除水印的装置,其特征在于,包括:
9.一种电子设备,其特征在于,所述电子设备包括:
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令被处理器执行时实现权利要求1-7中任一项所述的图像去除水印的方法。