图像信息提取方法、装置、计算机设备及存储介质与流程

专利2026-07-21  15


本技术涉及人工智能,尤其涉及一种图像信息提取方法、装置、计算机设备及存储介质。


背景技术:

1、随着图像处理技术的兴起,目前图像处理技术已经应用在多种场景中,比如医疗领域可以支持疾病辅助诊断、健康管理、远程会诊等功能。

2、相关技术中,通过采用图像信息对模型进行训练,使用该训练后的模型来进行图像提取,但是这种方式忽略了图像的语义信息,只关注像素级别的特征,这样导致模型无法理解图像中更高级别的语义特征,还会容易受到噪声和其他干扰因素的影响,导致图像信息提取的准确性不高。

3、因此,相关技术中存在对图像中的实体提取不准确。


技术实现思路

1、本技术实施例的主要目的在于提出一种图像信息提取方法、装置、计算机设备及存储介质,能够提高对图像中需要提取对象的提取准确性。

2、为实现上述目的,本技术实施例的第一方面提出了一种图像信息提取方法,所述方法包括:

3、将原始图像分割为多个子图像,并确定每个所述子图像对应的目标图像特征;

4、确定所述原始图像对应的描述文本,以及确定所述描述文本对应的目标文本特征;

5、将所述目标文本特征分别和每个目标图像特征拼接得到每个所述子图像对应的目标图文特征;

6、将所述目标图文特征和所述目标图像特征输入到训练后的解码模型中,输出与所述描述文本相关的目标子图像,所述训练后的解码模型基于预测子样本图像和标签子图像之间对应的损失训练得到;

7、根据所述目标子图像提取出所述描述文本对应的实体。

8、为实现上述目的,本技术实施例的第二方面提出了一种图像信息提取装置,所述装置包括:

9、分割模块,用于将原始图像分割为多个子图像,并确定每个所述子图像对应的目标图像特征;

10、确定模块,用于确定所述原始图像对应的描述文本,以及确定所述描述文本对应的目标文本特征;

11、拼接模块,用于将所述目标文本特征分别和每个目标图像特征拼接得到每个所述子图像对应的目标图文特征;

12、输入模块,用于将所述目标图文特征和所述目标图像特征输入到训练后的解码模型中,输出与所述描述文本相关的目标子图像,所述训练后的解码模型基于预测子样本图像和标签子图像之间对应的损失训练得到;

13、提取模块,用于根据所述目标子图像提取出所述描述文本对应的实体。

14、在一些实施方式中,分割模块包括第一输入子模块和第二输入子模块;第一输入子模块,用于将每个所述子图像输入到预训练卷积神经网络中,输出每个所述子图像对应的图像特征;

15、第二输入子模块,用于将每个所述子图像对应的图像特征输入到训练后的第一编码模型中,输出每个所述子图像对应的目标图像特征。

16、在一些实施方式中,所述训练后的第一编码模型包括多个依次连接的子第一注意力模型,所述第二输入子模块,用于将每个所述子图像对应的图像特征输入到第一个所述子第一注意力模型中,得到第一个所述子第一注意力模型输出的子第一注意力特征;

17、将第一个所述子第一注意力模型输出的子第一注意力特征输入到后一个所述子第一注意力模型中,得到后一个所述子第一注意力模型输出的子第一注意力特征;

18、重复将前一个所述子第一注意力模型输出的子第一注意力特征输入到后一个所述子第一注意力模型中,直至最后一个所述子第一注意力模型输出每个所述子图像对应的目标图像特征。

19、在一些实施方式中,确定模块,用于对所述描述文本进行文本划分,得到多个子文本;

20、确定每个所述子文本对应的文本特征,并将所述文本特征输入到训练后的第二编码模型中,输出每个所述子文本对应的子目标文本特征;

21、根据每个所述子文本对应的子目标文本特征确定所述描述文本对应的目标文本特征。

22、在一些实施方式中,输入模块,用于将所述目标图文特征和所述目标图像特征输入到训练后的解码模型中,得到所述目标图文特征和所述目标图像特征之间的相关性评分;

23、确定出所述相关性评分高于预设评分值所述目标图像特征对应的子图像,并将所述相关性评分高于预设评分值所述目标图像特征对应的子图像确定为与所述描述文本相关的目标子图像。

24、在一些实施方式中,提取模块,用于在所述目标子图像中确定出所述描述文本对应的实体的轮廓;

25、基于所述轮廓对所述目标子图像中的实体进行划分,得到所述实体。

26、在一些实施方式中,图像信息提取模型还包括训练模块,用于将样本图像分割为多个子样本图像,将每个所述子样本图像输入到预训练卷积神经网络中,输出每个所述子样本图像对应的样本图像特征;

27、将每个所述子样本图像对应的样本图像特征输入到第一编码模型中,输出每个所述子样本图像对应的目标样本图像特征;

28、确定所述样本图像对应的样本描述文本,以及所述样本描述文本的样本文本特征;

29、将所述样本文本特征输入到第二编码模型中,输出所述样本描述文本的目标样本文本特征;

30、将所述目标样本图像特征和所述目标样本文本特征拼接得到目标样本图文特征;

31、将所述样本图文特征和所述目标样本图像特征输入到解码模型中,输出与所述样本描述文本相关的所述预测子样本图像,并根据所述预测子样本图像和所述标签子图像之间的损失,根据所述损失调整所述第一编码模型、所述第二编码模型和所述解码模型的模型参数,并返回执行将每个所述子样本图像对应的样本图像特征输入到第一编码模型中,输出每个所述子样本图像对应的目标样本图像特征,直至所述损失满足预设损失调节,得到训练后的第一编码模型、训练后的第二编码模型和训练后的解码模型。

32、为实现上述目的,本技术实施例的第三方面提出了一种计算机可读存储介质,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行本技术实施例提供的图像信息提取方法。

33、为实现上述目的,本技术实施例的第四方面提出了一种计算机设备,包括存储器、处理器以及存储在所述存储器中并能够在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现本技术实施例提供的图像信息提取方法。

34、在本技术实施例中,通过将原始图像分割为多个子图像,并确定每个子图像对应的目标图像特征;确定原始图像对应的描述文本,以及确定描述文本对应的目标文本特征;将目标文本特征分别和每个目标图像特征拼接得到每个子图像对应的目标图文特征;将目标图文特征和目标图像特征输入到训练后的解码模型中,输出与描述文本相关的目标子图像;根据目标子图像提取出描述文本对应的实体,其中训练后的解码模型基于预测子样本图像和标签子图像之间对应的损失训练得到。以此,通过将原始图像的目标图像特征和原始图像的描述文本的目标文本特征相结合,得到目标图文特征,从而增强了对原始图像的图像信息的特征维度,增强了对原始图像的图像信息的表达,这样训练后的解码模型可以根据目标图文特征准确的在多个子图像中确定出目标子图像,最终在目标子图像中准确提取出描述文本对应的实体,相对于相关技术中仅仅通过图像的像素信息来提取需要提取的实体,本技术中能够更加准确的在原始图像中提取出描述文本对应的实体。

35、本技术的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本技术而了解。本技术的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。


技术特征:

1.一种图像信息提取方法,其特征在于,包括:

2.根据权利要求1所述的图像信息提取方法,其特征在于,所述确定每个所述子图像对应的目标图像特征,包括:

3.根据权利要求2所述的图像信息提取方法,其特征在于,所述训练后的第一编码模型包括多个依次连接的子第一注意力模型,所述将每个所述子图像对应的图像特征输入到训练后的第一编码模型中,输出每个所述子图像对应的图像特征,包括:

4.根据权利要求1所述的图像信息提取方法,其特征在于,所述确定所述描述文本对应的目标文本特征,包括:

5.根据权利要求1所述的图像信息提取方法,其特征在于,所述将所述目标图文特征和所述目标图像特征输入到训练后的解码模型中,输出与所述描述文本相关的目标子图像,包括:

6.根据权利要求1所述的图像信息提取方法,其特征在于,根据所述目标子图像提取出所述描述文本对应的实体,包括:

7.根据权利要求1所述的图像信息提取方法,其特征在于,训练后的解码模型通过如下方式训练得到:

8.一种图像信息提取装置,其特征在于,包括:

9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至7任一项所述的图像信息提取方法。

10.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并能够在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的图像信息提取方法。


技术总结
本申请实施例提供了一种图像信息提取方法、装置、计算机设备及存储介质,涉及人工智能技术领域和数字医疗领域。方法包括:将原始图像分割为多个子图像,并确定每个子图像对应的目标图像特征;确定原始图像对应的描述文本,以及确定描述文本对应的目标文本特征;将目标文本特征分别和每个目标图像特征拼接得到每个子图像对应的目标图文特征;将目标图文特征和目标图像特征输入到训练后的解码模型中,输出与描述文本相关的目标子图像;根据目标子图像提取出描述文本对应的实体,其中训练后的解码模型基于预测子样本图像和标签子图像之间对应的损失训练得到。本申请实施例能够提高对图像中实体进行提取的准确性。

技术研发人员:唐小初,陈柯,舒畅,陈又新
受保护的技术使用者:平安科技(深圳)有限公司
技术研发日:
技术公布日:2024/11/11
转载请注明原文地址: https://tieba.8miu.com/read-22924.html

最新回复(0)