1.本发明涉及计算机图形学流体模拟技术领域，特别涉及一种面向单目视频的非牛顿流体仿真重建方法。
背景技术：2.非牛顿流体是指不满足牛顿黏性实验定律的流体，即其剪盈利与剪切应变率之间不是线性关系的流体。非牛顿流体普遍存在于工业生产过程中和自然界中，如化学工业界的各类泥浆、悬浮液、油漆，人体和动物体内的血液、淋巴液、细胞液，以及纳米流体、磁性流体等剪切应力与剪切应变速率不成线性关系的流体均具有非牛顿流体性质，这些非牛顿流体在生物医药、航空航天、微机电等高新科技领域发挥着重要作用，与工业生产和国民经济有十分密切的关系。
3.单目视频指仅利用一台摄像设备完成视觉任务，如视频的拍摄。
4.流体仿真重建，除了恰当的边界条件，仿真重建还需要合适的流体本构模型参数来生成与真实视频相吻合的视觉效果。尽管在现实世界中可以使用粘度计或流变仪测量流体的材料参数，但由于流体仿真方法使用简化物理模型来近似复杂流体流动现象，物理参数的变化将会以复杂且不可预测的方式改变仿真流体的流动，并且相同的材料参数在不同的仿真比例下也会产生不同的流动行为。因此，只能基于经验推断并手动调试真实视频中的流体所对应的仿真参数。在实践中，每次参数试错带来的仿真过程需要数小时甚至数天的时间，为面向真实视频的仿真重建带来了极大的时间成本和不确定性。
技术实现要素：5.本发明提供了一种面向单目视频的非牛顿流体仿真重建方法，以解决现有技术只能基于经验推断并手动调试真实视频中的流体所对应的仿真参数。在实践中，每次参数试错带来的仿真过程需要数小时甚至数天的时间，为面向真实视频的仿真重建带来了极大的时间成本和不确定性的技术问题。
6.为解决上述技术问题，本发明提供了如下技术方案：
7.一方面，本发明提供一种面向单目视频的非牛顿流体仿真重建方法，包括：
8.基于光滑粒子流体动力学，使用cross模型定义非牛顿流体的运动黏度与剪切速率，进行非牛顿流体的仿真，得到仿真结果的单目视频；
9.使用预设的空间特征提取网络对单目视频进行空间特征提取；
10.利用提取到的空间特征训练时序预测模型，进行时间特征的提取；
11.使用提取的时间特征训练预设的本构参数预测模型；
12.利用训练好的本构参数预测模型，对现实世界中的非牛顿流体单目视频进行非牛顿流体的参数预测，得到相应的非牛顿流体参数；结合所得的非牛顿流体参数进行仿真重建，得到最接近现实世界非牛顿流体流动的仿真结果。
13.进一步地，基于光滑粒子流体动力学，使用cross模型定义非牛顿流体的运动黏度
与剪切速率，进行非牛顿流体的仿真，得到仿真结果的单目视频包括：
14.使用光滑粒子流体动力学方法，基于纳维-斯托克斯方程描述黏性不可压缩流体的运动；
15.引入cross模型定义非牛顿流体的运动黏度与剪切速率的非线性函数；
16.基于定义的非线性函数进行非牛顿流体的仿真，得到仿真结果的单目视频。
17.进一步地，所述使用预设的空间特征提取网络对单目视频进行空间特征提取，包括：
18.基于自编码器结构，采用卷积神经网络，并引入残差块结构，设计单帧潜在表示编码器，利用所述单帧潜在表示编码器对单帧图片进行空间特征提取；
19.基于反卷积神经网络，并引入残差块结构，设计单帧潜在表示解码器，利用所述单帧潜在表示解码器还原编码器提取到的空间特征为原来单帧图片。
20.进一步地，利用提取到的空间特征训练时序预测模型，进行时间特征的提取，包括：
21.采用卷积长短期记忆网络构建时序预测模型；
22.利用提取到的空间特征训练时序预测模型；
23.利用训练好的时序预测模型对单目视频进行时间特征的提取。
24.进一步地，所述时序预测模型由两部分组成，分别是堆叠的卷积长短期记忆网络和单帧潜在表示解码器；空间特征首先经过堆叠的卷积长短期记忆网络进行时序特征学习，然后经过单帧潜在表示解码器将时序特征还原回对应的单帧图片。
25.进一步地，所述本构参数预测模型为多层感知机网络。
26.进一步地，所述使用提取的时间特征训练预设的本构参数预测模型，包括：
27.使用时序预测模型中堆叠的卷积长短期记忆网络的网络参数并将其固定，利用卷积长短期记忆网络进行时间特征提取；将卷积长短期记忆网络提取到的时间特征输入到多层感知机网络中进行参数预测的训练，其中，所述多层感知机网络是堆叠的全连接层，最后一层的全连接层的输出是非牛顿流体参数。
28.进一步地，利用训练好的本构参数预测模型对现实世界中的非牛顿流体单目视频进行非牛顿流体的参数预测，得到相应的非牛顿流体参数；结合所得的非牛顿流体参数进行仿真重建，得到最接近现实世界非牛顿流体流动的仿真结果，包括：
29.使用单帧潜在表示编码器对真实世界非牛顿流体单目视频进行编码，将编码得到的空间特征输入卷积长短期记忆网络，得到时间特征；将得到的时间特征输入到所述本构参数预测模型，得到预测的非牛顿流体参数，基于所得非牛顿流体参数进行仿真，得到最接近现实世界非牛顿流体流动的仿真结果。
30.再一方面，本发明还提供了一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。
31.又一方面，本发明还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。
32.本发明提供的技术方案带来的有益效果至少包括：
33.本发明提供的面向单目视频的非牛顿流体仿真重建方法，可以辅助确定接近真实世界非牛顿流体的仿真参数，从而减少确定仿真初始条件的难度，并得到最佳可视化效果
的非牛顿流体仿真结果。本发明的仿真重建方法通过在仿真得到的数据上进行模型训练，然后将模型应用现实世界非牛顿流体视频上进行非牛顿流体的参数预测，进而得到最接近现实世界非牛顿流体流动的仿真结果。本方法过程稳定、重建结果符合流动方程约束、可视化效果接近真实等优点。
附图说明
34.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
35.图1是本发明实施例提供的非牛顿流体仿真重建方法的执行流程示意图；
36.图2是本发明方法采用的整体网络框架示意图；
37.图3是单帧潜在表示编码器的重建效果对比示意图；其中，(a)为单帧特征重建目标值，(b)为单帧特征重建结果；
38.图4是帧间时序特征预测效果对比示意图；其中，(a)为时序特征预测目标值，(b)为时序特征预测结果；
39.图5是真实世界番茄酱与两种参数重建结果对比图；其中，(a)为真实视频，(b)为流变仪测量材料参数下的仿真重建结果，(c)为本发明重建结果；
40.图6是不同重建方法下的像素准确度对比图；其中，(a)为流变仪测量材料参数下的仿真重建准确度；(b)为本发明方法的仿真重建准确度。
具体实施方式
41.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
42.第一实施例
43.针对非牛顿流体仿真重建中，研究人员难以在真实、准确地仿真非牛顿流体流动的情况下实现与真实世界流体流动一致的仿真结果，并且仿真重建还需要选择恰当的边界条件与合适的流体本构模型参数的问题，本实施例提供了一种面向单目视频的非牛顿流体仿真重建方法，其包括四个核心内容：一、基于光滑粒子流体动力学的不可压缩非牛顿流体计算框架；二、基于残差块的单帧的潜在表示编码解码器；三、基于卷积长短期记忆网络的时序网络预测模型；四、基于多层感知机的本构参数预测模型。该方法可以由电子设备实现，该电子设备可以是终端或者服务器。该方法的执行流程如图1所示，包括以下步骤：
44.s1，基于光滑粒子流体动力学，使用cross模型定义非牛顿流体的运动黏度与剪切速率，进行非牛顿流体的仿真，得到仿真结果的单目视频；
45.具体地，在本实施例中，上述s1包括：
46.s11，使用光滑粒子流体动力学方法，基于纳维-斯托克斯方程(navier-stokes equations)描述黏性不可压缩流体的运动；
47.s12，引入cross模型定义非牛顿流体的运动黏度与剪切速率的非线性函数；
48.s13，基于定义的函数进行非牛顿流体的仿真，得到仿真结果的单目视频。
49.s2，使用预设的空间特征提取网络对单目视频进行空间特征提取；
50.具体地，本方法采用的整体网络框架如图2所示。
51.在本实施例中，上述s2包括：
52.s21，基于自编码器结构，采用卷积神经网络并引入残差块结构，设计单帧潜在表示编码器，利用所述单帧潜在表示编码器对单帧图片进行空间特征提取；
53.s22，基于反卷积神经网络，并引入残差块结构，设计单帧潜在表示解码器，利用所述单帧潜在表示解码器还原编码器提取到的空间特征为原来单帧图片。
54.进一步地，本实施例通过实验验证单帧潜在表示编码器的有效性。单帧潜在表示编码器的重建示例如图3所示，结果表明，单帧图像经过单帧潜在表示编码器后能够映射至潜在空间，单帧潜在表示经过解码器能够在空间域上重建为原流体图像。
55.s3，利用提取到的空间特征训练时序预测模型，进行时间特征的提取；
56.具体地，在本实施例中，上述s3包括：
57.s31，采用卷积长短期记忆网络(convlstm)构建时序预测模型；
58.s32，利用提取到的空间特征训练时序预测模型；
59.s33，利用训练好的时序预测模型对单目视频进行时间特征的提取。
60.所述时序预测模型由两部分组成，分别是堆叠的卷积长短期记忆网络和单帧潜在表示解码器；空间特征首先经过堆叠的卷积长短期记忆网络进行时序特征学习，然后经过单帧潜在表示解码器将时序特征还原回对应的单帧图片。
61.进一步地，本实施例通过实验验证时序预测特征的有效性。帧间时序特征预测示例如图4所示，该结果表明，时序预测器能够对流体流动时序特征进行有效建模，能够区分流体的不同流动状态，预测流体的潜在表示时序特征变化。
62.s4，使用提取的时间特征训练预设的本构参数预测模型；
63.具体地，在本实施例中，本构参数预测模型为多层感知机(mlp)网络。
64.上述s4具体为：使用时序预测模型中堆叠的卷积长短期记忆网络的网络参数并将其固定，利用卷积长短期记忆网络提取时间特征；将该网络提取到的时间特征输入到多层感知机网络中进行参数预测的训练，其中，所述多层感知机网络是堆叠的全连接层，最后一层的全连接层的输出是非牛顿流体参数。
65.s5，利用训练好的本构参数预测模型，对现实世界中的非牛顿流体单目视频进行非牛顿流体的参数预测，得到相应的非牛顿流体参数；结合所得的非牛顿流体参数进行仿真重建，得到最接近现实世界非牛顿流体流动的仿真结果。
66.具体地，在本实施例中，上述s5具体如下：
67.使用单帧潜在表示编码器对真实世界非牛顿流体单目视频进行编码，将编码得到的空间特征输入卷积长短期记忆网络，得到时间特征；将得到的时间特征输入到本构参数预测模型，得到预测的非牛顿流体参数，基于所得非牛顿流体参数进行仿真，得到最接近现实世界非牛顿流体流动的仿真结果。
68.进一步地，本实施例通过实验验证本构模型参数预测的有效性。选取真实世界中的番茄酱作为仿真对象，对比不同的参数预估方法，进行非牛顿流体仿真重建。其中，流变仪测量获得的番茄酱仿真重建参数如表1所示，与重建参数对应的流体重建结果如图5所示。实验结果表明，本发明方法重建的仿真流体更加吻合真实视频的流体流动特性，能够获
得更加贴近真实视频的视觉效果。相比之下，基于流变仪测量材料参数的重建流体无法产生滴落、断裂、成团等现象，与真实视频的视觉效果相差较大。
69.表1流变仪测量获得的番茄酱仿真重建参数
[0070][0071]
为了进一步验证本发明的有效行，将仿真结果与真实视频投影至二维空间，对比不同重建方法下的像素准确度，如图6所示。图中白色像素为真实流体投影与重建流体投影的交集，即重建流体中吻合真实流体的像素集合；灰色像素为真实流体中存在而重建流体中缺失的像素点或真实流体中没有而重建流体中存在的像素点。不同时刻在不同重建方法下的准确率、精准率和召回率如表2所示。实验结果表明，在仿真初始设置与真实视频非常吻合的情况下，本发明重建获得的流体在在不同时刻的像素准确率与像素精确率均优于流变仪重建结果。t＝3s时，基于流变仪参数的重建流体投影面积较大，覆盖了大部分的真实流体面积，因此其召回率较高，但重建结果的视觉效果劣于本发明。
[0072]
表2不同时刻在不同重建方法下的准确率、精准率和召回率
[0073][0074]
综上，本实施例提供了一种面向单目视频的非牛顿流体仿真重建方法，可以辅助确定接近真实世界非牛顿流体的仿真参数，从而减少确定仿真初始条件的难度，并得到最佳可视化效果的非牛顿流体仿真结果。本方法通过在仿真得到的数据上进行模型训练，然后将模型应用现实世界非牛顿流体视频上进行非牛顿流体的参数预测，进而得到最接近现实世界非牛顿流体流动的仿真结果。本方法过程稳定、重建结果符合流动方程约束、可视化效果接近真实等优点。
[0075]
第二实施例
[0076]
本实施例提供一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行，以实现第一实施例的方法。
[0077]
该电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，cpu)和一个或一个以上的存储器，其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行上述方法。
[0078]
第三实施例
[0079]
本实施例提供一种计算机可读存储介质，该存储介质中存储有至少一条指令，所述指令由处理器加载并执行，以实现上述第一实施例的方法。其中，该计算机可读存储介质可以是rom、随机存取存储器、cd-rom、磁带、软盘和光数据存储设备等。其内存储的指令可由终端中的处理器加载并执行上述方法。
[0080]
此外，需要说明的是，本发明可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
[0081]
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0082]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0083]
还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
[0084]
最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
技术特征：1.一种面向单目视频的非牛顿流体仿真重建方法，其特征在于，包括：基于光滑粒子流体动力学，使用cross模型定义非牛顿流体的运动黏度与剪切速率，进行非牛顿流体的仿真，得到仿真结果的单目视频；使用预设的空间特征提取网络对单目视频进行空间特征提取；利用提取到的空间特征训练时序预测模型，进行时间特征的提取；使用提取的时间特征训练预设的本构参数预测模型；利用训练好的本构参数预测模型，对现实世界中的非牛顿流体单目视频进行非牛顿流体的参数预测，得到相应的非牛顿流体参数；结合所得的非牛顿流体参数进行仿真重建，得到最接近现实世界非牛顿流体流动的仿真结果。2.如权利要求1所述的面向单目视频的非牛顿流体仿真重建方法，其特征在于，所述基于光滑粒子流体动力学，使用cross模型定义非牛顿流体的运动黏度与剪切速率，进行非牛顿流体的仿真，得到仿真结果的单目视频，包括：使用光滑粒子流体动力学方法，基于纳维-斯托克斯方程描述黏性不可压缩流体的运动；引入cross模型定义非牛顿流体的运动黏度与剪切速率的非线性函数；基于定义的非线性函数进行非牛顿流体的仿真，得到仿真结果的单目视频。3.如权利要求1所述的面向单目视频的非牛顿流体仿真重建方法，其特征在于，所述使用预设的空间特征提取网络对单目视频进行空间特征提取，包括：基于自编码器结构，采用卷积神经网络，并引入残差块结构，设计单帧潜在表示编码器，利用所述单帧潜在表示编码器对单帧图片进行空间特征提取；基于反卷积神经网络，并引入残差块结构，设计单帧潜在表示解码器，利用所述单帧潜在表示解码器还原编码器提取到的空间特征为原来单帧图片。4.如权利要求3所述的面向单目视频的非牛顿流体仿真重建方法，其特征在于，利用提取到的空间特征训练时序预测模型，进行时间特征的提取，包括：采用卷积长短期记忆网络构建时序预测模型；利用提取到的空间特征训练时序预测模型；利用训练好的时序预测模型对单目视频进行时间特征的提取。5.如权利要求4所述的面向单目视频的非牛顿流体仿真重建方法，其特征在于，所述时序预测模型由两部分组成，分别是堆叠的卷积长短期记忆网络和单帧潜在表示解码器；空间特征首先经过堆叠的卷积长短期记忆网络进行时序特征学习，然后经过单帧潜在表示解码器将时序特征还原回对应的单帧图片。6.如权利要求5所述的面向单目视频的非牛顿流体仿真重建方法，其特征在于，所述本构参数预测模型为多层感知机网络。7.如权利要求6所述的面向单目视频的非牛顿流体仿真重建方法，其特征在于，所述使用提取的时间特征训练预设的本构参数预测模型，包括：使用时序预测模型中堆叠的卷积长短期记忆网络的网络参数并将其固定，利用卷积长短期记忆网络进行时间特征提取；将卷积长短期记忆网络提取到的时间特征输入到多层感知机网络中进行参数预测的训练，其中，所述多层感知机网络是堆叠的全连接层，最后一层的全连接层的输出是非牛顿流体参数。
8.如权利要求7所述的面向单目视频的非牛顿流体仿真重建方法，其特征在于，利用训练好的本构参数预测模型对现实世界中的非牛顿流体单目视频进行非牛顿流体的参数预测，得到相应的非牛顿流体参数；结合所得的非牛顿流体参数进行仿真重建，得到最接近现实世界非牛顿流体流动的仿真结果，包括：使用单帧潜在表示编码器对真实世界非牛顿流体单目视频进行编码，将编码得到的空间特征输入卷积长短期记忆网络，得到时间特征；将得到的时间特征输入到所述本构参数预测模型，得到预测的非牛顿流体参数，基于所得非牛顿流体参数进行仿真，得到最接近现实世界非牛顿流体流动的仿真结果。
技术总结本发明公开了一种面向单目视频的非牛顿流体仿真重建方法，包括：基于光滑粒子流体动力学，使用Cross模型定义非牛顿流体的运动黏度与剪切速率，进行非牛顿流体的仿真；使用空间特征提取网络对单目视频进行空间特征提取；利用提取到的空间特征训练时序预测模型，进行时间特征的提取；使用提取的时间特征训练预设的本构参数预测模型；利用本构参数预测模型对现实世界中的非牛顿流体单目视频进行非牛顿流体的参数预测，结合所得的非牛顿流体参数进行仿真重建，得到最接近现实世界非牛顿流体流动的仿真结果。本发明可以辅助确定接近真实世界非牛顿流体的仿真参数，从而减少确定仿真初始条件的难度，并得到最佳可视化效果的非牛顿流体仿真结果。流体仿真结果。流体仿真结果。
技术研发人员：班晓娟 董子瑞 张雅斓
受保护的技术使用者：北京科技大学
技术研发日：2022.06.20
技术公布日：2022/11/1
