1.本公开涉及预测关节的症状等的预测装置、预测系统、控制方法、控制程序。
背景技术：2.在专利文献1中公开了判定骨质疏松症的技术。
3.在先技术文献
4.专利文献
5.专利文献1：jp特开2008-36068号公报
技术实现要素：6.本公开的一方式所涉及的预测装置具备：图像取得部，取得拍到第1时刻的对象的关节(包含骨、软骨以及软组织)的医用图像；和第1预测部，根据所述医用图像，输出所述第1时刻起经过给定期间的第2时刻的与所述关节相关的第1预测信息，所述第1预测部具有能根据所述医用图像来推定所述第1预测信息的第1预测模型。
7.此外，本公开的一方式所涉及的控制方法是使计算机执行下述步骤的所述计算机的控制方法：图像取得步骤，取得拍到第1时刻的对象的关节的医用图像；和预测步骤，根据所述医用图像，输出所述第1时刻起经过给定期间的第2时刻的与所述关节相关的第1预测信息，所述计算机具有能根据所述医用图像来推定所述第1预测信息的第1预测模型。
8.此外，本公开的各方式所涉及的预测装置可以通过计算机实现，在该情况下，通过使计算机作为所述预测装置所具备的各部(软件要素)而动作、来使计算机实现所述预测装置的预测装置的控制程序、以及记录其的计算机可读的记录介质也进入本公开的范畴。
附图说明
9.图1是表示本公开的一方式所涉及的预测系统的结构例的图。
10.图2是表示本公开的其他方式所涉及的预测系统的结构例的图。
11.图3是表示本公开的一方式所涉及的预测装置的结构的一例的框图。
12.图4是表示第1预测部、第2预测部以及第3预测部所具有的神经网络的结构的一例的图。
13.图5是表示第1学习部的学习处理的流程的一例的流程图。
14.图6是表示第2学习部的学习处理的流程的一例的流程图。
15.图7是表示预测装置所进行的处理的流程的一例的流程图。
16.图8是表示通过预测装置实现的医疗服务的一例的图。
17.图9是表示本公开的其他方式所涉及的预测装置的结构的一例的框图。
具体实施方式
18.以下详细说明本公开。
19.对象的关节的疾患会使对象的qol(quality of life，生活质量)显著降低，为了减少对象的关节的疾患所引起的qol的降低，尽可能早期发现疾患的发作以及症状的进展、开始通过生活指导等合适的方法的介入非常重要。针对此，在本公开的一方式中，能提示与对象的关节的疾患的发作或症状的进展程度相关的可靠性高的信息。因此，进而，在本公开的一方式中，能减少对象的qol的降低。
20.以下说明本公开所涉及的各实施方式。另外，在以下的说明中，关于对象是人的情况，说明为“对象者”，但对象并不限于人。对象例如可以是马科、猫科、狗科、牛科或猪科等人以外的哺乳动物。并且，本公开若是下述的实施方式当中对这些动物也能运用的实施方式，就也包含将“对象者”改换说法成“动物”的实施方式。
21.〔实施方式1〕
22.(预测装置1的概要)
23.本公开的一方式所涉及的预测装置1是根据拍到第1时刻的对象者的关节的医用图像、使用第1预测模型来输出与对象者的关节的将来的症状相关的第1预测信息的装置。在此，所谓第1预测模型，是能根据所述医用图像推定所述第1预测信息的预测模型。
24.第1时刻例如可以是取得拍摄有对象者的关节的医用图像的时刻。第1时刻典型地可以是取得拍摄有对象者的当前的关节的状态的医用图像的时刻。即，所谓第1时刻，可以实质意在是当前时刻。
25.此外，第1预测信息是第1时刻起经过给定期间的第2时刻的与对象者的关节的症状相关的信息。给定期间可以是第1时刻起经过的任意的期间，可以是半年，可以是1年，可以是5年，可以是10年，也可以是50。即，所谓第2时刻，可以实质意在是将来的任意的时刻。给定期间并不限定于1个期间，也可以包含多个期间。即，第1预测信息可以包含表示第1时刻起半年后、1年后、5年后、10年后以及50年后等多个时刻的对象者的关节的症状的信息。第1预测信息例如是包含与将来时刻的、在对象者的关节发生的可能性高的症状和产生该症状的时期、以及对象者的关节的症状的进展程度相关的预测的信息。
26.更具体地，第1预测信息例如可以包含关节周围的对准、关节软骨的厚度、关节裂隙、骨刺形成、滑膜炎的有无、kellgren-laurence(k-l)分类、关节的可动区域、关节的僵硬、跛行的有无等信息，作为在对象者的关节产生的可能性高的症状。
27.预测装置1能将与在对象者的关节将来发生的疾患(例如，变形性关节症、关节风湿病、骨坏死以及其他关节特有的疾患等)的症状相关的信息在未发生该症状的时刻，提示给对象者以及负责对象者的医师等。
28.预测装置1能关于包含对象者的、颌关节、脊椎椎间关节、肩关节、肩链关节、肘关节、腕关节、手部、手指、髋关节、骶髂关节、膝关节、足关节、脚部、脚趾当中任意1者的关节，输出第1预测信息。
29.预测装置1能利用能解析构成作为预测对象的对象者的关节的骨的形状、配置、形成关节的骨所成的角度、以及周围的软组织的状态等的任意的医用图像。因而，医用图像例如包含单纯x射线图像、ct(computed tomography，计算机断层扫描)图像、mri(magnetic resonance imaging，磁共振成像)图像以及超声波图像当中至少1者即可。
30.(预测系统100a的结构)
31.首先，使用图1来说明本公开的一方式所涉及的预测系统100a的结构。图1是表示
导入了预测装置1的医疗设施8中的预测系统100a的结构例的图。
32.预测系统100a包含预测装置1、与预测装置1能通信地连接的1个以上的终端装置7。预测装置1是根据拍到对象者的关节的医用图像来输出第1预测信息、并将该第1预测信息发送到终端装置7的计算机。终端装置7从预测装置1接收第1预测信息，提示该第1预测信息。终端装置7是属于医疗设施8的医师等医疗相关人员所使用的计算机。终端装置7例如是个人计算机、平板终端、智能手机等。终端装置7具有进行与其他装置的数据收发的通信部、键盘以及麦克风等输入部、能显示第1预测信息中所含的信息的显示部、扬声器等输出部等。示出在图1所示的医疗设施8内配设lan(local area network，局域网)、预测装置1以及终端装置7与lan连接的示例，但并不限定于此。例如，也可以医疗设施8内的网络运用因特网、电话通信线路网络、光纤通信网络、有线通信网络以及卫星通信网络等。
33.在医疗设施8内的lan，除了预测装置1以及终端装置7以外，还能通信地连接医用图像管理装置6。医用图像管理装置6可以是在医疗设施8中作为用于管理所拍摄的医用图像的服务器发挥功能的计算机。在该情况下，预测装置1可以从医用图像管理装置6取得拍到对象者的关节的医用图像。
34.医疗设施8内的lan可以与外部的通信网络能通信地连接。在医疗设施8中，预测装置1和终端装置7可以不经由lan而直接连接。
35.(预测系统100b的结构)
36.预测装置1也可以不是设置于给定的医疗设施8的计算机，而是经由通信网络9与各自配设于多个医疗设施8的lan能通信地连接。图2是表示本公开的其他方式所涉及的预测系统100b的结构例的图。
37.在医疗设施8a内的lan，除了1个以上的终端装置7a以外，也可以能通信地连接电子病历管理装置5a、医用图像管理装置6a。此外，在医疗设施8b内的lan，除了终端装置7b以外，也可以能通信地连接电子病历管理装置5b、医用图像管理装置6b。以下，在不特别区别医疗设施8a和8b的情况下，记作“医疗设施8”。此外，关于终端装置7a和7b以及医用图像管理装置6a和6b，在不特别进行区别的情况下，分别记作“终端装置7”以及“医用图像管理装置6”。
38.在图2中，示出医疗设施8a以及医疗设施8b的lan与通信网络9连接的示例。预测装置1只要经由通信网络9与各医疗设施内的装置能通信地连接即可，并不限定于图2所示的结构。例如，也可以在医疗设施8a内或医疗设施8b内设置预测装置1。
39.在采用了这样的结构的预测系统100b中，预测装置1能从医疗设施8a的医用图像管理装置6a取得在医疗设施8a接受诊察的对象者pa的医用图像。并且，预测装置1对设置于医疗设施8a的终端装置7a发送与对象者pa的关节相关的第1预测信息。同样地，预测装置1能取得在医疗设施8b接受诊察的对象者pb的医用图像，对设置于医疗设施8b的终端装置7b发送与对象者pb的关节相关的第1预测信息。
40.在该情况下，在各对象者的医用图像中包含按对各对象者进行诊察的每个医疗设施8赋予的各医疗设施8所固有的识别信息(例如设施id)、按每个对象者赋予的各对象者所固有的识别信息(例如患者id)即可。预测装置1能基于这些识别信息，将根据与对象者相关的医疗图像输出的第1预测信息正确地发送给该对象者接受诊察的各医疗设施8的终端装置7。
41.(预测装置1的结构)
42.接着，使用图3来说明图1所示的预测系统100a中所运用的预测装置1的结构。图3是表示预测装置1的结构例的一例的框图。
43.预测装置1具备：总括地控制预测装置1的各部的控制部2；以及存储控制部2所使用的各种数据的存储部3。控制部2具备图像取得部21、第1预测部23、输出控制部24、第2预测部25、第1学习部27、以及第2学习部28。在存储部3中，存放用于进行预测装置1的各种控制的程序即控制程序31、第1学习数据32(患者信息)以及第2学习数据33(效果信息)。
44.《图像取得部21》
45.图像取得部21从医用图像管理装置6取得作为拍到第1时刻的对象者的关节的图像即医用图像。医用图像是输入到第1预测部23的输入数据。
46.《第1预测部23》
47.第1预测部23根据拍到对象者的关节的医用图像来输出第1时刻起经过给定期间的第2时刻的与关节相关的第1预测信息。第1预测部23具有：具备输入层231以及输出层232的学习完毕的神经网络(参考图4)。
48.第1预测部23具有使用从多个患者各自过去在多个时刻取得的与关节的症状相关的时间序列数据即第1学习数据32而学习完毕的神经网络。将该学习完毕的神经网络用作能根据对象者的医用图像来输出第1预测信息的第1预测模型。另外，神经网络是模仿人的脑神经系统的数理模型，通过学习处理来决定该数理模型的各参数，能通过按照该学习完毕的数理模型或运算式进行运算，来对预测信息进行预测。
49.第1预测部23根据对象者的医用图像向输入层231(参考图4)输入这一情况，基于第1预测模型进行运算，将第1预测信息从输出层232(参考图4)输出。第1预测部23作为一例可以是从医用图像提取特征量并将其用作输入数据的结构。在该特征量的提取中能运用以下举出那样的公知的算法。
50.·
卷积神经网络(cnn：convolutional neural network)
51.·
自动编码器(auto encoder)
52.·
循环神经网络(rnn：recurrent neural network)
53.·
lstm(long short-term memory)。
54.所谓第1预测模型，是第1预测部23基于输入数据进行运算时所用的运算模型。通过对第1预测部23所具有的神经网络执行利用了后述的第1学习数据32的机器学习，来生成第1预测模型。关于第1学习数据32、第1预测部23的结构以及学习处理的具体例，之后叙述。
55.《第2预测部25》
56.第2预测部25与第1预测部23同样，具有：具备输入层251、以及输出层252的学习完毕的神经网络(参考图4)。
57.第2预测部25具有使用从过去运用过介入的多个患者各自过去在多个时刻取得的包含与关节的症状相关的时间序列数据的第2学习数据33进行过学习的神经网络。将该学习完毕神经网络用作能根据对象者的第1预测信息来推定第3预测信息的第2预测模型。在此，所谓第2预测模型，是基于从运用过介入的多个患者各自取得的与关节的症状相关的时间序列数据而生成的预测模型。
58.第3预测信息是表示向对象者的介入的方法以及该介入所带来的效果的信息。更
具体地，是表示介入的种类的信息以及表示介入所带来的效果的信息。所谓介入所带来的效果，是表征运用了介入的情况的第2时刻的对象者的关节的症状的信息。或者，所谓介入所带来的效果，可以是表征通过运用介入从而与不运用介入的情况相比、与第2时刻的对象者的关节相关的疾患的症状得以改善的程度或抑制症状的进展的程度的信息。在第3预测信息中可以包含表示应运用介入的时期(介入时期)的信息。
59.第2预测部25根据第1预测信息向输入层251(参考图4)输入这一情况，基于第2预测模型进行运算，从输出层252(参考图4)输出第3预测信息。第2预测部25作为一例可以是从第1预测信息提取特征量并将其用作输入数据的结构。在该特征量的提取中能运用以下举出那样的公知的算法。
60.·
卷积神经网络(cnn：convolutional neural network)
61.·
自动编码器(auto encoder)
62.·
循环神经网络(rnn：recurrent neural network)
63.·
lstm(long short-term memory)。
64.所谓第2预测模型，是第2预测部25基于输入数据进行运算时所用的运算模型。通过对第2预测部25所具有的神经网络执行利用了后述的第2学习数据33的机器学习，来生成第2预测模型。关于第2学习数据33、第2预测部25的结构以及学习处理的具体例，之后叙述。
65.《输出控制部24》
66.输出控制部24将从第1预测部23输出的第1预测信息发送到终端装置7。此外，输出控制部24将从第2预测部25输出的第3预测信息发送到终端装置7。
67.预测装置1可以是具备显示部(未图示)的结构。在该情况下，输出控制部24使显示部显示第1预测信息。
68.《第1学习部27》
69.第1学习部27控制对第1预测部23所具有的神经网络的学习处理。在该学习中使用第1学习数据32(后述)。关于第1学习部27所进行的学习的具体例，之后叙述。
70.《第2学习部28》
71.第2学习部28控制对第2预测部25所具有的神经网络的学习处理。在该学习中使用第2学习数据33(后述)。关于第2学习部所进行的学习的具体例，之后叙述。
72.(第1学习数据32)
73.第1学习数据32是在用于生成第1预测模型的机器学习中所用的数据。第1学习数据32包含用于算出用作输入数据的第1学习用输入数据321与第1预测部23所输出的第1预测信息的误差的第1示教数据322。
74.例如第1学习用输入数据321可以包含多个患者各自的拍到骨/关节以及软组织的患者图像。此外，第1示教数据322可以包含拍摄到患者图像的时刻的与各患者的关节相关的症状信息。在此，症状信息可以包含与关节的疾患的发作时期或症状的进展相关的信息。患者图像可以包含拍摄到多个患者各自的关节的x射线图像、ct图像、mri图像以及超声波图像当中至少1者。
75.第1学习数据32可以是第1学习用输入数据321和第1示教数据322成为一体的数据。即，第1学习数据32可以是将从多个患者各自过去在多个时刻取得的患者图像、和对该患者图像拍摄的时刻的与关节的症状相关的信息建立对应的时间序列数据。例如，第1学习
数据32可以包含表示从某时刻、以及某时刻起1年后的患者的关节周围的对准、关节软骨的厚度、骨刺形成、滑膜炎的有无、k-l分类、关节的可动区域、疼痛的程度、关节的僵硬的程度、跛行的有无等信息提取的特征量的参数。此外，第1学习数据32可以包含表示该患者的属性的参数。患者的属性例如是各患者的身高、体重、年龄以及性别。在第1学习数据是时间序列数据的情况下，第1学习部27可以将某时刻的患者图像用作第1学习用输入数据321，将某时刻起给定的期间后的患者图像以及对该患者图像拍摄的时刻的与关节的症状相关的信息以及与患者相关的信息用作第1示教数据322。
76.第1学习数据32可以在时间序列数据中包含与多个患者各自的qol相关的信息。例如，可以包含womac、sf-36、vas等信息。具有通过利用了这样的第1学习数据32的机器学习而生成的第1预测模型的第1预测部23能根据对象者的医用图像，来输出与第2时刻的对象者的qol关联的第2预测信息。
77.(第2学习数据33)
78.第2学习数据33(效果信息)是用于生成第2预测模型的机器学习中所用的数据。第2学习数据33包含用于算出用作输入数据的第2学习用输入数据331与第1预测部23所输出的第1预测信息的误差的第2示教数据332。具体地，第2学习用输入数据331可以包含运用过介入的多个患者各自的表示运用该介入的时期的信息、拍到各患者的关节的患者图像、以及、与对各患者的患者图像拍摄的时刻的关节的症状的发作或进展相关的症状信息。此外，第2示教数据332可以包含拍到对上述的患者图像拍摄的时刻之后(例如1年后)的时刻的该患者的关节的患者图像、以及与该患者的关节的症状的发作或进展相关的症状信息。
79.第2学习数据33可以是将从过去运用过介入的多个患者各自在多个时刻取得的患者图像、和与对该患者图像拍摄的时刻的关节的症状相关的信息建立对应的时间序列数据。
80.(第1预测部23以及第2预测部25的结构)
81.以下基于图4来说明第1预测部23以及第2预测部25的结构。图4所示的结构是一例，第1预测部23以及第2预测部25的结构并不限定于此。第1预测部23以及第2预测部25可以具有同样的结构。
82.《第1预测部23的结构》
83.如图4所示那样，第1预测部23以及第2预测部25对输入到输入层231的输入数据，进行基于第1预测模型的运算，并从输出层232输出第1预测信息。此外，第1预测部23可以除了第1预测信息以外还输出第2预测信息。
84.图4的第1预测部23具备输入层231到输出层232的神经网络。神经网络是适于处置时间序列信息的神经网络即可。例如，是lstm等即可。神经网络优选是适于复合地处置时间序列信息和位置信息的神经网络。例如，是组合了cnn和lstm的convlstm网络等即可。输入层231能提取输入数据的时间变化的特征量。输出层232能基于由输入层231提取的特征量、输入数据的时间变化以及初始值，来算出新的特征量。输入层231以及输出层232具有多个lstm层。输入层231以及输出层232分别可以具有3个以上的lstm层。用于学习的第1学习用输入数据321在第1预测部23的学习时输入到第1预测部23的输入层231。作为第1示教数据322的与关节的症状相关的数据在第1预测部23的学习时，与从第1预测部23的输出层232输出的输出数据进行比较。第1预测部23通过利用了第1学习用输入数据321以及第1示教数据
322的公知的机器学习而被最优化。第1预测部23调整第1预测部23内的可变的参数，以使得根据输入到输入层231的第1学习用输入数据321而运算并从输出层232输出的疑似预测结果与第1示教数据322的差变小。
85.具体地，在对输入层231输入第1学习用输入数据321的情况下，将构成第1学习用输入数据321的多个像素数据分别输入到多个人工神经元。然后，调整参数，以使得关于从输出层232输出的疑似预测结果的、相对于第1示教数据322的误差变小。调整后的参数成为学习完毕参数，存储到第1预测模型或第2预测模型。
86.作为参数的调整方法，例如采用误差逆传播法。参数中例如包含输入层231、输出层232中使用的参数。具体地，参数中包含输入层231和输出层232的lstm层中使用的加权系数。其结果，第1预测模型对输入到输入层231的医用图像数据进行基于第1预测模型的运算，从输出层232输出第1预测信息。如以上那样，在该预测装置中，使用医用图像数据来进行第1预测部23的学习和第1预测部23中的预测。因此，能对预测装置输入医用图像，并输出为与将来的关节的症状相关的第1预测信息。
87.具体地，第1预测部23的学习时所用的输入数据是第1学习用输入数据321中所含的某时刻a的患者的医用图像。第1预测部23基于上述的输入数据，输出与从时刻a到经过了给定的期间(例如3年)的时刻b为止的患者的关节相关的疾患的发作或进展程度的预测结果，作为输出数据。具体地，第1预测部23例如输出患者的时刻b的构成关节的骨彼此所成的角度、表示该软骨的磨耗状况的参数、表示与关节的变形程度相应的级别的值、表示在该患者的关节疼痛发作的时期/程度、以及表示需要对该患者的关节进行侵入性治疗的时期的信息等。这里所示的输出数据是一例，并不限于此。
88.此外，第1预测部23输出第1预测信息时所用的输入数据例如是表示从第1时刻的对象者的医用图像提取的特征量的参数。此外，第1预测部23基于上述的输入数据，来输出与到第2时刻为止的对象者的关节相关的疾患的发作或进展程度的预测结果，作为第1预测信息。具体地，第1预测部23例如输出对象者的第2时刻的构成关节的骨彼此所成的角度、表示该软骨的磨耗状况的参数、表示与关节的变形程度相应的级别的值、表示在该对象者的关节疼痛发作的时期/程度、以及表示需要对该患者的关节进行侵入性治疗的时期的信息等，作为第1预测信息。这里所示的第1预测信息是一例，并不限于此。
89.此外，第1预测部23基于上述的第1预测信息，来输出表示对象者的qol的信息，作为第2预测信息。具体地，第1预测部23输出与对象者的关节发作的疼痛相关的信息、与对象者的悲惨思维相关的信息、与对象者的运动能力相关的信息、表示所述对象者的生活满足度的信息以及对象者的关节的僵硬的程度等信息的至少任1者，作为第2预测信息。
90.表示对象者的qol的信息是包含下述当中至少1者的信息。
91.·
与对象者的关节发作的疼痛相关的信息
92.·
与对象者的悲惨思维相关的信息
93.·
与对象者的运动能力相关的信息
94.·
表示所述对象者的生活满足度的信息。
95.表示对象者的qol的信息可以包含与该对象者的(1)身体功能、(2)日常角色功能(身体)、(3)身体的疼痛、(4)整体的健康感、(5)活力、(6)社会生活功能、(7)日常角色功能(精神)、(8)心理的健康相关的信息。
96.此外，基础信息例如可以包含对象者的关节的可动区域、体重支撑指数、跛行的有无、k-l分类、僵硬的程度等信息。与qol关联的信息例如可以包含womac(western ontario and mcmaster universities osteoarthritis index，西大略河与麦克马斯特大学骨性关节炎指数)、sf-36(36-item.short-form health survey，健康调查简表)、vas(visual analog scale，视觉模拟法)等信息。
97.《第2预测部25的结构》
98.第2预测部25可以也具备与第1预测部23同样的结构，具体地，具备输入层251以及输出层252。第2预测部25从第1预测部23取得第1预测信息，将其用作输入到输入层251的输入数据。第2预测部25可以进一步取得医用图像，将其用作输入数据。第2预测部25基于第1预测信息，使用第2预测模型来进行运算，输出第3预测信息。
99.具体地，第2预测部25的学习时所用的输入数据是第2学习数据33中所含的、表示与某时刻b的患者的关节相关的疾患的发作或进展程度的信息以及表示介入信息34中所含的介入的方法的信息。第2预测部25基于上述的输入数据，来输出表征时刻b的运用过该介入的情况下的与患者的关节相关的疾患的症状得以改善的程度或该症状的进展被抑制的程度的信息。更具体地，第2预测部25例如可以输出如下那样的信息：患者的关节的变形被抑制了多少％程度、能使发生疼痛的时期推后多少年、能使需要手术的时期推后多少年、疼痛减少了何种程度、步行能力(包含上下台阶能力)改善了何种程度、或者qol改善了何种程度。
100.此外，第2预测部25基于第1预测信息以及介入信息34中所含的表示介入的方法的信息，输出表征运用过该介入的情况下的与对象者的关节相关的疾患的症状得以改善的程度或该症状的进展被抑制的程度的信息，作为第3预测信息。
101.(介入信息34)
102.回到图3，在存储部3中预先存储关于第2预测部25推定效果的介入的信息(介入信息34)。第2预测部25若取得第1预测信息，则参考存储部3，从介入信息34中所含的介入的方法中选择至少1者，推定该介入的效果。作为被推定效果的介入信息34，例如能举出体重限制、温热治疗、超声波疗法、支具的穿戴、或补剂的摄取(例：软骨素或氨基葡萄糖)这样的非侵入性的治疗。此外，作为介入信息34，也可以推定人工关节置换术等侵入性的治疗所带来的效果。
103.(基于第1学习部27的学习处理)
104.以下使用图5来说明用于生成第1预测模型的学习处理。图5是表示基于第1学习部27的学习处理的流程的一例的流程图。
105.第1学习部27从存储部3取得第1学习数据32中所含的第1学习用输入数据321(步骤s1)。在第1学习用输入数据321中包含患者a、b、
…
的患者图像。
106.接着，第1学习部27将第1学习用输入数据321中所含的时刻a的患者a的患者图像输入到输入层231(步骤s2)。输入层231可以从所输入的患者图像提取表示特征量的参数。
107.接下来，第1学习部27从输出层232取得与患者a的关节的症状相关的输出数据(步骤s3)。该输出数据包含与第1示教数据322相同内容。
108.接着，第1学习部27取得第1学习数据32中所含的第1学习用输入数据321。然后，第1学习部27将所取得的输出数据和第1示教数据322中所含的时刻b的患者a的症状信息进行
比较，算出误差(步骤s4)，第1学习部27调整第1预测模型，以使得该误差变小(步骤s5)。
109.在第1预测模型的调整中，能运用任意的公知的方法。例如，作为第1预测模型的调整方法，可以采用误差逆传播法。调整后的第1预测模型成为新的第1预测模型，在以后的运算中，第1预测部23使用新的第1预测模型。在第1预测模型的调整阶段，能调整第1预测部23中使用的参数(例如滤波系数、加权系数等)。
110.第1学习部27在误差未收敛于给定的范围内的情况下，以及在未输入第1学习数据32中所含的全部患者的患者图像的情况下(步骤s6“否”)，回到步骤s2，重复学习处理。第1学习部27在误差收敛于给定的范围内的情况下、以及在将第1学习数据32中所含的全部患者的患者图像输入完毕的情况下(步骤s6“是”)，结束学习处理。
111.(基于第2学习部28的学习处理)
112.接下来，使用图6来说明用于生成第2预测模型的学习处理。图6是表示基于第2学习部28的学习处理的流程的一例的流程图。
113.第2学习部28从存储部3取得第2学习用输入数据331(步骤s11)。在第2学习用输入数据331中包含与各患者的关节的症状相关的症状信息以及运用过某介入(以下称作介入x)的患者(患者a)的症状信息。
114.接着，第2学习部28将第2学习用输入数据331中所含的时刻b的与患者a的关节的症状相关的症状信息输入到输入层231(步骤s12)。
115.接下来，第2学习部28从输出层232取得与患者a的关节的症状相关的输出数据(步骤s13)。该输出数据包含与第2示教数据332相同的内容。
116.接着，第2学习部28取得第2示教数据332。然后，第2学习部28将所取得的输出数据、和第2示教数据332中所含的在时刻b运用了介入x的患者a的症状信息进行比较，算出误差(步骤s14)，学习部27调整第2预测模型，以使得该误差变小(步骤s15)。
117.第2预测模型的调整能运用任意的公知的方法。例如，作为第2预测模型的调整方法，可以采用误差逆传播法。调整后的第2预测模型成为新的第2预测模型，在以后的运算中，第2预测部25使用新的第2预测模型。在第2预测模型的调整阶段中，能调整第1预测部23中使用的参数(例如滤波系数、加权系数等)。
118.第2学习部28在误差未收敛于给定的范围内的情况下、以及在未输入第2学习数据33中所含的全部患者的症状信息的情况下(步骤s16“否”)，回到步骤s12，重复学习处理。第2学习部28在误差收敛于给定的范围内的情况下、以及在将第2学习数据33中所含的全部患者的症状信息输入完毕的情况下(步骤s16“是”)，结束学习处理。
119.(预测装置1所进行的处理)
120.以下，使用图7来说明预测装置1所进行的处理的流程。图7是表示预测装置1所进行的处理的流程的一例的流程图。
121.《第1预测信息的输出》
122.首先，图像取得部21从医用图像管理装置6取得医用图像(输入数据)(步骤s21：图像取得步骤)，并输入到第1预测部23。
123.接着，第1预测部23根据被输入了医用图像，来输出第1预测信息(步骤s22：预测步骤)。
124.《第2预测信息的输出》
125.在基础信息中包含与对象者的qol相关的信息的情况下，在步骤s22，第1预测部23也可以根据被输入了医用图像，来进一步输出第2预测信息。
126.《第3预测信息的输出》
127.第2预测部25若取得第1预测信息，则参考存储部3的介入信息34，选择介入信息34中所含的介入的方法当中至少1者(步骤s23)。此外，第2预测部25根据被输入了第1预测信息，来输出关于所选择的介入的第3预测信息(步骤s24)。
128.(由预测装置1实现的医疗服务)
129.图8是表示由预测装置1实现的医疗服务的一例的图。
130.在对象者由于膝关节的疼痛等而前去医疗设施8、怀疑与关节有关系的疾患的情况下，负责对象者的医师等(用户)取得该时刻(第1时刻)的该对象者的x射线照片(医用图像)。用户将所取得的信息输入到预测系统1，预测系统1输出第2时刻的对象者的关节的状态(第1预测信息)。此外，预测系统1向对象者输出表示运用生活指导等的情况下的该介入所带来的效果的信息(第3预测信息)。用户通过利用预测系统1所输出的各信息，能向对象者提示更优选的生活指导等介入。此外，认为通过对象者也获知介入所带来的效果，会更积极地接受介入。
131.〔变形例〕
132.《基础信息取得部22》
133.预测装置1也可以除了上述的结构以外，如图3所示那样，还具备基础信息取得部22。基础信息取得部22从电子病历管理装置5取得与对象者关联的信息即基础信息。电子病历管理装置5是作为用于管理在医疗设施8接受过诊察的对象者的电子病历信息的服务器发挥功能的计算机。在医疗设施8a内的lan，除了1个以上的终端装置7a以及医用图像管理装置6a以外，还能通信地连接电子病历管理装置5a。在电子病历信息中包含对象者的基础信息以及问诊信息。基础信息是除了医用图像以外也输入到第1预测部23的输入数据。第1预测部23所具有的第1预测模型能除了基于医用图像以外还基于基础信息来推定第1预测信息。
134.基础信息是包含对象者的身高、年龄以及性别的信息。基础信息可以进一步包含所述对象者的体格指数(bmi)、种别(例如人种等)、职业经历、运动经历、关节疾患的既往经历、以及与骨的形态或关节液/滑膜相关的信息、生物标志物信息、以及遗传基因信息当中至少1者。基础信息例如可以包含对象者的电子病历信息等中所含的信息。基础信息可以是通过在医疗设施8等中实施的问诊而从对象者取得的问诊信息，例如也可以包含与对象者的第1时刻的qol关联的信息。
135.此外，在第1预测部23使用基础信息作为输入数据的情况下，第1学习部27可以在进行第1预测部23的学习时，除了某时刻的患者的医用图像，还将该患者的症状信息以及属性信息作为第1学习用输入数据321输入到第1预测部23。
136.根据以上的结构，预测装置1除了取得医用图像以外，还从电子病历管理装置5取得对象者的基础信息，对设置于医疗设施8a的终端装置7a发送与对象者pa的关节相关的第1预测信息。同样地，预测装置1能取得在医疗设施8b接受诊察的对象者pb的医用图像以及基础信息，对设置于医疗设施8b的终端装置7b发送与对象者pb的关节相关的第1预测信息。
137.此外，预测装置1可以除了第1预测部23以及第2预测部25以外，进一步具备输出第
4预测信息的第3预测部26。此外，预测装置1可以具备进行第3预测部26的学习处理的第3学习部29。在此，所谓第4预测信息，是运用过介入的情况下的运用该介入起经过给定的期间后的时刻即第3时刻处的对象者的临床成绩信息。第3预测部26与第2预测部25相同地能通过利用了第2学习数据33的机器学习来生成。其中，第3预测部26是输出与第2预测部25不同的输出数据的神经网络。第3预测部26具有基于第2学习数据33中所含的、从过去运用过某介入的多个患者各自过去在多个时刻取得的与介入方法相关的时间序列数据(临床成绩信息)来生成的第3预测模型。第3预测部26基于第1预测信息和介入信息34，进行利用了第3预测模型的运算，输出与第3时刻处的对象者的介入后的临床成绩相关的第4预测信息。
138.临床成绩信息是实施手术治疗的患者的信息，例如能举出关节镜监视下手术、关节保留手术(例：截骨术)、人工关节置换术，临床成绩信息例如能举出疼痛、关节的僵硬、关节的可动区域、步行能力、关节周围的对准。关节镜监视下手术中的临床成绩信息并没有特别限定，能举出滑膜炎的有无、嵌顿症状等的有无，人工关节置换术中的临床成绩信息能举出疼痛、关节的可动区域、步行能力等。
139.第3预测部26可以也具备与第1预测部23同样的结构，具体地，具备输入层261以及输出层262。第3预测部26例如输出在时刻a运用的某介入的时刻b的临床成绩，作为第4预测信息。
140.此外，第3学习部29进行第3预测部26的学习。第3学习部29中进行的学习处理的流程与第1学习部27以及第2学习部28中进行的处理同样。其中，第3学习部29将第2学习数据33中所含的某患者a的时刻b的症状信息以及表示某介入x的信息作为输入数据，输入到第3预测部26。第3学习部29基于输入数据，将运用介入x的情况下的时刻b的介入x的临床成绩作为输出数据输出到第3学习部29。第3学习部29将该输出数据和第2学习数据33中所含的时刻b的介入x的临床成绩信息进行比较，来调整第3预测模型。
141.此外，输出控制部24可以除了第1预测信息、第2预测信息以及第3预测信息以外，还输出对象者的拍摄时刻的信息。具体地，输出控制部24可以输出与第1时刻的该对象者的医用图像、关节的症状相关的信息以及表示症状的进展程度的信息等。
142.〔实施方式2〕
143.以下说明预测装置1为了预测与变形性膝关节症(knee osteoarthritis、以下记作koa)相关的信息而运用的情况。koa是在膝关节的形状以及软骨上发生异常、膝关节逐渐变形的疾患。日本中koa的患者数预估约为2400万人。这当中的约1/3的患者具有膝的疼痛。在发作koa、症状恶化的情况下，需要接受人工膝关节置换术。
144.为了koa的发作的预防以及症状的进展的抑制，重要的是尽可能早期地开始生活指导等的介入。若运用本公开的一方式所涉及的预测装置1，就能预测koa的发作时期以及症状的推移。
145.以下说明将预测装置1运用在与koa相关的信息的预测的情况的各数据的具体例。
146.在该情况下，输入到输入层231的输入数据是第1时刻的医用图像。第1时刻例如是在医疗设施8中对象者的当前的膝的状态被诊察的时刻。此外，也可以对输入层231除了医用图像以外还输入第1时刻的对象者的基础信息。
147.医用图像例如可以是在第1时刻拍摄对象者而得到的下肢x射线照片(x射线图像)、下肢ct照片(ct图像)、下肢mri照片(mri图像)、下肢超声波图像当中至少1者。x射线图
像可以是立位正面像、正面像、侧面像、rosenberg view、膝盖骨轴方向像当中至少1者。在拍摄时，可以使用将膝固定的定位器。
148.此外，基础信息可以包含表示第1时刻的对象者的身高、体重、年龄、性别的信息。基础信息也可以进一步包含下述的信息当中至少1者。
149.·
种别(例如人种)、伤病的有无、伤病的种类、职业、职业经历、生活习惯、运动习惯、运动经历、吸烟习惯、与骨的形态相关的信息、遗传基因信息、膝关节液的组成、下肢肌肉量、股四头肌力量、步行辅助工具的使用频率、用药治疗的有无、消炎药的使用有无、与在膝产生的疼痛相关的信息(例：疼痛的有无)、表示膝关节的可动区域的信息、与对象者的运动能力相关的信息(步行能力)、表示对象者的生活满足度的信息、关节疾患的既往经历、生物标志物信息、以及表示与膝的关节的变形程度相应的级别的值(例：k-l分类、腰区分类)。
150.所谓表示对象者的生活满足度的信息，可以是进行与对象者的qol相关的诊断的结果的分数。作为该分数的评价方法，例如能使用sf-36、womac、ikdc(international knee documentation committee，国际膝关节评分委员会)、koos(knee injury and osteoarthritis outcome score，膝关节损伤与骨关节炎评分)、jkom(japanese knee osteoarthritis measure，日本版膝骨性关节炎测量)。
151.遗传基因信息可以包含与对asporin进行编码的遗传基因、对gdf5进行编码的遗传基因、对dvwa进行编码的遗传基因当中至少1者相关的信息。这些是认为与koa的进展关联的遗传基因所相关的信息。
152.伤病例如可以是半月板损伤、前十字韧带损伤、后十字韧带损伤以及外伤。
153.(第1学习数据32)
154.本实施方式中的第1学习数据32是从具有与多个膝关节相关的疾患的患者各自过去在多个时刻取得的与膝关节的症状相关的时间序列数据。此外，第1学习数据32可以包含多个患者各自的下述(1)～(3)。
155.(1)拍到膝关节的患者图像
156.(2)与对该患者图像拍摄的时刻的膝关节的疾患的发作或症状的进展相关的症状信息
157.(3)将与对该患者图像拍摄的时刻的qol关联的患者关联信息建立对应的信息。
158.作为一例，第1学习部27可以将第1学习数据32中所含的数据当中的某时刻的患者图像用作第1学习用输入数据321，将该时刻起经过给定的期间的时刻的该患者的患者图像、症状信息以及患者关联信息用作第1示教数据322。
159.(第1预测信息)
160.第1预测部23根据被输入了上述的输入数据，来输出第1预测信息。第1预测信息可以包含以下举出的信息当中至少1者。
161.·
表示与对象者的第2时刻的膝的关节的变形程度相应的级别(例：k-l分类)的值
162.·
对象者的第2时刻的膝的可动区域
163.·
对象者的第2时刻的膝的关节裂隙的宽度
164.·
对象者的第2时刻的股骨与胫骨所成的角度(femoro-tibial angle)
165.·
在对象者的膝疼痛发作的时期以及程度
166.·
对象者变得步行困难的时期
167.·
需要对对象者的膝进行侵入性治疗的时期。
168.作为第1预测信息而输出的信息可以是能通过第1预测模型预测的任意的信息，但并不限定于此。
169.(第2学习数据33)
170.本实施方式所涉及的第2学习数据33是运用过介入的情况下的医用图像的时间序列数据。此外，在第2学习数据33中可以包含运用过该介入的患者的基础信息。
171.第2预测部25对于各个介入，使用第2预测模型来输出表示该介入所带来的效果的推定结果的第3预测信息。在此，所谓第2预测部25所输出的第3预测信息，例如是运用了某介入的情况下的第2时刻的对象者的膝关节的变形的程度、或疼痛的有无/程度等。此外，第2预测部25可以生成表示运用了该介入的情况下的第2时刻的对象者的膝的状态的图像，将其作为第3预测信息输出。
172.此外，在选择运动习惯的变更作为介入的方法的情况下，第2预测部25可以还预测并输出为了抑制膝的变形所需的下肢的肌肉量、肌肉力量、肌肉平衡。此外，在选择关节镜监视下手术作为介入的方法的情况下，第2预测部25可以预测并输出为了膝的变形所需的骨刺的切除范围。此外，在作为介入的方法而选择截骨术的情况下，第2预测部25可以预测并输出为了抑制膝的变形所需的对准修正。
173.(推定效果的介入的方法)
174.在本实施方式中，存储于存储部3的介入信息34中所含的介入的方法例如是非侵入性的治疗。例如，介入能举出体重限制、温热疗法、超声波疗法、运动疗法、刺激疗法、徒手疗法、高频疗法、药剂摄取(药剂投喂)、补剂摄取以及支具的穿戴等。支具例如可以包含步行辅助工具、护具以及足底板等。
175.补剂例如可以包含软骨素或氨基葡萄糖等。此外，药剂例如可以包含非类固醇性消炎药、扑热息痛、环氧合酶(cox)-2抑制剂或软骨素硫酸钠等。此外，介入的方法可以包含关节内注射、手术疗法以及侵入性的治疗等。作为关节内注射，例如能举出透明质酸、类固醇或再生医疗等制品(prp：plate rich plasma(富血小板血浆)、msc：mesenchymal stem call(间充质干细胞)或muse细胞：multi-lineage differentiating stress enduring cell，(应激耐受多系分化细胞等)。此外，作为手术疗法，例如能举出关节镜监视下手术、半月板缝合/切除术、韧带再建术、截骨术(hto：high tibial osteotomy，胫骨高位截骨术等)、软骨再生医疗或人工膝关节置换术等。
176.第2预测部25选择介入的方法中的至少1者，推定该介入所带来的效果。此外，第2预测部25也可以推定将该介入组合多个来运用的情况所带来的效果。
177.〔变形例〕
178.预测装置1的控制部2可以从医用图像提取新的基础信息。例如，控制部2可以基于医用图像来测定以下所举出的当中至少1者。
179.·
根据图像而股骨与胫骨所成的角度(femoro-tibial angle)、下肢肌肉量、关节软骨的厚度、骨髓异常阴影、下骨囊肿、凹陷、骨刺形成、半月板损伤、十字韧带损伤、滑膜炎、骨硬化、韧带的张力变化、关节的挛缩、股骨的内侧或外侧的软骨下骨的骨密度、胫骨的内侧或外侧的软骨下骨的骨密度、胫骨的内侧或外侧的软骨下骨的骨小梁构造、胫骨的内侧或外侧的软骨下骨的骨密度、胫骨的内侧或外侧的软骨下骨的血管的走向。
180.可以将由控制部2测定的结果用作输入到第1预测部23的基础信息。
181.此外，控制部2也可以从对象者的下肢x射线照片测量关节裂隙，将测量结果用作输入到第1预测部23的基础信息。此外，控制部2也可以从对象者的步行动态图像进行对象者的外部膝内反力矩的测量以及膝外摆(lateral thrust)的有无的检测，将检测结果用作输入到第1预测部23的基础信息。
182.根据该结构，预测装置1由于能基于更多的输入数据进行预测，因此能使第1预测信息的精度更加提升。
183.预测装置1可以具有基于与介入相关的时间序列数据(临床成绩信息)生成的第3预测模型。临床成绩信息是实施过手术治疗的患者的信息，例如能举出关节镜监视下手术、截骨术、人工关节置换术，临床成绩信息例如能举出疼痛、关节的僵硬、关节的可动区域、步行能力、关节周围的对准(内外反对准、回旋对准)。关节镜监视下手术中的临床成绩信息并没有特别限定，但能举出滑膜炎的有无、嵌顿症状的有无，截骨术中的临床成绩信息并没有特别限定，能举出femoro-tibial angle、％ma(mikulicz线)、膝盖髋关节压，人工膝关节置换术中的临床成绩信息能举出疼痛、关节的可动区域、步行能力。
184.〔实施方式3〕
185.以下说明预测装置1为了预测与变形性髋关节症(hip osteoarthritis、以下记作hoa)相关的信息而运用的情况。为了说明的方便，对于具有与上述实施方式中说明的构件相同的功能的构件，标注相同的符号，不重复其说明。
186.hoa是在髋关节的形状以及软骨中发生异常、髋关节逐渐变形的疾患。日本中的hoa的患病率预估为国民的约1～5％。在发作hoa、症状恶化的情况下，需要接受人工髋关节置换术。
187.在hoa的发作的预防以及症状的进展的抑制中，重要的是尽可能早期开始生活指导等的介入。若运用本公开的一方式所涉及的预测装置1，就能预测hoa的发作时期以及症状的推移。
188.以下说明将预测装置1运用在与hoa相关的信息的预测中的情况的各数据的具体例。
189.在该情况下，输入到输入层231的输入数据是第1时刻的医用图像。这里的所谓第1时刻，是能掌握对象者的当前的髋关节的状态的时刻。例如，所谓第1时刻，是对象者在医院受诊的时刻。此外，对输入层231也可以除了医用图像以外还输入第1时刻的对象者的基础信息。
190.此外，该情况下的医用图像是为了进行关于对象者的髋关节的变形的运算而用作输入数据的图像。医用图像例如是在第1时刻对对象者的髋关节周边拍摄而得到的x射线照片(x射线图像)、ct照片(ct图像)、mri照片(mri图像)、超声波图像当中至少1者。
191.此外，基础信息可以包含表示第1时刻的对象者的身高、体重、年龄、性别的信息。基础信息也可以还包含下述的信息当中至少1者。
192.·
种别(例如人种)、伤病的有无、伤病的种类、职业、职业经历、生活习惯、运动习惯、运动经历、吸烟习惯、与骨的形态相关的信息、遗传基因信息、关节液的组成、下肢肌肉量、步行辅助工具的使用频率、用药治疗的有无、消炎药的使用有无、与在髋关节发作的疼痛相关的信息(例：疼痛的有无)、表示髋关节的可动区域的信息、与对象者的运动能力相关
的信息(步行能力)、表示对象者的生活满足度的信息、关节疾患的既往经历、以及表示与生物标志物信息以及髋关节的变形程度相应的级别的值(例：k-l分类)。
193.遗传基因信息可以包含作为对钙调蛋白进行编码的遗传基因的calm1、calm2以及gdf5、以及对asporin进行编码的遗传基因当中的至少1者所相关的信息。这些是认为与hoa的进展关联的遗传基因所相关的信息。
194.关节疾患的既往经历例如可以是髋臼发育不良、发育性髋关节发育不良。发育性髋关节发育不良的诊断可以通过x射线图像或超声波图像进行。在难以进行x射线拍摄、超声波诊断的情况下，也可以通过照片、动态图像来进行。诊断可以使用神经网络。神经网络可以学习多个发育性髋关节发育不良患者的照片、动态图像、x射线图像或超声波图像。
195.(第1学习数据32)
196.本实施方式中的第1学习数据32是从具有与多个髋关节相关的疾患的患者各自过去在多个时刻取得的与髋关节的症状相关的时间序列数据。此外，第1学习数据32可以包含多个患者各自的下述(1)～(3)。
197.(1)拍到髋关节的患者图像
198.(2)与对该患者图像拍摄的时刻的髋关节的疾患的发作或症状的进展相关的症状信息
199.(3)与对该患者图像拍摄的时刻的qol关联的患者关联信息。
200.作为一例，第1学习部27可以将第1学习数据32中所含的数据当中的某时刻的患者图像用作第1学习用输入数据321，将该时刻起经过给定的期间的时刻的该患者的患者图像、症状信息以及患者关联信息用作第1示教数据322。
201.(第1预测信息)
202.第1预测部23根据被输入了上述的输入数据，来输出第1预测信息。第1预测信息可以包含以下举出的信息当中至少1者。
203.·
表示与对象者的第2时刻的髋关节的变形程度相应的级别(例：k-l分类)的值
204.·
对象者的第2时刻的髋关节的可动区域
205.·
在对象者的髋关节疼痛发作的时期/程度
206.·
对象者变得步行困难的时期
207.·
需要对对象者的髋关节进行侵入性治疗的时期。
208.作为第1预测信息而输出的信息可以是能通过第1预测模型预测的任意的信息，并不限定于这些。
209.(第2学习数据33)
210.本实施方式所涉及的第2学习数据33是运用了介入的情况下的医用图像的时间序列数据。此外，在第2学习数据33中可以包含运用过该介入的患者的基础信息。
211.第2预测部25对于各个介入，使用第2预测模型来输出表示该介入所带来的效果的推定结果的第3预测信息。在此，所谓第2预测部25所输出的第3预测信息，例如是运用了介入的情况下的第2时刻的对象者的髋关节的变形的程度、或疼痛的有无/程度等。此外，第2预测部25生成表示运用了介入的情况下的第2时刻的对象者的髋关节的状态的图像，将其作为第3预测信息来输出。
212.(推定效果的介入的方法)
213.在本实施方式中，存储于存储部3的介入信息34中所含的介入的方法例如是非侵入性的治疗。例如，介入的方法能举出体重限制、温热疗法、超声波疗法、运动疗法、刺激疗法、徒手疗法、高频疗法、药剂摄取(药剂投喂)、补剂摄取、支具的穿戴、患者教育等。支具例如可以包含步行辅助工具、护具等。
214.补剂例如可以包含软骨素或氨基葡萄糖等。药剂例如可以包含非类固醇性消炎药、扑热息痛、cox-2抑制剂以及软骨素硫酸钠等。介入的方法可以包含关节内注射、手术疗法以及侵入性的治疗等。作为关节内注射，能举出透明质酸、类固醇或再生医疗等制品(prp、msc或muse细胞等)。此外，作为手术疗法，能举出关节镜监视下手术、截骨术(rao：rotational acetabular osteotomy，髋臼旋转截骨术)或人工髋关节置换术等手法。
215.第2预测部25选择该介入的方法中的至少1者，推定该介入所带来的效果。此外，第2预测部25也可以推定将该介入的方法组合多个来运用的情况所带来的效果。
216.〔实施方式4〕
217.以下说明预测装置1为了预测与突发性股骨头坏死症(idiopathic osteonecrosis of femoral head、以下记作“ion”)相关的信息而运用的情况。为了说明的方便，对于具有与上述实施方式中说明的构件相同功能的构件，标记符号，不再重复其说明。
218.ion是股骨头阻血性坏死而压坏、丧失髋关节功能的难治性疾患。ion占据了需要实施人工髋关节置换术的全疾患的7％。ion在日本，以约5000人中1人的比例发作。类固醇全身投喂、饮酒习惯以及吸烟习惯等被怀疑为ion发作的关联因子。
219.ion多在30～40岁发作，带来劳动力的降低。此外，在发作了ion的情况下，需要长时间的治疗。ion的症状进展而发生股骨头的压坏的患者需要接受人工髋关节置换术。
220.本公开的一方式所涉及的预测装置能预测到ion发作为止的期间。
221.进而，本公开的一方式所涉及的预测装置能预测ion的症状的推移、以及到股骨头压坏为止的期间。
222.在该情况下，输入到输入层231的输入数据是第1时刻的医用图像。这里所谓第1时刻，是能掌握对象者的当前的髋关节的状态的时刻。例如，所谓第1时刻，是对象者在医院受诊的时刻。此外，可以对输入层231除了医用图像以外还输入第1时刻的对象者的基础信息。
223.此外，该情况下的医用图像例如可以是在第1时刻对对象者的髋关节周边拍摄而得到的x射线照片(x射线图像)、ct照片(ct图像)、mri照片(mri图像)、超声波图像当中至少1者。
224.此外，基础信息例如是包含第1时刻的对象者的性别、年龄、身高、体重、种别(例如人种)、职业、职业经历、生活习惯、运动习惯、运动经历、吸烟习惯、饮酒习惯、类固醇服用的有无、与骨的形态相关的信息、遗传基因信息、与在髋关节发作的疼痛以及僵硬相关的信息(例：疼痛/僵硬的有无或程度)、以及生物标志物信息当中至少1者的信息。
225.(第1学习数据32)
226.本实施方式中的第1学习数据32是从诊断为是ion的多个患者各自过去在多个时刻取得的与ion的症状相关的时间序列数据。此外，第1学习数据32包含将多个患者各自的拍到髋关节的患者图像、与对该患者图像拍摄的时刻的髋关节的疾患的发作或症状的进展相关的症状信息、以及与对该患者图像拍摄的时刻的qol关联的患者关联信息建立对应的
信息。此外，在第1学习数据32中可以包含表示发生股骨头的压坏的时期的信息。
227.作为一例，第1学习部27可以将第1学习数据32中所含的数据当中的某时刻的患者图像用作第1学习用输入数据321，将该时刻起经过给定的期间的时刻的该患者的患者图像、症状信息以及患者关联信息用作第1示教数据322。
228.(第1预测信息)
229.第1预测部23根据被输入了上述的输入数据，来输出第1预测信息。第1预测信息可以包含以下举出的信息当中至少1者。
230.·
第2时刻的对象者的髋关节的疼痛的程度
231.·
对象者的第2时刻的髋关节的可动区域
232.·
在对象者的髋关节疼痛发作的时期
233.·
对象者的骨头压坏的时期
234.·
对象者变得步行困难的时期
235.·
需要对对象者的髋关节进行侵入性治疗的时期。
236.例如，第1预测部23输出对象者的5年后的髋关节的疼痛的程度，作为第1预测信息。
237.作为第1预测信息而输出的信息可以是能通过第1预测模型预测的任意的信息，并不限定于这些。
238.(第2学习数据33)
239.本实施方式所涉及的第2学习数据33是运用过介入的情况下的医用图像的时间序列数据。此外，在第2学习数据33中可以包含运用过该介入的患者的基础信息。
240.第2预测部25对于各个介入，使用第2预测模型来输出表示该介入所带来的效果的推定结果的第3预测信息。在此，所谓第2预测部25所输出的第3预测信息，例如是运用了介入的情况下的第2时刻的在对象者的髋关节发作的疼痛的有无/程度、或僵硬的有无/程度等。此外，第2预测部25可以生成表示运用了介入的情况下的第2时刻的对象者的髋关节的状态的图像，将其作为第3预测信息来输出。此外，第2预测信息也可以在运用了介入的情况下输出发生股骨的压坏的时期，作为第3预测信息。
241.(推定效果的介入的方法)
242.在本实施方式中，存储于存储部3的介入信息34中所含的介入的方法例如是非侵入性的治疗。介入的方法能举出体重限制、温热疗法、超声波疗法、药剂摄取、支具的穿戴等。支具例如可以包含步行辅助工具、护具等。
243.药剂量1例如可以是他汀系高脂血症治疗药。
244.介入的方法例如可以包含关节内注射或手术疗法、以及侵入性的治疗等。此外，手术疗法例如可以是截骨术、人工髋关节置换术。
245.第2预测部25选择该介入的方法中的至少1者，推定该介入所带来的效果。此外，第2预测部25也可以推定将该介入的方法组合多个来运用的情况所带来的效果。
246.〔基于软件的实现例〕
247.预测装置1的控制块(特别是图像取得部21、基础信息取得部22、第1预测部23、输出控制部24、第2预测部25、第1学习部27以及第2学习部28)可以通过形成于集成电路(ic芯片)等的逻辑电路(硬件)实现，也可以通过软件实现。
248.在后者的情况下，预测装置1具备执行实现各功能的软件即程序的命令的计算机。该计算机例如具备1个以上的处理器，并且具备存储上述程序的计算机可读的记录介质。并且，在上述计算机中，通过上述处理器江上述程序从上述记录介质读取并执行，来达成本公开的目的。作为上述处理器，例如能使用cpu(central processing unit，中央处理器)。作为上述记录介质，除了“非临时的有形的介质”例如rom(read only memory，只读存储器)等以外，还能使用带、盘、卡、半导体存储器、可编程的逻辑电路等。此外，可以还具备将上述程序展开的ram(random access memory，随机存取存储器)等。此外，上述程序可以经由能传输该程序的任意的传输介质(通信网络、广播等)供给到上述计算机。本公开的一方式还能以将上述程序通过电子的传输而具体化的嵌入载波的数据信号的形态来实现。
249.以上基于诸附图以及实施例说明了本公开所涉及的发明。但本公开所涉及的发明并不限定于上述的各实施方式。即，本公开所涉及的发明能在本公开所示的范围进行种种变更，关于对不同的实施方式分别适宜组合公开的技术的手段而得到的实施方式，也包含在本公开所涉及的发明的技术的范围内。即，希望注意的是，只要是本领域技术人员，就容易基于本公开进行种种变形或修正。此外，希望留意的是，这些变形或修正包含在本公开的范围中。
250.符号说明
251.1 预测装置
252.21 图像取得部
253.22 基础信息取得部
254.23 第1预测部
255.24 输出控制部
256.25 第2预测部
257.26 第3预测部
258.32 第1学习数据(患者信息)
259.33 第2学习数据(效果信息)
260.100a、100b 预测系统
261.s21 图像取得步骤
262.s23 预测步骤。
技术特征：1.一种预测装置，具备：图像取得部，取得拍到第1时刻的对象的关节的医用图像；和第1预测部，根据所述医用图像，输出所述第1时刻起经过给定期间的第2时刻的与所述关节相关的第1预测信息，所述第1预测部具有能根据所述医用图像来推定所述第1预测信息的第1预测模型。2.根据权利要求1所述的预测装置，其中，所述预测装置还具备：基础信息取得部，取得所述对象的所述第1时刻的基础信息，所述第1预测模型能除了所述医用图像以外还根据所述基础信息来推定所述第1预测信息。3.根据权利要求2所述的预测装置，其中，所述基础信息包含所述对象的身高、体重、年龄以及性别当中至少1者。4.根据权利要求2或3所述的预测装置，其中，所述基础信息还包含所述对象的种别、职业经历、运动经历、关节疾患的既往经历以及与骨的形态相关的信息、生物标志物信息以及遗传基因信息当中至少1者。5.根据权利要求2～4中任一项所述的预测装置，其中，所述基础信息包含与所述第1时刻的所述对象的qol关联的信息。6.根据权利要求5所述的预测装置，其中，与所述qol关联的信息包含：与在所述关节发作的疼痛相关的信息、与所述对象的运动能力相关的信息以及表示所述对象的生活满足度的信息当中至少1者。7.根据权利要求1～6中任一项所述的预测装置，其中，所述第1预测信息是包含到所述第2时刻为止的与所述关节相关的疾患的发作或症状的进展程度的信息。8.根据权利要求1～7中任一项所述的预测装置，其中，所述第1预测信息是包含到所述第2时刻为止的与所述关节相关的疾患的症状的进展程度的信息，所述症状的进展程度是关节周围的对准、关节软骨的厚度、kellgren-laurence(k-l)分类、关节的可动区域、关节的僵硬、跛行的有无。9.根据权利要求1～8中任一项所述的预测装置，其中，所述第1预测部具有神经网络来作为所述第1预测模型，所述神经网络是使用从多个患者各自在过去多个时刻取得的作为与所述关节的症状相关的时间序列数据的患者信息而学习的。10.根据权利要求9所述的预测装置，其中，所述患者信息包含所述多个患者各自的拍到所述关节的患者图像、该患者图像被拍摄的时刻的与所述关节相关的症状信息。11.根据权利要求10所述的预测装置，其中，所述患者图像包含对所述多个患者各自的关节拍摄而得到的x射线图像、ct图像、mri图像以及超声波图像当中至少1者。12.根据权利要求1～11中任一项所述的预测装置，其中，
所述第1预测部还能根据所述医用图像，输出与所述第2时刻的所述对象的qol关联的第2预测信息，所述第1预测模型能根据所述医用图像来推定所述第2预测信息。13.根据权利要求12所述的预测装置，其中，所述第2预测信息包含：与关节的疼痛、对象的悲惨思维相关的信息、与对象的运动能力相关的信息以及表示所述对象的生活满足度的信息当中至少1者。14.根据权利要求1～13中任一项所述的预测装置，其中，所述预测装置还具备：第2预测部，根据所述第1预测信息，输出表示向所述对象的介入的方法以及该介入所带来的效果的第3预测信息，所述第2预测部具有能根据所述第1预测信息来推定第3预测信息的第2预测模型。15.根据权利要求14所述的预测装置，其中，所述第3预测信息包含与应运用所述介入的时期相关的信息。16.根据权利要求14或15所述的预测装置，其中，所述第2预测部具有神经网络来作为所述第2预测模型，所述神经网络是使用从过去运用过所述介入的多个患者各自在过去多个时刻取得的作为与所述关节的症状相关的时间序列数据的效果信息而学习的。17.根据权利要求16所述的预测装置，其中，所述效果信息包含：运用过所述介入的多个患者各自的表示运用了该介入的时期的信息、拍到所述关节的患者图像、与该患者图像被拍摄的时刻的所述关节的症状的发作或进展相关的症状信息。18.根据权利要求14～17中任一项所述的预测装置，其中，所述介入的方法包含：运动疗法、刺激疗法、徒手疗法、超声波疗法、步行辅助工具的使用、支具的使用、药剂投喂、关节内注射、关节保留手术以及人工关节置换术当中至少1者。19.根据权利要求14～18中任一项所述的预测装置，其中，所述预测装置还具备：第3预测部，使用第3预测模型，根据第1预测信息以及所述介入来输出第4预测信息，其中，所述第3预测模型是基于从过去运用过所述介入的多个患者各自在过去多个时刻取得的作为与所述介入相关的时间序列数据的临床成绩信息来生成的，所述第4预测信息与运用了所述介入的时刻起经过给定的期间的第3时刻处的所述对象的运用了所述介入后的临床成绩相关。20.根据权利要求1～19中任一项所述的预测装置，其中，所述医用图像包含：对所述对象拍摄而得到的x射线图像、ct图像、mri图像以及超声波图像当中至少1者。21.根据权利要求1～20中任一项所述的预测装置，其中，所述关节包含颌关节、脊椎椎间关节、肩关节、肩链关节、肘关节、腕关节、手部、手指、髋关节、骶髂关节、膝关节、足关节、脚部以及脚趾当中的任意1者。22.根据权利要求7所述的预测装置，其中，所述疾患包含变形性关节症、关节风湿病以及骨坏死当中任意1者。
23.一种预测系统，包含：权利要求1～22中任一项所述的预测装置；和终端装置，与所述预测装置可通信地连接，提示所述第1预测信息。24.一种控制方法，是使计算机执行下述步骤的所述计算机的控制方法：图像取得步骤，取得拍到第1时刻的对象的关节的医用图像；和预测步骤，根据所述医用图像，输出所述第1时刻起经过给定期间的第2时刻的与所述关节相关的第1预测信息，所述计算机具有能根据所述医用图像来推定所述第1预测信息的第1预测模型。25.一种控制程序，用于使计算机作为权利要求1～22中任一项所述的预测装置发挥功能，用于使计算机作为所述图像取得部以及所述第1预测部发挥功能。
技术总结预测装置具备：第1预测部，根据拍到第1时刻的对象的关节的医用图像，输出所述第1时刻起经过给定期间的第2时刻的与所述关节相关的第1预测信息。第1预测部具有能根据所述医用图像来推定所述第1预测信息的第1预测模型。像来推定所述第1预测信息的第1预测模型。像来推定所述第1预测信息的第1预测模型。
技术研发人员：渡边健一 京本政之 桥田昌彦 本多信太郎 佐佐木骏 茂吕彻 田中荣
受保护的技术使用者：国立大学法人东京大学
技术研发日：2021.03.12
技术公布日：2022/11/1
