1.本发明涉及处理系统、图像处理方法以及学习方法等。
背景技术：2.以往，在辅助医生进行的内窥镜图像的诊断的图像诊断辅助装置中，已知有通过使用机器学习来检测病变的方法、以及求出表示检测的或然性的估计概率的方法。作为通过机器学习生成的已学习模型，已知有神经网络。例如在专利文献1中公开了如下系统：根据卷积神经网络(cnn：convolutional neural network)来估计病变的名称和位置以及其或然性的信息，并将估计出的信息重叠于内窥镜图像，由此提示辅助信息。
3.现有技术文献
4.专利文献
5.专利文献1：国际公开第2019/088121号
技术实现要素：6.发明所要解决的课题
7.在专利文献1等现有方法中，在估计概率低的情况下进行不显示辅助信息等对策。但是，由于未加入提高估计概率的对策，因此有时无法提供具有充分的可靠度的辅助信息。
8.根据本技术的几个实施方式，能够提供能够取得可靠度高的信息的处理系统、图像处理方法以及学习方法等。
9.用于解决课题的手段
10.本技术的一个方式涉及处理系统，该处理系统包含：取得部，其取得由内窥镜装置拍摄到的检测对象图像；控制部，其根据控制信息控制所述内窥镜装置；以及处理部，其基于所述检测对象图像和通过机器学习而取得的、用于计算表示输入图像内的关注区域的或然性的估计概率信息的已学习模型，检测所述检测对象图像中包含的所述关注区域，计算与检测出的所述关注区域相关的所述估计概率信息，所述处理部基于所述检测对象图像，确定用于提高与所述检测对象图像内的所述关注区域相关的所述估计概率信息的所述控制信息，所述控制部根据所确定的所述控制信息来控制所述内窥镜装置。
11.本技术的其他方式涉及一种图像处理方法，取得由内窥镜装置拍摄到的检测对象图像，基于通过机器学习而取得的、用于计算表示输入图像内的关注区域的或然性的估计概率信息的已学习模型和所述检测对象图像，检测所述检测对象图像中包含的所述关注区域，计算与检测出的所述关注区域相关的所述估计概率信息，在将用于所述内窥镜装置的控制的信息设为控制信息时，根据所述检测对象图像，确定用于提高与所述检测对象图像内的所述关注区域相关的所述估计概率信息的所述控制信息。
12.本技术的另一其他方式涉及一种学习方法，取得由内窥镜装置拍摄到的图像作为输入图像，在将用于所述内窥镜装置的控制的信息设为控制信息时，取得作为取得所述输入图像时的所述控制信息的第一控制信息，取得作为用于提高估计概率信息的所述控制信
息的第二控制信息，所述估计概率信息表示从所述输入图像检测到的关注区域的或然性，通过对所述输入图像、所述第一控制信息、所述第二控制信息的关系进行机器学习，生成已学习模型。
附图说明
13.图1是处理系统的结构例。
14.图2是内窥镜系统的外观图。
15.图3是内窥镜系统的结构例。
16.图4是控制信息的例子。
17.图5是学习装置的结构例。
18.图6的(a)、图6的(b)是神经网络的结构例。
19.图7的(a)是nn1用的训练数据的例子，图7的(b)是nn1的输入输出的例子。
20.图8是说明nn1的学习处理的流程图。
21.图9的(a)是nn2用的训练数据的例子，图9的(b)是训练数据取得用的数据例，图9的(c)是nn2的输入输出的例子。
22.图10是说明nn2的学习处理的流程图。
23.图11是说明检测处理以及控制信息的确定处理的流程图。
24.图12是显示图像和检测对象图像的取得时点的例子。
25.图13的(a)、图13的(b)是显示画面的例子。
26.图14的(a)是nn2用的训练数据的例子，图14的(b)是训练数据取得用的数据例，图14的(c)是nn2的输入输出的例子。
27.图15是说明检测处理以及控制信息的确定处理的流程图。
28.图16的(a)是nn2用的训练数据的例子，图16的(b)是nn2的输入输出的例子。
29.图17是说明检测处理以及控制信息的确定处理的流程图。
具体实施方式
30.在以下的公开中，提供用于实施所提示的主题的不同特征的多个不同的实施方式、实施例。当然，这些仅为示例，并不意图用于限定。此外，在本技术中，有时在各种示例中参考编号和/或字符重复。这样重复是为了简洁明了，其自身不需要与各种实施方式和/或说明的结构之间存在关系。进而，在记述为第一要素与第二要素“连接”或“连结”时，这样的记述包含第一要素和第二要素相互直接地连接或连结的实施方式，并且也包含第一要素和第二要素具有介于其间的1个以上的其他要素而相互间接地连接或连结的实施方式。
31.1.系统结构
32.在专利文献1等以往的系统中，进行表示使用了已学习模型的估计的或然性的估计概率的显示。另外，在估计概率低的情况下，通过不显示估计结果，抑制向用户提示精度低的信息。但是，在现有方法中，没有采取用于提高已学习模型的估计概率的对策。
33.例如，考虑由于在图像上病变部被拍摄得较暗的原因使得估计概率较低的案例。在该情况下，通过进行提高调光处理中的调光目标值等的应对，将病变部拍摄得较明亮，因此有可能能够提高估计概率。但是，现有方法中的控制只是显示估计概率、或者由于估计概
率低而省略显示本身的控制。因此，为了进行光源等的控制，用户自身需要基于显示图像等进行是否需要光源的光量变更的判断，需要基于该判断执行用于进行光量变更的具体的操作。即，现有方法中的系统仅提示针对所输入的图像的处理结果，是否能够拍摄对病变等的检测而言优选的图像则依赖于用户。
34.图1是表示本实施方式的处理系统100的结构的图。处理系统100包括取得部110、处理部120和控制部130。
35.取得部110是用于取得图像的接口。例如，取得部110是经由通用缆线310c所包含的信号线取得来自摄像元件312的信号的接口电路。或者，取得部110也可以包括使用图3后述的预处理部331。另外，处理系统100也可以包含在经由网络取得镜体部310输出的图像信号的信息处理装置中。该情况下的取得部110是通信芯片等通信接口。
36.处理部120以及控制部130由下述的硬件构成。硬件可以包括处理数字信号的电路和处理模拟信号的电路中的至少一方。例如，硬件能够由安装于电路基板的1个或多个电路装置、1个或多个电路元件构成。1个或多个电路装置例如是ic(integrated circuit：集成电路)、fpga(field-programmable gate array：现场可编程门阵列)等。1个或多个电路元件例如是电阻、电容器等。
37.另外，处理部120以及控制部130也可以通过下述的处理器来实现。处理系统100包括存储信息的存储器和基于存储于存储器中的信息进行动作的处理器。信息例如是程序和各种数据等。处理器包括硬件。处理器能够使用cpu(central processing unit：中央处理单元)、gpu(graphics processing unit：图形处理单元)、dsp(digital signal processor：数字信号处理器)等各种处理器。存储器可以是sram(static random access memory：静态随机存取存储器)、dram(dynamic random access memory：动态随机存取存储器)等半导体存储器，也可以是寄存器，也可以是hdd(hard disk drive：硬盘驱动器)等磁存储装置，还可以是光盘装置等光学式存储装置。例如，存储器存储能够由计算机读取的命令，通过由处理器执行该命令，将处理部120以及控制部130的功能作为处理来实现。并且，这里的命令可以是构成程序的命令组的命令，也可以是对处理器的硬件电路指示动作的命令。另外，处理部120和控制部130可以由1个处理器实现，也可以由不同的处理器实现。另外，也可以通过多个处理器的分布处理来实现处理部120的功能。对于控制部130也是同样的。
38.取得部110取得由内窥镜装置拍摄到的检测对象图像。这里的内窥镜装置例如是使用图2后述的内窥镜系统300的一部分或全部。内窥镜装置例如包含内窥镜系统300中的镜体部310、光源装置350以及处理装置330的一部分。
39.控制部130根据控制信息控制内窥镜装置。如使用图4后述的那样，控制部130对内窥镜装置的控制包括光源装置350所包含的光源352的控制、使用了摄像元件312的拍摄条件的控制、处理装置330中的图像处理的控制等。
40.处理部120根据已学习模型和检测对象图像，检测检测对象图像中包含的关注区域，计算表示检测出的关注区域的或然性的估计概率信息。而且，本实施方式的处理部120根据检测对象图像，确定用于提高与检测对象图像内的关注区域相关的估计概率信息的控制信息。控制部130根据所确定的控制信息来控制内窥镜装置。
41.这里的已学习模型是通过机器学习而取得的模型，用于计算输入图像内的关注区
域的估计概率信息。更具体而言，已学习模型基于将输入图像与确定该输入图像所包含的关注区域的信息对应起来而成的数据集进行了机器学习。已学习模型在被输入了图像的情况下，输出以该图像为对象的关注区域的检测结果和作为该检测结果的或然性的估计概率信息。以下，对估计概率信息是估计概率本身的例子进行说明，但估计概率信息只要是成为估计的或然性的指标的信息即可，也可以是与估计概率不同的信息。
42.另外，本实施方式中的关注区域是指对于使用者而言观察的优先顺序比其他区域相对高的区域。在用户是进行诊断或治疗的医生的情况下，关注区域例如与拍摄到病变部的区域对应。但是，如果医生想要观察的对象是水泡或粪便，则关注区域也可以是拍摄了该水泡部分或粪便部分的区域。即，用户应关注的对象根据观察目的而不同，但在进行该观察时，对于用户而言观察的优先顺序比其他区域相对高的区域成为关注区域。
43.本实施方式的处理系统100不仅进行求出估计概率的处理，还进行确定用于提高估计概率的控制信息的处理。如使用图4后述的那样，控制信息包含各种参数类别的信息。例如，处理部120判定为了提高估计概率，可以变更哪个参数类别，或将该参数类别的参数值设为怎样的值。
44.控制部130进行使用由处理部120确定的控制信息的控制，因此在作为该控制的结果而取得的新的检测对象图像中，与控制信息变更前相比，能够期待关注区域的估计概率提高。换言之，本实施方式的处理系统100能够实施用于系统自身提高估计概率的原因分析以及控制条件变更。因此，能够抑制用户的负担增加，并且提示可靠度高的信息。
45.图2是表示包含处理系统100的内窥镜系统300的结构的图。内窥镜系统300包括镜体部310、处理装置330、显示部340和光源装置350。例如，处理系统100包含于处理装置330。医生使用内窥镜系统300进行患者的内窥镜检查。但是，内窥镜系统300的结构不限于图2，能够实施省略一部分结构要素或追加其他结构要素等各种变形。并且，以下例示用于消化器官的诊断等的软性镜，但本实施方式的镜体部310也可以是用于腹腔镜手术等的硬性镜。另外，内窥镜系统300并不限定于观察生物体内的医疗用内窥镜，也可以是工业用内窥镜。
46.另外，在图2中，示出了处理装置330是通过连接器310d与镜体部310连接的1个装置的例子，但不限于此。例如，处理装置330的一部分或全部的结构也可以由能够经由网络连接的pc(personal computer：个人计算机)、服务器系统等其他信息处理装置构建。例如，处理装置330也可以通过云计算来实现。这里的网络可以是内部网等专用网络，也可以是因特网等公共通信网。另外，网络可以是有线的或无线的。即，处理系统100不限于包含在经由连接器310d与镜体部310连接的设备中的结构，其一部分或全部的功能可以通过pc等其他设备来实现，也可以通过云计算来实现。
47.镜体部310具有操作部310a、具有挠性的插入部310b以及包含信号线等的通用缆线310c。镜体部310是将管状的插入部310b插入到体腔内的管状插入装置。在通用缆线310c的前端设置有连接器310d。镜体部310通过连接器310d以能够装卸的方式与光源装置350和处理装置330连接。并且，如使用图3后述的那样，在通用缆线310c内插通有光导315，镜体部310使来自光源装置350的照明光通过光导315从插入部310b的前端射出。
48.例如，插入部310b从插入部310b的前端起朝向基端具有前端部、能够弯曲的弯曲部以及挠性管部。插入部310b被插入到被摄体中。插入部310b的前端部是镜体部310的前端部，是较硬的前端硬质部。后述的物镜光学系统311、摄像元件312例如设置于前端部。
49.弯曲部能够根据对设置于操作部310a的弯曲操作部件的操作而向所希望的方向弯曲。弯曲操作部件例如包括左右弯曲操作旋钮以及上下弯曲操作旋钮。另外，在操作部310a中，除了弯曲操作部件之外，还可以设置释放按钮、送气送水按钮等各种操作按钮。
50.处理装置330是对接收到的拍摄信号进行规定的图像处理，生成拍摄图像的视频处理器。所生成的拍摄图像的影像信号从处理装置330输出到显示部340，直播的拍摄图像显示在显示部340上。关于处理装置330的结构在后面叙述。显示部340例如是液晶显示器、el(electro-luminescence：电致发光)显示器等。
51.光源装置350是能够射出通常光观察模式用的通常光的光源装置。另外，在内窥镜系统300除了通常光观察模式以外还具有特殊光观察模式的情况下，光源装置350选择性地射出通常光观察模式用的通常光和特殊光观察模式用的特殊光。
52.图3是说明内窥镜系统300的各部的结构的图。另外，在图3中，省略、简化了镜体部310的一部分结构。
53.光源装置350包括发出照明光的光源352。光源352可以是氙光源，也可以是led(light emitting diode：发光二极管)，还可以是激光光源。另外，光源352也可以是其他光源，发光方式没有限定。
54.插入部310b包括物镜光学系统311、摄像元件312、照明透镜314、光导315。光导315将来自光源352的照明光引导至插入部310b的前端。照明透镜314将由光导315引导的照明光照射到被摄体。物镜光学系统311将从被摄体反射的反射光成像为被摄体像。物镜光学系统311可以包括例如对焦透镜，并且可以根据对焦透镜的位置来变更形成被摄体像的位置。例如，插入部310b也可以包括基于来自控制部332的控制来驱动对焦透镜的未图示的致动器。在该情况下，控制部332进行af(auto focus：自动对焦)控制。
55.摄像元件312接收经由物镜光学系统311的来自被摄体的光。摄像元件312可以是单色传感器，也可以是具备滤色器的元件。滤色器可以是广为人知的拜尔滤光器，也可以是补色滤光器，还可以是其他滤光器。补色滤光器是包括青色、品红色和黄色的各色滤光器的滤光器。
56.处理装置330进行图像处理、系统整体的控制。处理装置330包括预处理部331、控制部332、存储部333、检测处理部334、控制信息确定部335、后处理部336。例如，预处理部331对应于处理系统100的取得部110。检测处理部334以及控制信息确定部335对应于处理系统100的处理部120。控制部332对应于处理系统100的控制部130。
57.预处理部331进行将从摄像元件312依次输出的模拟信号转换为数字图像的a/d转换和对a/d转换后的图像数据的各种校正处理。另外，也可以在摄像元件312中设置a/d转换电路，省略预处理部331中的a/d转换。这里的校正处理例如如使用图4后述的那样，包括颜色矩阵校正处理、结构强调处理、噪声降低处理、agc(automatic gain control：自动增益控制)等。另外，预处理部331也可以进行白平衡处理等其他校正处理。预处理部331将处理后的图像作为检测对象图像，输出到检测处理部334以及控制信息确定部335。此外，预处理部331将处理后的图像作为显示图像输出到后处理部336。
58.检测处理部334进行从检测对象图像中检测关注区域的检测处理。此外，检测处理部334输出表示所检测到的关注区域的或然性的估计概率。例如，检测处理部334按照存储于存储部333的已学习模型的信息进行动作，由此进行检测处理。
59.另外，本实施方式中的关注区域可以是1种。例如关注区域可以是息肉，检测处理可以是确定检测对象图像中的息肉的位置、尺寸的处理。另外，本实施方式的关注区域也可以包含多个种类。例如，已知将息肉根据其状态分类为type1、type2a、type2b、type3的方法。本实施方式的检测处理不仅可以检测息肉的位置、尺寸，还可以包括对该息肉是上述类别中的哪一种进行分类的处理。该情况下的估计概率是表示关注区域的位置、尺寸以及分类结果的或然性的信息。
60.控制信息确定部335基于检测对象图像，进行确定用于提高估计概率的控制信息的处理。检测处理部334以及控制信息确定部335中的处理的详细内容在后面叙述。
61.后处理部336进行基于检测处理部334中的关注区域的检测结果的后处理，将后处理后的图像输出到显示部340。这里的后处理例如是对显示图像附加基于检测对象图像的检测结果的处理。例如，如使用图12后述的那样，交替地取得显示图像和检测对象图像。另外，如使用图13的(a)和图13的(b)后述的那样，关注区域的检测结果狭义上是指用于辅助用户进行的诊断等的信息。因此，本实施方式的检测对象图像也可以改称为在用户的辅助中使用的辅助用图像。另外，关注区域的检测结果也可以改称为辅助信息。
62.控制部332与摄像元件312、预处理部331、检测处理部334、控制信息确定部335、光源352相互连接，控制各部。具体而言，控制部332根据控制信息控制内窥镜系统300的各部。
63.图4是说明控制信息的例子的图。控制信息包括控制光源352的光源控制信息、控制摄像元件312中的拍摄条件的拍摄控制信息、以及控制处理装置330中的图像处理的图像处理控制信息。
64.光源控制信息包含例如波长、光量比、光量、占空比、配光作为参数类别。拍摄控制信息包含拍摄的帧率。图像处理控制信息包含颜色矩阵、结构强调、噪声降低、agc。控制信息例如是参数类别和与该参数类别相关的具体的参数值的集合。以下，对各参数类别和参数值的具体例进行说明。
65.波长表示照明光的波段。例如，光源装置350能够照射普通光和特殊光。例如，光源装置350包括红色led、绿色led、蓝色led、绿色窄带光led、蓝色窄带光led等多个光源。光源装置350通过使红色led、绿色led、蓝色led点亮，来照射包含r光、g光以及b光的通常光。例如，b光的波段为430nm～500nm，g光的波段为500nm～600nm，r光的波段为600nm～700nm。另外，光源装置350通过使绿色窄带光led、蓝色窄带光led点亮，来照射包含g2光以及b2光的特殊光。例如b2光的波段为390nm～445nm，g2光的波段为530nm～550nm。这里的特殊光是nbi(narrow band imaging：窄带成像)用的照明光。但是，作为特殊光，还已知有使用红外光等其他波段的光，在本实施方式中能够将它们广泛地应用。
66.表示波长的参数值例如是确定是通常光还是nbi的2值信息。或者，参数值也可以是用于针对多个led分别决定点亮或熄灭的信息。在该情况下，与波长相关的参数值成为与led的数量相当的比特数的数据。控制部332基于与波长相关的参数值，控制多个光源的点亮/熄灭。或者，光源装置350也可以是如下结构：包含白色光源和滤光器，根据滤光器的插入/退避或旋转来切换通常光和特殊光。在该情况下，控制部332基于波长的参数值来控制滤波器。
67.光量是指光源装置350照射的光的强度。例如，本实施方式的内窥镜系统300也可以进行公知的自动调光处理。自动调光处理是指例如基于拍摄图像来判定明亮度，并基于
判定结果来自动地调整照明光的光量的处理。在调光处理中，设定成为明亮度的目标值的调光目标值。表示光量的参数值例如是目标光量值。通过调整目标光量值，能够使图像上的关注区域的明亮度最佳化。
68.光量比表示能够由光源装置350照射的多个光的强度比。例如，普通光的光量比是r光、g光和b光的强度比。与光量比相关的参数值例如是将多个led各自的发光强度标准化后的数值。基于上述的光量的参数值和光量比的参数值，控制部332决定各光源的发光强度、例如向各光源供给的电流值。另外，光量也可以通过后述的占空比来调整。该情况下的光量比例如是rgb的各光源的占空比。通过控制光量比，例如能够消除由患者的个人差异引起的颜色偏差。
69.占空比是指光源352的点亮时间与熄灭时间的关系，狭义上表示点亮时间相对于与拍摄的1帧对应的期间的比率。与占空比相关的参数值例如可以是表示上述比率的数值，也可以是表示点亮时间的数值。例如在光源352进行反复点亮和熄灭的脉冲发光的情况下，占空比的控制是指变更每1帧的点亮时间的控制。或者，占空比的控制也可以是将连续发光的光源352切换为脉冲发光的控制。另外，在不改变每单位时间的光量而缩短了点亮时间的情况下，每1帧的总光量减少，因此图像变暗。因此，控制部332在降低占空比的情况下，也可以进行通过使上述的调光目标值增加来维持每1帧的总光量的控制。通过降低占空比，能够抑制图像的抖动。另外，通过提高占空比，即使抑制每单位时间的光量也能够维持总光量，因此能够抑制led的劣化。
70.配光表示与方向对应的光的强度。例如，在插入部310b的前端设置有分别照射不同区域的多个照射口的情况下，通过调整从各照射口照射的光量，配光发生变化。例如，与配光相关的参数值是指确定各照射口的光量的信息。此外，通过使用透镜、滤光器等光学系统，也能够控制照射光针对各方向的光量，变更配光的具体的结构能够实施各种变形。
71.例如在插入部310b在管腔状的被摄体中移动的情况下，位于图像的中心附近的被摄体与位于图像的周边部的被摄体相比，到插入部310b的前端的距离远。其结果，成为图像的周边部比中心部亮的图像。另外，在插入部310b的前端与被摄体的壁面大致正对的情况下，在图像的中心和周边，从前端到被摄体的距离的变动不太大。因此，成为图像的中心部比周边部亮的图像。这样，容易变亮的方向、容易变暗的方向根据状况而变化。通过控制配光，能够使图像的所希望的区域的明亮度最佳化。
72.帧率表示每单位时间拍摄的图像的张数。与帧率相关的参数值例如是表示每1秒的帧数的数值。通过提高帧率，能够增多每单位时间取得的拍摄图像的张数，能够抑制图像的抖动。另外，通过降低帧率，能够延长光源352的照射时间，因此容易取得明亮的图像。
73.颜色矩阵例如是用于基于原来的r像素值、g像素值、b像素值求出校正后的各像素值的矩阵。与颜色矩阵相关的参数值是表示该矩阵的各要素的数值的集合。但是，参数值不限于矩阵本身，也可以使用能够通过变换rgb的像素值来调整色调的其他信息。通过使用颜色矩阵，与控制光源352的光量比的情况同样地，能够抑制颜色偏差。
74.结构强调处理例如是数字强调滤波处理。与结构强调相关的参数值是指确定该数字滤波器的滤波特性的信息，例如是空间滤波器尺寸、表示滤波器的各要素的数值的集合。通过进行结构强调处理，能够明确关注区域的形状。但是，如果过度地进行结构强调处理，有可能会产生伪影。
75.噪声降低处理例如是平滑化滤波处理。与噪声降低处理相关的参数值是指确定平滑化滤波器的信息。确定平滑化滤波器的信息例如可以是高斯滤波器中的σ的值，也可以是表示滤波器的各要素的数值的集合。此外，也可以通过变更给定的滤波器的应用次数来调整噪声降低的程度。在该情况下，与噪声降低相关的参数值是表示平滑化滤波器的应用次数的数值。通过进行噪声降低处理，图像中包含的噪声降低，因此关注区域的视觉辨认性提高。但是，如果过度地进行噪声降低处理，会存在关注区域的边缘等钝化的情况。
76.与agc相关的参数值是表示增益的数值。通过增大增益，能够使图像变亮，但有时噪声也增大。另外，在减小了增益的情况下，虽然能够抑制噪声增大，但有时图像的明亮度不够。
77.如上所述，在控制信息中包含各种参数类别的信息，通过调整各参数类别的参数值，所取得的图像的特性发生变化。本实施方式的控制信息可以包含上述的全部参数类别的信息，也可以省略一部分。另外，控制信息也可以包含与光源、拍摄、图像处理相关的其他参数类别的信息。
78.用于提高关注区域的估计概率的最佳参数值根据状况而不同。这里的状况是指作为拍摄对象的患者、脏器、关注区域的种类、插入部310b的前端与被摄体的相对位置姿势等。因此，在使用户进行最佳的控制信息的确定的情况下，用户负担大。关于这一点，根据本实施方式的方法，如上所述，处理系统100能够自动地确定被认为适当的控制信息。
79.2.处理的流程
80.对本实施方式的处理进行详细说明。在对用于生成已学习模型的学习处理进行了说明之后，对使用该已学习模型的推导处理进行说明。这里的推导处理是在检测处理部334中进行的关注区域的检测处理。另外，以下，对在控制信息确定部335中进行的控制信息的确定处理也说明使用已学习模型来进行的例子。
81.2.1学习处理
82.图5是学习装置400的结构例。学习装置400包括取得部410和学习部420。取得部410取得用于学习的训练数据。1个训练数据是将输入数据和与该输入数据对应的正解标签对应起来而成的数据。学习部420根据所取得的多个训练数据进行机器学习，由此生成已学习模型。稍后将描述训练数据的详细情况和学习处理的具体流程。
83.学习装置400例如是pc、服务器系统等信息处理装置。另外，学习装置400也可以通过多个装置的分布处理来实现。例如，学习装置400可以通过使用多个服务器的云计算来实现。另外，学习装置400可以与处理系统100一体地构成，也可以是各自不同的装置。
84.对机器学习的概要进行说明。以下，对使用神经网络的机器学习进行说明，但本实施方式的方法并不限定于此。在本实施方式中，例如可以进行使用了svm(support vector machine：支持向量机)等其他模型的机器学习，也可以进行使用使神经网络、svm等各种方法发展而成的方法的机器学习。
85.图6的(a)是说明神经网络的示意图。神经网络具有输入数据的输入层、基于来自输入层的输出进行运算的中间层、以及基于来自中间层的输出而输出数据的输出层。在图6的(a)中，例示了中间层为2层的网络，但中间层可以为1层，也可以为3层以上。另外，各层所包含的节点的数量并不限定于图6的(a)的例子，能够实施各种变形。另外，若考虑精度，则本实施方式的学习优选使用利用多层神经网络的深度学习。此处的多层狭义上为4层以上。
86.如图6的(a)所示，给定的层所包含的节点与相邻的层的节点连接。对各连接设定加权系数。各节点将前级的节点的输出与加权系数相乘，求出相乘结果的合计值。进而，各节点对合计值加上偏置，对加法结果应用激活函数，由此求出该节点的输出。通过从输入层朝向输出层依次执行该处理，求出神经网络的输出。另外，作为激活函数，已知s形函数、relu函数等各种函数，在本实施方式中能够广泛地应用这些函数。
87.神经网络中的学习是决定适当的加权系数的处理。这里的加权系数包括偏置。具体而言，学习装置400将训练数据中的输入数据输入到神经网络，通过进行使用了此时的加权系数的正向的运算来求出输出。学习装置400的学习部420基于该输出和训练数据中的正解标签来运算误差函数。然后，更新加权系数以减小误差函数。在加权系数的更新中，例如能够利用从输出层朝向输入层来更新加权系数的误差反向传播法。
88.此外，神经网络例如可以是cnn(convolutional neural network：卷积神经网络)。图6的(b)是说明cnn的示意图。cnn包含进行卷积运算的卷积层和池化层。卷积层是进行滤波处理的层。池化层是进行缩小纵向、横向的尺寸的池化运算的层。图6的(b)所示的例子是在进行了多次基于卷积层以及池化层的运算之后，通过进行基于全连接层的运算来求出输出的网络。全连接层是指，实施将前一层的全部节点与给定的层的节点连接的情况下的运算处理的层，与使用图6的(a)而在上文中叙述的各层的运算相对应。此外，虽然在图6的(b)中未图示，但在使用cnn的情况下也与图6的(a)同样地进行基于激活函数的运算处理。cnn已知有各种结构，在本实施方式中能够广泛地应用这些结构。例如，本实施方式的cnn能够利用公知的rpn(region proposal network：区域候选网络)。
89.在使用cnn的情况下，处理的步骤也与图6的(a)相同。即，学习装置400将训练数据中的输入数据输入到cnn，通过进行使用了此时的滤波特性的滤波处理或池化运算来求出输出。基于该输出和正解标签算出误差函数，进行包含滤波特性的加权系数的更新以减小该误差函数。在更新cnn的加权系数时，例如也能够利用误差反向传播法。
90.图7的(a)是用于生成在检测处理部334中的检测处理中使用的已学习模型的训练数据的例子。以下，将用于检测处理的已学习模型记为nn1。图7的(b)是说明nn1的输入和输出的图。
91.如图7的(a)所示，训练数据包括输入图像和赋予给该输入图像的注释数据。输入图像是由镜体部310拍摄到的图像，狭义上是生物体内图像。注释数据是确定输入图像中的关注区域的信息，例如由医生等具有专业知识的用户赋予。例如，如图7的(a)所示，注释数据是确定包含关注区域的矩形区域的位置、尺寸的信息。以下，将该矩形区域标记为检测框。例如，注释数据是将检测框的左上端点的坐标和右下端点的坐标组合而成的信息。或者，注释数据也可以是以像素为单位确定关注区域的信息。例如注释数据也可以是关注区域中包含的像素成为第一像素值、关注区域以外的像素成为第二像素值的遮罩图像。
92.如图7的(b)所示，nn1将输入图像作为输入来接受，进行正向的运算，由此输出检测结果和估计概率信息。例如，nn1在输入图像上设置规定数量的检测框候选，并且针对每个检测框候选执行获得检测框候选是检测框的或然性的处理。在这种情况下，将或然性在规定值以上的检测框候选输出作为检测框。此外，与用作检测框的检测框候选对应起来的或然性是估计概率。或者，nn1针对输入图像的各像素，进行求出该像素包含在关注区域中的或然性的处理。在该情况下，或然性高的像素的集合表示关注区域的检测结果。估计概率
信息是基于与被分类为关注区域的像素对应起来的或然性的集合而决定的信息，例如是表示或然性的多个数值的统计值。这里的统计值既可以是平均值，也可以是中值，还可以是其他值。
93.此外，nn1也可以进行关注区域的分类处理。例如nn1也可以接受输入图像作为输入，进行正向的运算，由此输出关注区域的位置和尺寸以及该关注区域的种类作为检测结果。此外，nn1输出表示检测结果的或然性的估计概率信息。例如，nn1针对各检测框候选，进行分别求出该检测框候选中包含的被摄体是type1的息肉的或然性、是type2a的息肉的或然性、是type2b的息肉的或然性、是type3的息肉的或然性、是正常粘膜的或然性的处理。即，也可以在本实施方式中的关注区域的检测结果中包含关注区域的种类。
94.图8是说明nn1的学习处理的流程图。首先，在步骤s101、步骤s102中，取得部410取得输入图像和对该输入图像赋予的注释数据。例如，学习装置400将输入图像与注释数据对应起来的训练数据存储在存储部(未示出)中。步骤s101、步骤s102的处理例如是读出训练数据中的1个的处理。
95.在步骤s103中，学习部420求出误差函数。具体而言，学习部420将输入图像输入到nn1，基于此时的加权系数进行正向的运算。然后，学习部420基于运算结果和注释数据的比较处理来求出误差函数。
96.在步骤s104中，学习部420执行更新加权系数以减小误差函数的处理。如上所述，步骤s104的处理能够利用误差反向传播法等。步骤s101～s104的处理对应于基于1个训练数据的1次学习处理。
97.在步骤s105中，学习部420判定是否结束学习处理。例如，学习部420也可以在进行了规定次数的步骤s101～s104的处理的情况下结束学习处理。或者，学习装置400也可以将多个训练数据的一部分作为验证数据来保存。验证数据是用于确认学习结果的精度的数据，是不用于加权系数的更新的数据。学习部420也可以在使用了验证数据的估计处理的正解率超过了规定阈值的情况下，结束学习处理。
98.在步骤s105中为“否”的情况下，返回到步骤s101，继续进行基于下一个训练数据的学习处理。在步骤s105中为“是”的情况下，结束学习处理。学习装置400将所生成的已学习模型的信息发送到处理系统100。如果是图3的例子，则已学习模型的信息存储于存储部333。另外，在机器学习中已知有批量学习、小批量学习等各种方法，在本实施方式中能够广泛地应用这些方法。
99.图9的(a)是用于生成在控制信息确定部335中的控制信息的确定处理中使用的已学习模型的训练数据的例子。以下，将控制信息的确定处理中使用的已学习模型表述为nn2。图9的(b)是用于生成图9的(a)所示的训练数据的数据的例子。图9的(c)是说明nn2的输入和输出的图。
100.如图9的(a)所示，训练数据包含第二输入图像和在取得该第二输入图像时使用的控制信息。另外，作为nn1的输入的输入图像和第二输入图像均是使用镜体部310拍摄到的图像，既可以是共同的图像，也可以是不同的图像。另外，在图9的(a)中，示出了控制信息包含n项参数类别的例子。下面将n项参数类别分别记为p1～pn。p1～pn例如分别是波长、光量比、光量、占空比、配光、帧率、颜色矩阵、结构强调、噪声降低、agc中的任意类别。另外将参数类别p1～pn的各参数值记为p1～pn。例如，p1～pn包括与光源控制信息、拍摄控制信息和图
像处理控制信息相关的参数值，并且通过基于该参数值执行照明光的照射、拍摄和图像处理来取得第二输入图像。另外，如图9的(a)所示，训练数据包含用于确定优先参数类别的信息。
101.优先参数类别表示为了提高估计概率而应该优先变更的参数类别。提高估计概率是指与使用给定的控制信息而取得的关于第一图像的第一估计概率相比，使用变更后的控制信息而取得的关于第二图像的第二估计概率高。优先参数类别为pk是指，判定为与变更了pk以外的参数类别的参数值的情况相比，变更了pk的参数值的情况下估计概率提高的盖然性高。k为1以上n以下的整数。
102.例如，在训练数据的取得阶段中，通过一边变更控制信息一边连续地拍摄包含关注区域的给定的被摄体来取得图像。此时，按照每个类别逐个类别地变更参数值。例如在将c1所示的控制信息设为初始值的情况下，在c2，将相对于初始值仅p1的参数值从p1变更为p1’
来取得图像。这以后也是同样的。另外，通过将在各时点取得的图像输入到上述的nn1来求出估计概率。在此，示出估计概率由0～100％表示的例子。
103.在图9的(b)所示的例子中，在初始状态的控制信息中，估计概率低至40％。与此相对，通过变更控制信息而取得的图像的特性发生变化，因此将该图像输入到nn1时输出的估计概率也发生变化。例如，如图9的(b)的c3所示，在变更了参数类别pk的参数值时，估计概率成为最大。在该情况下，认为对于估计概率而言支配性的参数类别是pk，通过优先变更pk，能够提高估计概率。即，取得部410将c1的图像作为第二输入图像，将c1的参数值即p1～pn作为控制信息，将pk作为优先参数类别，由此取得1个训练数据。但是，用于取得训练数据的数据并不限定于图9的(b)，能够实施各种变形。
104.如图9的(c)所示，nn2接受第二输入图像和控制信息作为输入，进行正向的运算，由此针对各参数类别输出推荐该参数类别的变更的概率。例如nn2的输出层包含n个节点，输出n个输出数据。
105.图10是说明nn2的学习处理的流程图。首先，在步骤s201、步骤s202中，取得部410取得与图9的(b)对应的图像组和作为取得各图像时的控制信息的集合的控制信息组。在步骤s203中，取得部410通过将各图像输入到已生成的nn1来求出估计概率组。通过步骤s201～s203的处理，取得图9的(b)所示的数据。
106.接着，在步骤s204中，取得部410进行基于图9的(b)所示的数据取得训练数据的处理。具体而言，取得部410取得并积累多个将第二输入图像、控制信息、优先参数类别对应起来而成的训练数据。
107.在步骤s205中，取得部410读出1个训练数据。在步骤s206中，学习部420求出误差函数。具体而言，学习部420将训练数据中的第二输入图像和控制信息输入到nn2，根据此时的加权系数进行正向的运算。运算结果例如如图9的(c)所示，是表示应将各参数类别作为优先参数类别来推荐的或然性的n个数据。在nn2的输出层为公知的softmax层的情况下，n个数据是总和为1的概率数据。在训练数据中包含的优先参数类别为pk的情况下，正解标签是推荐p1～p
k-1
的变更的概率为0、推荐pk的变更的概率为1、推荐p
k+1
～pn的概率为0的数据。学习部420基于通过正向的运算而求出的n个概率数据与作为正解标签的n个概率数据的比较处理来求出误差函数。
108.在步骤s207中，学习部420执行更新加权系数以减小误差函数的处理。步骤s207的
处理如上所述能够利用误差反向传播法等。在步骤s208中，学习部420判定是否结束学习处理。学习处理的结束条件既可以如上述那样基于加权系数的更新次数来进行，也可以基于使用了验证数据的估计处理的正解率来进行。在步骤s208中为“否”的情况下，返回到步骤s205，继续进行基于下一个训练数据的学习处理。在步骤s208中为“是”的情况下，结束学习处理。学习装置400将所生成的已学习模型的信息发送到处理系统100。
109.另外，本实施方式的学习装置400进行的处理也可以作为学习方法来实现。本实施方式的学习方法取得由内窥镜装置拍摄到的图像作为输入图像，在将内窥镜装置的控制中使用的信息作为控制信息时，取得在取得上述输入图像时的控制信息，取得用于提高表示从输入图像检测到的关注区域的或然性的估计概率信息的控制信息，对输入图像、取得输入图像时的控制信息、用于提高估计概率信息的控制信息的关系进行机器学习，由此生成已学习模型。此外，这里的用于提高估计概率信息的控制信息也可以如上述那样是优先参数类别。或者，用于提高估计概率信息的控制信息也可以如作为变形例后述的那样，是优先参数类别和具体的参数值的组。或者，用于提高估计概率信息的控制信息也可以如作为进一步的变形例而后述的那样，是多个参数类别和关于各参数类别的参数值的集合。
110.2.2推导处理
111.图11是说明本实施方式中的处理系统100的处理的流程图。首先，在步骤s301中，取得部110取得检测对象图像。例如，取得部110也可以如使用图12后述那样以2帧1次的比例取得检测对象图像。另外，取得部110能够从控制部130取得在检测对象图像的取得中使用的控制信息。
112.在步骤s302中，处理部120(检测处理部334)通过向nn1输入检测对象图像，来运算关注区域的检测结果和表示其或然性的估计概率。在步骤s303中，处理部120对估计概率是否在给定的阈值以上进行判断。在步骤s303中为“是”的情况下，关注区域的检测结果能够充分可靠。因此，在步骤s304中，处理部120输出关注区域的检测结果。例如，将检测处理部334的关注区域的检测结果发送到后处理部336，在后处理部336的后处理后显示在显示部340上。此外，如使用图13的(a)、图13的(b)在后面叙述的那样，处理部120将估计概率与关注区域的检测结果一起输出。
113.在步骤s303中为“否”的情况下，关注区域的检测结果的可靠性低，即使直接显示，也有可能对用户的诊断等来说无用。另一方面，在省略了显示本身的情况下，无法向用户通知存在关注区域的可能性。因此，在本实施方式中进行控制信息的变更。
114.在步骤s303中为“否”的情况下，在步骤s305中，处理部120(控制信息确定部335)进行用于更新控制信息的处理。处理部120通过将在步骤s301中取得的检测对象图像和控制信息输入到nn2来确定优先参数类别。
115.在步骤s306中，控制部130(控制部332)进行变更优先参数类别的参数值的控制。取得部110取得基于变更后的控制信息的检测对象图像。此外，此处的nn2确定优先参数类别，但不确定具体的参数值。因此，控制部332进行依次变更优先参数类别的参数值的控制。取得部410取得基于参数值组的检测对象图像组。
116.在步骤s307中，处理部120通过将检测对象图像组所包含的各检测对象图像输入到nn1，来运算关注区域的检测结果和表示其或然性的估计概率。检测处理部334从参数值组和检测对象图像组中提取估计概率最高的参数值和检测对象图像。
117.在步骤s308中，检测处理部334判定所提取的检测对象图像中的关注区域的估计概率是否为给定的阈值以上。在步骤s308中为“是”的情况下，关注区域的检测结果能够充分可靠。因此，在步骤s309中，检测处理部334输出关注区域的检测结果。
118.在步骤s308中为“否”的情况下，在步骤s310中，控制信息确定部335进行用于更新控制信息的处理。控制信息确定部335例如通过将在步骤s307中提取出的检测对象图像和在该检测对象图像的取得中使用的控制信息输入到nn2，来决定优先参数类别。
119.在步骤s310中决定的优先参数类别可以是与在步骤s305中决定的优先参数类别pi不同的参数类别pj(j是满足j≠i的整数)。进行步骤s310的处理的情况相当于即使调整了参数类别pi估计概率也未充分提高的情况。因此，通过将与pi不同的参数类别作为下一个优先参数类别，能够有效地提高估计概率。在步骤s311中，基于依次变更优先参数类别的参数值的控制，取得部410取得基于参数值组的检测对象图像组。
120.此外，在步骤s310中，也可以省略使用了nn2的处理，沿用步骤s305中的处理结果。例如，控制信息确定部335也可以进行将在步骤s305中判定为应第二个推荐的参数类别选择为优先参数类别的处理。
121.在图11中，为了明示检测对象图像、取得该检测对象图像时的控制信息、优先参数类别等的变化，展开循环处理进行了说明。但是，本实施方式的处理如步骤301～s305所示，反复进行包含检测对象图像以及控制信息的取得、检测处理、估计概率的阈值判定、控制信息的确定处理的循环，直到满足估计概率为阈值以上这样的条件为止。因此，在步骤s311以后也进行继续同样的循环的处理。此外，在即使继续进行该循环估计概率也未充分提高的情况下，处理部120例如在变更了全部的参数类别的情况下、或者将循环重复了规定次数的情况下结束处理。
122.另外，上面使用图11叙述的处理是着眼于1个关注区域的处理。在检测到1个关注区域之后，不能说继续过度地进行对该关注区域的处理是优选的。这是因为，设想根据插入部310b的操作状况，摄像部的视野变更，关注区域从检测对象图像偏离，或在检测对象图像内检测出新的关注区域。如上所述，通过限制循环处理的最大执行次数，能够顺利地进行从对给定的关注区域的处理向不同的关注区域的处理的切换。特别是在图11、后述的图15中，也考虑到变更的参数类别数少、到估计概率提高为止需要时间的情况，所以抑制循环次数是重要的。
123.如以上说明的那样，处理系统100的处理部120按照已学习模型进行动作，由此检测在检测对象图像中包含的关注区域，计算与检测出的关注区域相关的估计概率信息。这里的已学习模型与nn1对应。另外，处理部120也可以通过按照已学习模型进行动作，来确定用于提高估计概率的控制信息。
124.按照已学习模型的处理部120中的运算、即用于基于输入数据而输出输出数据的运算既可以通过软件来执行，也可以通过硬件来执行。换言之，在图6的(a)的各节点中执行的积和运算、在cnn的卷积层中执行的滤波处理等也可以以软件的方式执行。或者，上述运算也可以由fpga等电路装置执行。另外，上述运算也可以通过软件和硬件的组合来执行。这样，按照来自已学习模型的指令的处理部120的动作能够通过各种方式来实现。例如，已学习模型包含推导算法和在该推导算法中使用的加权系数。推导算法是基于输入数据进行滤波运算等的算法。在该情况下，也可以将推导算法和加权系数双方存储于存储部，处理部
120通过读出该推导算法和加权系数，以软件的方式进行推导处理。存储部例如是处理装置330的存储部333，但也可以使用其他存储部。或者，也可以通过fpga等来实现推导算法，存储部存储加权系数。或者，也可以通过fpga等来实现包含加权系数的推导算法。在该情况下，存储已学习模型的信息的存储部例如是fpga的内置存储器。
125.此外，处理部120根据基于使用了第一控制信息的控制而取得的第一检测对象图像和已学习模型，计算第一估计概率信息。处理部120在判断为由第一估计概率信息所表示的或然性低于给定的阈值的情况下，进行确定作为用于提高估计概率信息的控制信息的第二控制信息的处理。该处理例如与图11的步骤s302、s303、s305的处理对应。
126.这样，在估计概率不够充分的情况下，即在检测出的关注区域的可靠性低的情况下，能够尝试取得可靠性更高的信息。
127.在现有方法中，如果提示估计概率低的信息，则用户有可能误诊断。另一方面，在将是否向用户提供信息的估计概率阈值设定得较高的情况下，能够抑制用户的误诊断，但提供的辅助信息减少，病变的漏看增加。根据本实施方式的方法，能够解决该折衷问题。作为结果，能够提供能够实现用户的诊断的高精度化以及抑制漏看的信息。
128.此外，处理部120也可以基于根据使用了第二控制信息的控制而取得的第二检测对象图像和已学习模型，计算第二估计概率信息。处理部120在判断为由第二估计概率信息所表示的或然性低于给定的阈值的情况下，进行确定作为用于提高估计概率信息的控制信息的第三控制信息的处理。该处理例如与图11的步骤s307、s308、s310的处理对应。
129.这样，在即使变更了控制信息估计概率也不够充分的情况下，能够进一步变更控制信息，因此能够提高能够取得可靠性高的信息的盖然性。具体而言，能够广泛地搜索使估计概率超过给定的阈值的适当的控制信息。
130.另外，如图4所示，控制信息包括对向被摄体照射照明光的光源352进行控制的光源控制信息、对拍摄检测对象图像的拍摄条件进行控制的拍摄控制信息、以及对针对拍摄到的图像信号的图像处理进行控制的图像处理控制信息中的至少1项信息。如上所述，通过经过使光源352发光的步骤、由摄像元件312接收被摄体光的步骤、对作为受光结果的图像信号进行处理的步骤，取得检测对象图像。通过进行与这些中的任意步骤相关的控制，能够变更所取得的检测对象图像的特性。结果，可以调整估计概率。但是，如上所述，控制部130不需要为了提高估计概率而进行光源、拍摄、图像处理全部的控制，也可以省略任意1项或2项。
131.另外，控制信息也可以是表示与关注区域相关的色调、明亮度、画面内的位置中的至少1项的信息。换言之，也可以进行光源352等的控制，以使检测对象图像中的关注区域的色调、明亮度、位置中的至少1项接近期望值。例如，通过使与关注区域相关的色调与训练数据中包含的输入图像的色调、狭义上说与输入图像中的关注区域对应的部分的色调相似，能够提高估计概率。或者，通过控制光源352以使检测对象图像中的与关注区域相关的明亮度成为对于该关注区域而言最佳的明亮度，能够提高估计概率。
132.另外，控制信息也可以包含第一～第n(n为2以上的整数)参数类别。处理部120也可以通过变更第一控制信息所包含的第一～第n参数类别中的第i(i为满足1≤i≤n以下的整数)参数类别来确定第二控制信息。这样，能够变更对估计概率的贡献度大的参数类别，因此能够通过高效的控制来提高估计概率。如后所述，与同时变更多个参数类别的参数值
的情况相比，控制容易。
133.并且，处理部120根据基于使用了第二控制信息的控制而取得的第二拍摄图像和已学习模型，计算第二估计概率信息。在判定为由第二估计概率信息表示的或然性低于给定的阈值的情况下，处理部120可以通过变更第二控制信息所包含的第一～第n参数类别中的第j(j为满足1≤j≤n、j≠i的整数)参数类别来确定第三控制信息。
134.这样，在即使变更给定的参数类别的参数值估计概率也未充分提高的情况下，能够试行不同的参数类别的参数值的变更。因此，能够提高估计概率提高的盖然性。
135.另外，处理部120也可以基于第一控制信息以及第一检测对象图像，进行确定用于提高估计概率信息的控制信息即第二控制信息的处理。即，在确定控制信息时，不仅可以使用检测对象图像，还可以使用取得该检测对象图像时的控制信息。例如，如图9的(c)所示，作为用于确定控制信息的已学习模型的nn2将图像与控制信息的组作为输入来接受。
136.这样，不仅是检测对象图像，还能够进行考虑了该检测对象图像是在怎样的条件下取得的图像的处理。因此，与仅将检测对象图像作为输入的情况相比，能够提高处理精度。但是，在确定第二控制信息的处理中，并非必须使用第一控制信息。例如也可以从图9的(a)所示的训练数据中省略控制信息。在该情况下，确定控制信息的处理中的输入变少，因此能够减轻处理负荷。另外，由于训练数据的数据量削减，因此也能够减轻学习处理的负荷。
137.另外，处理部120也可以进行基于第二已学习模型和检测对象图像来确定用于提高估计概率信息的控制信息的处理。第二已学习模型是通过对第二输入图像与用于提高估计概率信息的控制信息之间的关系进行机器学习而取得的模型。第二已学习模型与上述的nn2对应。
138.这样，不仅能够在检测处理中利用机器学习，还能够在控制信息的确定处理中利用机器学习。因此，控制信息的确定精度变高，能够高速地使估计概率达到阈值以上。但是，如后所述，对于控制信息的确定处理能够实施不使用机器学习的变形例。
139.另外，本实施方式的处理系统100进行的处理也可以作为图像处理方法来实现。本实施方式的图像处理方法取得由内窥镜装置拍摄到的检测对象图像，根据通过机器学习而取得的、用于计算表示输入图像内的关注区域的或然性的估计概率信息的已学习模型和检测对象图像，检测在检测对象图像中包含的关注区域，计算与检测到的关注区域相关的估计概率信息，在将内窥镜装置的控制中使用的信息作为控制信息时，根据检测对象图像，确定用于提高与检测对象图像内的关注区域相关的估计概率信息的控制信息。
140.2.3后台处理和显示处理
141.图12是例示拍摄帧与在各帧中取得的图像的关系的图。例如，处理系统100的取得部110在给定的帧中，取得作为关注区域的检测对象以及估计概率信息的计算对象的检测对象图像，在与该给定的帧不同的帧中，取得在显示部340中的显示中使用的显示图像。
142.即，在本实施方式的方法中，也可以将成为处理系统100的检测处理以及控制信息确定处理的对象的检测对象图像和成为对用户的提示对象的显示图像分开。这样，能够分别管理在检测对象图像的取得中使用的控制信息和在显示图像的取得中使用的显示用控制信息。
143.如上所述，通过变更控制信息，所取得的图像的特性发生变化。在显示图像的控制
信息频繁地或急剧地变化的情况下，图像的变化也变大，因此有可能妨碍用户的观察、诊断。关于这一点，通过区分检测对象图像和显示图像，能够抑制显示图像用的控制信息急剧变化。即，显示图像的特性变化能够被限定为即使用户自己变更或者自动变化的情况下也是一定程度上平缓的变化，因此能够抑制妨碍用户的诊断的情况。
144.另外，由于可以不将检测对象图像作为显示对象，所以也可以使控制信息急剧地变化。因此，能够高速地进行提高估计概率的控制。例如，在通过自动调光控制来调整作为光源352的led的光量的情况下，与作为led的特性能够实现的光量变化相比，以往的调光中的光量变化被限定为平缓的变化。这是因为明亮度的急剧变化有可能妨碍用户的诊断。关于这一点，检测对象图像中的光量变化即使是急剧的，也难以引起问题，因此能够完全地发挥led的光量变更能力。
145.另外，取得部110也可以如图12所示那样交替地取得检测对象图像和显示图像。这样，能够减小检测对象图像的取得时点与显示图像的取得时点之差。
146.处理系统100的处理部120也可以在基于已学习模型(nn1)和检测对象图像计算出的估计概率信息为给定的阈值以上的情况下，进行显示基于检测对象图像检测出的关注区域的检测结果和基于检测对象图像计算出的估计概率信息的处理。
147.图13的(a)、图13的(b)是显示于显示部340的显示图像的例子。图13的(a)的a1表示显示部340的显示图像。此外，a2表示在显示图像中拍摄到的关注区域。a3表示在检测对象图像中检测到的检测框，a4表示估计概率。如图13的(a)所示，通过将关注区域的检测结果和估计概率信息重叠显示在显示图像上，能够以容易理解的方式向用户提示与显示图像中的关注区域相关的信息。
148.这里的检测对象图像例如是在图12的帧f3中取得的图像，显示图像是在帧f4中取得的图像。这样，能够减小检测对象图像的拍摄时点与显示图像的拍摄时点之差。由于检测对象图像中的关注区域的状态与显示图像中的关注区域的状态之差变小，因此容易将基于检测对象图像的检测结果与显示图像对应起来。例如，由于检测对象图像中的关注区域的位置和尺寸与显示图像中的关注区域的位置和尺寸之差足够小，所以在重叠了检测框的情况下，能够提高显示图像上的关注区域被包含在该检测框中的盖然性。另外，这里的显示图像和检测对象图像并不限定于在连续的帧中取得的图像。例如，根据检测处理所需的时间，也可以对未图示的帧f6、帧f8等在f4之后的时点取得的显示图像重叠显示使用了帧f3的检测对象图像的检测结果。
149.另外，处理部120也可以在基于已学习模型nn1和检测对象图像计算出的估计概率信息为给定的阈值以上的情况下，进行将检测对象图像中的至少包含关注区域的区域与显示图像关联起来显示的处理。
150.例如，如图13的(b)所示，处理部120也可以进行将检测对象图像的一部分显示于显示部340的处理。图13的(b)的b1表示显示部340的显示区域。b2～b5分别与图13的(a)的a1～a4同样地，表示显示图像、显示图像中的关注区域、检测框、估计概率。如b6所示，处理部120也可以进行在显示区域中的与显示显示图像的区域不同的区域显示检测对象图像的一部分的处理。
151.由于检测对象图像是关注区域的估计概率高的状态的图像，所以认为是对于用户来说关注区域的识别也容易的图像。因此，通过显示检测对象图像中的至少包含关注区域
的部分，能够进行用于判断由检测框表示的区域是否真正是关注区域的辅助。另外，在图13的(b)中示出了显示检测对象图像的一部分的例子，但也可以显示检测对象图像的整体。
152.3.变形例
153.下面，说明几个变形例。
154.3.1已学习模型的结构
155.以上，对作为进行检测处理的已学习模型的nn1和进行控制信息的确定处理的已学习模型nn2是不同的模型的例子进行了说明。但是nn1和nn2也可以通过1个已学习模型nn3来实现。
156.例如，nn3是接受检测对象图像以及控制信息作为输入，并输出关注区域的检测结果、估计概率信息、优先参数类别的网络。对于nn3的具体的结构可以考虑各种结构，例如nn3也可以是包括在检测处理以及控制信息的确定处理中共同使用的特征量提取层、进行检测处理的检测层、以及进行控制信息的确定处理的控制信息特性层的模型。特征量提取层是接受检测对象图像以及控制信息作为输入并输出特征量的层。检测层是从特征量提取层接受特征量作为输入，并输出关注区域的检测结果和估计概率信息的层。控制信息确定层是从特征量提取层接受特征量作为输入并输出优先参数类别的层。例如，基于图7的(a)所示的训练数据，学习特征量提取层以及检测层所包含的加权系数。另外，基于图9的(a)所示的训练数据，学习特征量提取层以及控制信息确定层中包含的加权系数。根据训练数据的形式，检测层和控制信息确定层也可以同时成为学习对象。
157.3.2与确定控制信息的处理相关的变形例
158.《nn2的变形例1》
159.图14的(a)是用于生成在控制信息的确定处理中使用的已学习模型的训练数据的另一例。图14的(b)是用于生成图14的(a)所示的训练数据的数据的例子。图14的(c)是说明nn2的输入和输出的图。
160.如图14的(a)所示，训练数据包含第二输入图像、在取得该第二输入图像时使用的控制信息、优先参数类别、以及该优先参数类别的推荐值。控制信息与图9的(a)的例子相同，是关于参数类别p1～pn的各参数值p1～pn。优先参数类别也与图9的(a)同样，是确定任意的参数类别的信息即pk。推荐值是指作为参数类别pk的参数值而推荐的值p
k’。
161.例如，在训练数据的取得阶段中，通过一边变更控制信息一边连续地拍摄包含关注区域的给定的被摄体来取得图像。此时，针对给定的参数类别取得与多种参数值相关的数据。以下，为了简化说明，针对参数值p1～pn，说明参数值的候选分别存在m个的例子。例如，参数值p1可以从p
11
～p
1m
的m个候选值中选择。对于参数值p2～pn也是同样的。但是，参数值的候选数也可以根据参数类别而不同。
162.例如，假设参数值的初始值是d1所示的p
11
，p
21
，
···
，p
n1
。对于d2所示的范围的数据，仅参数类别p1的参数值依次变更为p
12
～p
1m
，参数类别p2～pn的参数值是固定的。同样地，在d3所示的范围内，仅参数类别p2的参数值依次变更为p
22
～p
2m
，其他参数类别的参数值是固定的。这以后也是同样的。在图14的(b)所示的例子中，从d1所示的初始状态起，关于n个参数类别，参数值分别变更为m－1种，因此，根据n
×
(m－1)个不同的控制信息，取得n
×
(m－1)张图像。取得部410通过将该n
×
(m－1)张图像分别输入到nn1来求出估计概率。
163.例如，假设在将参数类别pk的参数值pk变更为p
k’时，估计概率成为最大。p
k’为p
k2
～p
km
中的任意值。在该情况下，取得部410将d1所示的图像作为第二输入图像，将d1所示的参数值即p
11
～p
n1
作为控制信息，将参数类别pk作为优先参数类别，将p
k’作为推荐值，由此取得1个训练数据。但是，用于取得训练数据的数据不限于图14的(b)，能够实施各种变形。例如不需要取得n
×
(m－1)个追加数据的全部，能够实施考虑处理负荷而省略一部分等的变形。
164.如图14的(c)所示，nn2接受第二输入图像和控制信息作为输入，进行正向的运算，由此输出优先参数类别和推荐值。
165.例如nn2的输出层也可以包含n
×
m个节点，输出n
×
m个输出数据。n
×
m个输出节点包含输出应将p1设为p
11
的概率数据、应将p1设为p
12
的概率数据、
……
、应将p1设为p
1m
的概率数据的m个节点。同样地，输出节点包含输出应将p2设为p
21
的概率数据、应将p2设为p
22
的概率数据、
……
、应将p2设为p
2m
的概率数据的m个节点。这以后也同样，本变形例中的nn2针对n种优先参数类别、m种参数值的全部组合，输出应推荐其的概率数据。如果能够决定概率数据成为最大的节点，则能够确定优先参数类别以及推荐值。但是，nn2的具体结构并不限定于此，也可以使用能够确定优先参数类别和推荐值的其他结构。
166.nn2的学习处理的流程与图10相同。但是，在步骤s206中，学习部420将训练数据中的第二输入图像和控制信息输入到nn2，根据此时的加权系数进行正向的运算，由此求出n
×
m个概率数据。学习部420基于该n
×
m个概率数据与训练数据的优先参数类别以及推荐值的比较处理来求出误差函数。例如在训练数据所包含的优先参数类别为p1、推荐值为p
11
的情况下，正解标签是应将p1设为p
11
的概率数据为1、其他的全部的概率数据为0的信息。
167.图15是说明本实施方式中的处理系统100的处理的流程图。步骤s401～s404与图11的步骤s301～s304相同。即，处理部120通过将检测对象图像输入到nn1来求出估计概率，若该估计概率为阈值以上则进行输出处理，否则进行变更控制信息的处理。
168.在步骤s403中为“否”的情况下，在步骤s405中，处理部120(控制信息确定部335)进行用于更新控制信息的处理。处理部120通过将在步骤s401中取得的检测对象图像和控制信息输入到nn2来决定优先参数。如使用图14的(c)所述那样，在本变形例中，不仅能够决定优先参数类别，还能够决定推荐的参数值。
169.在步骤s406中，控制部130(控制部332)进行将优先参数类别的参数值变更为推荐值的控制。取得部110取得基于所决定的控制信息的检测对象图像。与图11所示的例子不同，由于确定了推荐值，所以不需要进行依次变更优先参数类别的参数值的控制。结果，与图11的例子相比，可以在短时间内提高估计概率。步骤s407～s411是同样的处理的重复，因此省略说明。
170.《nn2的变形例2》
171.图16的(a)是用于生成在控制信息的确定处理中使用的已学习模型的训练数据的另一例。图16的(b)是说明nn2的输入和输出的图。
172.如图16的(a)所示，训练数据包含第二输入图像、在取得该第二输入图像时使用的控制信息以及推荐控制信息。控制信息与图9的(a)的例子相同，是关于参数类别p1～pn的各参数值p1～pn。推荐控制信息是指针对参数类别p1～pn，为了提高估计概率而推荐的参数值p1’
～p
n’。
173.例如，在训练数据的取得阶段中，通过一边变更控制信息一边连续地拍摄包含关
注区域的给定的被摄体来取得图像。此时，对于n种参数类别的每一种，参数值能够有m-1种变更，因此取得作为其全部组合的(m-1)n个数据。然后，取得部410通过将使估计概率为最大的控制信息作为推荐控制信息，取得1个训练数据。但是，根据n、m的值，为了取得训练数据而需要拍摄庞大张数的图像。因此，收集对象也可以限定为(m－1)n个数据中的一部分。此外，关于为了取得图16的(a)所示的训练数据而收集的数据，能够实施各种变形。
174.如图16的(b)所示，nn2接受第二输入图像和控制信息作为输入，进行正向的运算，由此针对各参数类别的参数值输出推荐值。例如nn2的输出层包含n个节点，输出n个输出数据。
175.nn2的学习处理的流程与图10相同。但是，在步骤s206中，学习部420将训练数据中的第二输入图像和控制信息输入到nn2，根据此时的加权系数进行正向的运算，由此求出n个推荐值。学习部420基于该n个推荐值与训练数据的推荐控制信息所包含的n个参数值的比较处理来求出误差函数。
176.图17是说明本实施方式中的处理系统100的处理的流程图。步骤s501～s504与图11的步骤s301～s304相同。即，处理部120通过将检测对象图像输入到nn1来求出估计概率，若该估计概率为阈值以上则进行显示处理，否则变更控制信息。
177.在步骤s503中为“否”的情况下，在步骤s505中，处理部120(控制信息确定部335)进行用于更新控制信息的处理。处理部120通过将在步骤s501中取得的检测对象图像和控制信息输入到nn2来决定推荐控制信息。如上所述，这里的控制信息是在各参数类别中推荐的参数值的集合。
178.在步骤s506中，控制部130(控制部332)进行将多个参数类别的参数值变更为推荐值的控制。取得部110取得基于所决定的控制信息的检测对象图像。与图11、图15所示的例子不同，能够同时变更多个参数类别。另外，如图17所示，在本变形例中，也可以不在进行了输出处理(步骤s504、s509)的情况下结束处理，而继续同样的循环处理。
179.如使用图16、图17所述那样，也可以是，控制信息包含第一～第n(n为2以上的整数)参数类别，处理部120通过变更第一控制信息所包含的第一～第n参数类别中的2项以上的参数类别，来确定第二控制信息。通过这样集中地变更多项参数类别的参数值，与图11、图15的例子相比，能够在短时间内提高估计概率。
180.《不使用机器学习的变形例》
181.另外，以上说明了在确定控制信息的处理中应用机器学习的例子，但机器学习不是必须的。例如，处理部120也可以对控制信息所包含的多个参数类别决定优先顺序，按照该优先顺序来变更控制信息。例如，在图11所示的流程图中，省略步骤s305的处理，进行变更优先顺序最高的参数类别的参数值的处理。
182.或者，处理系统100也可以存储将当前的图像以及控制信息与提高估计概率那样的优先参数类别对应起来的数据库。然后，处理部120进行求出检测对象图像以及取得该检测对象图像时的控制信息与数据库中存储的图像以及控制信息之间的相似度的处理。处理部120进行通过变更与相似度最高的数据对应起来的优先参数类别来确定控制信息的处理。
183.3.3操作信息
184.并且，处理系统100的取得部110也可以取得基于针对内窥镜装置的用户操作的操
作信息。处理部120基于检测对象图像以及操作信息，确定用于提高估计概率信息的控制信息。换言之，作为确定控制信息的处理的输入，也可以追加操作信息。
185.例如，在用户进行了按下放大按钮的用户操作的情况下，或者在进行了使插入部310b的前端接近被摄体的用户操作的情况下，认为用户希望精查被摄体。例如，认为用户不仅希望提示仅通知息肉的有无的辅助信息，还希望提示用来辅助息肉的分类、鉴别的辅助信息。在该情况下，处理部120例如将照明光变更为nbi。这样，能够提高关注区域的检测结果的估计概率，狭义上能够提高包含关注区域的分类结果在内的检测结果的估计精度。即，在进行了规定的用户操作的情况下，处理部120通过基于该用户操作来确定控制信息，能够进行反映了用户的意图的控制。另外，在进行了放大或接近等用户操作的情况下，设想摄像部成为与被摄体正对的状态。因此，认为通过将配光作为控制信息来进行控制，也能够提高估计概率。此外，对于基于操作信息确定的控制信息的具体的参数类别、参数值能够实施各种变形。
186.例如，处理系统100的存储部也可以存储执行用户操作时的已学习模型nn2_1和未执行用户操作时的已学习模型nn2_2作为控制信息的确定处理用的已学习模型。处理部120基于用户操作来切换在控制信息的确定处理中使用的已学习模型。处理部120例如在检测到放大按钮、变焦按钮等的按下的情况下，判定为执行了规定的用户操作，切换已学习模型。或者，处理部120基于照明光量和图像的明亮度，判定为执行了使插入部310b接近被摄体的用户操作。例如，在尽管照明光量为少量但图像明亮的情况下，能够判定为插入部310b的前端接近被摄体。
187.例如，nn2_1被学习为作为与光源控制信息的波长相关的参数值，容易选择用于选择nbi的参数值。这样，在执行用户操作时，容易进行使用了nbi的被摄体的详细观察。例如，作为关注区域的检测结果，输出按照nbi分类基准的分类结果。作为nbi分类基准，例如有作为胃的病变分类基准的vs分型(vsclassification)、或作为大肠的病变分类基准的jnet、nice分类、ec分类等。
188.另一方面，nn2_2例如被学习为作为与光源控制信息的波长相关的参数值，容易选择用于选择通常光的参数值。或者，nn2_2也可以是被学习为确定用于从光源装置350射出琥珀色光和紫色光的控制信息的概率变高的模型。琥珀色光在波段586nm～615nm具有峰值波长，紫色光在波段400nm～440nm具有峰值波长。这些光例如是半值宽度为数十nm的窄带光。紫色光是适合于取得粘膜的表层血管或腺管结构的特征的光。琥珀色光是适合于取得粘膜的深部血管或发红、炎症等特征的光。即，通过照射琥珀色光和紫色光，能够将能够根据粘膜的表层血管或腺管结构的特征进行检测的病变、或者能够根据粘膜的深部血管或发红、炎症等特征进行检测的病变检测为关注区域。在未执行用户操作时，由于容易使用紫色光和琥珀色光，因此能够提高针对癌和炎症性疾病等广泛的病变的估计概率。
189.此外，使基于操作信息确定的控制信息不同的特征并不限定于切换在确定处理中使用的已学习模型。例如，nn2是在执行用户操作时以及未执行用户操作时共同使用的模型，作为该nn2的输入，也可以使用操作信息。
190.3.4检测处理用的已学习模型的切换
191.另外，处理部120也可以能够执行第一处理和第二处理，第一处理是基于第一已学习模型和检测对象图像来检测包含于检测对象图像中的关注区域的处理，第二处理是基于
第二已学习模型和检测对象图像来检测包含于检测对象图像中的关注区域的处理。换言之，也可以设置多个用于检测处理的已学习模型nn1。以下，将第一已学习模型表述为nn1_1，将第二已学习模型表述为nn1_2。
192.然后，处理部120进行选择包含第一已学习模型nn1_1和第二已学习模型nn1_2的多个已学习模型中的任意的已学习模型的处理。处理部120在选择了第一已学习模型nn1_1的情况下，进行如下的处理：基于第一已学习模型nn1_1和检测对象图像，进行第一处理并且计算估计概率信息，确定用于使算出的估计概率信息提高的控制信息。处理部120在选择了第二已学习模型nn1_2的情况下，进行如下的处理：基于第二已学习模型nn1_2和检测对象图像，进行第二处理并且计算估计概率信息，确定用于使算出的估计概率信息提高的控制信息。
193.这样，能够根据状况来切换用于检测处理的已学习模型。此外，确定使作为第一已学习模型的输出的估计概率信息提高的控制信息的处理和确定使作为第二已学习模型的输出的估计概率信息提高的控制信息的处理可以是相同的处理，也可以是不同的处理。例如，如上所述，也可以使用多个控制信息的确定处理用的已学习模型。以下，说明几个切换已学习模型的具体的例子。
194.例如，处理部120也可以能够以多个判断模式中的任意模式进行动作，所述多个判断模式包括：存在判定模式，基于第一已学习模型nn1_1和检测对象图像来判定检测对象图像所包含的关注区域的有无；以及定性判定模式，基于第二已学习模型nn1_2和检测对象图像来判定检测对象图像所包含的关注区域的状态。这样，能够实现使有无关注区域的判定和状态的判定中的任意一方优先的处理。例如，处理部120根据是要无遗漏地发现病变的场景、还是想要将发现的病变的阶段正确地进行分类的场景等，来切换在检测处理中使用的已学习模型。
195.具体而言，处理部120也可以根据存在判定模式中的关注区域的检测结果，判定是否转移到定性判定模式。例如，在存在判定模式中检测到的关注区域的尺寸大的情况下、位置接近检测对象图像的中央的情况下、估计概率为规定阈值以上的情况下等，处理部120判定为要转移到定性判定模式。
196.处理部120在判定为要转移到定性判定模式的情况下，基于第二已学习模型nn1_2和检测对象图像来计算估计概率信息，确定用于提高计算出的估计概率信息的控制信息。这样，由于选择与状况相应的已学习模型，因此能够取得用户期望的结果作为检测结果，进而通过确定控制信息，能够提高该检测结果的可靠度。
197.例如，nn1_1和nn1_2是使用特性不同的训练数据进行了学习的已学习模型。例如，第一已学习模型nn1_1基于将第一学习用图像与确定第一学习用图像中的关注区域的有无或位置的信息对应起来而成的训练数据来学习。第二已学习模型nn1_2基于将第二学习用图像与确定第二学习用图像中的关注区域的状态的信息对应起来而成的训练数据来学习。
198.这样，通过使训练数据中的正解标签不同，能够使nn1_1和nn1_2的特性不同。因此，作为nn1_1，能够生成专用于判定在检测对象图像中是否存在关注区域的处理的模型。另外，作为nn1_2，能够生成专用于判定检测对象图像的关注区域的状态、例如判定符合上述病变分类基准中的哪一个的处理的模型。
199.另外，第一学习用图像也可以是使用白色光拍摄到的图像。第二学习用图像也可
以是使用波段与白色光不同的特殊光拍摄到的图像、或者在与第一学习用图像相比被摄体被放大的状态下拍摄到的图像。这样，也可以使训练数据中的用作输入的信息不同。由此，能够使nn1_1和nn1_2的特性不同。另外，如果考虑这样的案例，则处理部120也可以在从存在判定模式转移到了定性判定模式的情况下，变更控制信息中的光源控制信息。具体而言，处理部120进行如下控制：在存在判定模式下照射通常光作为照明光，在定性判定模式下照射特殊光作为照明光。这样，能够使已学习模型的切换与控制信息的变更联动。
200.另外，已学习模型的切换的触发不限于存在判定模式下的关注区域的检测结果。例如，也可以是，取得部110如上述那样取得基于针对内窥镜装置的用户操作的操作信息，处理部120进行根据操作信息来选择已学习模型的处理。在该情况下，也能够根据用户希望怎样的观察来选择适当的已学习模型。
201.另外，用于检测处理的已学习模型的切换并不限定于基于存在判定和定性判定这样的观点。例如，处理部120也可以进行确定在检测对象图像中拍摄到的拍摄对象的处理，在拍摄对象为第一拍摄对象的情况下，选择第一已学习模型，在拍摄对象为第二拍摄对象的情况下，选择第二已学习模型。这里的拍摄对象例如是被拍摄的脏器。例如，处理部120在拍摄到大肠的情况下选择第一已学习模型，在拍摄到胃的情况下选择第二已学习模型。但是，拍摄对象也可以是将1个脏器进一步细分化的情况下的部位。例如，也可以根据是上行结肠、横行结肠、下行结肠、s状结肠中的哪一个来选择已学习模型。另外，也可以通过脏器以外的分类来区分拍摄对象。
202.这样，通过使用根据拍摄对象而不同的已学习模型来进行检测处理，能够提高检测处理的精度、即提高估计概率。因此，在图11等的处理中，容易实现期望的估计概率。
203.在该情况下，第一已学习模型基于将拍摄第一拍摄对象而得到的第一学习用图像与确定第一学习用图像中的关注区域的信息对应起来而成的训练数据来进行学习。第二已学习模型基于将拍摄第二拍摄对象而得到的第二学习用图像与确定第二学习用图像中的关注区域的信息对应起来而成的训练数据来学习。这样，能够生成专用于各拍摄对象中的关注区域的检测的已学习模型。
204.3.5摄像部的位置姿势的变更请求
205.另外，以上，作为用于提高估计概率的处理，说明了进行控制信息的确定处理的例子，但为了提高估计概率，也可以进行与该确定处理不同的处理。
206.例如，在判定为由估计概率信息表示的或然性低于给定的阈值的情况下，处理部120也可以进行提示处理，该提示处理向用户请求变更内窥镜装置的摄像部相对于关注区域的位置和姿势中的至少一方。这里的摄像部例如是摄像元件312。摄像部的位置姿势的变更与插入部310b的前端的位置姿势的变更对应。
207.例如，考虑摄像元件312从倾斜方向拍摄关注区域的情况。从倾斜方向的拍摄例如表示物镜光学系统311的光轴方向与被摄体面的法线方向之差为规定阈值以上的状态。在该情况下，检测对象图像中的关注区域的形状发生扭曲，例如图像上的尺寸变小。在该情况下，由于关注区域的分辨率低，因此即使变更了控制信息，也有可能无法充分提高估计概率。因此，处理部120对用户进行使摄像部正对被摄体的指示。例如也可以在显示部340显示该意思。另外，也可以进行与摄像部的移动方向、移动量相关的引导显示。这样，图像中的关注区域的分辨率变高，因此能够提高估计概率。
208.另外，在关注区域与摄像部的距离较大的情况下，图像上的关注区域的尺寸较小，被拍摄得较暗。在该情况下，也有可能在控制信息的调整中无法充分地提高估计概率。因此，处理部120对用户进行使摄像部接近被摄体的指示。
209.如上所述，处理部120可以通过使用通过控制信息的变更未使估计概率达到阈值以上的情况作为触发来执行请求变更摄像部的位置和姿势的提示处理。这样，优先进行控制信息的变更，因此在通过该变更能够应对的状况下能够抑制对用户强加操作负担的情况。另外，通过能够进行位置姿势的变更请求，即使在无法通过控制信息的变更来应对的情况下，也能够提高估计概率。
210.此外，请求位置姿势的变更的提示处理的触发并不限定于上述。例如上述的nn2也可以是既输出确定控制信息的信息、也输出确定是否进行位置姿势的变更请求的信息的已学习模型。
211.3.6显示处理或存储处理
212.考虑在将控制信息依次变更为第一控制信息、第二控制信息的情况下，使用了第一控制信息的情况下的估计概率小于阈值的情况。
213.处理部120也可以进行显示基于第一检测对象图像的关注区域的检测结果且跳过第一估计概率信息的显示的处理。而且，处理部120也可以进行如下处理：根据基于使用了第二控制信息的控制而取得的第二检测对象图像和nn1，计算第二估计概率信息，在第二估计概率信息为给定的阈值以上的情况下，显示基于第二检测对象图像的关注区域的检测结果和第二估计概率信息。
214.另外，在使用了第一控制信息和第二控制信息的情况下估计概率小于阈值、在使用了第三控制信息的情况下的估计概率为阈值以上的情况下，处理部120显示基于第二检测对象图像的关注区域的检测结果，并且跳过第二估计概率信息的显示。而且，处理部120也可以进行显示基于使用了第三控制信息的控制而取得的第三检测对象图像中的关注区域的检测结果和基于第三检测对象图像而计算出的第三估计概率信息的处理。
215.在本实施方式中，即使给定的时点的估计概率低，也能够通过上述的方法提高估计概率。例如，即使估计概率小于阈值，也存在通过变更控制信息而使估计概率将来成为阈值以上的可能性。因此，在本实施方式中，即使在估计概率小于阈值的情况下，也可以显示关注区域的检测结果。这样，能够抑制关注区域的漏看。此时，通过反复进行决定控制信息的循环处理，估计概率的值随着时间而变化。作为用户，希望知道所显示的关注区域是否能够充分可靠，因此认为对估计概率的时序的变化的关心小。因此，处理部120例如在控制信息的更新循环中仅显示检测框而不显示估计概率，并且在估计概率为阈值以上的情况下与检测框一起显示估计概率。这样，能够进行对于用户而言容易理解的显示。
216.另外，本实施方式的方法虽然能够提高估计概率，但在原来的估计概率过低的情况下，即使变更了控制信息，估计概率也有可能不会成为阈值以上。因此，处理部120也可以设定比上述阈值小的第二阈值。处理部120进行如下处理：在估计概率为第二阈值以上且小于阈值的情况下仅显示检测框，在估计概率为阈值以上的情况下显示检测框和估计概率。
217.另外，以上说明了将关注区域的检测结果与显示图像对应起来进行显示的例子，但在估计概率为阈值以上的情况下进行的处理不限于显示处理。
218.例如，处理部120也可以在基于已学习模型nn1和检测对象图像计算出的估计概率
信息为给定的阈值以上的情况下，进行存储检测对象图像的处理。这样，能够积累被认为关注区域的视觉辨认性高的图像。通常，在使用内窥镜系统300的观察中，只要用户没有明示地按下快门按钮，就不进行静态图像的保存。因此，有可能不存储对病变等关注区域进行拍摄而得到的图像。另外，也考虑存储动态图像的方法，但在该情况下，图像张数变得大量，因此搜索关注区域的处理的负荷大。关于这一点，通过以估计概率为阈值以上为条件进行存储处理，能够适当地存储与关注区域相关的信息。
219.另外，处理部120也可以在基于已学习模型nn1和检测对象图像计算出的估计概率信息为给定的阈值以上的情况下，进行存储与检测对象图像对应的显示图像的处理。这样，用户自己阅览的图像也能够作为存储处理的对象。
220.以上，对本实施方式及其变形例进行了说明，但本技术并不直接限定于各实施方式及其变形例，在实施阶段，能够在不脱离主旨的范围内对构成要素进行变形而具体化。另外，能够将上述的各实施方式、变形例所公开的多个构成要素适当组合。例如，可以从各实施方式和变形例所记载的全部结构要素中删除若干个结构要素。而且，可以将在不同实施方式和变形例中说明的构成要素适当组合。这样，能够在不脱离发明主旨的范围内实现各种变形和应用。另外，说明书或者附图中，对于至少一次与更加广义或者同义的不同用语一起记载的用语而言，在说明书或者附图中的任意位置，都能够替换为其不同的用语。
221.标号说明
222.100
…
处理系统、110
…
取得部、120
…
处理部、130
…
控制部、300
…
内窥镜系统、310
…
镜体部、310a
…
操作部、310b
…
插入部、310c
…
通用缆线、310d
…
连接器、311
…
物镜光学系统、312
…
摄像元件、314
…
照明透镜、315
…
光导、330
…
处理装置、331
…
预处理部、332
…
控制部、333
…
存储部、334
…
检测处理部、335
…
控制信息确定部、336
…
后处理部、340
…
显示部、350
…
光源装置、352
…
光源、400
…
学习装置、410
…
取得部、420
…
学习部。
技术特征：1.一种处理系统，其特征在于，所述处理系统包括：取得部，其取得由内窥镜装置拍摄到的检测对象图像；控制部，其根据控制信息控制所述内窥镜装置；以及处理部，其基于所述检测对象图像和通过机器学习而取得的、用于计算表示输入图像内的关注区域的或然性的估计概率信息的已学习模型，检测所述检测对象图像中包含的所述关注区域，计算与检测出的所述关注区域相关的所述估计概率信息，所述处理部基于所述检测对象图像，确定用于提高与所述检测对象图像内的所述关注区域相关的所述估计概率信息的所述控制信息，所述控制部根据所确定的所述控制信息来控制所述内窥镜装置。2.根据权利要求1所述的处理系统，其特征在于，所述处理部根据基于使用了第一控制信息的控制而取得的第一检测对象图像和所述已学习模型，计算第一估计概率信息，所述处理部在判定为由所述第一估计概率信息表示的所述或然性低于给定的阈值的情况下，进行确定用于提高所述估计概率信息的所述控制信息即第二控制信息的处理。3.根据权利要求2所述的处理系统，其特征在于，所述处理部根据基于使用了所述第二控制信息的控制而取得的第二检测对象图像和所述已学习模型，计算第二估计概率信息，所述处理部在判定为由所述第二估计概率信息表示的所述或然性比所述给定的阈值低的情况下，进行确定用于提高所述估计概率信息的所述控制信息即第三控制信息的处理。4.根据权利要求1所述的处理系统，其特征在于，所述控制信息包含光源控制信息、拍摄控制信息和图像处理控制信息中的至少一项信息，所述光源控制信息用于控制对被摄体照射照明光的光源，所述拍摄控制信息用于控制拍摄所述检测对象图像的拍摄条件，所述图像处理控制信息用于控制针对所拍摄的图像信号的图像处理。5.根据权利要求4所述的处理系统，其特征在于，所述控制信息是表示与所述关注区域相关的色调、明亮度、画面内的位置中的至少一项的信息。6.根据权利要求2所述的处理系统，其特征在于，所述控制信息包含第一～第n(n为2以上的整数)参数类别，其中所述处理部通过变更所述第一控制信息所包含的所述第一～第n参数类别中的2项以上的参数类别，来确定所述第二控制信息。7.根据权利要求2所述的处理系统，其特征在于，所述控制信息包含第一～第n(n为2以上的整数)参数类别，所述处理部通过变更所述第一控制信息所包含的所述第一～第n参数类别中的第i(i是满足1≤i≤n以下的整数)参数类别来确定第二控制信息。8.根据权利要求7所述的处理系统，其特征在于，所述处理部根据基于使用了所述第二控制信息的控制而取得的第二检测对象图像和所述已学习模型，计算第二估计概率信息，
所述处理部在判定为由所述第二估计概率信息表示的所述或然性比所述给定的阈值低的情况下，通过变更所述第二控制信息所包含的所述第一～第n参数类别中的第j(j是满足1≤j≤n以下、j≠i的整数)参数类别来确定第三控制信息。9.根据权利要求1所述的处理系统，其特征在于，所述处理部根据基于使用了第一控制信息的控制而取得的第一检测对象图像和所述已学习模型，计算所述估计概率信息，所述处理部基于所述第一控制信息以及所述第一检测对象图像，进行确定用于提高所述估计概率信息的所述控制信息即第二控制信息的处理。10.根据权利要求1所述的处理系统，其特征在于，所述处理部能够执行：第一处理，基于第一已学习模型和所述检测对象图像，检测所述检测对象图像所包含的所述关注区域；以及第二处理，基于第二已学习模型和所述检测对象图像，检测所述检测对象图像所包含的所述关注区域，所述处理部进行从包含所述第一已学习模型和所述第二已学习模型的多个已学习模型中选择任意的所述已学习模型的处理，所述处理部在选择了所述第一已学习模型的情况下，进行如下处理：基于所述第一已学习模型和所述检测对象图像，进行所述第一处理并且计算所述估计概率信息，确定用于提高计算出的所述估计概率信息的所述控制信息，所述处理部在选择了所述第二已学习模型的情况下，进行如下处理：基于所述第二已学习模型和所述检测对象图像，进行所述第二处理并且计算所述估计概率信息，确定用于提高计算出的所述估计概率信息的所述控制信息。11.根据权利要求10所述的处理系统，其特征在于，所述取得部取得基于对所述内窥镜装置的用户操作的操作信息，所述处理部基于所述操作信息进行选择所述已学习模型的处理。12.根据权利要求10所述的处理系统，其特征在于，所述处理部能够以多个判断模式中的任意的模式进行动作，所述多个判断模式包括：存在判定模式，基于所述第一已学习模型和所述检测对象图像，判定所述检测对象图像中包含的所述关注区域的有无；以及定性判定模式，基于所述第二已学习模型和所述检测对象图像，判定所述检测对象图像所包含的所述关注区域的状态。13.根据权利要求12所述的处理系统，其特征在于，所述处理部根据所述存在判定模式下的所述关注区域的检测结果，判定是否转移到所述定性判定模式，所述处理部在判定为要转移到所述定性判定模式的情况下，基于所述第二已学习模型和所述检测对象图像来计算所述估计概率信息，确定用于提高计算出的所述估计概率信息的所述控制信息。14.根据权利要求12所述的处理系统，其特征在于，用于所述第一已学习模型的学习的第一学习用图像是使用白色光拍摄到的图像，
用于所述第二已学习模型的学习的第二学习用图像是使用波段与所述白色光不同的特殊光拍摄到的图像、或者是在与所述第一学习用图像相比被摄体被放大的状态下拍摄到的图像。15.根据权利要求10所述的处理系统，其特征在于，所述处理部进行确定在所述检测对象图像中拍摄到的拍摄对象的处理，在所述拍摄对象为第一拍摄对象的情况下，所述处理部选择所述第一已学习模型，在所述拍摄对象为第二拍摄对象的情况下，所述处理部选择所述第二已学习模型。16.根据权利要求1所述的处理系统，其特征在于，所述取得部在给定的帧中取得作为所述关注区域的检测以及所述估计概率信息的计算对象的所述检测对象图像，所述取得部在与所述给定的帧不同的帧中，取得用于显示部中的显示的显示图像。17.根据权利要求1所述的处理系统，其特征在于，所述处理部在根据所述已学习模型和所述检测对象图像而计算出的所述估计概率信息为给定的阈值以上的情况下，进行显示所述关注区域的检测结果和所述估计概率信息的处理。18.根据权利要求2所述的处理系统，其特征在于，所述处理部进行如下处理：显示基于所述第一检测对象图像的所述关注区域的检测结果，并且跳过所述第一估计概率信息的显示，所述处理部进行如下处理：根据基于使用了所述第二控制信息的控制而取得的第二检测对象图像和所述已学习模型，计算第二估计概率信息，在所述第二估计概率信息为给定的阈值以上的情况下，显示基于所述第二检测对象图像的所述关注区域的检测结果和所述第二估计概率信息。19.根据权利要求16所述的处理系统，其特征在于，所述处理部在基于所述已学习模型和所述检测对象图像而计算出的所述估计概率信息为给定的阈值以上的情况下，进行将所述检测对象图像中的至少包含所述关注区域的区域与所述显示图像关联起来进行显示的处理。20.根据权利要求1所述的处理系统，其特征在于，所述处理部在判定为由所述估计概率信息表示的所述或然性低于给定的阈值的情况下，进行提示处理，所述提示处理向用户请求变更所述内窥镜装置的摄像部相对于所述关注区域的位置和姿势中的至少一方。21.一种图像处理方法，其特征在于，取得由内窥镜装置拍摄到的检测对象图像，基于所述检测对象图像和通过机器学习而取得的、用于计算表示输入图像内的关注区域的或然性的估计概率信息的已学习模型，检测所述检测对象图像中包含的所述关注区域，计算与检测出的所述关注区域相关的所述估计概率信息，在将用于所述内窥镜装置的控制的信息设为控制信息时，根据所述检测对象图像，确定用于提高与所述检测对象图像内的所述关注区域相关的所述估计概率信息的所述控制信息。22.一种学习方法，其特征在于，
取得由内窥镜装置拍摄到的图像作为输入图像，在将用于所述内窥镜装置的控制的信息设为控制信息时，取得作为取得所述输入图像时的所述控制信息的第一控制信息，取得作为用于提高估计概率信息的所述控制信息的第二控制信息，所述估计概率信息表示从所述输入图像检测到的关注区域的或然性，通过对所述输入图像、所述第一控制信息、所述第二控制信息的关系进行机器学习，生成已学习模型。
技术总结处理系统(100)包含：取得部(110)，其取得由内窥镜装置拍摄到的检测对象图像；控制部(130)，其根据控制信息来控制内窥镜装置；以及处理部(120)，其根据已学习模型和检测对象图像，检测包含于检测对象图像中的关注区域，计算与检测到的关注区域相关的估计概率信息。处理部(120)根据检测对象图像来确定用于提高估计概率信息的控制信息，控制部(130)根据所确定的控制信息来控制内窥镜装置。定的控制信息来控制内窥镜装置。定的控制信息来控制内窥镜装置。
技术研发人员：大原聪
受保护的技术使用者：奥林巴斯株式会社
技术研发日：2020.03.11
技术公布日：2022/11/1
