1.本发明涉及一种对体腔内的活组织进行摄像的内窥镜系统。
背景技术：2.内窥镜是一种带有摄像元件的设备，插入体腔内，如人体，以对体腔内表面的活组织进行摄像。例如，将内窥镜插入大肠，并将捕获的图像显示在显示器上，以确定活组织中是否存在非健康区域，例如病变。在诊断大肠内的活组织时，必须在内表面突出的褶皱不影响摄像的情况下，在将内窥镜向一个方向拉的同时，使褶皱向一个方向倾斜，以确定褶皱底部是否有病变。然而，即使褶皱向一个方向倾斜，病变仍可能存在于隐藏在褶皱后面的区域。如果要摄像的图像视场很窄，相邻的褶皱之间的区域可能不会被摄像。
3.为了能够在褶皱塌陷之前在褶皱之间摄像，可以在摄像元件的物镜系统中使用一个广角物镜。
4.例如，已知的内窥镜系统，包括一个内窥镜，该内窥镜具有插入观察对象的插入部分，具有在插入部分的先端方向的视场的直接观察部分，具有在插入部分的横向方向的视场的侧视部分，从插入部分突出并在侧视部分的视场中形成死角的突起，以及使用直接观察部分获取直接观察图像和使用侧视部分获取侧视观察图像的图像获取部(参照特开jp2018-57799号公报)。
技术实现要素：5.发明所要解决的课题
6.在上述内窥镜系统中，能够同时取得直接观察图像和侧视观察图像，在显示部同时显示大范围的观察对象。但是，直接观察图像和侧视观察图像是二维图像，因此，在显示摄像图像时，内窥镜操作者难以从所显示的摄像图像得知病变部的表面凹凸的信息。除了病变部的大小之外，获得表面凹凸的信息是诊断病变部进展程度的重要信息。
7.因此，本发明的目的是提供一种内窥镜系统，该系统在对活组织进行摄像时，可以利用摄像图像求得病变部等特征部分的三维信息。
8.用于解决课题的技术方案
9.本发明的一个方面是一种内窥镜系统，包括一个用于对体腔内的活组织进行摄像的内窥镜，以及一个用于对所述内窥镜拍摄的摄像图像进行图像处理的图像处理单元。
10.所述内窥镜包括：
11.摄像元件，其构成为可对活组织的图像摄像；以及
12.物镜，其设置在所述摄像元件的受光面前面，并被配置为在所述受光面上形成活组织的图像。
13.所述图像处理单元，
14.配备有三维扩展处理部，其被配置为基于所述内窥镜在至少2处不同的摄像位置拍摄的所述摄像图像内共同包含的、相对于其他部分可识别的特征部分的位置信息，计算
从不同的所述摄像位置可见的所述特征部分的不同方向，将所述特征部分图像的二维信息扩展为三维信息。
15.所述摄像位置是所述内窥镜相对于所述活组织移动的不同位置；
16.优选的，所述三维扩展处理部利用从不同的所述摄像位置可见的所述特征部分的不同方向，以及所述摄像位置之间的距离信息来计算所述三维信息。
17.本发明的一个方面也是一种内窥镜系统，包括一个用于对体腔内的活组织进行摄像的内窥镜，以及一个用于对所述内窥镜拍摄的摄像图像进行图像处理的图像处理单元。
18.所述内窥镜包括：
19.摄像元件，其构成为可对活组织的图像摄像；以及
20.物镜，其设置在摄像元件的受光面前面，并被配置为作为所述摄像图像，将通过多个窗口获取的活组织图像同时在所述受光面上成像；
21.所述图像处理单元，
22.所述图像处理单元，
23.配备有三维扩展处理部，其被配置为基于所述内窥镜拍摄的所述摄像图像内的通过所述多个窗口获取的多个图像分别共同包含的、相对于其他部分可识别的特征部分图像的各自的位置信息，计算从所述多个窗口可见的所述特征部分的不同方向，将所述特征部分的二维信息扩展为三维信息。
24.所述多个窗口包括朝向摄像元件受光面前面的前窗，和朝向摄像元件相对于所述前窗的侧面的侧窗；
25.所述物镜被配置为同时将通过所述前窗获得的活组织的直视图像，和通过所述侧窗获得的活组织的侧视图像在受光面上作为所述摄像图像成像；
26.所述三维扩展处理部，优选的，被设置为基于所述内窥镜拍摄的所述摄像图像内的所述直视图像，和所述侧视图像分别共同包含的所述特征部分的所述直接观察像中的位置信息，以及所述特征部分的所述侧视图像中的位置信息，计算从所述前窗和所述侧窗可见的所述特征部分的不同方向，将所述二维信息扩展为三维信息。
27.所述多个图像包括重叠区域的图像，这些图像相互包括活组织的相同部分；
28.优选的，所述特征部分图像的各自位置信息是所述特征部分位于所述重叠区域时的信息。
29.优选的，所述摄像元件连续对活组织摄像，
30.包含所述特征部分的所述多个图像，是所述内窥镜在所述体腔内移动之前和之后的、彼此不同摄像位置的摄像图像。
31.优选的，所述图像处理单元配备一个同一性判定部，其被配置为利用所述特征部分的颜色信息和轮廓形状信息中的至少一个来确定多个所述图像中的所述特征部分是否彼此相同。
32.优选的，所述三维扩展处理部具有预测模型，并被配置为通过将所述内窥镜拍摄的所述摄像图像的所述二维信息输入所述预测模型而获得所述三维信息，该预测模型利用由所述内窥镜拍摄的包括活组织的所述特征部分的多个摄像图像中的所述特征部分图像的所述二维信息和所述三维信息作为学习数据来机器学习所述二维信息和所述三维信息之间的关系。
33.本发明的另一个方面也是一种内窥镜系统，包括一个用于对体腔内的活组织进行摄像的内窥镜，以及一个用于对所述内窥镜拍摄的摄像图像进行图像处理的图像处理单元。
34.所述内窥镜包括：
35.摄像元件，其构成为可对活组织的图像摄像；以及
36.物镜，其设置在所述摄像元件的受光面前面，并被配置为在所述受光面上形成活组织的图像。
37.所述图像处理单元，
38.配有具备预测模型的预测部，其预测模型构成为：通过输入所述内窥镜拍摄的所述摄像图像中含有的相对于其他部分可识别的特征部分的二维信息，从所述二维信息中预测三维信息。
39.所述预测模型是一个机器学习模型，即使用多个包含所述特征部分的已知摄像图像作为学习数据，对所述摄像图像中的所述特征部分的已知二维信息，和所述特征部分的已知三维信息之间的关系进行预测。
40.优选的，所述内窥镜系统配备有显示器，其构成为：使用在所述预测部获得的所述三维信息显示图像；
41.所述摄像元件构成为，同时对通过多个窗口获得的图像进行摄像；
42.所述摄像元件连续对活组织摄像，
43.所述摄像元件的视野范围内，存在通过多个所述窗口的任何一个，都有拍摄不到活组织部分的死角区域，
44.所述图像处理单元，具备图像显示控制部，其控制在所述特征部分的至少一部分将要处于所述死角区域时，在所述特征部分的至少一部分处于所述死角区域之前，使用通过所述特征部分的所述二维信息预测的所述三维信息，在所述显示器上显示所述特征部分整体的三维图像。
45.此外，优选的，所述内窥镜系统配备有显示器，其构成为：使用在所述预测部获得的所述三维信息显示图像；
46.所述摄像元件构成为，同时对通过多个窗口获得的图像进行摄像；
47.所述摄像元件连续对活组织摄像，
48.所述摄像元件的视野范围内，存在通过多个所述窗口可同时进行摄像的重叠区域，
49.所述图像处理单元，具备图像显示控制部，其在所述特征部分的至少一部分将要处于所述重叠区域时，控制在所述特征部分的至少一部分处于所述重叠区域之前，使用通过所述特征部分的所述二维信息预测的所述三维信息，在所述显示器上显示所述特征部分整体的三维图像的一个。
50.发明效果
51.根据上述内窥镜系统，当对活组织进行摄像时，所拍摄的图像可用于获得病变部等的特征部分的三维信息。
附图说明
52.图1a是从设于一实施方式的内窥镜先端部的前窗及侧窗看到的视野范围的示例图。
53.图1b表示图1a所示的内窥镜的前端部在器官内的横向位置示例和此时的视野范围在左右方向上的差异。
54.图2a是说明活组织的特征部分的、从前窗和侧窗观察到的朝向特征部分的视线方向的图。
55.图2b表示图1a所示的特征部分的摄像图像的示例图。
56.图3为一实施方式的内窥镜外观斜视图。
57.图4为一实施方式的内窥镜系统的框图。
58.图5为一实施方式的内窥镜的前端部构成示例图。
59.图6一实施方式的内窥镜系统的图像处理单元的构成示例图。
60.图7一实施方式的内窥镜系统的图像处理单元的构成示例图。
61.图8a是按时间序列说明内窥镜的前端部相对于特征部分的位置和显示在显示器上的摄像图像示例。
62.图8b是按时间序列说明内窥镜的前端部相对于特征部分的位置和显示在显示器上的摄像图像示例。
63.图8c是按时间序列说明内窥镜的前端部相对于特征部分的位置和显示在显示器上的摄像图像示例。
64.图9a相对于特征部分的内窥镜先端部的位置示例图。
65.图9b一实施方式的内窥镜系统的显示器上显示的图像示例图。
具体实施方式
66.本发明涉及2020年4月28日在日本专利局申请的特愿2020-79593的专利申请，本技术的全部参照了该申请的全部内容。
67.以下，将对内窥镜系统的一实施方式进行详细说明。
68.(内窥镜系统概要)
69.一实施方式的内窥镜系统，具备：内窥镜，其拍摄体腔内的活组织；和图像处理单元，其对由内窥镜拍摄到的摄像图像进行图像处理。内窥镜具备：摄像元件，其构成为拍摄活组织的图像；以及物镜，其设置于摄像元件的受光面的前方，构成为使活组织的图像成像于受光面。其中，图像处理单元包括三维扩展处理部。三维扩展处理部基于内窥镜在至少2处不同拍摄位置拍摄的至少2张摄像图像内共同包含的、或者通过至少2个不同窗口拍摄的视野范围不同的至少2张图像整合为1张摄像图像内共同含有的特征部分的位置信息，计算从不同的摄像位置能看见的、或者通过不同的窗口能看见的特征部分的不同方向(以后，称为朝向特征部分的视线方向)的信息。特征部分区别于其他非特征部分的部分，例如，可通过活组织的颜色成分可区分识别的部分。例如，相对于活组织表面因粘膜而呈黄色或绿色的健康部，可将因浮肿或易出血而呈红色的炎症部，或因白苔或脓样粘液而呈白色的溃疡部作为特征部分。
70.此外，图像处理单元被配置为利用计算出的朝向特征部分的视线方向的信息，将
该特征部分的图像的二维信息扩展为三维信息。
71.三维信息是例如包括：器官内表面的二维位置信息，以及特征部分的摄像图像的进深方向上的位置信息。除了二维信息之外，还可以通过使用在至少两个不同摄像位置拍摄的摄像图像中显示的共同特征部分，或者通过使用在将通过至少两个窗口看到的图像合并为一个的摄像图像中显示的共同特征部分(在两个视场范围的重叠区域中显示)来获得进深方向上的位置信息。
72.利用这样求出的三维信息，通过渲染处理等，能够将特征部分的图像以立体形状显示在显示器上。此外，能够将由于特征部分位于重叠区域中而出现在摄像图像中的2个特征部分的摄像图像合并为一个的特征部分图像显示在显示器上。
73.图1a是从设于一实施方式的内窥镜先端部t的前窗w1及侧窗w2看到的视野范围示例图。侧窗w2设置为沿着筒状的前端部t的外周绕一周。前窗w1是设置在设于先端部t的摄像元件i的受光面的前方，能够通过物镜观察受光面的前方方向(在图1a中为上方向)的区域的窗，侧窗w2是设置在摄像元件i的受光面的前方，能够通过物镜观察与前方正交的方向(图1a所示的横向)的区域的窗。本实施方式中的侧窗w2是指面向与前方正交的一侧的窗口，但与前窗w1相比，它要面向侧面的一侧即可。侧窗w2的朝向(从侧窗w2看到的视野范围的中心轴的方向)相对于前方例如倾斜30度～90度即可。
74.通过前窗w1和设于先端部t的未图示物镜可见的视场范围包括区域a1和区域b，通过侧窗w2和设于先端部t的未图示物镜可见的视场范围包括区域a2和区域b。区域b与从前窗w1可见的视野范围，和从侧窗w2可见的视野范围重叠，所以区域b此后被称为重叠区域b。
75.另一方面，从前窗w1以及侧窗w2能够看到的视野范围不包括图示的区域c。即，区域c中的被摄体不包括在任何视野范围内，因此，不出现在摄像元件i拍摄的图像中。此后，区域c被称为盲区c。
76.图1b在器官内的内窥镜的先端部t的横向位置示例，和此时的视野范围在左右方向上的差异。如图1b所示，器官中活组织表面的视野范围取决于先端部t在器官中的横向位置。从图1b中的右侧前窗w1和侧窗w2可见的总体视野范围包括区域a1、重叠区域b和区域a2。由于先端部t在器官中向左偏移，因此从图1b中的左侧前窗w1,和侧窗w2看到的总体视野范围包括区域a1和区域a2，而不包括盲区c。因此，在摄像元件i的视野范围中存在盲区c。
77.在图1b所示的例子中，在右侧的视野范围中，由于存在重叠区域b，因此在重叠区域b中存在具有与其他部分不同的色彩的特征部分、例如，如果有病变部，病变部位于从前窗w1能够看到的视野范围内，并且位于从侧窗w2能够看到的视野范围内。因此，摄像元件i能够通过物镜将从前窗w1看到的特征部分的图像，和从侧窗w2看到的特征部分的图像拍摄为一个图像。
78.图2a是说明特征部分s的、从前窗w1和侧窗w2观察到的朝向特征部分s的视线方向的图。图2b表示图2a所示特征部分s的摄像图像示例图。
79.图2a和图2b示出了穿过前窗w1的中心并在窗表面的法线方向上延伸的中心轴ax1,以及穿过侧窗w2的窗宽度的窗中心,并在窗表面的法线方向上延伸的中心轴ax2。中心轴ax1位于后述的物镜光轴延伸线上，在摄像图像中以点表示。另一方面，侧窗w2设置为在筒状的先端部t的圆周上绕一周，因此，在摄像图像中表现为圆周形状。
80.如图2a所示，由于特征部分s位于重叠区域b中，因此如图2b中所示，特征部分s的
图像在摄像图像中显示为2个。当摄像图像中出现特征部分s的两幅图像时，三维扩展处理部立即从特征部分s的两幅图像中利用视线v1和v2到特征部分s，利用三角测量原理获得深度方向(向前)的位置信息。
81.需要注意的是，从前窗w1和侧窗w2看的深度方向在图2a所示的例子中不是向上的方向，而是从顶部向侧面倾斜的方向，例如可以用视线v1和v2来确定从前窗w1的窗心到特征部分s的距离和方向。因此，可以利用特征部分s的距离和方向，参照特征部分s和非特征部分之间的边界，从器官中的表面求出特征部分s的高度方向上的位置信息。此外，也可以求出从前窗w1的窗心到特征部分s的前进方向(图2a中为向上)的位置信息。
82.因此，当特征部分s进入重叠区域b，出现特征部分s的两幅图像时，三维扩展处理部立即获得上述三维信息，其中包括特征部分s在高度方向上突出于活组织表面的位置信息，同时也立即获得特征部分s在前进方向上的三维位置信息。
83.在图2a所示的例子中，内窥镜的先端部在向下移动时，例如对器官中的活组织表面进行摄像，在图2a所示的特征部分s位于重叠区域b之前，特征部分s位于侧窗w2的视野范围a2区域，在摄像图像中只出现一个。在此之后，特征部分s的两个图像出现在摄像图像中，如图2b所示。在图2b所示的例子中，考虑到视野范围为圆形而示出了圆形的例子，但也可以在显示器中以切掉圆形的一部分的矩形形状的显示画面来显示摄像图像。然后，特征部分s位于区域a1，因此，特征部分s的图像在摄像图像中成为一个。
84.因此，如果特征部分s位于重叠区域b中，并且特征部分s的图像出现在两个摄像图像中，则可以消除重叠区域b，并且可以产生器官中的表面的图像，好像通过一个窗口(例如，前窗w1)看到区域a1、重叠区域b和区域a2。而且，特征部分s的图像出现2个时，由于可以立即求出三维信息，所以在显示器上显示特征部分s的图像时，可以将三维信息反映在图像上，即可以形成三维图像。例如，由于能够得到特征部分s的高度方向的信息，所以也能够进行再现特征部分s相对于周围部分的表面凹凸的渲染处理。
85.另外，上述的扩展为三维信息的处理使用从前窗w1及侧窗w2向能够看到的特征部分s的视线方向的信息来进行，但并不一定限定于前窗w1及侧窗w2，只要能够应用三角测量的原理，也可以是设置在不同位置的多个窗。例如，可以在先端部t的先端面设置多个窗口。进而，只要能够应用三角测量的原理，也可以使用在例如使先端部t在器官内移动时的不同拍摄位置拍摄到的2个以上的摄像图像、即共同出现特征部分s的图像的摄像图像，进行扩展为三维信息的处理。在这种情况下，为了执行扩展到三维信息的处理，优选的，至少获取摄像位置间距离信息，该距离信息是摄像位置信息。因此，可以使用相同特征部分s的视线方向和所获取的距离信息来获得三维信息。
86.另外，为了更正确地求出三维信息，也可以使用从3个以上的窗口观察到的摄像图像、或者3个以上的摄像位置的摄像图像。这种情况下，由于信息过多，优选的，利用三角测量的原理求三维信息时，计算为误差最小。
87.(内窥镜系统的具体方式)
88.图3为一实施方式的内窥镜外观斜视图。图4为一实施方式的内窥镜系统的框图。图4为一实施方式的内窥镜的先端部构成示例图。
89.图3所示的内窥镜(以下称为电子内镜)100连接到图4所示的电子内窥镜处理器200以形成内窥镜系统1。内窥镜系统1是专门为医疗用途设计的系统，主要配备了电子内镜
100、电子内窥镜处理器200和显示器300，如图4所示。电子内镜100、及显示器300分别与处理器200连接。
90.如图3所示，电子内镜100主要包括连接器110、操作部120和先端部132，并且还包括从操作部120向先前端部132延伸并具有柔性的柔性电缆130、通过连接部连接在柔性电缆130的前方并自由弯曲的弯管134、以及从操作部120向后延伸的通用管128。连接器110固定到通用管128的后端，并且被配置为与处理器200连接。
91.多个弯丝插入操作部120，柔性电缆130和弯管134中，每个弯丝的尖端连接到弯管134的后端，每个弯丝的后端连接到操作部120的弯曲操作旋钮122。弯管134根据弯曲操作旋钮122的操作，以任何方向和任何角度进行弯曲。
92.而且，操作部120具有多个操作按钮124。操作按钮124允许内窥镜操作者(手术者或助手)通过按下操作按钮124指示以下各项功能：从设置在先端部132的先端表面上的供气供水口排出水或气体，由抽吸口抽吸活组织中的液体或气体，以及从清洁液排放喷嘴排出清洁液以清洁物镜。可以预先确定按下操作按钮124所要进行的操作，并为操作按钮124分配一个功能以进行该操作。
93.弯管134先端的先端部132由硬质树脂材料(如abs、改性ppo、psu等)制成，基本上不可弹性变形。
94.在先端部132内有一个led光源102和一个摄像元件108，位于紧随物镜106之后。即，设置在长柔性电缆130的前端的先端部132包括led光源102、物镜106和摄像元件108。物镜106设置在摄像元件108的前面，在摄像元件108的受光面以视角大于或等于180度、优选的，以大于180度的视野范围进行活组织的图像成像。如后所述，在先端部132中设置朝向摄像元件108的受光面的前方的前窗和朝向与前方正交的侧方的侧窗，摄像元件108构成为通过前窗和侧窗，对通过物镜106在受光面成像的图像进行摄像。
95.柔性电缆130，弯管134和先端部132形成插入体腔中的插入部135。从设置在先端部132的摄像元件108延伸的图像信号用电缆从先端部132通过弯管134、柔性电缆130、操作部120和通用管128的内部延伸到连接器110的内部。连接器110连接处理器200。处理器200处理从摄像元件发送来的图像信号，并控制摄像元件108拍摄的被摄体的图像显示在显示器300上。
96.如图4所示的内窥镜系统1的处理器200具备系统控制器202及时序控制器206。系统控制器202执行存储在存储器204中的各种程序，并且集成控制整个电子内窥镜系统1。此外，系统控制器202根据输入到操作面板208的内窥镜操作者(術者或助手)的指令来变更电子内窥镜系统1的各种设定。时序控制器206向电子内窥镜系统1内的各电路输出用于调整各部操作时间的时钟脉冲。
97.在电子内镜100的先端部132中，除摄像元件108以外还设置有led光源102。led光源102出射照亮活组织的照明光，以供摄像元件108进行摄像。
98.led光源102由设置在连接器110的光源控制电路116生成的驱动信号驱动，从而出射光。也可以使用激光元件代替led光源102,还可以使用高亮度灯，例如氙灯、金属卤灯、水银灯或卤素灯。
99.在图4所示的例子中，led光源102设置在先端部132,但是也可以作为光源装置设置在连接器110或处理器200。在这种情况下，从光源装置到前端部132的照明光通过束有多
根光缆的光导被引导到前端部132。
100.从led光源102出射的光作为照明光，经由配光透镜104照射到作为被摄体也就是活组织上。来自活组织的反射光经由前窗140及侧窗150(参见图3)及物镜106在摄像元件108的受光面上形成光学图像。
101.摄像元件108例如是用于在受光面上布置ir(infrared)截止滤光片108a、采用拜耳阵列的滤色片108b等各种滤光片的单片式彩色
102.ccd(charge-coupled device)图像传感器，根据在受光面上成像的光学图像生成r(red)、g(green)、b(blue)各原色信号。代替单片式彩色ccd图像传感器，也可以使用单片式彩色cmos(complementary metal oxide semiconductor)图像传感器。如此一来，电子内镜100使用摄像元件108对器官内部的活组织进行拍摄，并生成运动图像。
103.在电子内镜100的连接器110的内部设置有驱动器信号处理电路112。驱动器信号处理电路112对从摄像元件108输入的原色信号执行颜色插值、矩阵运算等预定信号处理后，生成图像信号(亮度信号y、色差信号cb,cr)，并将生成的图像信号输出到电子内窥镜用处理器200的图像处理单元220上。此外，驱动器信号处理电路112访问存储器114并读取电子内镜100的特有信息。记录在存储器114中的电子内镜100的特有信息例如包括摄像元件108的像素数、灵敏度、可操作帧速率、型号等。驱动器信号处理电路112将从存储器114读取的特有信息输出到系统控制器202中。
104.系统控制器202基于存储在存储器204中的信息和电子内镜100的特有信息执行各种运算，并生成控制信号。系统控制器202使用所生成的控制信号来控制电子内窥镜用处理器200内的各个电路的操作和时间，以便执行与连接于电子内窥镜用处理器200的电子内镜100相适应的处理。
105.时序控制器206根据由系统控制器202所执行的时序控制，向驱动器信号处理电路112、图像处理单元220以及光源部230供给时钟脉冲。驱动器信号处理电路112根据从时序控制器206所供应的时钟脉冲，按照与在电子内窥镜用处理器200侧上执行处理的图像帧速率同步的时序，驱动控制摄像元件108。
106.图像处理单元220包括图像处理部220a(参见图4)，其在系统控制器202的控制下基于从驱动器信号处理电路112输入的图像信号，生成用于显示器显示图像等的视频信号，并将视频信号输出到显示器300。
107.图像处理单元220还包括三维扩展处理部220b(参见图4)，三维扩展处理部220b被配置为将由摄像元件108拍摄的图像中的特征部分的图像的二维信息扩展为三维信息。关于三维扩展处理部220b将后述。图像处理部220a还可以对电子内镜100获得的活组织的图像进行量化处理，对图像中能够区分病变和健康部分的每个像素的特征量进行量化处理，评估图像中病变部的发展程度，并进一步将量化处理获得的每个像素的数值替换成颜色并生成一个彩色地图图像。在这种情况下，图像处理部220a产生一个视频信号，用于显示器显示由量化处理产生的信息和彩色地图图像，并将其输出到显示器300。由此，内窥镜操作者能够通过显示器300的显示屏上显示的图像，高精度的进行检查。图像处理部220a根据需要向打印机400输出图像、量化处理结果的信息和彩色地图图像。
108.处理器200经由nic(网卡)210和网络500连接至服务器600上。处理器200可以从服务器600下载关于内窥镜检查的信息(例如，病人电子病历信息和手术者信息)。所下载的信
息例如显示在显示器300的显示屏或操作面板208上。处理器200也可以将电子内镜100的检查结果上传到服务器600，从而使检查结果存储在服务器600上。
109.图5是说明先端部132内部结构的示意图。
110.先端部132包括物镜106、摄像元件108、前窗140和侧窗150。物镜106和摄像元件108位于先端部132处由硬质树脂材料制成的圆柱形部件133中。先端部132对应于图1a、1b和2a所示例子中的先端部t。
111.前窗140朝向摄像元件108的受光面108c的前方方向。侧窗150朝向与前方正交的侧方。侧窗150朝向与前方正交的侧方，如上所述，侧窗150朝向与前窗140相比的侧方侧即可。
112.物镜106包括一组透镜106a～106e，包括半月形透镜、凸透镜和凹透镜，其半视角超过90度，优选的大于或等于110度。因此，作为摄像图像，物镜106同时在受光面108c上形成通过前窗140获得的活组织的直视图像，和通过侧窗150获得的活组织的侧视图像。透镜106a的被摄体侧的表面还兼有前窗140。侧窗150设有玻璃盖板。
113.如图1a所示，通过先端部132的前窗140和侧窗150可见的视野范围包括区域a1、重叠区域b和区域a2。此外，还有一个从前窗140和侧窗150看不到被摄体的盲区c。活组织的图像被同时拍摄为通过前窗140获得的直视图像，和通过侧窗150获得的侧视图像，因此，特征部分s可以在拍摄的图像中显示为两个图像，如图2b所示。
114.图像处理单元220配有三维扩展处理部220b，其从出现在该摄像图像中的两个特征部分s的图像的二维信息(图像上的x坐标位置和y坐标位置)计算出特征部分s的三维信息。
115.三维扩展处理部220b根据电子内镜100拍摄的摄像图像内通过前窗140，和侧窗150获得的特征部分s的2个图像(直视图像和侧视图像)中共同含有的位置信息，计算出通过前窗140和侧窗150看到的特征部分s的视线方向，并使用该计算出的视线方向将特征部分s的图像的二维信息扩展为三维信息。通过前窗140和侧窗150获得的2个图像是否是共同的，可以通过2个特征部分s在摄像图像中的位置和特征部分s的颜色信息或特征部分s的轮廓形状信息来确定。此外，在沿一个方向移动电子内镜100的前端部132，同时，对活组织的表面进行摄像的情况下，由于特征部分s从区域a2移动到重叠区域b，因此，可以利用按时间序列生成的多个摄像图像容易地确定2个共同的特征部分s是否出现在摄像图像中。
116.另外，不仅在一边使电子内镜100的先端部132向一个方向移动一边进行摄像的情况下，而且在一边使弯管134弯曲动作一边进行摄像的情况下，也能够将特征部分s的图像的二维信息扩展为三维信息。
117.三维扩展处理部220b根据(以图2b所示的x方向和y方向为坐标轴的xy坐标系中)x方向和y方向的坐标位置、即通过前窗140得到的直视图像中的特征部分s所关注的各位置的二维信息相对于前窗140的中心轴ax1的方位方向，来求特征部分s所关注的各位置的方位方向。中心轴ax1被设定为与物镜106的光轴重合，因此，摄像图像中特征部分s的方位方向与从器官内先端部132的前窗140看的方位方向相一致。在图2b所示的例子中，相对于中心轴ax1的右侧方向是上述特征部分s中关注的位置的方位方向。同样，三维扩展处理部220b从侧窗150的中心轴ax2*的中心点ax2
*
获得通过侧窗150可见的摄像图像中特征部分s的每个关注位置的方位方向。中心轴ax1和ax2是从前窗140和侧窗150的窗中心沿窗表面的
法线方向延伸的轴。
118.通过使用特征部分s中的像素值的颜色信息，或外廓形状的信息，确定在获得相对于中心轴ax1的方位方向时所关注的位置，和在获得来自中心点ax2*的方位方向时所关注的位置相同的位置。另外，侧视图像和直视图像是使用相同的物镜106得到的图像，所以从中心轴ax1所看到的侧视图像中的特征部分s的位置的方位方向，与从中心轴ax1所看到的直视图像中的相同特征部分s的相同位置的方位方向一致，所以，中心点ax2
*
是从位于物镜106的光轴的延长线上的中心轴ax1(图2b所示的点)连接特征部分s所关注的位置的直线与中心轴ax2(图2b所示的虚线圆)相交的交点。
119.另一方面，中心轴ax2是从侧窗150的窗中心沿法线方向延伸的轴，因此，求出以侧视图像中的中心点ax2*为基准的关注位置的位置坐标，根据该位置坐标，基于物镜106的透镜特性计算图2a所示的仰角方向(相对于图2a的横向的上方向(前方方向))的角度θ。由此，可以求出对图2a和图2b所示的特征部分s的视线v1和v2的方向。
120.并且，由于已知前窗140的窗中心和侧窗150的窗中心在先端部132中的位置，所以三维扩展处理部220b根据该位置，以及求出的对特征部分s的视线v1、v2的方向，利用三角测量的原理，计算朝向特征部分s的视线v1和朝向特征部分s的视线v2相交的位置。
121.因此，三维扩展处理部220b可以从前窗140的窗中心，或侧窗150的窗中心计算特征部分s关注的各个位置的方位方向，和仰角方向以及距离的信息。三维扩展处理部220b可以根据方位方向、仰角方向和距离的信息，例如计算沿器官延伸的方向相对于先端部132的特征部分s的位置信息，并且还可以计算沿从前窗140或侧窗150的窗中心到特征部分s关注的位置的横向(图2a所示的横向)的距离信息。由此，求出特征部分s的三维信息。
122.在获得图2b中所示的摄像图像的情况下，如上所述，图像处理单元220求出特征部分s的三维信息。然而，在摄像图像中，可以执行消除重叠区域b的处理，并且可以通过创建器官中的表面的图像，好像通过前窗w1看到区域a1、重叠区域b和区域a2来在显示器300上显示。在这种情况下，通过使用所获取的特征部分s的三维信息执行三维处理，能够将特征部分s的图像在显示器300上显示为立体形状的图像。从前窗140的窗中心到特征部分s的关注位置，沿横向的距离信息可用于获得特征部分s的高度方向的信息，因此作为三维处理，例如可以执行再现特征部分s的表面凹凸的渲染处理。这样，特征部分s可以作为立体形状图像显示在显示器300上，这对确定肿瘤是否是需要切除的恶性肿瘤和诊断很有用。
123.如果从先前的诊断中得知，内表面有褶皱的大肠等器官内的褶皱底部有病变，则可以通过定位先端部132，使病变部处于重叠区域b中，并通过上述方法，使用上述内窥镜系统来获得病变部的三维信息，也可以获得病变部表面不规则的信息。
124.在上述实施方式中，利用通过前窗140和侧窗150看到的活组织图像，将特征部分s的二维信息扩展为三维信息，但设于先端部132中的窗口不限于前窗140和侧窗150，可以使用设于先端部132中不同位置的多个前窗，也可以使用设于先端部132中不同位置的多个侧窗。在这种情况下，2个窗口设于先端部132的不同位置，所以摄像位置彼此不同。因此，三维扩展处理部220b可以基于在至少两个摄像位置上拍摄的摄像图像中共同包含的特征部分s的位置信息，利用在不同摄像位置上可见的特征部分s的视线方向，将特征部分s的图像的二维信息扩展为三维信息。
125.上述摄像位置可以是电子内镜100相对于活组织移动的不同位置，例如，在器官延
伸方向的不同位置。在这种情况下，优选地，三维扩展处理部220b使用由不同的摄像位置引起的特征部分s可见的不同方向和摄像位置之间的距离信息来计算三维信息。摄像位置之间的距离信息可以从电子内镜100的位置测量系统中的先端部132的摄像位置的信息中获得。例如，位置测量系统是指使用磁传感器来获取插入器官的电子内镜100的先端部132处的摄像元件108的位置，以及后续的柔性电缆130的各位置，或通过器官的开口端插入的电子内镜100的插入长度。
126.如上述实施方案，优选的，物镜106被配置为同时将通过前窗140获得的活组织的直视图像，和通过侧窗150获得的活组织的侧视图像作为摄像图像在受光面进行成像，三维扩展处理部220b被配置为基于所拍摄的摄像图像中的直视图像，和侧视图像中分别共同包括的特征部分s的直视图像中的位置信息，以及特征部分s的侧视图像中的位置信息，计算通过前窗140和侧窗150看到的特征部分s的视线方向，并且使用计算出的视线方向将二维信息扩展为三维信息。由于前窗140和侧窗150彼此正交的方向是视野范围的中心轴的方向，因此，能够更精确地计算三维信息。
127.如上所述，通过不同的窗(前窗140、侧窗150)拍摄的图像包括相互包含的活组织相同部分的重叠区域b，特征部分s的各个图像中的位置信息是特征部分s位于重叠区域b时的信息。因此，三维信息可以从一个摄像图像中的特征部分s的图像中的各位置的位置信息准确计算出来。
128.如上所述，如果是摄像位置不同的两个以上的位置，则对特征部分s的视线的方向不同，因此在摄像元件108连续摄像活组织时，含有相同特征部分s的多张图像可以是在电子内镜100的先端部132在体腔内移动之前和之后，在彼此不同的摄像位置拍摄的图像。此处，彼此不同的摄像位置是指，在器官的延伸方向上，摄像位置彼此不同。
129.根据一实施方式，如图6所示，除了图像处理部220a和三维扩展处理部220b之外，优选的，图像处理单元220还配备一个同一性判定部220c。图6是一实施方式的内窥镜系统的图像处理单元的构成示例图。同一性判定部220c被配置为利用特征部分s的颜色信息，和特征部分s的轮廓形状信息中的至少一个，来确定多个图像(例如直视图像和侧视图像)中包含的特征部分s是否相同。在拍摄视频时，特征部分s的图像在摄像图像中向一个方向移动，所以很容易判断它是否相同，但如果有多个特征部分s，可能很难识别它们是否相同。因此，优选地，当计算特征部分s的三维信息时，同一性判定部220c判定是否相同。
130.根据一实施方式，优选的，三维扩展处理部220b配备有预测模型，该预测模型将此前用电子内镜100拍摄的包括活组织的特征部分s的多个摄像图像中的二维和三维信息作为学习数据，并机器学习二维和三维信息的关系。优选的，预测模型被配置为：通过将电子内镜100当前拍摄的图像中的特征部分s的图像的二维信息输入预测模型而获得三维信息。根据二维信息中包含的颜色信息和特征部分s的大小，可以预测包含特征部分s的表面凹凸信息在内的三维信息。作为预测模型的机器学习，例如使用基于神经网络的深度学习(deep learning)。另外，预测模型的一部分也可以使用利用树形结构的随机森林。作为预测模型，可以使用卷积神经网络和堆叠自动编码器等公知模型。
131.通过配备此类机器学习的预测模型，可以获得特征部分s的三维信息，而无需通过三维扩展处理部220b计算特征部分s的视线v1、v2的方向。因此，根据一个实施方式，如图7所示，图像处理单元220不包括三维扩展处理部220b,而是包括预测部220d。图7是一实施方
式的内窥镜系统的图像处理单元的构成示例图。优选的，预测部220d配备预测模型，该模型被配置为：通过输入由电子内镜100拍摄的图像中包含的特征部分s的图像的二维信息预测三维信息。预测模型是机器学习模型，将包括特征部分s的多个已知的摄像图像中的特征部分s的图像的已知的二维信息，和对应的特征部分s的已知的三维信息作为学习数据，对摄像图像中的特征部分s的图像的二维信息，和特征部分s的三维信息之间的关系进行机器学习。作为预测模型的机器学习，例如使用基于神经网络的深度学习(deep learning)。此外，预测模型的一部分也可以使用利用树形结构的随机森林。作为预测模型，可以使用卷积神经网络和堆叠自动编码器等公知模型。
132.根据一实施方式，图像处理单元220包括图像显示控制部220e。当摄像元件108连续拍摄活组织的视频，并使用预测部220d从拍摄的图像中获得的三维信息在显示器300上显示图像时，盲区c中的被摄体不被显示。当至少一部分特征部分s位于盲区c中时，优选的，图像显示控制部220e在至少一部分特征部分s位于盲区c中之前，利用从拍摄的图像中包含的特征部分s的图像的二维信息预测出的三维信息，控制在显示器300上显示整个特征部分s的三维图像。三维图像例如是经过渲染处理的图像。
133.进而，优选的，当特征部分s的至少一部分位于重叠区域b中时，图像显示控制部220e进行控制，使得在特征部分s的至少一部分位于重叠区域b中之前，使用根据包括在摄像图像中的特征部分s的图像的二维信息预测的三维信息，显示整个特征部分s的一个图像，并且显示三维图像。
134.图8a-8c是按照时间序列描述先端部t相对于特征部分s的位置和摄像图像的示例图。图8a-8c的上部示出了相对于特征部分s的先端部t的位置，并且图8a-8c的下部示出了显示器的显示画面300a的示例。此外，图8a～图8c所示的例子是用图1b所示的例子来说明的。
135.当如图8a～图8c中所示，向下拉动插入器官中的待检查部分的最深处的电子内镜100，并连续地对活组织的表面进行拍摄时，如图8a所示，特征部分s最初位于侧窗w2的视野范围的区域a2中，因此，特征部分s出现在显示器的显示画面300a上。此后，当移动电子内镜100时，如图8b所示，特征部分s进入盲区c。因此，特征部分s从显示画面300a消失。再移动电子内镜100时，如图8c所示，特征部分s进入区域a1。因此，特征部分s再次在显示画面300a上显示。
136.如图8b所示，当特征部分s位于盲区c中时，图像显示控制部220e使用由预测部220d根据位于位于盲区c之前的区域a2中的特征部分s的图像的二维信息，预测的三维信息，并进行控制以将整个特征部分s的图像在显示器300上显示为三维图像。因此，图像显示控制部220e通过颜色信息提取特征部分s的边缘区域，并监测该提取的边缘区域随时间的移动。当特征部分s的至少一部分进入盲区c时，图像显示控制部220e利用预测部220d预测的三维信息控制整个特征部分s的图像在显示器300上显示为三维图像。
137.进而，图像显示控制部220e监视通过颜色信息提取出边缘区域的特征部分s的移动，并且当特征部分s的至少一部分进入重叠区域b时，图像显示控制部220e生成图像，使得特征部分s的图像变为一个图像，并且控制特征部分s的图像显示为利用由预测部220d预测的三维信息生成的三维图像。
138.图9a显示了先端部t相对于特征部分s的位置的示例。图9b显示了内窥镜系统的一
实施方式的显示器上显示的图像示例。如图9a所示，在活组织的表面有特征部分s1-s4，特征部分s1位于区域a1，特征部分s2位于重叠区域b，特征部分s3位于盲区c，特征部分s4位于区域a2。
139.在这种情况下，位于重叠区域b的特征部分s2不在屏幕上显示两个图像，而是显示一个图像，而位于盲区c的特征部分s3则显示图像而不消失。特征部分s1～s4的图像均为三维图像。
140.图9b所示的图像显示方式，即将特征部分s1-s4三维化的图像，优选的，通过按下操作部120上的操作按钮124来选择(见图3)。因此，优选地，显示器300中的图像显示通过操作按钮124在图9b所示的显示，和使用二维信息的常规摄像图像的显示之间随时切换，其中出现重叠区域b中的特征部分s2的两个图像，而不显示盲区c中的特征部分s3。
141.此外，在内窥镜系统1中，三维扩展处理部220b、预测部220d、同一性判定部220c和图像显示控制部220e设置在处理器200的图像处理单元220中，但不一定设置在处理器200中。例如，可以通过网络500安装在另一处的数据处理单元中，图像和信息可以通过网络500的通信发送和接收。
142.在上文中，对本发明提供的内窥镜系统进行了详细说明，但是本发明并不限于上述实施方式，在不脱离本发明的主旨的范围内还可以进行各种改进和变化。
技术特征：1.一种内窥镜系统，包括：内窥镜，其对体腔内的活组织进行摄像；以及图像处理单元，其对所述内窥镜拍摄的摄像图像进行图像处理，其中，所述内窥镜包括：摄像元件，其构成为可对活组织的图像摄像；以及物镜，其设置在所述摄像元件的受光面前面，并被配置为在所述受光面上形成活组织的图像，所述图像处理单元配备有三维扩展处理部，其被配置为基于所述内窥镜在至少2处不同的摄像位置拍摄的所述摄像图像内共同包含的、相对于其他部分可识别的特征部分的位置信息，计算从不同的所述摄像位置可见的所述特征部分的不同方向，将所述特征部分图像的二维信息扩展为三维信息。2.如权利要求1所述的内窥镜系统，其中，所述摄像位置是所述内窥镜相对于所述活组织移动的不同位置，所述三维扩展处理部利用从不同的所述摄像位置可见的所述特征部分的所述不同方向以及所述摄像位置之间的距离信息来计算所述三维信息。3.一种内窥镜系统，包括：内窥镜，其对体腔内的活组织进行摄像；以及图像处理单元，其对所述内窥镜拍摄的摄像图像进行图像处理，其中，所述内窥镜包括：摄像元件，其构成为可对活组织的图像摄像；以及物镜，其设置在所述摄像元件的受光面前面，并被配置为作为所述摄像图像，将通过多个窗口获取的活组织图像同时在所述受光面上成像；所述图像处理单元配备有三维扩展处理部，其被配置为基于所述内窥镜拍摄的所述摄像图像内的通过所述多个窗口获取的多个图像分别共同包含的、相对于其他部分可识别的特征部分图像的各自的位置信息，计算从所述多个窗口可见的所述特征部分的不同方向，将所述特征部分的二维信息扩展为三维信息。4.如权利要求3所述的内窥镜系统，其中，所述多个窗口包括朝向摄像元件受光面前面的前窗和朝向摄像元件相对于所述前窗的侧面的侧窗，所述物镜被配置为同时将通过所述前窗获得的活组织的直视图像和通过所述侧窗获得的活组织的侧视图像在受光面上作为所述摄像图像成像，所述三维扩展处理部被设置为基于所述内窥镜拍摄的所述摄像图像内的所述直接观察像和所述侧视图像分别共同包含的所述特征部分的所述直接观察像中的位置信息以及所述特征部分的所述侧视图像中的位置信息，计算通过所述前窗和所述侧窗可见的所述特征部分的不同方向，将所述二维信息扩展为三维信息。5.如权利要求3或4所述的内窥镜系统，其中，所述多个图像包括重叠区域的图像，这些图像相互包括活组织的相同部分，所述特征部分图像的各自位置信息是所述特征部分位于所述重叠区域时的信息。6.如权利要求3或4所述的内窥镜系统，其中，所述摄像元件连续对活组织摄像，包含所述特征部分的所述多个图像是所述内窥镜在所述体腔内移动之前和之后的、彼此不同摄像位置的摄像图像。7.如权利要求1至6中任意一项所述的内窥镜系统，其中，所述图像处理单元配备有同
一性判定部，其被配置为利用所述特征部分的颜色信息和轮廓形状信息中的至少一个来确定多个所述图像中的所述特征部分是否彼此相同。8.如权利要求1至7中任意一项所述的内窥镜系统，其中，所述三维扩展处理部具有预测模型，并被配置为通过将所述内窥镜拍摄的所述摄像图像的所述二维信息输入所述预测模型而获得所述三维信息，该预测模型利用由所述内窥镜拍摄的包括活组织的所述特征部分的多个摄像图像中的所述二维信息和所述三维信息作为学习数据来机器学习所述二维信息和所述三维信息之间的关系。9.一种内窥镜系统，包括：内窥镜，其对体腔内的活组织进行摄像；以及图像处理单元，其对所述内窥镜拍摄的摄像图像进行图像处理，其中，所述内窥镜包括：摄像元件，其构成为可对活组织的图像摄像；以及物镜，其设置在所述摄像元件的受光面前方，并被配置成在所述受光面上形成活组织的图像，所述图像处理单元配有具备预测模型的预测部，其预测模型被配置为通过输入所述内窥镜拍摄的所述摄像图像内含有的、相对于其他部分可识别的特征部分的二维信息，从所述二维信息预测三维信息，所述预测模型是机器学习模型，即使用多个包含所述特征部分的已知摄像图像作为学习数据，对所述摄像图像中的所述特征部分的已知二维信息和已知三维信息之间的关系进行预测。10.如权利要求9所述的内窥镜系统，其中，所述内窥镜系统配备有显示器，其构成为使用在所述预测部获得的所述三维信息显示图像，所述摄像元件构成为同时对通过多个窗口获得的图像进行摄像，所述摄像元件连续对活组织摄像，所述摄像元件的视野范围内存在通过多个所述窗口的任何一个都拍摄不到活组织部分的死角区域，所述图像处理单元具备图像显示控制部，其控制在所述特征部分的至少一部分将要处于所述死角区域时，在所述特征部分的至少一部分处于所述死角区域之前，使用通过所述特征部分的所述二维信息预测的所述三维信息，在所述显示器上显示所述特征部分整体的三维图像。11.如权利要求9所述的内窥镜系统，其中，所述内窥镜系统配备有显示器，其构成为使用在所述预测部获得的所述三维信息显示图像，所述摄像元件构成为同时对通过多个窗口获得的图像进行摄像，所述摄像元件连续对活组织摄像，所述摄像元件的视野范围内存在通过多个所述窗口可同时进行摄像的重叠区域，所述图像处理单元具备图像显示控制部，其控制在所述特征部分的至少一部分将要处于所述重叠区域时，在所述特征部分的至少一部分处于所述重叠区域之前，使用通过所述特征部分的所述二维信息预测的所述三维信息，在所述显示器上显示所述特征部分整体的三维图像的一个。
技术总结一种内窥镜系统，具备：内窥镜，其拍摄体腔内的活组织；和图像处理单元，其对所述由内窥镜拍摄到的摄像图像进行图像处理。所述内窥镜配备有物镜，设置在摄像元件的受光面前面，并被配置为：将通过多个窗口中获得的活组织图像，作为所述摄像图像，同时于所述受光面上进行成像。所述图像处理单元具备三维扩张处理部，其基于所述内窥镜拍摄的所述摄像图像内的通过所述多个窗口获取的多个图像各自共同包含的、相对于其他部分可识别的特征部分的所述图像中的位置信息，计算从多个所述窗口看到的所述特征部分的不同方向，将所述特征部分的图像的二维信息扩展为三维信息。像的二维信息扩展为三维信息。像的二维信息扩展为三维信息。
技术研发人员：张闵述 池谷浩平
受保护的技术使用者：豪雅株式会社
技术研发日：2021.04.26
技术公布日：2022/11/1
