1.本公开涉及捕获要观察的对象来生成图像数据的医疗观察系统、控制装置及控制方法。
背景技术：2.在传统手术显微镜中，已知在两个图像传感器中的一个图像传感器的入射侧设置遮挡用于激发荧光物质的激发光并且透射来自荧光物质的荧光的截止滤波器以利用可见光进行观察并且利用红外光进行观察的技术(例如，参见专利文献1)。
3.此外，医疗观察系统设置有具有拜耳排列的图像传感器和对红外光具有灵敏度的图像传感器，发射白光和红外光，并且获取白光的普通图像和红外光的红外荧光图像(例如，参见专利文献2)。
4.引用列表
5.专利文献
6.专利文献1：jp 2008-49168 a。
7.专利文献2：jp 2016-087062 a。
技术实现要素：8.技术问题
9.然而，在上述专利文献1中，存在使用两个图像传感器利用可见光进行观察和利用红外光进行观察，使得难以提供尺寸减小的装置的问题。
10.另外，在上述专利文献2中，存在白光和红外光的交替发射使要观察的对象的观察部位闪烁的问题。
11.本公开是鉴于上述情况而完成的，并且本公开的目的是提供一种被配置为防止要观察的对象的要观察的部位闪烁以提供尺寸减少的装置的医疗观察系统、控制装置及控制方法。
12.问题的解决方案
13.为了解决上述问题并实现目的，根据本公开的医疗观察系统包括：光源装置，被配置为向对象发射具有不同波段的第一可见光和第二可见光、以及激励荧光物质并且引起荧光发射的激发光；图像传感器，包括：包括多个像素的像素部；第一滤波器，被配置为透射第一可见光和荧光；以及第二滤波器，被配置为透射第二可见光和荧光，第一滤波器和第二滤波器中的每一个设置在多个像素中的每一个的光接收表面上，图像传感器被配置为捕获第一可见光和第二可见光中的至少一种被对象反射后的反射光和荧光中的至少一种以生成图像数据；控制单元，被配置为控制光源装置同时发射第二可见光和激发光；以及图像处理单元，被配置为基于包括在所述图像数据中并从布置有第一滤波器的像素输出的第一像素值生成荧光图像，并且基于从布置有第二滤波器的像素输出的第二像素值生成背景图像。
14.另外，根据本公开的医疗观察系统包括：光源装置，被配置为向对象发射具有不同
波段的第一可见光和第二可见光、以及激发荧光物质并且引起荧光发射的激发光；二向色棱镜，被配置为将第一可见光和第二可见光中的至少一种被对象反射后的反射光和荧光分割为多个波段；多个图像传感器，被配置为接收由二向色棱镜分割的多个波段的光束并且生成多个图像数据；控制单元，被配置为控制光源装置同时发射第二可见光和激发光；以及图像处理单元，被配置为基于多个图像数据生成背景图像和荧光图像。
15.根据本公开的用于控制光源装置和医疗成像装置的控制装置，光源装置被配置为向对象发射具有不同波段的第一可见光和第二可见光、以及激发荧光物质并且引起荧光发射的激发光，医疗成像装置包括：具有多个像素的像素部；第一滤波器，被配置为透射第一可见光和荧光；以及第二滤波器，被配置为透射第二可见光和荧光，第一滤波器和第二滤波器中的每一个设置在多个像素中的每一个的光接收表面上，医疗成像装置被配置为捕获第一可见光和第二可见光中的至少一种被对象反射后的反射光和荧光中的至少一种以生成图像数据，该控制装置包括：控制单元，被配置为控制光源装置同时发射第二可见光和激发光；以及图像处理单元，被配置为基于包括在图像数据中并从布置有第一滤波器的像素输出的第一像素值生成荧光图像，并且基于从布置有第二滤波器的像素输出的第二像素值生成背景图像。
16.根据本公开的由用于控制光源装置和医疗成像装置的控制装置执行的控制方法，光源装置被配置为向对象发射具有不同波段的第一可见光和第二可见光、以及激发荧光物质并且引起荧光发射的激发光，医疗成像装置包括：具有多个像素的像素部，第一滤波器，被配置为透射第一可见光和荧光；以及第二滤波器，被配置为透射第二可见光和荧光，第一滤波器和第二滤波器中的每一个设置在多个像素中的每一个的光接收表面上，医疗成像装置被配置为捕获第一可见光和第二可见光中的至少一种被对象反射后的反射光和荧光中的至少一种以生成图像数据，该控制方法包括：控制光源装置同时发射第二可见光和激发光；以及基于包括在图像数据中并从布置有第一滤波器的像素输出的第一像素值生成荧光图像，并且基于从布置有第二滤波器的像素输出的第二像素值生成背景图像。
17.本发明的有利效果
18.根据本公开，可以有效地防止要观察的部位闪烁，并且可以有效地减小装置的尺寸。
附图说明
19.图1是示出根据第一实施例的医疗观察系统的整体配置的示图。
20.图2是示出根据第一实施例的医疗观察系统的功能配置的框图。
21.图3是示意性地示出根据第一实施例的像素部的配置的示图。
22.图4是示意性地示出根据第一实施例的滤色器的配置的示图。
23.图5是示意性地示出根据第一实施例的穿过滤色器之后图像传感器对波段的灵敏度的曲线图。
24.图6是示出由根据第一实施例的医疗观察系统执行的处理的概要的流程图。
25.图7是示意性地示出由根据第一实施例的医疗观察系统执行的荧光观察模式下的处理的概要的示图。
26.图8是示意性地示出通过根据第一实施例的第一生成单元生成荧光图像的生成方
法的示图。
27.图9是示出通过根据第一实施例的第一生成单元生成荧光图像的生成方法的另一示例的示意图。
28.图10是示意性地示出通过根据第一实施例的第二生成单元生成背景图像的生成方法的示图。
29.图11是示意性地示出通过根据第一实施例的第二生成单元生成背景图像的另一生成方法的示图。
30.图12是示出根据第一实施例的修改的成像单元的配置的概念图。
31.图13是示出根据第二实施例的医疗观察系统的示意性配置的示图。
32.图14是示出根据第二实施例的医疗观察系统的主要部分的功能配置的框图。
33.图15是示出根据第三实施例的医疗观察系统的示意性配置的示图。
具体实施方式
34.下面将参考附图详细描述用于实施本公开的模式(在下文中，称为“实施例”)。注意，本公开不限于以下实施例。此外，在理解本公开的内容的范围内，在以下描述中提及的附图仅以形状、尺寸以及位置关系示意性地示出。换句话说，本公开不仅限于在附图中举例说明的形状、尺寸和位置关系。
35.(第一实施例)
36.[医疗观察系统的示意性配置]
[0037]
图1是示出根据第一实施例的医疗观察系统的整体配置的示图。图1所示的医疗观察系统1包括医疗观察设备2、光源装置3、显示装置8以及控制装置9，该医疗观察设备2具有对观察对象的微小部位进行放大观察的显微镜的功能，光源装置3经由包括光纤等的光导4向观察设备2提供照明光，显示装置8根据由观察设备2捕获的图像数据来显示图像，并且控制装置9整体控制医疗观察系统1的操作。
[0038]
[观察设备的示意性配置]
[0039]
首先，将描述观察设备2的示意性配置。观察设备2包括显微镜单元5、支撑单元6和基部7。显微镜单元5观察观察对象的微小部位，支撑单元6连接至显微镜单元5的基端部以可转动地支撑显微镜单元5，并且基部7可旋转地保持支撑单元6的基端部并且被配置为在地面上移动。
[0040]
显微镜单元5具有柱状外观并且在内部包括光学系统、图像传感器(未示出)和发光单元(未示出)。光学系统具有变焦功能和聚焦功能，图像传感器接收由光学系统形成的对象图像并且执行光电转换以生成图像数据，并且发光单元将照明光发射到要观察的对象。此外，显微镜单元5具有设置有构成输入单元24的各种开关的侧表面，输入单元24接收用于观察设备2的操作指示的输入。显微镜单元5在下端具有开口表面，并且开口表面设置有保护定位在内部的光学系统等的盖玻璃(未示出)。用户(诸如操作者)例如移动显微镜单元5、改变显微镜单元5的角度、改变观察设备2的模式、或执行变焦或聚焦操作，同时在保持显微镜单元5的情况下操作各种开关。注意，显微镜单元5的形状不限于圆柱形状，而可以例如是多边形圆柱形状。
[0041]
在控制装置9的控制下，光源装置3经由光导4向观察设备2提供白光和红外光中的
至少一种的照明光，该白光包括红色波段的光、绿色波段的光和蓝色波段的光。光源装置3包括诸如氙气灯或金属卤化物灯的放电灯、诸如发光二极管(led)或激光二极管(ld)的固态发光装置、诸如卤素灯的发光构件等。
[0042]
显示装置8显示由控制装置9生成的要显示的图像或关于医疗观察系统的各种信息。显示装置8包括液晶、有机电致发光(el)等。显示装置8显示2d图像或3d图像。
[0043]
控制装置9整体控制医疗观察系统1的相应单元。控制装置9通过使用存储器和通用处理器(诸如中央处理单元(cpu))或包括硬件(诸如执行特定功能的各种运算电路，包括专用集成电路(asic)、图形处理单元(gpu)等)的处理器来实现。此外，控制装置9可以包括作为一种可编程集成电路的现场可编程门阵列(fpga：未示出)。注意，当包括fpga时，可以设置存储配置数据的存储器，使得基于从存储器读取的配置数据配置作为可编程集成电路的fpga。注意，将在后面详细描述控制装置9的配置。
[0044]
[医疗观察系统的功能配置]
[0045]
接下来，将描述医疗观察系统1的功能配置。图2是示出医疗观察系统1的功能配置的框图。
[0046]
[观察设备的功能配置]
[0047]
首先，将描述观察设备2的功能配置。
[0048]
观察设备2包括显微镜单元5、检测单元23、输入单元24和第一控制单元25。
[0049]
显微镜单元5包括成像单元21和发光单元22。成像单元21放大作为观察目标的要观察的对象的图像来生成图像数据，并且发光单元22向要观察的对象发射从光源装置3提供的照明光。
[0050]
成像单元21包括光学系统211、图像传感器212和截止滤波器213。注意，成像单元21用作根据第一实施例的医疗成像装置。
[0051]
光学系统211具有变焦和聚焦功能，并且经由截止滤波器213在图像传感器212的光接收表面上形成对象图像。光学系统211通过使用一个或多个透镜、沿着光路l1移动透镜的马达等来实现。
[0052]
图像传感器212经由截止滤波器213接收由光学系统211形成的对象图像，并且执行光电转换以生成图像数据(原始(raw)数据)。通过使用诸如电荷耦合器件(ccd)或互补金属氧化物半导体(cmos)的图像传感器来实现图像传感器212。图像传感器212包括像素部212a和滤色器212b。
[0053]
图3是示意性地示出像素部212a的配置的示图。如图3所示，在像素部212a中，根据光量积累电荷的诸如光电二极管的多个像素p
n，m
(n＝1或1以上的整数，并且m＝1或1以上的整数)以二维矩阵布置。在第一控制单元25的控制下，像素部212a从多个像素p
n，m
中的被设置为读取目标的任意读取区域的像素p
n，m
读取图像信号作为图像数据，并将该图像数据输出到控制装置9。具体地，由像素部212a生成的图像数据经由传输电缆发送到控制装置9。注意，由像素部212a生成的图像数据可以进行e/o转换，以便使用光学信号被发送到控制装置9。
[0054]
图4是示意性示出滤色器212b的配置的示图。图4所示的滤色器212b包括具有2
×
2滤色器作为一个单元的拜耳阵列。滤色器212b包括透射红色波段的光的滤波器r、透射绿色波段的光的两个滤波器g(滤波器gr和滤波器gb)、以及透射蓝色波段的光的滤波器b。
[0055]
在以下描述中，将布置有滤波器r的光接收表面的像素p
n，m
称为r像素，将布置有滤波器gr的光接收表面的像素p
n，m+1
称为gr像素，将布置有滤波器gb的光接收表面的像素p
n+1，m
称为gb像素(在下文中，将gr像素和gb像素统称为g像素)，并且将布置有滤波器b的光接收表面的像素p
n+1，m+1
称为b像素。此外，在第一实施例中，滤波器r用作透射红色波段的光(第一可见光)和荧光的第一滤波器，滤波器g中的每一个用作透射绿色波段的光(第二可见光)和荧光的第二滤波器，并且滤波器b用作透射蓝色波段的光(第三可见光)和荧光的第三滤波器。换句话说，r像素的像素值包括反射红光和荧光的分量，g像素中的每一个(gr像素和gb像素)的像素值包括反射绿光和荧光的分量，并且b像素的像素值包括反射蓝光和荧光的分量。
[0056]
截止滤波器213布置在光学系统211与图像传感器212之间的光路l1上。截止滤波器213遮挡具有包括在由光学系统211形成的对象图像中的激发光的波长分量(例如，740
±
10nm)的光，并且透射具有除激发光之外的光的波长分量的光。
[0057]
这里，将描述每个像素的光谱特性。图5是示意性示出穿过滤色器之后图像传感器对波段的灵敏度的曲线图。在图5中，横轴表示波长(nm)，纵轴表示光谱特性。此外，在图5中，曲线lb表示b像素的光谱特性，曲线lg表示g像素的光谱特性，曲线lr表示r像素的光谱特性，直线l
ir
表示通过用激发光照射荧光物质而生成的荧光的波段。曲线l
cut
表示截止滤波器213的透射特性。
[0058]
如由图5的曲线lb和直线l
ir
所表示的，b像素对蓝色波段(435nm至480nm)的光(在下文中，简称为“蓝光”)敏感，并且对通过用激发光照射荧光物质而生成的波段(830
±
10nm)的荧光敏感。此外，如由图5的曲线lg和直线l
ir
所表示的，g像素(gr像素和gb像素)对绿色波段(500nm至560nm)的光敏感(在下文中，简称为“绿光”)，并且对通过用激发光照射荧光物质而生成的波段(830
±
10nm)的荧光敏感。此外，如由图5的曲线lr和直线l
ir
所表示的，r像素对红色波段(610nm至750nm)的光敏感(在下文中，简称为“红光”)，并且对通过用激发光照射荧光物质而生成的波段(830
±
10nm)的荧光敏感。
[0059]
发光单元22包括通过使用一个或多个透镜构成的照明光学系统。发光单元22向与成像单元21的成像方向相同的方向发射照明光，该照明光是从光源装置3经由光导4提供的白光、红色波段的光、绿色波段的光、蓝色波段的光以及红外光中的至少一种。注意，发光单元22可以在显微镜单元5处设置有发光二极管(led)、激光光源等以省略经由光导等的光学传输。
[0060]
检测单元23顺序地检测关于观察设备2的状态信息。关于观察设备2的状态信息包括关于成像单元21的位置、聚焦和变焦的信息。检测单元23包括用于检测这些类型的信息的各种传感器。
[0061]
输入单元24接收成像单元21的操作指示的输入。输入单元24包括接收用于成像单元21中的聚焦和变焦操作的指示的输入的聚焦开关和变焦开关、接收用于电动滚动模式的指示的输入的电动滚动模式开关、接收用于改变医疗观察系统1的观察模式的指示的输入的模式切换开关等。如图1所示，构成输入单元24的各种开关、按钮等设置在显微镜单元5的侧面。
[0062]
第一控制单元25响应于由输入单元24接收的操作指示或从后述的控制装置9输入的操作指示，控制成像单元21的操作。另外，第一控制单元25与后述的控制装置9的第二控
制单元94协作来整体控制观察设备2。第一控制单元25包括存储器和诸如cpu、fpga或asic的处理器。
[0063]
[光源装置的配置]
[0064]
接下来，将描述光源装置3的配置。
[0065]
光源装置3包括第一光源单元31、第二光源单元32、第三光源单元33、以及第四光源单元34。
[0066]
在控制装置9的控制下，第一光源单元31经由光导4向观察设备2的发光单元22提供红光。第一光源单元31通过使用红色led等实现。
[0067]
在控制装置9的控制下，第二光源单元32经由光导4向观察设备2的发光单元22提供绿光。第二光源单元32使用绿色led等来实现。
[0068]
在控制装置9的控制下，第三光源单元33经由光导4向观察设备2的发光单元22提供蓝光。第三光源单元33使用蓝色led等来实现。
[0069]
第四光源单元34经由光导4向观察设备2的发光单元22提供激发荧光物质的红外光。在控制装置9的控制下，第四光源单元34提供用作激发荧光物质的激发光的红外光(波段为740
±
10nm)。第二光源单元32包括被配置为发射用于吲哚菁绿(icg)观察的红外光(700至1000nm)的半导体激光装置、仅透射预定波段(波段为740
±
10nm)的滤波器等。注意，在下文中，红外光被描述为激发光，但是激发光不限于红外光，例如可以是预先积累在肿瘤组织的诸如血卟啉衍生物的感光物质的荧光的光动力学诊断(pdd)观察中使用的光(波段为415
±
10nm)、从诸如胶原蛋白的荧光物质观察自身荧光的自身荧光成像(afi)中使用的光(波段为390至470nm+波段为540至560nm)。
[0070]
[控制装置的配置]
[0071]
接下来，将描述控制装置9的功能配置。
[0072]
控制装置9包括图像处理单元91、输入单元92、记录单元93和第二控制单元94。
[0073]
图像处理单元91对从观察设备2发送的图像数据执行各种类型的图像处理以生成由显示装置8显示的待显示图像(视频数据)。这里，图像处理的示例包括各种类型的图像处理等，诸如颜色校正、颜色增强和轮廓增强。图像处理单元91通过使用存储器和处理器(诸如图形处理单元(gpu)、asic或fpga)来实现。图像处理单元91至少包括减法单元911、第一生成单元912、第二生成单元913和组合单元914。
[0074]
减法单元911从由布置有第二滤波器或第三滤波器(滤波器g或滤波器b)的像素(b像素或g像素)输出的并且包含在从成像单元21输入的图像数据中的第二像素值中减去从布置有第一滤波器(滤波器r)的像素(r像素)输出的第一像素值(r像素)，并将减法的结果输出到第二生成单元913。具体地，减法单元911可以从第一像素值中减去通过将第二滤波器对荧光波长的光谱灵敏度除以第一滤波器对荧光波长的光谱灵敏度而获得的值乘以第一像素值而获得的乘法结果，并且可以将该减法结果输出至第二生成单元913。换句话说，减法单元911可以基于第一像素值改变第二像素值，并且将改变的结果(改变的第二像素值)输出至第二生成单元913。注意，后面将描述由减法单元911进行的计算方法。
[0075]
在第二控制单元94的控制下，第一生成单元912基于从布置有第一滤波器(滤波器r)的像素(r像素)输出的并且包含在从成像单元21输入的图像数据中的第一像素值生成荧光图像，并且将该荧光图像输出至组合单元914。具体地，基于包含在图像数据中的r像素的
像素值，第一生成单元912对b像素和g像素的像素值进行插值，生成荧光图像，并且将该荧光图像输出至组合单元914。此外，第一生成单元912对荧光图像执行着色。具体地，第一生成单元912基于荧光图像的亮度值通过色调转换处理等对荧光图像进行着色，并且将着色的荧光图像输出到组合单元914。例如，第一生成单元912基于荧光图像的亮度值执行着色以使荧光区域绿色着色。注意，第一生成单元912可以基于经由第二控制单元94从输入单元92输入的指定荧光图像的荧光区域的颜色的指示信号来设置要应用于荧光图像的颜色。
[0076]
在第二控制单元94的控制下，第二生成单元913基于从布置有第二滤波器和第三滤波器(滤波器g和滤波器b)的像素(g像素和b像素)输出的并且包含在从成像单元21输入的图像数据中的第二像素值和第三像素值生成背景图像，并且将该背景图像输出至组合单元914。具体地，第二生成单元913基于从减法单元911输入的结果生成背景图像。此外，第二生成单元913可以对背景图像执行灰度处理，并且将该背景图像输出至组合单元914。例如，第二生成单元913执行饱和度降低处理以降低背景图像的饱和度，并且将转换为灰度图像的背景图像输出至组合单元914。
[0077]
组合单元914生成组合从第一生成单元912输入的荧光图像和从第二生成单元913输入的背景图像的合成图像，并且将该合成图像输出至显示装置8。具体地，组合单元914可以通过以预定比率(例如，1：1)组合荧光图像与背景图像来生成合成图像。
[0078]
输入单元92使用诸如键盘、鼠标、触摸面板或脚踏开关的用户界面来实现，以接收各种类型的信息的输入。
[0079]
记录单元93包括程序记录单元931，该程序记录单元931使用诸如闪存、动态随机存取存储器(dram)的半导体存储器，并且临时记录由医疗观察系统1执行的各种程序和正在处理的数据。
[0080]
第二控制单元94整体控制医疗观察系统1的相应单元。第二控制单元94通过使用诸如cpu的记录有程序的内部存储器(未示出)的通用处理器或诸如执行特定功能的各种运算电路(包括asic、fpga等)的专用处理器来实现。此外，第二控制单元94可以包括作为一种类型的可编程集成电路的fpga。注意，当包括fpga时，可以设置存储配置数据的存储器，使得基于从存储器读取的配置数据配置作为可编程集成电路的fpga。第二控制单元94使光源装置3向对象发射不同波段的第一可见光和第二可见光、以及激发荧光物质以发射荧光的激发光。此外，第二控制单元94使光源装置3同时向对象发射第二可见光和激发光。具体地，当医疗观察系统1处于第一观察模式时，第二控制单元94使光源装置3发射第一可见光和第二可见光，并且当医疗观察系统1处于第二观察模式时，第二控制单元94使光源装置3发射第二可见光和激发光。这里，第一观察模式是向对象发射白光的白光观察模式。此外，第二观察模式是用于观察荧光的荧光观察模式。更具体地，第二控制单元94使光源装置3同时发射包括绿光和蓝光中的至少一种的可见光和激发荧光物质以发射荧光的激发光。此外，第二控制单元94使显微镜单元5捕获可见光从对象反射后的反射光和荧光并且生成图像数据。
[0081]
[由医疗观察系统执行的处理]
[0082]
接下来，将描述医疗观察系统1的处理。图7是示出由医疗观察系统1执行的处理的概要的流程图。注意，在下文中，为了简化描述，将描述可以由医疗观察系统1执行的多个观察模式中的白光观察模式和荧光观察模式。
[0083]
如图7所示，第二控制单元94确定医疗观察系统1是否被设置为向对象发射白光的白光观察模式(步骤s101)。当第二控制单元94确定医疗观察系统1被设置为向对象发射白光的白光观察模式时(步骤s101：是)，医疗观察系统1进行到后述的步骤s102。另一方面，当第二控制单元94确定医疗观察系统1被设置为向对象发射荧光的荧光观察模式时(步骤s101：否)，医疗观察系统1进行到后述的步骤s107。
[0084]
在步骤s102中，第二控制单元94使第一光源单元31、第二光源单元32和第三光源单元33发光，以发射白光。此时，第四光源单元34断开。
[0085]
接下来，第二控制单元94控制第一控制单元25以使成像单元21接收从对象反射的光并捕获对象的图像(步骤s103)。
[0086]
然后，图像处理单元91对从成像单元21输入的图像数据进行各种类型的图像处理以生成白光观察图像(步骤s104)。
[0087]
接着，显示装置8显示从图像处理单元91输入的白光观察图像(步骤s105)。该配置使得诸如医生的用户可以观察要观察的对象。
[0088]
然后，第二控制单元94确定是否从输入单元92输入完成要观察的对象的观察的指示信号(步骤s106)。当由第二控制单元94确定从输入单元92输入完成要观察的对象的观察的指示信号时(步骤s106：是)，医疗观察系统1结束该处理。另一方面，当确定没有从输入单元92输入完成要观察的对象的观察的指示信号时(步骤s106：否)，医疗观察系统1返回到上述的步骤s101。
[0089]
在步骤s107中，第二控制单元94确定医疗观察系统1是否至少被设置为向对象发射激发光的荧光观察模式(步骤s101)。当第二控制单元94确定医疗观察系统1至少被设置为向对象发射激发光的荧光观察模式时(步骤s107：是)，医疗观察系统1进行到后述的步骤s108。另一方面，当第二控制单元94确定医疗观察系统1至少未被设置为向对象发射激发光的荧光观察模式时(步骤s107：否)，医疗观察系统1进行到步骤s106。
[0090]
在步骤s108中，第二控制单元94使第四光源单元34向被施加荧光物质的对象发射激发光，并且进一步使第二光源单元32和第三光源单元33发光以用绿光和蓝光照射对象(步骤s108)。具体地，如图7所示，第二控制单元94使光源装置3中的第四光源单元34发光以用激发光ir1照射施加了荧光物质的对象o1。在这种情况下，第二控制单元94使第二光源单元32和第三光源单元33与第四光源单元34同时发光，以用激发光ir1、绿光wg和蓝光wb照射对象o1。
[0091]
接下来，第二控制单元94使成像单元21接收从对象o1发射的荧光ir2以捕获图像，并且进一步使成像单元21接收从对象o1返回的光或者作为来自对象o1的反射光的绿光wg和蓝光wb以捕获图像(步骤s109)。在这种情况下，如图7所示，截止滤波器213遮挡从对象o1反射的激发光ir1并透射来自对象o1的荧光ir2、绿光wg和蓝光wb。此外，在图像传感器212中的相应像素(r像素、g像素和b像素)中，滤波器(滤波器r、滤波器g和滤波器b)对红外范围敏感。因此，光源装置3不发射红光，并且激发光ir1被截止滤波器213遮挡，并且因此，仅荧光ir2入射在图像传感器212的r像素上。此外，荧光ir2和从对象o1反射的绿光wg入射在图像传感器212的g像素上。此外，荧光ir2和从对象o1反射的蓝光wb入射在图像传感器212的b像素上。此时，在从g像素和b像素中的每一个输出的像素值中，入射在g像素和b像素中的每一个上的荧光ir2的强度小于反射的绿光和反射的蓝光的强度。因此，反射的绿光和反射的蓝光
占主导。此外，光源装置3未发射红光，并且因此在r像素的像素值中，荧光ir2占主导。换句话说，图像处理单元91被配置为使用r像素的输出值作为荧光ir2的输出值，并且g像素和b像素的输出值可以用作可见光(反射的绿光和反射的蓝光)的输出值。
[0092]
然后，减法单元911执行将从布置有第二滤波器或第三滤波器(滤波器g或滤波器b)的像素(g像素或b像素)输出的并且包含在从成像单元21输入的图像数据中的第二像素值减去从布置有第一滤波器(滤波器r)的像素(r像素)输出的第一像素值的减法处理(步骤s110)。
[0093]
这里，将详细描述由减法单元911执行的减法处理。
[0094]
当获得包括在从gr像素输出的像素值中的荧光分量的值(在下文中，简称为“irgr”)、包括在从gb像素输出的像素值中的荧光分量的值(在下文中，简称为“irgb”)以及包括在从b像素输出的像素值中的荧光分量的值(在下文中，简称为“irb”)时，可以从包括在从r像素输出的像素值中的荧光分量的值(在下文中，简称为“irr”)估计去除每个像素的荧光分量的像素值。具体地，当图6的直线l
ir
上的r像素、g像素(gr像素和gb像素)以及b像素的光谱灵敏度被定义为r、g和b[％]时，输入到r像素、g像素(gr像素和gb像素)以及b像素的荧光分量被视为恒定。因此，以下公式成立。
[0095]
irgr≈irgb≈(g/r)*irr
…
(1)
[0096]
irb≈(b/r)*irr
…
(2)
[0097]
此外，光源装置3未发射红光，并且因此，r像素的像素值＝irr。因此，当r像素的像素值为r，gr像素的像素值为gr，gb像素的像素值为gb，并且b像素的像素值为b时，减法单元911使用以下公式(3)至(5)来计算通过从g像素的像素值(gr＝gb)和b像素的像素值(b)中的每个中减去荧光分量的值而获得的值。
[0098]
gr像素的像素值＝gr-(g/r)*irgr≈gr-(g/r)*r
…
(3)
[0099]
gb像素的像素值＝gb-(g/r)*irgb≈gb-(g/r)*r
…
(4)
[0100]
b像素的像素值＝b-(b/r)*irb≈b-(b/r)*r
…
(5)
[0101]
接下来，在第二控制单元94的控制下，图像处理单元91生成荧光图像和可见光图像(步骤s111)。具体地，第一生成单元912使用包含在从图像传感器212输入的图像数据中的每个r像素的像素值来生成荧光图像。在该情况下，如图7所示，第一生成单元912通过使用每个r像素的像素值执行图像处理来生成对与b像素和g像素中的每一个的位置相对应的像素值进行插值的荧光图像p1。注意，为了方便起见，图7的荧光图像p1用阴影线表示荧光。此外，第二生成单元913使用包含在从图像传感器212输入的并且进一步从减法单元911输入的图像数据中的每个g像素和每个b像素的像素值来生成背景图像p2。在这种情况下，如图7所示，第二生成单元913使用每个g像素和每个b像素的像素值来执行去马赛克处理等，并且生成对与每个r像素的位置相对应的像素值进行插值的背景图像p2。注意，为了方便起见，图7的背景图像p2具有阴影。
[0102]
这里，将描述通过第一生成单元912生成荧光图像p1的生成方法。图8是示意性地示出通过第一生成单元912生成荧光图像p1的生成方法的示图。
[0103]
如图8所示，第一生成单元912通过复制r像素(像素p
n，m
)的像素值作为b像素(a3)和g像素(a1和a2)的像素值而不使用包含在从图像传感器212输入的图像数据中的拜耳阵列中的单元z1中的b像素(a3)和g像素(a1和a2)中的每一个的像素值，来对与b像素和g像素
中的每一个的位置相对应的像素值进行插值。同样地，在单元z2中，第一生成单元912复制r像素(像素p
n，m+2
)的像素值作为b像素和g像素(例如，a4)的像素值，以对与b像素和g像素中的每一个的位置相对应的像素值进行插值。此外，在单元z3中，第一生成单元912复制r像素(像素p
n+2，m
)的像素值作为b像素和g像素(例如，a5)的像素值以对与b像素和g像素中的每一个的位置相对应的像素值进行插值。以这种方式，第一生成单元912使用每个单元中的r像素的像素值来生成对与b像素和g像素的位置相对应的像素值进行插值的荧光图像p1。
[0104]
图9是示出通过第一生成单元912生成荧光图像p1的生成方法的另一示例的示意图。
[0105]
如图9所示，第一生成单元912使用相邻的r像素的像素值的平均值来对与b像素和g像素中的每一个的位置相对应的像素值进行插值，并且生成荧光图像p1。具体地，第一生成单元912将g像素(a1)的像素值设置为与g像素相邻的r像素(像素p
n，m
)和r像素(像素p
n，m+2
)的像素值的平均值((像素p
n，m
的像素值)+(像素p
n，m+2
的像素值)/2)。同样，第一生成单元912将g像素(a2)的像素值设置为与g像素相邻的r像素(像素p
n，m
)和r像素(像素p
n+2，m
)的像素值的平均值((像素p
n+2，m
的像素值)+(像素p
n，m
的像素值)/2)。此外，第一生成单元912将b像素(a3)的像素值设置为与b像素相邻的r像素(像素p
n，m
)和r像素(像素p
n+2，m+2
)的像素值的平均值((像素p
n2，m
的像素值)+(像素p
n+2，m+2
)/2)。以这种方式，第一生成单元912使用相邻的r像素的像素值的平均值来对与b像素和g像素的每一个的位置相对应的像素值进行插值，并且生成荧光图像p1。
[0106]
图10是示意性地示出通过第二生成单元913生成背景图像p2的生成方法的示图。
[0107]
如图10所示，第二生成单元913将r像素(像素p
n，m
)视为黑色(像素值为0)，并且执行去马赛克处理以生成背景图像p2。
[0108]
图11是示意性地示出通过第二生成单元913生成背景图像p2的另一生成方法的示图。
[0109]
如图11所示，第二生成单元913从周围像素的像素值对r像素(像素p
n，m
)的像素值进行插值，并且执行去马赛克处理以生成背景图像p2。例如，第二生成单元913将r像素(像素p
n，m
)的像素值设置为八个周围像素(像素p
n-1，m-1
、像素p
n-1，m1
、像素p
n-1，m+1
、像素p
n，m-1
、像素p
n，m+1
、像素p
n+1，m+1
、像素p
n+1，m
、像素p
n+1，m+1
)的像素值的平均值或者四个周围g像素(像素p
n-1，m1
、像素p
n，m-1
、像素p
n，m+1
、像素p
n+1，m
)的像素值的平均值。
[0110]
然后，第二生成单元913对背景图像p2执行灰度处理并且将背景图像p2输出至组合单元914(步骤s112)。具体地，第二生成单元913可以对背景图像p2执行灰度处理以生成灰度图像，并将该灰度图像输出至组合单元914。
[0111]
然后，第一生成单元912对荧光图像p1执行着色，并且将荧光图像p1输出至组合单元914(步骤s113)。具体地，第一生成单元912基于荧光图像p1的亮度值通过色调转换处理等对荧光图像p1进行着色，并且将着色的荧光图像p1输出至组合单元914。例如，第一生成单元912将荧光图像p1着色为绿色。
[0112]
然后，组合单元914生成组合由第一生成单元912生成的荧光图像p1和由第二生成单元913生成的背景图像p2的合成图像p3(步骤s114)。具体地，如图8所示，组合单元914生成组合了荧光图像p1和背景图像p2的合成图像p3，并将该合成图像p3输出到显示装置8。在这种情况下，组合单元914通过以预定比率(例如，1：1)组合荧光图像p1和背景图像p2来生
成合成图像p3。
[0113]
然后，显示装置8显示从组合单元914输入的合成图像p3(步骤s115)。因此，如图8所示，诸如医生的用户可以通过观察显示装置8上显示的合成图像p3来掌握荧光区域q1的位置。在步骤s112之后，医疗观察系统1进行到步骤s106。
[0114]
根据上述第一实施例，第二控制单元94使光源装置3发射第二可见光和激发光，并且图像处理单元91基于从布置有第二滤波器(滤波器g和滤波器b)的像素(g像素和b像素)输出的并且包含在图像数据中的第二像素值生成背景图像，并且基于从布置有第一滤波器(滤波器r)的像素(r像素)输出的并且包含在图像数据中的第一像素值生成荧光图像。在该方法中，优选从光源装置3同时发射可见光和红外激发光，并且不必交替发射可见光和红外激发光。因此，可以防止要观察的对象的要观察的部位的闪烁，并且可以减小装置的尺寸。
[0115]
此外，根据第一实施例，允许通过使用具有正常拜耳阵列的一个图像传感器212来生成荧光图像p1和正常白光观察图像。因此，可以在适当地切换白光观察模式和荧光观察模式的同时要观察的对象的要观察的部位，而不使用特殊的图像传感器。
[0116]
此外，根据第一实施例，在对背景图像执行灰度处理之后，图像处理单元91将经过灰度处理的背景图像与荧光图像组合。因此，可以增强合成图像上的荧光区域。
[0117]
此外，根据第一实施例，在对荧光图像进行单色化之后，图像处理单元91将经单色化的荧光图像与背景图像组合。因此，可以增强合成图像上的荧光区域。
[0118]
此外，根据第一实施例，在医疗观察系统1被设置为白光观察模式的情况下，第二控制单元94使第一光源单元31、第二光源单元32、第三光源单元33发光以照射白光，并且在医疗观察系统1被设置为荧光观察模式的情况下，第二控制单元94使第二光源单元32、第三光源单元33、第四光源单元34发光以同时照射可见光和激发光。因此，可以在适当地切换白光观察模式和荧光观察模式的同时观察要观察的对象的要观察的部位。
[0119]
此外，根据第一实施例，图像处理单元91从第二像素值和第三像素值(g像素和b像素中的每一个的像素值)中减去将第二滤波器和第三滤波器(滤波器g和滤波器b)中的每一个对荧光波长的光谱灵敏度除以第一滤波器(滤波器r)对荧光波长的光谱灵敏度而获得的值乘以第一像素值(r像素的像素值)而获得的乘法结果，并且基于该减法的结果生成背景图像。因此，可以生成去除了荧光分量的背景图像。
[0120]
注意，在第一实施例中，为了生成背景图像，图像处理单元91从第二像素值和第三像素值(g像素和b像素的像素值)中的每一个中减去将第二滤波器和第三滤波器(滤波器g和滤波器b)中的每一个对荧光波长的光谱灵敏度除以第一滤波器(滤波器r)对荧光波长的光谱灵敏度而获得的值乘以第一像素值(r像素的像素值)而获得的乘法结果，但是也可以直接简单地使用第一像素值。
[0121]
此外，在第一实施例中，在医疗观察系统1被设置为荧光观察模式的情况下，第二控制单元94使第二光源单元32和第三光源单元33中的每一个发光，但是也可以使第一光源单元31、第二光源单元32和第三光源单元33中的至少一个发光以照射可见光。在这种情况下，图像处理单元91期望使用对作为可见光发射的光具有最高灵敏度的像素的像素值来生成背景图像，并且使用其他像素的像素值来生成荧光图像。具体地，在第二光源单元32发射作为可见光的光以用绿光照射要观察的对象的情况下，图像处理单元91期望使用从成像单元21输入的包含在图像数据中的g像素的像素值来生成背景图像，并且使用r像素和b像素
中的每一个的像素值来生成荧光图像。
[0122]
此外，在第一实施例中，图像处理单元91对背景图像执行灰度处理，但是也可以对荧光图像执行灰度处理，或者可以对背景图像和荧光图像中的每一个执行灰度处理。因此，可以增强合成图像上的荧光区域。当然，图像处理单元91可以省略背景图像和荧光图像中的每一个的灰度处理。因此，可以简化处理。
[0123]
此外，在第一实施例中，图像处理单元91对荧光图像执行单色化，但是也可以对背景图像执行着色，或者可以对背景图像和荧光图像中的每一个执行着色。在这种情况下，图像处理单元91针背景图像和荧光图像中的每一个执行着色，使得背景图像和荧光图像可以具有不同的颜色。因此，可以增强合成图像上的荧光区域。当然，图像处理单元91可以省略背景图像和荧光图像中的每一个的着色。因此，可以简化处理。
[0124]
此外，在第一实施例中，在荧光观察模式下，使第一光源单元31、第二光源单元32、第三光源单元33、以及第四光源单元34发光，但是例如，也可以设置被配置为发射白光的光源以及被配置为遮挡蓝色波段并且透射其他波段的光的截止滤波器，在荧光观察模式下，将该截止滤波器布置在发射白光的白光光路上。当然，可以应用具有遮挡绿色波段但透射其他波段的光的透射特性的截止滤波器。
[0125]
此外，在第一实施例中，可以在光学系统211与截止滤波器213之间的光路上可移除地设置遮挡绿色或蓝色波段但透射其他波段的光的截止滤波器，并且因此在荧光观察模式下，可以将截止滤波器应用于插入到光学系统211与截止滤波器213之间的光路中。
[0126]
此外，在第一实施例中，在图像处理单元91通过使用荧光图像和背景图像生成合成图像的情况下，具有等于或大于预定值的亮度值的荧光图像的一部分可以与背景图像组合以生成合成图像。因此，可以进一步增强荧光区域。
[0127]
(第一实施例的修改)
[0128]
接下来，将描述第一实施例的修改。在上述第一实施例中，通过具有拜耳阵列的一个图像传感器212(单板)捕获图像，但是在第一实施例的修改中，使用多个图像传感器。
[0129]
图12是示出根据第一实施例的修改的成像单元的配置的概念图。代替上述图像传感器212，图12所示的成像单元21包括图像传感器212r、图像传感器212g、图像传感器212b以及二向色棱镜214。
[0130]
图像传感器212r包括上述像素部212a，接收由稍后描述的二向色棱镜214分割的红光，并且执行光电转换以生成图像数据。
[0131]
图像传感器212g包括上述像素部212a，接收由稍后描述的二向色棱镜214分割的绿光，并且执行光电转换以生成图像数据。
[0132]
图像传感器212b包括上述像素部212a，接收由稍后描述的二向色棱镜214分割的蓝光，并且执行光电转换以生成图像数据。
[0133]
二向色棱镜214将通过截止滤波器213输入的光的红光和荧光输出至图像传感器212r，将绿光和荧光输出至图像传感器212g，并且将蓝光和荧光输出至图像传感器212b。
[0134]
根据上述第一实施例的修改，可以获得与上述第一实施例相似的效果。
[0135]
(第二实施例)
[0136]
接下来，将描述第二实施例。在上述第一实施例中，手术显微镜被描述为医疗观察系统，但是在第二实施例中，具有硬性内窥镜的内窥镜系统被描述为医疗观察系统。注意，
与根据上述第一实施例的医疗观察系统1相同的配置由相同的参考标记表示并省略其详细描述。
[0137]
[医疗观察系统的配置]
[0138]
图13是示出根据第二实施例的医疗观察系统的示意性配置的示图。图13所示的医疗观察系统1b用于医疗领域，并且是被配置为观察诸如生物体的对象中的生物组织的系统。注意，在第二实施例中，作为医疗观察系统1b，将描述使用图13所示的硬性内窥镜(插入部102)的硬性内窥镜系统。
[0139]
图13所示的医疗观察系统1b包括插入部102、光源装置3、光导104、内窥镜摄像机头105(内窥镜成像装置)、第一传输电缆106、显示装置8、第二传输电缆108、控制装置9以及第三传输电缆1010。
[0140]
插入部102是刚性的或至少部分柔性的，并且具有细长的形状。插入部102通过由套管针插入到诸如患者的对象内。在插入部102的内部设置有被配置为形成观察图像的诸如透镜的光学系统。
[0141]
光导104的一端可拆卸地连接至光源装置3，并且另一端可拆卸地连接至插入部102。光导104将从光源装置3提供的照明光从一端引导至另一端，并且将该照明光提供给插入部102。
[0142]
插入部102包括可拆卸地连接至内窥镜摄像机头105的接目镜121。在控制装置9的控制下，内窥镜摄像机头105接收由插入部102形成的观察图像，执行光电转换以生成图像数据(原始数据)，并且经由第一传输电缆106将图像数据输出至控制装置9。
[0143]
第一传输电缆106的一端通过视频连接器161可拆卸地连接至控制装置9，并且另一端通过摄像机头连接器162连接至内窥镜摄像机头105。第一传输电缆106将从内窥镜摄像机头105输出的图像数据发送至控制装置9，并且将从控制装置9输出的设置数据、电力等发送至内窥镜摄像机头105。
[0144]
第二传输电缆108的一端可拆卸地连接至显示装置8，并且另一端可拆卸地连接至控制装置9。第二传输电缆108将由控制装置9进行了图像处理的图像数据发送到显示装置8。
[0145]
第三传输电缆1010的一端可拆卸地连接至光源装置3，并且另一端可拆卸地连接至控制装置9。第三传输电缆1010将来自控制装置9的控制数据发送到光源装置3。
[0146]
[医疗观察系统的主要部分的功能配置]
[0147]
接下来，将描述上述医疗观察系统1b的主要部分的功能配置。图14是示出医疗观察系统1b的主要部分的功能配置的框图。
[0148]
[内窥镜摄像机头的配置]
[0149]
首先，将描述内窥镜摄像机头105的配置。内窥镜摄像机头105包括图像传感器212、截止滤波器213、透镜单元501、摄像机头存储器502以及摄像机头控制器503。
[0150]
透镜单元501在图像传感器212的光接收表面上形成由插入部102的光学系统聚焦的对象图像。透镜单元501的焦点位置是可变的。透镜单元501包括多个透镜。
[0151]
摄像机头存储器502记录关于内窥镜摄像机头105的各种类型的信息(例如，关于图像传感器212的像素信息和截止滤波器213的特性)。此外，摄像机头存储器502记录通过第一传输电缆106从控制装置9发送的各种设置数据和控制参数。摄像机头存储器502包括
非易失性存储器或易失性存储器。
[0152]
摄像机头控制器503基于通过第一传输电缆106从控制装置9接收的设置数据来控制构成内窥镜摄像机头105的每个单元的操作。通过使用定时发生器(tg)、作为具有诸如cpu的硬件的处理装置的处理器以及作为由处理器使用的临时存储区域的存储器来实现摄像机头控制器503。
[0153]
具有这种配置的医疗观察系统1b执行与上述医疗观察系统1(参见图6)相似的处理。
[0154]
根据上述第二实施例，可以获得与上述第一实施例类似的效果，从而减小内窥镜摄像机头105的尺寸。
[0155]
(第三实施例)
[0156]
接下来，将描述第三实施例。在第三实施例中，将描述应用于使用软性内窥镜的软性内窥镜系统的医疗观察系统。注意，与根据上述第一实施例的医疗观察系统1相同的配置由相同的参考标记表示并省略其详细描述。
[0157]
[医疗观察系统的示意性配置]
[0158]
图15是示出根据第三实施例的医疗观察系统的示意性配置的示图。图15所示的医疗观察系统1c插入对象内，对对象内部进行成像以生成图像数据，并且基于该图像数据显示图像。
[0159]
如图15所示，医疗观察系统ic包括：内窥镜201，其通过将插入部202插入对象内来生成图像数据来捕获观察区域的体内图像；光源装置3；显示装置8；以及控制装置9。内窥镜201在插入部202的前端部203设置有成像单元21。
[0160]
具有这种配置的医疗观察系统1c执行与上述医疗观察系统1(参见图6)类似的处理。
[0161]
根据上述第三实施例，即使使用包括柔性内窥镜201的医疗观察系统1c，也可以获得与上述第一实施例类似的效果。
[0162]
(其他实施例)
[0163]
通过适当地组合根据上述本公开的第一实施例至第三实施例的医疗观察系统所公开的多个结构要素，可以实现本发明的各个方面。例如，可以从根据上述本公开的第一实施例至第三实施例的医疗观察系统所描述的全部结构要素中去除一些结构要素。此外，可以适当地组合根据上述本公开的实施例的医疗观察系统所描述的结构要素。
[0164]
此外，在根据本公开的第一实施例至第三实施例的医疗观察系统中，上述词语“单元”可以读取为“手段”、“电路”等。例如，控制单元可以读取为控制手段或控制电路。
[0165]
此外，由根据本公开的第一实施例至第三实施例的医疗观察系统执行的程序是以可安装或可执行的文件数据的形式来提供的，并且被记录在诸如cd-rom、软盘(fd)、cd-r、数字通用盘(dvd)、usb介质或闪存的计算机可读记录介质中。
[0166]
可选地，由根据本公开的第一实施例至第三实施例的医疗观察系统执行的程序可以被配置为存储在连接至诸如因特网的网络的计算机中，并且经由该网络下载来提供。
[0167]
应注意，在本文的流程图的描述中，通过使用诸如“第一”、“然后”以及“接下来”的表达已经清晰地示出了处理的顺序定时之间的上下文，但是体现本公开所必需的处理的过程的顺序并不由这些表达唯一地限定。换句话说，本文描述的流程图中的处理的过程的顺
序可以在一致范围内改变。例如，可以并行地执行荧光图像的生成和着色以及背景图像的生成和灰度处理。
[0168]
已经参考附图详细描述了本技术的一些实施例，但是这些实施例是通过示例的方式提供的，并且除了在本公开中描述的方面之外，还可以实施基于本领域技术人员的知识对其进行各种修改和改进的本发明的其他方面。
[0169]
注意，本技术还可以具有以下配置。
[0170]
(附加注释1)
[0171]
一种医疗观察系统，包括：
[0172]
光源装置，被配置为向对象发射具有不同波段的第一可见光和第二可见光、以及激发荧光物质并且引起荧光发射的激发光；
[0173]
图像传感器，包括：包括多个像素的像素部；第一滤波器，被配置为透射第一可见光和荧光；以及第二滤波器，被配置为透射第二可见光和荧光，第一滤波器和第二滤波器中的每一个设置在多个像素中的每一个的光接收表面上，图像传感器被配置为捕获第一可见光和第二可见光中的至少一种被对象反射后的反射光和荧光中的至少一种以生成图像数据；
[0174]
控制单元，被配置为控制光源装置同时发射第二可见光和激发光；以及
[0175]
图像处理单元，被配置为基于包括在图像数据中并从布置有第一滤波器的像素输出的第一像素值生成荧光图像，并且基于从布置有第二滤波器的像素输出的第二像素值生成背景图像。
[0176]
(附加注释2)
[0177]
根据(附加注释1)的医疗观察系统，包括截止滤波器，该截止滤波器设置在图像传感器的入射侧并且被配置为在遮挡激发光的同时透射反射光和荧光。
[0178]
(附加注释3)
[0179]
根据(附加注释1)或(附加注释2)的医疗观察系统，其中，图像处理单元被配置为：
[0180]
基于第一像素值改变第二像素值；并且
[0181]
基于所改变的第二像素值生成背景图像。
[0182]
(附加注释4)
[0183]
根据(附加注释3)的医疗观察系统，其中，图像处理单元被配置为：
[0184]
从第二像素值中减去第一像素值；并且
[0185]
基于减法的结果生成背景图像。
[0186]
(附加注释5)
[0187]
根据(附加注释1)至(附加注释4)中任一项的医疗观察系统，其中，图像处理单元被配置为：
[0188]
从第二像素值中减去通过将第二滤波器对荧光波长的光谱灵敏度除以第一滤波器对荧光波长的的光谱灵敏度而获得的值乘以第一像素值而获得的乘法结果；并且
[0189]
基于减法的结果生成背景图像。
[0190]
(附加注释6)
[0191]
根据(附加注释1)至(附加注释5)中任一项的医疗观察系统，其中，控制单元被配置为：
[0192]
在第一观察模式下，控制光源装置发射第一可见光和第二可见光；并且
[0193]
在第二观察模式下，控制光源装置发射第二可见光和激发光。
[0194]
(附加注释7)
[0195]
根据(附加注释1)至(附加注释6)中任一项的医疗观察系统，其中，
[0196]
光源装置被配置为发射波段与第一可见光和第二可见光的波段不同的第三可见光，
[0197]
图像传感器包括被配置为透射第三可见光和荧光的第三滤波器；并且
[0198]
图像传感器被配置为基于第二像素值以及从布置有第三滤波器的像素输出的第三像素值生成背景图像，第三像素值和第二像素值包括在图像数据中。
[0199]
(附加注释8)
[0200]
根据(附加注释7)的医疗观察系统，其中，
[0201]
第一可见光是红色波段的光；
[0202]
第二可见光是绿色波段的光和蓝色波段的光中的一种；
[0203]
第三可见光是绿色波段的光和蓝色波段的光中的另一种；
[0204]
第一滤波器是被配置为透射红色波段的光和荧光的红色滤波器；
[0205]
第二滤波器是被配置为透射绿色波段的光和蓝色波段的光中的一种并且进一步透射荧光的绿色滤波器和蓝色滤波器中的一种；并且
[0206]
第三滤波器是被配置为透射绿色波段的光和蓝色波段的光中的另一种并且进一步透射荧光的绿色滤波器和蓝色滤波器中的另一种。
[0207]
(附加注释9)
[0208]
根据(附加注释8)的医疗观察系统，其中，
[0209]
光源装置包括：
[0210]
第一光源单元，被配置为发射红色波段的光；
[0211]
第二光源单元，被配置为发射绿色波段的光；
[0212]
第三光源单元，被配置为发射蓝色波段的光；以及
[0213]
第四光源单元，被配置为发射激发光；并且
[0214]
控制单元被配置为：
[0215]
在用于利用白光进行观察的白光观察模式下，控制第一光源单元、第二光源单元和第三光源单元发光；并且
[0216]
在用于观察荧光的荧光观察模式下，控制第二光源单元、第三光源单元和第四光源单元发光。
[0217]
(附加注释10)
[0218]
根据(附加注释1)至(附加注释9)中任一项的医疗观察系统，其中，图像处理单元被配置为生成组合背景图像和荧光图像的合成图像。
[0219]
(附加注释11)
[0220]
根据(附加注释1)至(附加注释9)中任一项的医疗观察系统，其中，图像处理单元被配置为对背景图像和荧光图像中的至少一种执行灰度处理。
[0221]
(附加注释12)
[0222]
根据(附加注释1)至(附加注释9)中任一项的医疗观察系统，其中，图像处理单元
被配置为对背景图像和荧光图像中的至少一种执行着色。
[0223]
(附加注释13)
[0224]
根据(附加注释1)至(附加注释12)中任一项的医疗观察系统，其中，
[0225]
荧光物质是吲哚菁绿；并且
[0226]
激发光的中心波长为740nm。
[0227]
(附加注释14)
[0228]
一种医疗观察系统，包括：
[0229]
光源装置，被配置为向对象发射具有不同波段的第一可见光和第二可见光、以及激发荧光物质并且引起荧光发射的激发光；
[0230]
二向色棱镜，被配置为将第一可见光和第二可见光中的至少一种被对象反射后的反射光和荧光分割为多个波段；
[0231]
多个图像传感器，被配置为接收由二向色棱镜分割的多个波段的光束并且生成多个图像数据；
[0232]
控制单元，被配置为控制光源装置同时发射第二可见光和激发光；以及
[0233]
图像处理单元，被配置为基于多个图像数据生成背景图像和荧光图像。
[0234]
(附加注释15)
[0235]
根据(附加注释1)至(附加注释14)中任一项的医疗观察系统，还包括：
[0236]
支撑单元，被配置为能旋转地支撑包括图像传感器的医疗成像装置；以及
[0237]
基部，被配置为能旋转地保持支撑单元的基端部，该基部能在地板表面上移动。
[0238]
(附加注释16)
[0239]
根据(附加注释1)至(附加注释14)中任一项的医疗观察系统，还包括：
[0240]
插入部，被配置为能插入对象中并且包括对反射光和荧光进行聚焦而在图像传感器的光接收表面形成对象图像的光学系统。
[0241]
(附加注释17)
[0242]
根据(附加注释16)的医疗观察系统，其中，插入部可从包括图像传感器的医疗成像装置拆卸。
[0243]
(附加注释18)
[0244]
一种用于控制光源装置和医疗成像装置的控制装置，
[0245]
光源装置被配置为向对象发射具有不同波段的第一可见光和第二可见光、以及激发荧光物质并且引起荧光发射的激发光；
[0246]
医疗成像装置包括：具有多个像素的像素部；第一滤波器，被配置为透射第一可见光和荧光；以及第二滤波器，被配置为透射第二可见光和荧光，第一滤波器和第二滤波器中的每一个设置在多个像素中的每一个的光接收表面上，医疗成像装置被配置为捕获第一可见光和第二可见光中的至少一种被对象反射后的反射光和荧光中的至少一种以生成图像数据；该控制装置包括：
[0247]
控制单元，被配置为控制光源装置同时发射第二可见光和激发光；以及
[0248]
图像处理单元，被配置为基于包括在图像数据中并从布置有第一滤波器的像素输出的第一像素值生成荧光图像，并且基于从布置有第二滤波器的像素输出的第二像素值生成背景图像。
[0249]
(附加注释19)
[0250]
一种由用于控制光源装置和医疗成像装置的控制装置执行的控制方法，
[0251]
光源装置被配置为向对象发射具有不同波段的第一可见光和第二可见光、以及激发荧光物质并且引起荧光发射的激发光；
[0252]
医疗成像装置包括：具有多个像素的像素部；第一滤波器，被配置为透射第一可见光和荧光；以及第二滤波器，被配置为透射第二可见光和荧光，第一滤波器和第二滤波器中的每一个设置在多个像素中的每一个的光接收表面上，医疗成像装置被配置为捕获第一可见光和第二可见光中的至少一种被对象反射后的反射光和荧光中的至少一种以生成图像数据，该控制方法包括：
[0253]
控制光源装置同时发射第二可见光和激发光；以及
[0254]
基于包括在图像数据中并从布置有第一滤波器的像素输出的第一像素值生成荧光图像，并且基于从布置有第二滤波器的像素输出的第二像素值生成背景图像。
[0255]
参考标记列表
[0256]
1、1b、1c 医疗观察系统
[0257]
2 观察设备
[0258]
3 光源装置
[0259]
4 光导
[0260]
5 显微镜单元
[0261]
6 支撑单元
[0262]
7 基部
[0263]
8 显示装置
[0264]
9 控制装置
[0265]
21 成像单元
[0266]
22 发光单元
[0267]
23 检测单元
[0268]
24 输入单元
[0269]
25 第一控制单元
[0270]
31 第一光源单元
[0271]
32 第二光源单元
[0272]
33 第三光源单元
[0273]
34 第四光源单元
[0274]
91 图像处理单元
[0275]
92 输入单元
[0276]
93 记录单元
[0277]
94 第二控制单元
[0278]
102 插入部
[0279]
104 光导
[0280]
105 内窥镜摄像机头
[0281]
106 第一传输电缆
[0282]
108 第二传输电缆
[0283]
121 接目镜
[0284]
161 视频连接器
[0285]
162 摄像机头连接器
[0286]
201 内窥镜
[0287]
202 插入部
[0288]
203 远端部
[0289]
211 光学系统
[0290]
212、212b、212g、212r 图像传感器
[0291]
212a 像素部
[0292]
212b 滤色器
[0293]
213 截止滤波器
[0294]
214 二向色棱镜
[0295]
501 透镜单元
[0296]
502 摄像机头存储器
[0297]
503 摄像机头控制器
[0298]
911 减法单元
[0299]
912 第一生成单元
[0300]
913 第二生成单元
[0301]
914 组合单元
[0302]
931 程序记录单元
[0303]
1010 第三传输电缆
[0304]
p1 荧光图像
[0305]
p2 背景图像
[0306]
p3 合成图像
[0307]
q1 荧光区域。
技术特征：1.一种医疗观察系统，包括：光源装置，被配置为向对象发射具有不同波段的第一可见光和第二可见光、以及激发荧光物质并且引起荧光发射的激发光；图像传感器，包括：包括多个像素的像素部；第一滤波器，被配置为透射所述第一可见光和所述荧光；以及第二滤波器，被配置为透射所述第二可见光和所述荧光；所述第一滤波器和所述第二滤波器设置在所述多个像素中的每一个的光接收表面上，所述图像传感器被配置为捕获所述第一可见光和所述第二可见光中的至少一种被所述对象反射后的反射光和所述荧光中的至少一种以生成图像数据；控制单元，被配置为控制所述光源装置同时发射所述第二可见光和所述激发光；以及图像处理单元，被配置为基于包括在所述图像数据中并从布置有所述第一滤波器的像素输出的第一像素值生成荧光图像，并且基于从布置有所述第二滤波器的像素输出的第二像素值生成背景图像。2.根据权利要求1所述的医疗观察系统，包括截止滤波器，所述截止滤波器设置在所述图像传感器的入射侧并且被配置为在遮挡所述激发光的同时透射所述反射光和所述荧光。3.根据权利要求1所述的医疗观察系统，其中，所述图像处理单元被配置为：基于所述第一像素值改变所述第二像素值；并且基于所改变的第二像素值生成所述背景图像。4.根据权利要求3所述的医疗观察系统，其中，所述图像处理单元被配置为：从所述第二像素值中减去所述第一像素值；并且基于减法的结果生成所述背景图像。5.根据权利要求1所述的医疗观察系统，其中，所述图像处理单元被配置为：从所述第二像素值中减去通过将所述第二滤波器对荧光波长的光谱灵敏度除以所述第一滤波器对荧光波长的光谱灵敏度而获得的值乘以所述第一像素值而获得的乘法结果；并且基于减法的结果生成所述背景图像。6.根据权利要求1所述的医疗观察系统，其中，所述控制单元被配置为：在第一观察模式下，控制所述光源装置发射所述第一可见光和所述第二可见光；并且在第二观察模式下，控制所述光源装置发射所述第二可见光和所述激发光。7.根据权利要求1所述的医疗观察系统，其中，所述光源装置被配置为发射波段与所述第一可见光和所述第二可见光中的每一个的波段不同的第三可见光；所述图像传感器包括被配置为透射所述第三可见光和所述荧光的第三滤波器；并且所述图像传感器被配置为基于所述第二像素值以及从布置有所述第三滤波器的像素输出的第三像素值生成所述背景图像，所述第三像素值和所述第二像素值包括在所述图像数据中。8.根据权利要求7所述的医疗观察系统，其中，所述第一可见光是红色波段的光；所述第二可见光是绿色波段的光和蓝色波段的光中的一种；所述第三可见光是所述绿色波段的光和所述蓝色波段的光中的另一种；
所述第一滤波器是被配置为透射所述红色波段的光和所述荧光的红色滤波器；所述第二滤波器是被配置为透射所述绿色波段的光和所述蓝色波段的光中的一种并且进一步透射所述荧光的绿色滤波器和蓝色滤波器中的一种；并且所述第三滤波器是被配置为透射所述绿色波段的光和所述蓝色波段的光中的另一种并且进一步透射所述荧光的所述绿色滤波器和所述蓝色滤波器中的另一种。9.根据权利要求8所述的医疗观察系统，其中，所述光源装置包括：第一光源单元，被配置为发射所述红色波段的光；第二光源单元，被配置为发射所述绿色波段的光；第三光源单元，被配置为发射所述蓝色波段的光；以及第四光源单元，被配置为发射所述激发光；并且所述控制单元被配置为：在用于利用白光进行观察的白光观察模式下，控制所述第一光源单元、所述第二光源单元和所述第三光源单元发光；并且在用于观察所述荧光的荧光观察模式下，控制所述第二光源单元、所述第三光源单元和所述第四光源单元发光。10.根据权利要求1所述的医疗观察系统，其中，所述图像处理单元被配置为生成组合所述背景图像和所述荧光图像的合成图像。11.根据权利要求1所述的医疗观察系统，其中，所述图像处理单元被配置为对所述背景图像和所述荧光图像中的至少一种执行灰度处理。12.根据权利要求1所述的医疗观察系统，其中，所述图像处理单元被配置为对所述背景图像和所述荧光图像中的至少一种执行着色。13.根据权利要求1所述的医疗观察系统，其中，所述荧光物质是吲哚菁绿；并且所述激发光的中心波长为740nm。14.一种医疗观察系统，包括：光源装置，被配置为向对象发射具有不同波段的第一可见光和第二可见光、以及激发荧光物质并且引起荧光发射的激发光；二向色棱镜，被配置为将所述第一可见光和所述第二可见光中的至少一种被所述对象反射后的反射光和所述荧光分割为多个波段中的每一个；多个图像传感器，被配置为接收由所述二向色棱镜分割的所述多个波段中的每一个的光束并且生成多个图像数据；控制单元，被配置为控制所述光源装置同时发射所述第二可见光和所述激发光；以及图像处理单元，被配置为基于所述多个图像数据生成背景图像和荧光图像。15.根据权利要求1所述的医疗观察系统，还包括：支撑单元，被配置为能旋转地支撑包括所述图像传感器的医疗成像装置；以及基部，被配置为能旋转地保持所述支撑单元的基端部，所述基部能在地板表面上移动。16.根据权利要求1所述的医疗观察系统，还包括：插入部，被配置为能插入所述对象中并且包括对所述反射光和所述荧光进行聚焦而在
所述图像传感器的所述光接收表面上形成对象图像的光学系统。17.根据权利要求16所述的医疗观察系统，其中，所述插入部能从包括所述图像传感器的医疗成像装置拆卸。18.一种用于控制光源装置和医疗成像装置的控制装置，所述光源装置被配置为向对象发射具有不同波段的第一可见光和第二可见光、以及激发荧光物质并且引起荧光发射的激发光；所述医疗成像装置包括：具有多个像素的像素部；第一滤波器，被配置为透射所述第一可见光和所述荧光；以及第二滤波器，被配置为透射所述第二可见光和所述荧光；所述第一滤波器和所述第二滤波器设置在所述多个像素中的每一个的光接收表面上，所述医疗成像装置被配置为捕获所述第一可见光和所述第二可见光中的至少一种被所述对象反射后的反射光和所述荧光中的至少一种以生成图像数据；所述控制装置包括：控制单元，被配置为控制所述光源装置同时发射所述第二可见光和所述激发光；以及图像处理单元，被配置为基于包括在所述图像数据中并从布置有所述第一滤波器的像素输出的第一像素值生成荧光图像，并且基于从布置有所述第二滤波器的像素输出的第二像素值生成背景图像。19.一种由用于控制光源装置和医疗成像装置的控制装置执行的控制方法，所述光源装置被配置为向对象发射具有不同波段的第一可见光和第二可见光、以及激发荧光物质并且引起荧光发射的激发光；所述医疗成像装置包括：具有多个像素的像素部；第一滤波器，被配置为透射所述第一可见光和所述荧光；以及第二滤波器，被配置为透射所述第二可见光和所述荧光；所述第一滤波器和所述第二滤波器设置在所述多个像素中的每一个的光接收表面上，所述医疗成像装置被配置为捕获所述第一可见光和所述第二可见光中的至少一种被所述对象反射后的反射光和所述荧光中的至少一种以生成图像数据，所述控制方法包括：控制所述光源装置同时发射所述第二可见光和所述激发光；以及基于包括在所述图像数据中并从布置有所述第一滤波器的像素输出的第一像素值生成荧光图像，并且基于从布置有所述第二滤波器的像素输出的第二像素值生成背景图像。
技术总结提供了一种能够防止被观察体的观察部位闪烁并实现紧凑的装置尺寸的医疗观察系统、控制装置及控制方法。该医疗观察系统1设置有：图像传感器212；第二控制单元94，其使光源装置3同时发射第二可见光和激发光；以及图像处理单元91，其基于由布置有第一滤波器的像素输出的包括在图像数据中的第一像素值生成荧光图像，并且基于由布置有第二滤波器的像素输出的第二像素值生成背景图像。二像素值生成背景图像。二像素值生成背景图像。
技术研发人员：后田公 山口一博
受保护的技术使用者：索尼奥林巴斯医疗解决方案公司
技术研发日：2020.12.04
技术公布日：2022/11/1
