1.以下一般涉及放射学领域、放射学检查读取领域、成像工作流程领域，计算机辅助诊断(cad)领域和相关领域。
背景技术：2.在过去几年中，机器学习(ml)或深度学习(dl)人工智能(ai)解决方案已经达到或超过了针对各种任务的类人性能水平，如相关发现的检测(例如，在计算机断层摄影(ct)扫描中检测肺结节，在乳房x射线照片中的乳腺病变，在胸部x射线中检测气胸等)。然而，由于若干原因，最突出的是监管问题，这样的解决方案没有很好地集成到临床例程中。
3.同时，放射学中越来越多地要求放射科医师表现评估作为最终提高放射学检查读取的吞吐量和准确性的方式，这可以降低成本，同时保持或提高读取质量。
4.一个性能度量是放射学报告周转时间(tat)，其被定义为在技术人员完成放射学检查之后将临床图像上载到放射学信息系统时与放射学检查报告由放射科工作人员完成时之间的时间间隔。tat影响患者、转诊医生和整个医院设施。为了最佳的患者护理目的，放射科医师必须能够在tat附近工作。应当注意，tat取决于至少部分地在放射科医师的控制之外的因素，诸如要读取的放射学检查的积压。
5.与用于评估放射科医师表现更相关的是读取时间，它是当放射科医师打开放射学检查以执行读取时与当放射科医师存档被包含放射科医师的发现的最终放射学报告时之间的时间间隔。读取时间取决于放射科医师和过程类型。例如，读取时间可能受到成像检查的复杂性(例如，用于评估心脏健康的复杂三维ct可能比用于评估可能的骨折的二维x射线花费更长的时间来读取)，患者背景的复杂性(例如，如果患者具有复杂的医疗历史和/或多个先前的成像检查，则放射科医师被期望检查该患者历史以便被告知患者背景)，和/或单个放射科医师在一天的不同时间和/或在一周的不同天的不同工作效率的影响。
6.目前，放射科医师通常在图像归档和通信系统(pacs)驱动的工作流中工作。pacs工作站具有多个工作列表，其通常根据检查状态，位置，形态和身体部分来填充。放射科医师可以从工作列表中选择接下来要读取的病例。使用这种“筛选(cherry-picking)”的病例选择，一些放射科医师可能倾向于挑选较不复杂的病例，这可能导致在一天结束或轮班时未读取的复杂病例的累积。此外，这种基于ad-hoc的选择没有针对效率和质量进行优化。此外，由于在非关键扫描之前应该读取关键扫描，所以在病例选择中紧迫性可以是一个因素。
7.在不全面了解放射科医师的读取效率在一天和一周内在不同过程类型上如何变化的情况下，不能确定任何异常的读取性能，这导致不能动态地管理它以避免任何可能的研究的积压和/或受影响的读取质量。此外，放射科医师正确读取所选病例的准确性也是效率因素。
8.下面公开了克服这些问题和其它的某些改进。
技术实现要素：9.在一方面，一种用于评估放射科医师表现的装置包括至少一个电子处理器，该电子处理器被编程为：在用户登录到用户界面(ui)的读取会话期间，经由ui呈现医学成像检查，经由ui接收关于所呈现的医学成像检查的检查报告，并将检查报告存档；以及执行跟踪方法，包括以下各项中的至少一项：(i)计算一致性分数，该一致性分数量化检查报告中包含的临床发现与针对所呈现的医学成像检查的对应的计算机生成的临床发现之间的一致性，该计算机生成的临床发现是由在读取会话期间作为后台进程运行的计算机辅助诊断(cad)进程生成的；和/或(ii)确定用于所呈现的医学成像检查的读取时间，其中用于每个所呈现的医学成像检查的读取时间是经由用户界面的医学成像检查的呈现的开始与相应的检查报告的存档之间的时间间隔；以及基于所计算的一致性分数和/或所确定的读取时间生成针对用户的至少一个时间相关的用户表现度量。
10.在另一方面中，一种用于评估放射科医师表现的装置包括至少一个电子处理器，该至少一个电子处理器被编程为：在用户登录到ui的读取会话期间，经由ui呈现医学成像检查，该呈现包括显示医学成像检查的医学图像，并且经由ui接收针对所呈现的医学成像检查的用户生成的临床发现；以及执行跟踪方法包括：作为在读取会话期间运行的后台进程，对所呈现的医学成像检查的医学图像执行cad进程以生成针对所呈现的医学成像检查的计算机生成的临床发现；以及计算一致性分数，该一致性分数量化针对所呈现的医学成像检查的计算机生成的临床发现与针对所呈现的医学成像检查的对应的用户生成的临床发现之间的一致性；以及基于一致性分数生成针对用户的时间相关的用户表现度量。
11.在另一方面，一种用于评估放射科医师表现的装置包括至少一个电子处理器，该电子处理器被编程为在用户登录到ui的读取会话期间执行一种方法，该方法包括：经由ui提供未读医学成像检查的工作列表，经由ui呈现由用户从工作列表中选择的医学成像检查，经由ui接收针对所呈现的医学成像检查的检查报告，以及将所接收的检查报告存档；将用于每个所呈现的医学成像检查的读取时间确定为经由ui呈现医学成像检查的开始与对应的所接收的检查报告的存档之间的时间间隔；以及基于所确定的读取时间生成针对用户的时间相关的用户表现度量。
12.一个优点在于提供执行一个或多个成像研究的单个放射科医师的表现与执行相同或相似成像研究的ai使能算法之间的比较。
13.另一个优点在于运行后台程序以跟踪放射科医师的表现和ai使能算法之间的相似性。
14.另一个优点在于在患者诊断中不使用ai使能算法的结果。
15.另一个优点在于在成像研究期间跟踪放射科医师的表现以获得放射科医师表现的基准水平。
16.另一个优点在于在成像研究期间跟踪放射科医师的准确度表现，以获得放射科医师表现的基准准确度水平。
17.另一个优点在于获得放射科医师的表现的基准水平作为内部参考。
18.另一个优点在于基于放射科医师的读取时间来确定放射科医师执行医学成像检查的效率。
19.另一个优点在于基于放射科医师的读取时间更新放射科医师的时间表或工作流
程。
20.给定的实施例可以不提供，提供一个、两个、多个或所有前述优点，和/或可以提供其他优点，这对于本领域普通技术人员在读取和理解本公开后将变得显而易见。
附图说明
21.本公开可以采取各种部件和部件的布置以及各种步骤和步骤布置的形式。附图仅用于说明优选实施例的目的，而不应被解释为限制本公开。
22.图1概略地示出了根据本公开的用于评估放射科医师表现的说明性装置。
23.图2示出了由图1的装置执行的示例性流程图操作。
具体实施方式
24.如本文所用，术语“后台进程”(及其变体)指在另一进程(诸如成像读取会话)的场景之后在没有用户干预的情况下而自主运行的计算机进程。
25.如本文所用，术语“一致性分数”(及其变体)指放射科医师的成像读取会话的结果与由ai后台进程生成的结果之间的关系。
26.如本文所用，术语“指纹”(及其变体)指放射科医师的个人读取特征与相对于其他放射科医师的潜在小差异之间的关系。
27.如本文所用，术语“用户表现度量”(及其变体)指指纹或一致性分数的时间戳或拟合进程。
28.诸如计算机辅助诊断(cad)系统的基于ai的系统正变得高度精确，并且原则上可用于临床诊断任务。然而，这种使用由非技术考虑抑制，诸如管理框架可能不允许cad用于诊断，或者如果允许的话，包含cad将需要昂贵的系统和进程的重新认证以用于管理批准。
29.在一些实施例中，以下公开了在后台运行ai cad程序。ai cad结果不用于提供或帮助实际诊断。相反，将ai cad结果与包含在由放射科医师准备的放射学检查报告中的临床发现进行比较，以便为放射科医师生成一致性分数(有时在这些实施例中称为指纹)，该一致性分数测量放射科医师的临床发现与ai cad生成的临床发现的一致性程度如何。假设ai cad是合理准确的，则可以预期更高的一致性分数与放射科医师的放射学读取的更高准确度相关。只要ai cad是合理精确的，这将保持正确。因此，不需要ai cad是完美的或对于临床诊断具有足够的准确度。放射科医师的一致性分数可以作为时间的函数来计算，并且可以以各种方式来分解，例如针对不同类型的读取的不同的一致性分数。
30.对于一致性分数存在各种用途。它可以用于跟踪放射科医师在一天中的表现，以标识放射科医师的准确性可能滞后的时间段(例如，由于疲劳的下午晚些时候)。它可以用于比较跨部门或医院之间的放射科医师的表现。一致性分数的偏移也可以是放射学读取进程中的问题的指示符。例如，所有放射科医师的一致性分数降低可能是由于成像协议的变更或设备故障(这可能导致ai cad准确度降低)。有利地，这些实施例在实际临床工作流中利用了ai cad，同时避免了传统上已限制或防止在实际患者的临床诊断中使用ai cad的管理或其他非技术考虑。
31.在本文公开的其它(不一定相互排斥)的实施例中，提供不同类型的放射科医师指纹以评估放射学读取的效率。在这些实施例中，指纹是放射科医师不满足用于检查的预期
读取时间的频率的度量。该评估利用了以下事实：多数pacs实现对放射学检查读取的开始(当放射科医师访问成像检查数据时)和读取的结束(当放射学报告被存档时)加时间戳，其中读取时间介于两者之间。为了建立“预期的”读取时间(例如，基于单个放射科医师)，统计地分析每个放射科医师的读取时间以确定放射科医师通常满足的通常读取时间阈值。对于更高的粒度，读取时间阈值针对特定读取任务被优选地确定(例如，针对简单ct读取以检测可能的骨折的读取时间阈值可以比针对复杂pet扫描读取以检测可能的损伤的读取时间阈值短得多)，并且还可以针对一周中的特定天，一天的特定部分或其他特定时间段来确定(例如，相比于在周二，放射科医师在周一可能效率较低；或者相比于早晨，在下午更有效率，反之亦然)。
32.在该设置之后，将放射科医师的用于每次读取的读取时间与该放射科医师和该类型的读取的读取时间阈值进行比较(并且可选地用于一周的那天等)。如果每个时间块超过一定数量的读取超过阈值(例如，在一个示例中，在30分钟时间段内多于2个读取超过读取时间阈值)，则根据患者背景来评估超阈值的读取。如果在患者背景中存在证明较长读取时间合理的事物，则不考虑该超阈值读取时间。如果在该患者背景分析之后，时间块中的超阈值读取次数仍然太高，则调用放射科医师工作量的动态管理。
33.动态管理例如可以包括向放射科医师分配一些更容易的读取。可替换地，如果放射科医师表现良好(在最近的时间块上没有超阈值读取时间)，则可以向该放射科医师分配一些更具挑战性的读取，因为该读取者被示出为针对这些类型的图像的优选读取者。更一般地，可以使用放射科医师的超阈值指纹来智能地将未读病例分配给可用的放射科医师。
34.在现有的放射学读取系统中，通常向放射科医师呈现待决病例的队列。这可导致更容易的病例的筛选。动态管理可以在单个的放射科医师的基础上通过调整未决病例队列来附加地或可替换地实现，使得基于放射科医师在不同类型的读取上的当前读取时间表现仅向放射科医师呈现适当病例。
35.参考图1，示出了用于评估放射科医师用于检查由图像获取设备(未示出)生成的图像的表现的说明性装置10。图1还示出了电子处理设备18，诸如工作站计算机，或更一般地计算机。电子处理设备18通常包括放射学读取工作站，并且还可以包括服务器计算机或多个服务器计算机，例如互连以形成服务器集群、云计算资源等，以执行更复杂的图像处理或其他复杂的计算任务。工作站18包括典型的部件，诸如电子处理器20(例如，微处理器)，至少一个用户输入设备(例如，鼠标、键盘、跟踪球和/或等等)22和显示设备24(例如，lcd显示器、等离子显示器、阴极射线管显示器和/或等等)。在一些实施例中，显示设备24可以是与工作站18分离的部件，或者可以包括两个或更多个显示设备(例如，用于呈现放射学检查的临床图像的高分辨率显示器，以及用于提供文本或低分辨率图形内容的低分辨率显示器)。
36.电子处理器20可操作地与一个或多个非瞬态存储介质26连接。作为非限制性说明性示例，非瞬态存储介质26可以包括：磁盘、raid或其他磁存储介质中的一个或多个；固态驱动器、闪存驱动器、电可擦除只读存储器(eerom)或其它电子存储器；光盘或其他光学存储器；其各种组合；或等等；并且可以是例如网络存储器，工作站18的内部硬盘驱动器，其各种组合等。应当理解，本文对一个或多个非瞬态介质26的任何参考应被广泛地解释为包括相同或不同类型的单个介质或多个介质。同样，电子处理器20可以体现为单个电子处理器
或两个或多个电子处理器。非瞬态存储介质26存储可由至少一个电子处理器20执行的指令。这些指令包括为了生成用于在显示设备24上显示的图形用户界面(gui)27的可视化的指令。
37.装置10还包括数据库28，或者以其他方式与数据库28可操作地通信，数据库28存储一组要检查的图像30和/或医学成像检查31。数据库28可以是任何合适的数据库，包括放射学信息系统(ris)数据库，图像存档和通信系统(pacs)数据库，电子医疗记录(emr)数据库等。具体地，数据库28通常包括pacs数据库或其功能等效物。备选地，数据库28可以在非瞬态介质26中实现。工作站18可以用于访问所存储的要读取的放射学检查31的图像集30以及例如以dicom格式存储的成像元数据。
38.图像30可以从数据库28下载到工作站18，使得放射科医师可以检查图像并报告发现(例如，病变的存在、图像中的错误、图像中的感兴趣区域等)。在一些实施例中，至少一个电子处理器20还被编程为实现ai部件32。ai部件32被编程为当放射科医师检查图像时在图像集30上运行一个或多个算法(例如，cad算法)，以便为所呈现的医学成像检查31生成计算机生成的临床发现。然而，与典型的cad系统不同，计算机生成的临床发现没有呈现给放射科医师以用于在执行放射学检查31的读取时考虑。相反，至少一个电子处理器20被编程为基于放射科医师的表现和ai部件32之间的比较来计算指纹或一致性分数34。根据一致性分数34，针对放射科医师计算用户表现度量36。这样，ai部件32在临床放射学读取进程中不起任何作用(例如，计算机生成的临床发现对于执行读取的放射科医师是未知的，并且不包括在存档的放射学报告中)。因此，ai部件32及其如本文所公开的使用通常不需要通过医学管理机构的管理批准。
39.在其他(不一定相互排斥)的实施例中，基于对读取时间的跟踪来生成放射科医师指纹，并且可以将其用于例如放射科医师工作量的动态管理中，如本文进一步描述的。
40.设备10如上所述被配置为执行放射学读取方法98和放射科表现评估方法或进程100。非暂时性存储介质26存储可由至少一个电子处理器20读取和执行的指令，以执行所公开的操作，该操作包括执行读取方法98和放射科医师表现评估方法或进程100。在一些示例中，方法98、100中的一个或两个可以至少部分地通过云处理来执行。
41.放射学读取方法98为放射科医师提供用于读取放射学检查的工具。在通常的工作流程中，放射科医师登录工作站18以便进行读取会话。登录可以通过放射科医师输入他或她的用户名和密码来完成。在其他登录方法中，可以采用基于生物特征的登录，例如，使用读取放射科医师手指上的指纹的指纹读取器(未示出)，或使用面部识别等。可以使用其他通常的登录方法，例如，双因素授权，其中放射科医师输入密码并且还插入usb安全密钥，提供计算机生成的一次性密码等。
42.在读取会话期间，用户(例如，放射科医师)登录到ui 27中。用户从由ui 27提供的工作列表中选择医学成像检查31，并且所选择的医学成像检查经由ui 27呈现。该呈现例如可以包括诸如在显示设备24上显示检查的临床图像30并使用户能够缩放，摇摄(pan)或以其他方式操纵图像的显示的操作。ui 27可以提供其他功能，诸如允许用户操纵屏幕上光标用于测量图像中的距离，描绘病变或其他感兴趣的特征等等。ui 27还提供用户输入窗口，经由该用户输入窗口，经由ui 27在所呈现的医学成像检查31上接收检查报告。用户(例如，放射科医师)编写包括提供放射科医师的临床发现的放射学报告。当报告完成时，用户存档
检查报告，例如通过将最终报告上载到pacs数据库28。例如，放射学读取方法98可以实现为商业上可获得的放射学读取环境，诸如智能空间pacs放射学读取环境(可从荷兰，埃因霍温的koninklijke philips n.v.获得)。
43.在通常的放射科中，放射科医师在每天的工作轮班开始时登录工作站18，并且进行读取会话，读取会话可以包括执行多个放射学检查的读取。放射科医师在工作轮班结束时退出(并且也可以以其他间隔退出/返回，诸如为了吃午餐)。因此，放射科医生进行连续的读取，根据放射科医师在放射科室的任期，读取时间可以延长几天、几周、几个月或几年。放射科医师在这些连续的读取会话中的表现由放射科医师表现评估方法100来评估，本文描述其实施例。
44.继续参考图1并进一步参考图2，放射科医师表现评估方法100的说明性实施例被图表地示为图2中的流程图100。在操作102处，至少一个电子处理器20被编程为在用户登录到gui 27并且根据读取方法98进行放射学检查读取的连续读取会话期间执行跟踪方法200。
45.在一个实施例中，跟踪方法200可以包括操作202-206。在操作202(其实际上由读取方法98执行)处，医学成像检查31呈现在gui27上，包括显示成像会话的医学图像。然后，用户经由至少一个用户输入设备22输入经由用于医学成像检查31的gui 27的临床发现(例如，病变的存在、图像中的错误、图像中的感兴趣区域等)。
46.在与操作202同时在后台运行的操作204，至少一个电子处理器20被编程为对所呈现的医学成像检查31的医学图像执行cad进程。在一些实施例中，ai部件32将操作204执行为ai-cad进程。cad进程针对在操作202呈现给用户的医学检查生成计算机生成的临床发现。有利地，当用户登录到gui 27时，计算机生成的临床发现不呈现给用户。因此，计算机生成的临床发现不用于诊断。
47.在操作206处，至少一个电子处理器20被编程为提取由用户根据操作202输入的临床发现，并计算一个或多个一致性分数34。一致性分数34量化针对所呈现的医学成像检查31的计算机生成的临床发现与针对所呈现的医学成像检查的对应的用户生成的临床发现之间的一致性(例如，相似性)。
48.用户生成的临床发现可以以各种方式识别。在一种方法中，处理在操作202处由用户输入的放射学报告以提取用户生成的临床发现。用于从报告中提取用户生成的临床发现的方法取决于报告的格式。如果将发现输入到指定用于发现的条目的报告的结构化数据字段或多个数据字段中的报告，则可以简单地通过从指定用于临床发现的条目的数据字段读取临床发现来提取用户生成的临床发现。另一方面，如果发现以自由形式条目字段输入到报告中，则提取可能涉及自然语言处理(nlp)技术，诸如检测与临床发现相关联的关键词和/或执行文本的语义分析。例如，在自由形式文本条目“病变尺寸增加到1.25mm”中，可以检测术语“病变”、“尺寸”和“增加”以提取发现“病变尺寸增加”，而附加内容“1.25mm”可以允许提取发现“病变尺寸＝1.25mm”。这些仅仅是非限制性的说明性示例。一旦计算出一致性分数34，跟踪方法200就完成。
49.作为操作104，至少一个电子处理器20被编程为基于通过连续读取会话计算的一致性分数34生成针对用户的一个或多个用户表现度量36。在一些实施例中，用户表现度量36是时间相关的。例如，用户表现度量36可以是时间戳一致性分数34的时间序列。在另一示
例中，用户表现度量36可以包括后处理操作，诸如将作为时间的函数的一致性分数34拟合到诸如多项式函数的图形表示。在其它实施例中，可以通过使用作为后台进程运行的不同的特定于发现类型的cad进程来执行跟踪方法200来生成多个发现类型的、时间相关的用户表现度量36。在另外的实施例中，至少一个电子处理器20被编程为在每天的时间间隔上分析时间相关的用户表现度量36，以标识其中时间相关的用户表现度量下降到阈值以下的一个或多个时间间隔。如果用户表现度量下降到阈值以下，则可以采取某些补救措施(例如，调整放射科医师的时间表，检查跟踪方法200以查看是否存在进程错误等)。
50.在一些实施例中，针对多个不同的放射科医师重复跟踪方法200，针对这些放射科医师可以生成单个的特定于用户的时间相关的用户表现度量36。至少一个电子处理器20被编程为通过在显示设备24上显示不同的特定于用户的时间相关的用户表现度量36的比较(例如，数字，图形等)来比较不同用户的性能。
51.继续参考图1和图2，在另一实施例中，代替运行后台cad进程并执行操作204，206，或者除了运行后台cad进程并执行操作204、206之外，跟踪方法200可以包括由放射科医师确定医学成像检查31的读取时间38。可以基于过去读取的读取时间、基于过程类型的读取时间、读取时间在工作日的不同时间或一周的不同天如何变化，医学成像检查中针对每个患者的患者背景等为放射科医师生成指纹或用户表现度量36。如本文所使用，术语“患者背景”(及其变体)指的是各种因素的复杂性，诸如针对患者先前就诊的不同原因、先前就诊的次数、以及过去针对相同过程类型进行的扫描次数等。
52.为了确定读取时间38，跟踪方法200包括操作208。在操作202处，如已经描述的，从数据库28中检索医学检查并且经由gui 27被呈现为未读检查的工作列表。用户可以选择检查用于评阅。所评阅的检查报告可被存档(例如，存储)在数据库28中。(同样，操作202对应于图1中指示的读取方法或进程98)。
53.在操作208，至少一个电子处理器20被编程为将针对每个所呈现的医学成像检查31的读取时间38确定为经由gui 27呈现医学成像检查的开始与相应的所接收的检查报告的存档之间的时间间隔。读取时间38可以被存储在非瞬态计算机可读介质26中和/或被显示在显示设备24上。
54.在该实施例中，操作104包括基于连续读取会话上的读取时间38生成针对用户的时间相关的用户表现度量36。在一些实施例中，用户表现度量36是时间相关的。例如，用户表现度量36可以是时间戳一致性分数34的时间序列。在另一示例中，用户表现度量36可以包括后处理操作，诸如将作为时间函数的一致性分数34拟合到诸如多项式函数的图形表示。在其他实施例中，可以通过使用不同类型的医学成像检查31的读取时间38执行跟踪方法200来生成多个发现类型的、时间相关的用户表现度量36。在一些实施例中，针对多个不同的放射科医师重复跟踪方法200，针对这些放射科医师可以生成单个的特定于用户的时间相关的用户表现度量36。至少一个电子处理器20被编程为通过在显示设备24上显示不同的特定于用户的时间相关的用户表现度量36的比较(例如，数字，图形等)来比较不同用户的性能。
55.在另外的实施例中，至少一个电子处理器20被编程为在每天的时间间隔上分析时间相关的用户表现度量36，以至少基于所检查的图像的患者背景来标识一个或多个时间间隔以生成时间相关的用户表现度量，在该一个或多个时间间隔中，时间相关的用户表现度
量下降到阈值以下或低于阈值。例如，如果放射科医师的读取时间超过预定义的阈值，则至少一个电子处理器20被编程为评估患者背景，并自动标记和触发对患者背景的检查。如果患者背景明显复杂，则至少一个电子处理器20被编程为确定他的长读取时间是由于复杂的患者背景；否则，至少一个电子处理器确定放射科医师的当前读取表现是异常的。
56.如果用户表现度量低于阈值，则可以采取某些补救措施(例如，调整放射科医师的时间表、评阅跟踪方法200以检查是否存在进程错误等)。例如，在一定量的时间内(例如，30分钟内2个病例)检测到预定数量的异常行为病例之后，至少一个电子处理器20被编程为动态地调整放射科医师的读取时间表，诸如向放射科医师分配比平常更少数量的病例，或者分配较不复杂的病例(诸如胸部x射线)，并且根据需要相应地调整其他放射科医师的读取分配，以便不减慢总吞吐量。
57.在特定示例中，针对包括无对比的患者头部的ct扫描的成像检查，特定放射科医师在星期一的8-10am期间的最大读取时间是9分钟。如果该最大读取时间被设置为针对该特定放射科医师的检测阈值，并且一个星期一早上，在9am的读取时间为11分钟，则在确认患者背景不明显复杂之后，该表现被标记为异常。在预定义的时间量内检测到预定义数目的异常行为病例之后，可相应地调整特定放射科医师的时间表(例如，以包括较少的病例或较不复杂的病例)。此外，还可以更新其他放射科医师的时间表，以说明特定放射科医师时间表的变更。
58.在一些示例中，ai部件32可被配置为具有自学习部件，其中该ai部件被配置成基于成像协议、读取偏好等为一个或多个放射科医师评估用户表现度量36。例如，针对光谱ct成像协议，ai部件32被配置为基于放射科医师的结果来更新用户表现度量36(例如，当与常规ct图像对照地评阅monoe图像时，放射科医师的表现与ai-cad进程更一致)。
59.已经参考优选的实施例描述了本公开。在读取和理解了前面详细的描述之后，其他人可以想到修改和变更。示例性实施例旨在被解释为包括落入所附权利要求或其等同物的范围内的所有这样的修改和变更。
技术特征：1.一种用于评估放射科医师表现的装置(10)，所述装置包括至少一个电子处理器(20)，所述至少一个电子处理器(20)被编程为：在其中用户登录到用户界面(ui)(27)的读取会话期间，经由所述ui呈现(98)医学成像检查(31)，经由所述ui接收关于所呈现的所述医学成像检查的检查报告，并且将所述检查报告存档；以及执行跟踪方法(102，202)，所述跟踪方法(102，202)包括以下中的至少一项：(i)计算(204)一致性分数(34)，所述一致性分数(34)量化被包含在所述检查报告中的临床发现与针对所呈现的所述医学成像检查的对应的计算机生成的临床发现之间的一致性，所述对应的计算机生成的临床发现是由在所述读取会话期间作为后台进程运行的计算机辅助诊断(cad)进程生成的；和/或(ii)确定(208)针对所呈现的所述医学成像检查的读取时间(38)，其中针对每个所呈现的医学成像检查的所述读取时间是经由所述用户界面的所述医学成像检查的所述呈现的开始与对应的所述检查报告之间的所述存档之间的时间间隔；以及基于所计算的所述一致性分数和/或所确定的所述读取时间来生成(104)针对所述用户的至少一个时间相关的用户表现度量(36)。2.根据权利要求1所述的装置(10)，其中所述跟踪方法(200)还包括：计算一致性分数(34)，所述一致性分数量化被包含在所述检查报告中的所述临床发现与针对所呈现的所述医学成像检查的对应的计算机生成的临床发现之间的一致性，所述对应的计算机生成的临床发现是由在所述读取会话期间作为后台进程运行的cad进程生成的，并且所述生成包括基于所计算的所述一致性分数来生成针对所述用户的时间相关的用户表现度量(36)。3.根据权利要求2所述的装置(10)，其中所述生成包括：通过使用作为后台进程运行的不同的特定于发现类型的cad进程执行所述跟踪方法(200)来生成多个特定于发现类型的时间相关的用户表现度量(36)。4.根据权利要求2和3中任一项所述的装置(10)，其中所述至少一个电子处理器(20)还被编程为：在其中所述用户登录所述ui的所述读取会话期间经由所述ui(27)呈现所述计算机生成的临床发现。5.根据权利要求1-4中任一项所述的装置(10)，其中所述至少一个电子处理器(20)还被编程为：以每天的时间间隔分析所述时间相关的用户表现度量(36)，以标识其中所述时间相关的用户表现度量低于阈值的一个或多个时间间隔。6.根据权利要求1-5中任一项所述的装置(10)，其中所述至少一个电子处理器(20)被编程为针对不同用户重复所述跟踪方法(200)的所述执行，并且针对所述不同用户生成特定于用户的时间相关的用户表现度量(36)，并且还被编程为：通过显示所述特定于用户的时间相关的用户表现度量的比较来比较所述不同用户的表现。7.根据权利要求1-6中任一项所述的设备(10)，其中所述cad包括人工智能(ai)-cad。8.根据权利要求1所述的装置(10)，其中所述跟踪方法(200)包括确定针对所呈现的所
述医学成像检查的读取时间(38)，其中针对每个所呈现的所述医学成像检查的所述读取时间是经由所述用户界面的所述医学成像检查的所述呈现的开始与对应的所述检查报告的所述存档之间的所述时间间隔，并且所述生成包括基于所确定的所述读取时间来生成针对所述用户的时间相关的用户表现度量(36)。9.根据权利要求8所述的装置(10)，其中所述至少一个电子处理器(20)被编程为：通过使用医学成像检查的不同检查类型执行所述跟踪方法(200)来生成多个特定于发现类型的时间相关的用户表现度量(36)。10.根据权利要求8和9中任一项所述的装置(10)，其中所述至少一个电子处理器(20)还被编程为：以每天的时间间隔分析所述时间相关的用户表现度量(36)，以标识其中所述时间相关的用户表现度量下降到阈值以下的一个或多个时间间隔。11.根据权利要求8-10中任一项所述的装置(10)，其中所述至少一个电子处理器(20)被编程为针对不同用户重复所述跟踪方法(200)的所述执行，并且针对所述不同用户生成特定于用户的时间相关的用户表现度量(36)，并且还被编程为：通过显示所述特定于用户的时间相关的用户表现度量的比较来比较所述不同用户的表现。12.根据权利要求8-11中任一项所述的装置(10)，其中所述至少一个电子处理器(20)被编程为：分析所述时间相关的用户表现度量(36)，以基于对所评阅的所述图像的患者背景的评估来确定所述时间相关的用户表现度量何时低于预定质量阈值，以生成所述时间相关的用户表现度量；以及如果在所述医学成像检查的所述图像的读取期间不考虑患者背景因素之后，所述时间相关的用户表现度量低于所述预定质量阈值，则变更所述放射科医师的工作时间表。13.根据权利要求12的装置(10)，其中所述变更包括以下一项或多项：从所述放射科医师的所述工作时间表中增加或移除病例；基于所述放射科医师的所述至少一个时间相关的用户表现度量(36)来为所述放射科医师生成所述工作时间表。14.一种用于评估放射科医师表现的装置(10)，所述装置包括至少一个电子处理器(20)，所述至少一个电子处理器(20)被编程为：在其中用户登录到用户界面(ui)(27)的读取会话期间，经由所述ui呈现(98)医学成像检查(31)，所述呈现包括显示所述医学成像检查的医学图像(30)，并且针对所呈现的所述医学成像检查经由所述ui接收(202)用户生成的临床发现；以及执行跟踪方法(102，200)，所述跟踪方法(102，200)包括：作为在所述读取会话期间运行的后台进程，对所呈现的所述医学成像检查的所述医学图像执行计算机辅助诊断(cad)进程，以针对所呈现的所述医学成像检查生成(204)计算机生成的临床发现；以及计算(206)一致性分数(34)，所述一致性分散(34)量化针对所呈现的所述医学成像检查的计算机生成的临床发现与针对所呈现的所述医学成像检查的对应的用户生成的临床发现之间的一致性；以及
基于所述一致性分数生成(104)针对所述用户的时间相关的用户表现度量(36)。15.根据权利要求14的装置(10)，其中所述至少一个电子处理器(20)被编程为：通过使用作为后台进程运行的不同的特定于发现类型的cad进程执行所述跟踪方法(200)来生成多个特定于发现类型的时间相关的用户表现度量。16.根据权利要求14和15中任一项所述的装置(10)，其中所述至少一个电子处理器(200)还被编程为：以每天的时间间隔分析所述时间相关的用户表现度量(36)，以标识其中所述时间相关的用户表现度量下降到阈值以下的一个或多个时间间隔。17.根据权利要求14-16中任一项所述的装置(10)，其中所述至少一个电子处理器(20)被编程为针对不同用户重复所述跟踪方法(200)的所述执行，并且针对所述不同用户生成特定于用户的时间相关的用户表现度量(36)，并且还被编程为：通过显示所述特定于用户的时间相关的用户表现度量的比较来比较所述不同用户的表现。18.一种用于评估放射科医师表现的装置(10)，所述装置包括至少一个电子处理器(20)，所述电子处理器(20)被编程为在用户登录到用户界面(ui)(27)的读取会话期间执行方法(200)，所述方法包括：经由所述ui提供未读医学成像检查的工作列表(31)，经由所述ui呈现由所述用户从所述工作列表中选择的医学成像检查，经由所述ui接收针对所呈现的所述医学成像检查的检查报告，以及将所接收的所述检查报告存档；将针对每个所呈现的医学成像检查的读取时间(38)确定为经由所述ui的所述医学成像检查的所述呈现的开始与对应的所接收的所述检查报告的所述存档之间的所述时间间隔；以及基于所确定的所述读取时间生成针对所述用户的时间相关的用户表现度量(36)。19.根据权利要求18所述的装置(10)，其中所述至少一个电子处理器(20)被编程为：分析所述时间相关的用户表现度量(36)以基于所评阅的所述图像的患者背景来确定所述时间相关的用户表现度量何时低于预定质量阈值，以生成所述时间相关的用户表现度量；以及如果在所述医学成像检查的所述图像的读取期间不考虑患者背景因素之后，所述时间相关的用户表现度量低于所述预定质量阈值，则变更所述放射科医师的工作时间表。20.根据权利要求19所述的装置(10)，其中所述变更包括以下一项或多项：从所述放射科医师的所述工作时间表中增加或移除病例；基于所述放射科医师的所述时间相关的用户表现度量(36)来为所述放射科医师生成所述工作时间表。
技术总结一种用于评估放射科医师表现的装置(10)，包括：至少一个电子处理器(20)，该电子处理器(20)被编程为：在用户登录到用户界面(UI)(27)的读取会话期间，经由该UI呈现(98)医学成像检查(31)，经由该UI接收关于所呈现的医学成像检查的检查报告，并且将该检查报告存档；以及执行跟踪方法(102，202)，该跟踪方法包括以下中的至少一项：(i)计算(204)一致性分数(34)，该一致性分数(34)量化被包含在该检查报告中的临床发现与针对所呈现的医学成像检查的对应的计算机生成的临床发现之间的一致性，该计算机生成的临床发现是由在读取会话期间作为后台进程运行的计算机辅助诊断(CAD)进程生成的；和/或(ii)确定(208)针对所呈现的医学成像检查的读取时间(38)，其中针对每个所呈现的医学成像检查的读取时间是经由用户界面呈现医学成像检查的开始与对应的检查报告的存档之间的时间间隔；以及基于所计算的一致性分数和/或所确定的读取时间来生成(104)针对用户的至少一个时间相关的用户表现度量(36)。的至少一个时间相关的用户表现度量(36)。
技术研发人员：T
受保护的技术使用者：皇家飞利浦有限公司
技术研发日：2021.03.04
技术公布日：2022/11/1
