1.本发明涉及错误原因的推定装置以及推定方法。
背景技术：2.半导体测量装置、半导体检查装置按照被称为方案的设定参数，对在半导体晶圆的表面判定为异常的每个检查点实施检查动作、测量动作。方案参数的调整一般是根据测量/检查对象的属性或装置的特性等，由工程师通过手动作业使各项目最佳化。因此，例如，在使用调整不充分的方案、装置的特性因经时变化而改变的情况下等，在检查动作、测量动作中有可能产生错误。这样的错误作为由方案的内容引起的错误而被称为方案错误。
3.在发生了这样的方案错误时，服务工程师一般从半导体测量装置、半导体检查装置解析装置内部数据来确定原因部位。然而，随着半导体的微细化、多样化，会产生方案数和方案设定项目的增加、方案生成的复杂化等。因此，方案错误的原因确定需要时间，成为使装置的运转率降低的一个原因。
4.在专利文献1中公开了如下内容：通过识别用于测定超小型电子机构的期望尺寸的测量工具中的故障的方法，用户能够迅速地集中于最有问题的方案，使用在哪个测量工具中都典型存在的错误日志来决定根本性的原因，能够使该处理自动化等。
5.在专利文献2中，作为在工件的加工面产生了不良的情况下推定该不良的原因的技术，公开了如下的加工不良原因推定装置：使用机器学习装置，观测检查装置对工件的加工面的检查结果作为状态变量，取得表示加工面不良的产生原因的标签数据，将状态变量与标签数据关联起来进行学习。
6.现有技术文献
7.专利文献
8.专利文献1：日本专利第4398441号公报
9.专利文献2：日本专利第6530779号公报
技术实现要素：10.发明所要解决的课题
11.在专利文献1所记载的方法中，能够使用典型的错误日志自动地决定根本性的原因。然而，在专利文献1中，没有记载与通过测量工具使用的方案有关的归一化后的数量的错误具体是什么样的错误等。
12.专利文献2所记载的加工不良原因推定装置的适用范围限于能够将状态变量与标签数据关联起来进行学习的情况。换言之，需要注释。
13.在半导体检查装置等中的方案错误的原因推定时，错误以怎样的机制产生依赖于产品、制造工艺。另外，错误的变化涉及多方面。因此，难以事先设想并网罗错误原因而用于学习。
14.本发明的目的在于，即使没有错误原因的事先注释，也针对所产生的多种错误推
定该错误的原因。
15.用于解决课题的手段
16.本发明的错误原因的推定装置具备：特征量生成部，其使用从外部发送的数据来生成适合于机器学习模型的特征量；模型数据库，其具有至少一个以上的错误预测模型，该错误预测模型将特征量作为输入数据而用于有无错误产生的判定；模型评价部，其将错误预测模型的预测结果与实际测量出的真正的错误结果进行比较来评价错误预测模型的性能；模型选择部，其从模型数据库选择由模型评价部计算出的评价值为预先设定的预定值以上的错误预测模型；以及错误预测模型生成部，其在由模型选择部选择的错误预测模型没有符合的情况下，针对测量出的错误生成新的错误预测模型。
17.本发明的错误原因的推定方法包括：特征量生成工序，使用从外部发送的数据来生成适合于机器学习模型的特征量；模型评价工序，将保存在模型数据库中的错误预测模型的预测结果与实际测量出的真正的错误结果进行比较，将特征量作为输入数据来评价在有无错误产生的判定中使用的错误预测模型的性能；模型选择工序，从模型数据库选择在模型评价工序中计算出的评价值为预先设定的预定值以上的错误预测模型；以及错误预测模型生成工序，在通过模型选择工序选择的错误预测模型没有符合的情况下，针对测量出的错误生成新的错误预测模型。
18.发明效果
19.根据本发明，即使没有错误原因的事先注释，也能够针对所产生的多种错误推定该错误的原因。
附图说明
20.图1是表示包含实施例1的错误原因推定装置的信息处理系统的框图。
21.图2是表示图1的错误原因推定装置的结构图。
22.图3是表示实施例1的第一错误预测模型生成部中的新的错误预测模型的生成步骤的流程图。
23.图4是表示实施例1的输入数据的数据结构的一例的表。
24.图5是表示图2的模型解析部中的处理以及显示例的示意图。
25.图6是表示实施例1的模型评价部以及模型解析部中的处理以及显示例的示意图。
26.图7是表示实施例1的特征量的值与对该错误产生的贡献度的关系的一例的图表。
27.图8是表示实施例1的第二错误预测模型生成步骤的流程图。
28.图9是表示具备实施例2的数据分类部的错误原因推定装置的结构图。
29.图10是表示实施例2的数据分类部的结构图。
30.图11是表示使用特征量的值与对该错误产生的贡献度的关系来对错误数据进行了分类的状态的图表。
31.图12是表示实施例3的仅实施错误原因推定的错误原因推定装置的结构图。
32.图13是表示实施例3的具有错误原因标签取得部和错误原因标签数据库的错误原因推定装置的结构图。
33.图14是表示实施例3的对用户的错误原因候选的图。
具体实施方式
34.在以下说明的实施方式中，“半导体检查装置”包括对形成于半导体晶圆的表面的图案的尺寸进行测量的装置、对形成于半导体晶圆的表面的图案有无缺陷进行检查的装置、或者对未形成图案的裸晶圆有无缺陷进行检查的装置等，还包括将这些装置组合多个而成的复合装置。
35.另外，在以下说明的实施方式中，“检查”以测量或检查的意思使用，“检查动作”以测量动作或检查动作的意思使用，“检查对象”是指成为测量或检查的对象的晶圆、或者该晶圆中的测量或检查的对象区域。
36.另外，在本说明书中，错误原因推定装置与错误原因的推定装置同义，错误原因推定方法与错误原因的推定方法同义。
37.以下，对错误原因的推定装置以及推定方法的优选实施方式进行说明。
38.优选的是，所述推定装置具备特征量生成部、模型数据库、模型评价部、模型选择部以及错误预测模型生成部，所述推定装置还具备数据分类部，该数据分类部将输入数据内的错误数据按照每个错误原因进行分类。
39.优选的是，在所述推定装置中，错误预测模型生成部对分类后的每个错误数据赋予不同的标签，与该标签一起生成错误预测模型，并将该错误预测模型发送给模型数据库。
40.优选的是，所述推定装置还具备模型解析部，该模型解析部将特征量对由模型选择部选择的错误预测模型中的错误判定结果的贡献度数值化。
41.优选的是，所述推定装置具有如下结构：将由模型解析部计算出的贡献度的值高的特征量作为错误原因候选提示给用户。
42.优选的是，在所述推定装置中，具有如下结构：在由模型选择部选择了多个错误预测模型的情况下，模型评价部计算模型评价值，使用模型评价值对由模型解析部计算出的每个特征量的贡献度进行校正，对于从多个错误预测模型分别计算出的校正后的贡献度的值高的特征量，作为错误原因候选提示给用户。
43.优选的是，所述推定装置还具备另一个错误预测模型生成部，该另一个错误预测模型生成部在用户对错误原因候选进行了修正的情况下，以修正后的错误原因包含在模型解析部的解析结果中的方式来生成错误预测模型。
44.优选的是，所述推定装置还具备：错误原因标签数据库，其保存与由特征量生成部生成的特征量及该特征量的组合中的至少任意一方对应的错误原因的关系；以及错误原因标签取得部，其使用错误原因标签数据库内的标签关系，对与由模型解析部数值化后的贡献度对应的特征量赋予对应的错误原因。
45.优选的是，在所述推定装置中，错误预测模型生成部使用发生了作为对象的错误的动作工序及该动作工序以前的动作工序中的输入数据来生成新的错误预测模型。
46.另外，关于推定装置的结构与推定方法的工序之间的关系，特征量生成部对应于特征量生成工序，模型评价部对应于模型评价工序，模型选择部对应于模型选择工序，错误预测模型生成部对应于错误预测模型生成工序。另外，这些工序并不限定于在1个装置中实施，也可以通过分散配置的多个装置来实施。
47.实施例1
48.图1是表示包含实施例1的错误原因推定装置的信息处理系统的一例的图。
49.在该图中，半导体检查装置1经由网络101与数据库2和错误原因推定装置3连接。错误原因推定装置3与终端4(gui)连接。错误原因推定装置3推定半导体检查装置1所实施的检查动作中的错误的原因。
50.在从半导体检查装置1发送的数据中，例如包含装置数据、测量方案(以下有时也简称为“方案”)、测量结果以及错误结果。另外，方案中也可以包含测量点数、测量点(evaluation point：ep)的坐标信息、拍摄图像时的拍摄条件、拍摄序列等。另外，方案中也可以与测量点一起包含在用于对测量点进行测量的准备阶段取得的图像的坐标、拍摄条件等。
51.装置数据包含装置固有参数、装置机差校正数据以及观察条件参数。装置固有参数是为了使半导体检查装置1按照预定规格工作而使用的校正参数。装置机差校正数据是用于校正半导体检查装置间的机差的参数。观察条件参数例如是规定电子光学系统的加速电压等扫描型电子显微镜(sem)的观察条件的参数。
52.方案包含晶圆图、对准参数、寻址参数以及测长参数作为方案参数。晶圆图是半导体晶圆的表面的坐标图(例如图案的坐标)。对准参数例如是用于校正半导体晶圆的表面的坐标系与半导体检查装置1内部的坐标系之间的偏差的参数。寻址参数例如是确定形成于半导体晶圆的表面的图案中的、存在于检查对象区域内的特征性图案的信息。测长参数是记述了测定长度的条件的参数，例如是对测定图案中的哪个部位的长度进行指定的参数。
53.测量结果包括测长结果、图像数据和工作日志。测长结果记述了测定半导体晶圆表面的图案的长度的结果。图像数据是半导体晶圆的观察图像。工作日志是记述了对准、寻址以及测长的各工作工序中的半导体检查装置1的内部状态的数据。例如，可以举出各部件的工作电压、观察视野的坐标等。
54.错误结果是表示在发生了错误的情况下，在对准、寻址以及测长的各工作工序中的哪一个中发生的错误的参数。
55.这些装置数据、方案、测量结果、错误结果等数据经由网络101积累在数据库2中。所积累的数据通过错误原因推定装置3进行解析。解析结果以用户能够在终端4读取的形式显示。
56.图2是表示图1的错误原因推定装置的详细结构的图。
57.在图2中，错误原因推定装置3具有与外部的数据库2连接的特征量生成部11、输入数据记录部5、模型数据库12(模型db)、模型评价部13、模型选择部14、模型解析部15、第一错误预测模型生成部16以及第二错误预测模型生成部17。另外，第一错误预测模型生成部16也简称为“错误预测模型生成部”。另外，第二错误预测模型生成部17也被称为“另一个错误预测模型生成部”。
58.特征量生成部11从由数据库2发送的装置数据、方案、测量结果等原始数据中提取适合于机器学习模型的特征量，并将该特征量输出到输入数据记录部5。在此，特征量的提取也可以包括数据的缩放、分类变量的编码、组合了交互作用特征量等多个数据的复合性的特征量生成等。
59.在模型数据库12中，将输入数据记录部5内的数据作为输入，预先记录至少1个以上的在各检查点处有无错误产生的判定中使用的错误预测模型。关于该预先记录的初始的错误预测模型，可以转用在其他半导体制造工厂或生产线生成的模型，也可以针对数据库2
内的任意的错误基于后述的模型生成步骤来构建。
60.模型评价部13针对输入数据记录部5内的例如方案单位、晶圆单位、检查点单位等数据，评价模型数据库12内的错误预测模型的性能。性能评价是将使用错误预测模型判定的错误预测结果与输入数据记录部5内的真正的错误结果进行比较而得到的。作为性能的评价值，能够使用精度、再现率、适合率、f1值、auc等。在此，f1值是适合率与再现率的调和平均。另外，auc是area under the curve(曲线下面积)的简称。
61.模型选择部14选择1个以上的在模型评价部13中评价值高的模型作为适合于输入数据记录部5所包含的错误的判定的模型。作为模型的选择方法，对在模型评价部13中使用的评价值预先设定预定值，从成为该预定值以上的评价值的模型中进行选择。
62.在模型选择部14中，在不存在成为所设定的预定值以上的评价值的模型的情况下，认为输入了不适合于已生成的错误预测模型的新的错误，由第一错误预测模型生成部16生成新的错误预测模型。
63.模型解析部15针对由模型选择部14选择出的错误预测模型，解析输入数据记录部5内的各特征量对错误判定贡献了何种程度，由此提取表示与错误高相关的特征量。
64.图3是表示图2的第一错误预测模型生成部16中的新的错误预测模型的生成步骤的图。
65.在步骤s100中，如上所述，在判定为不存在成为所设定的预定值以上的评价值的模型的情况下，转移到步骤s101。
66.在步骤s101中，进行错误预测模型的生成所需的学习数据的选择(提取)。作为选择的方法，从数据库2或输入数据记录部5提取数据，该数据包含与在错误预测模型中无法检测的错误相同的方案或类似的方案。
67.接着，在步骤s102中，修正优先使用学习数据中的哪个特征量的权重。作为修正方法，例如能够有效利用随机搜索、贝叶斯最优化等现有的参数搜索方法。
68.在步骤s103中，基于将学习数据作为输入而在步骤s102中计算出的权重，生成错误预测模型，该错误预测模型是学习数据中包含的有无错误产生的的判定所使用的学习模型。该错误预测模型也可以使用决策树、神经网络(neural network)等任何机器学习算法来生成。
69.在步骤s104中，评价在步骤s103中生成的错误预测模型的性能。作为评价方法，与模型评价部13(图2)同样地，能够使用精度、再现率、适合率、f1值、auc等指标。另外，优选能够使用交叉验证等方法来计算这些评价值。
70.在步骤s105中，判定在步骤s104中计算出的评价值是否为预先决定的预定值以上。如果小于预定值，则返回到步骤s102，再次反复进行同样的处理，如果为预定值以上，则作为新错误模型的生成完成而保存到模型数据库12(图2)中。
71.此外，作为上述类似的方案的选择方法，例如能够选择表示形成于半导体晶圆的表面的图案的登记信息的参数、测定倍率的值接近的方法。在从数据库2提取的情况下，在特征量生成部11中以适合于设备学习模型的形式生成特征量。另外，也可以指定提取的数据的期间。如果是过去的数据，则晶圆的制造条件、装置的状态有可能发生变化，因此优选从错误产生时间点起追溯来指定提取数据的期间。
72.并且，学习数据可以包含发生了作为对象(预测对象)的错误的工作工序及该工作
工序以前的工作工序中的方案或测量结果。半导体检查装置1(图1)中的测定包括对准、寻址、测长等连续的工作工序。
73.图4是表示包含从半导体检查装置中的测定得到的特征量的值的输入数据的数据结构的一例的表。
74.在本图中，示出了针对各个测定索引(index)的特征量(z1，z2，
…
，zm)的值、工作工序以及错误产生的有无(错误结果)。
75.在本图中，在测定索引为2且工作工序为2的情况下发生错误。在该情况下，该工作工序2之后的工作工序3及以后的特征量与错误产生无关而可以排除，但关于之前的工作工序1，有可能对错误造成影响，因此包含在学习数据中。
76.这样，在产生了在学习完毕的模型中无法应对的错误的情况下，作为新错误而生成新的预测模型，能够不进行事先注释而按照每个错误原因生成错误预测模型。
77.接着，对模型解析部15中的对错误判定的贡献度的计算方法和计算结果对用户的可视化方法进行说明。
78.图5是表示针对错误预测模型的所输入的特征量对错误判定的贡献度的计算和对用户的可视化方法的示意图。
79.在该图中，输入数据记录部5的输入数据和模型数据库12(图2)的错误预测模型a(210)被输入到模型解析部15。然后，输出贡献度的计算结果220，能够显示各个特征量对错误的贡献度的图表230。换言之，特征量的贡献度被数值化。在此，示出了输入数据记录部5的输入数据具有特征量(z1，z2，
…
，zm)的值以及错误产生结果按照向对准、寻址、测长的各工作工序分配的每个测定索引进行存储的数据结构的例子。
80.关于这些特征量对错误预测模型中的错误判定结果的贡献度，例如在错误预测模型通过以决策树为基础的算法来构建的情况下，能够通过基于各特征量在模型内的分支中出现的个数、目标函数的改善值等而计算出的变量重要度(feature importance)、计算各特征量的值对模型输出的灵敏度的shap值来进行评价。在此，shap是用于求出各变量(特征量)对模型的预测结果的贡献的方法，是shapley additive explanations(沙普利可加性模型解释方法)的简称。
81.在图2的模型选择部14中选择的模型是错误预测模型a的情况下，在错误预测模型a的输入中例如输入测定索引为1的行的数据，基于包含特征量z1的情况与排除了特征量z1的情况的错误预测模型a的输出结果的差分，计算对错误判定的贡献度通过对全部的特征量以及全部的测定索引反复进行该计算，能够将各特征量对预测模型的判定结果带来何种程度的影响进行数值化。各特征量中的shap值的总和能够从值大的特征量起依次显示于终端4。换言之，能够将由模型解析部15计算出的贡献度的值高的特征量作为错误原因候选，经由终端4等提示给用户。
82.这样，通过解析输入数据记录部5中的特征量相对于错误预测模型的灵敏度，能够向用户提示与错误具有高相关性的特征量。
83.而且，通过对由模型选择部14输入的数据选择性能良好的模型，即使在数据内混合存在具有各种特征的错误数据的情况下，也能够避免将关联低的特征量作为噪声提取，提高所提取的特征量的精度。
84.另外，在由上述的模型选择部14选择了2个以上的模型的情况下，也可以将这些多
个模型的解析结果复合来提示相关性高的特征量。
85.接着，说明在模型选择部14中选择了错误预测模型a和错误预测模型b作为2个模型的情况下的错误原因候选的提示方法。
86.图6是表示本实施例的模型评价部以及模型解析部中的处理以及显示例的示意图。
87.在该图中，输入数据记录部5的输入数据和模型数据库12(图2)的错误预测模型a(210)被输入到模型评价部13a以及模型解析部15a。另外，输入数据记录部5的输入数据和模型数据库12(图2)的错误预测模型b(211)被输入到模型评价部13b以及模型解析部15b。并且，能够显示特征量对错误的贡献度的图表231。
88.模型评价部13a、13b以及模型解析部15a、15b的功能与图2相同。另外，在图6中，为了说明而各示出了2个模型评价部13a、13b以及模型解析部15a、15b，但实际上，也可以分别由1个模型评价部13a、13b以及模型解析部15a、15b依次或者并行地执行处理。
89.在该图中，对于由模型解析部15a、15b计算出的每个特征量的shap值的总和通过由模型评价部13a、13b得到的模型评价值进行校正来计算最终的贡献度最简单地说，例如在模型评价部13a、13b中的模型性评价指标为再现率的情况下，通过将模型的再现率与shap值相乘，能够得到最终的贡献度通过按值从大到小的顺序排列显示由各错误预测模型计算出的最终的贡献度能够将与从多个模型复合的错误具有高相关性的特征量以排序形式经由终端4提示给用户。
90.而且，说明针对这些错误产生，针对贡献度高的排序上位的特征量，使特征量的值与对错误的贡献度的关系可视化的例子。
91.图7是表示本实施例的特征量的值与参数对错误产生的贡献度的关系的一例的图表。横轴表示特征量，纵轴表示参数对错误产生的贡献度。
92.如该图所示，通过将基于对错误的贡献度的值的正常区域及危险区域的判定、实际的错误产生位置显示于终端4的画面，用户能够评价提取出的特征量的妥当性。
93.在图2中选择的错误原因与实际不同的情况下，用户能够经由终端4指定(修正)正确的错误原因。在实施了指定的情况下，由第二错误预测模型生成部17生成新的错误预测模型。
94.接着，对第二错误预测模型生成部17中的模型生成步骤进行说明。
95.图8是表示本实施例的第二错误预测模型生成步骤的流程图。
96.在该图中，在存在用户对原因参数的修正的情况下(步骤s800)，转移到步骤s201。
97.在步骤s201中，进行错误预测模型的生成所需的学习数据的选择(提取)。选择方法与图3的步骤s101不同。在图8的步骤s201中，针对由错误预测模型检测出的错误，提取包含相同的方案或类似方案的数据。
98.该图中的以后的s102至s105的处理与图3相同。
99.接着，在步骤s202中，对错误预测模型进行解析，将在步骤s201中提取出的学习数据内的特征量中的对错误判定的贡献度数值化。这是与图2中的模型解析部15同样的处理。
100.在步骤s203中，如果在预先决定的顺位内的贡献度高的特征量中不包含由用户指定的错误原因，则从s102起反复进行同样的处理，如果包含，则作为新错误预测模型的生成
完成而保存到模型数据库12中(步骤s300)。
101.这样，在通过机器学习无法找到正解的情况下，能够通过人工告知正解来使学习模型高度化。
102.实施例2
103.图9是表示实施例2的具备数据分类部的错误原因推定装置的结构图。
104.本实施例(该图)与实施例1的不同点在于，将对从输入数据记录部5发送的数据进行分类的数据分类部18设置于错误原因推定装置3。其他结构与图2相同。
105.在实施例1中，假设在相同方案中产生的错误是相同的原因的情况下，使用相同的方案或类似的方案的数据来执行模型评价、模型生成。
106.与此相对，在本实施例(图9)中，数据分类部18按照每个错误原因对错误数据进行分类，按照分类后的每个错误数据执行模型评价、模型生成。
107.接着，对数据分类部18的结构进行说明。
108.图10是表示图9的数据分类部的详细情况的结构图。
109.在图10中，数据分类部18具备错误预测模型生成部19、模型解析部115、错误原因聚类部20、数据分割部21以及分割数据记录部122。
110.错误预测模型生成部19生成错误预测模型，该错误预测模型用于从输入数据记录部5发送的输入数据中包含的错误产生的有无的判定。在错误预测模型生成部19中的工序中，能够使用与图8的步骤s103相同的工序。
111.模型解析部115例如使用shap值来计算各特征量对由错误预测模型生成部19生成的模型的判定结果做出了何种程度的贡献。
112.错误原因聚类部20对由模型解析部115计算出的shap值所代表的各特征量对错误的贡献度，应用无监督学习来进行分类。
113.数据分割部21分割为分类后的错误和正常数据。分割后的数据被保存在分割数据记录部122中。
114.接着，对该分类的考虑方法进行说明。
115.图11是表示使用特征量的值和参数对错误产生的贡献度的关系来分类错误数据的状态的图表。横轴表示特征量，纵轴表示参数对错误产生的贡献度。
116.在该图中，将与不同的错误原因对应的分类1、2分割为各自的区域，在各区域中将设为产生了错误的数据(错误数据)分离。这是因为，在原因不同的错误中，用于判别该错误的模型内部的分支方式也不同，期待表示对错误判定的贡献度的shap值的存在范围按照与错误原因关联的每个特征量而不同。根据该shap值分离错误数据。
117.对于这样按照每个错误原因分离后的错误数据，通过图9的第一错误预测模型生成部16、第二错误预测模型生成部17生成错误预测模型，通过模型解析部15解析模型，由此即使在输入数据记录部5的输入数据内存在多个无法通过模型数据库12内的错误预测模型应对的错误原因的情况下，也能够避免关联低的特征量作为噪声而提取，能够提高提取的特征量的精度。在此，在使用由数据分类部18分割出的错误数据来生成错误预测模型时，能够将作为与对象的错误数据相同的方案或类似的方案的正常数据一并用作学习数据。
118.另外，也可以对分类后的每个错误数据赋予不同的标签，与该标签一起生成错误预测模型并保存到模型数据库12中。该标签赋予既可以依次自动地分配不同的索引，也可
以由用户标注错误原因。该错误原因的标注以分割后的数据为单位实施即可，因此与作为现有方法的对1件产生错误单位的标注相比，能够大幅削减处理数。在该情况下，在图9中不需要模型评价部13，模型选择部14的功能置换为选择错误数据的标签与错误预测模型的标签一致的动作。
119.实施例3
120.在实施例1的错误原因推定装置中，也可以设为在图2的模型数据库12内保存了充分的错误预测模型的变化时，不生成新的错误预测模型，而对所输入的错误数据仅实施错误原因的推定的运用。
121.关于该情况下的错误原因推定装置的结构，作为实施例3进行说明。
122.图12是表示本实施例的错误原因推定装置的结构图。
123.在该图中，作为错误数据，从数据库22输入产生了错误的测定点的方案、测量结果、与之相同的晶圆且相同的方案的测定点的方案、测量结果的数据集。
124.在特征量生成部11中，针对这些数据提取适合于机器学习模型的特征量，向模型输入错误数据记录部23输出错误数据。
125.以后的处理与图2相同，从模型数据库12内选择1个以上的评价值相对于模型输入错误数据记录部23的错误预测高的错误预测模型，作为该模型的解析结果，将对错误预测贡献度大的特征量经由终端4提示给用户。在该情况下，不需要模型选择部14。
126.这样，将错误原因推定装置3的功能限定为产生的错误的原因推定，也能够使所需的输入数据成为最小限度。
127.图13是表示错误原因推定装置的变形例的结构图。
128.在该图中，错误原因推定装置3具备错误原因标签取得部24和错误原因标签数据库25(错误原因标签db)。由此，能够基于由模型解析部15提取出的特征量来取得错误原因候选。
129.在错误原因标签数据库25中保存与各特征量或该特征量的组合对应的错误原因的关系。在该情况下，预先需要对特征量标注错误原因，但与作为现有方法的对1件产生错误单位的标注相比，能够大幅削减所需的处理数。
130.在错误原因标签取得部24中，使用错误原因标签数据库25内的标签关系对由模型解析部15得到的排序上位的特征量赋予对应的错误原因。
131.将该被标注的错误原因经由终端4提示给用户。此时，也可以将由模型解析部15计算出的各特征量的贡献度的大小换算为对应的错误原因的确信度来进行显示。
132.接着，对该显示的例子进行说明。
133.图14是表示本实施例的向用户显示错误原因候选的显示例的图。
134.图中右侧的图表示出了由模型解析部15计算出的各特征量的贡献度的大小。图中左侧示出了基于右侧图表所示的数据换算出的错误原因的确信度。
135.这样，通过解析错误预测模型来计算有助于错误判定的特征量，标注与各特征量或该特征量的组合对应的错误原因，能够向用户提示与产生的错误相关性高的特征量或对应的错误原因候选。
136.(其他)
137.本发明并不限定于上述的实施例，包括各种变形例。上述的实施例是为了容易理
解地说明本发明而详细说明的实施例，并不限定于必须具备所说明的全部结构。例如，实施例3的图13所示的错误原因标签取得部24和错误原因标签数据库25也能够与实施例1的图2和实施例2的图9组合，能够分别向用户示出与特征量、特征量的组合关联起来的错误原因。
138.在上述的实施例中，说明了推定半导体检查装置的错误原因的例子，但通过生成规定装置的动作的参数以及关于在采用该参数时是否产生错误的预测模型，对于半导体检查装置以外的装置也能够应用本发明。
139.另外，在上述的实施例中，示出了使用shap值将特征量对错误预测模型的贡献度数值化的例子，但也能够应用特征重要性(feature importance)等其他评价值。
140.附图标记说明
141.1：半导体检查装置，2、22：数据库，3：错误原因推定装置，4：终端，5：输入数据记录部，11：特征量生成部，12：模型数据库，13、13a、13b：模型评价部，14：模型选择部，15、15a、15b、115：模型解析部，16：第一错误预测模型生成部，17：第二错误预测模型生成部，18：数据分类部，19：错误预测模型生成部，20：错误原因聚类部，21：数据分割部，23：模型输入错误数据记录部，24：错误原因标签取得部，25：错误原因标签数据库，101：网络。
技术特征：1.一种错误原因的推定装置，其特征在于，所述错误原因的推定装置具备：特征量生成部，其使用从外部发送的数据来生成适合于机器学习模型的特征量；模型数据库，其具有至少一个以上的错误预测模型，该错误预测模型将所述特征量作为输入数据而用于有无错误产生的判定；模型评价部，其将所述错误预测模型的预测结果与实际测量出的真正的错误结果进行比较来评价所述错误预测模型的性能；模型选择部，其从所述模型数据库中选择由所述模型评价部计算出的评价值为预先设定的预定值以上的所述错误预测模型；以及错误预测模型生成部，其在由所述模型选择部选择的所述错误预测模型没有符合的情况下，针对测量出的错误生成新的错误预测模型。2.根据权利要求1所述的错误原因的推定装置，其特征在于，所述错误原因的推定装置还具备：数据分类部，其按照每个错误原因将所述输入数据内的错误数据分类。3.根据权利要求2所述的错误原因的推定装置，其特征在于，所述错误预测模型生成部对分类后的每个所述错误数据赋予不同的标签，与该标签一起生成所述错误预测模型，并将该错误预测模型发送给所述模型数据库。4.根据权利要求1至3中的任意一项所述的错误原因的推定装置，其特征在于，所述错误原因的推定装置还具备：模型解析部，其将所述特征量对由所述模型选择部选择的所述错误预测模型中的错误判定结果的贡献度数值化。5.根据权利要求4所述的错误原因的推定装置，其特征在于，对于由所述模型解析部计算出的所述贡献度的值高的所述特征量，作为错误原因候选提示给用户。6.根据权利要求4所述的错误原因的推定装置，其特征在于，在由所述模型选择部选择了多个错误预测模型的情况下，所述模型评价部计算模型评价值，使用所述模型评价值对由所述模型解析部计算出的每个所述特征量的所述贡献度进行校正，对于从所述多个错误预测模型分别计算出的校正后的贡献度的值高的所述特征量，作为错误原因候选提示给用户。7.根据权利要求5或6所述的错误原因的推定装置，其特征在于，所述错误原因的推定装置还具有另一个错误预测模型生成部，在由所述用户对所述错误原因候选进行了修正的情况下，该另一个错误预测模型生成部以使修正后的错误原因包含在所述模型解析部的解析结果中的方式生成错误预测模型。8.根据权利要求4所述的错误原因的推定装置，其特征在于，所述错误原因的推定装置还具备：错误原因标签数据库，其保存与由所述特征量生成部生成的所述特征量及该特征量的组合中的至少任意一方对应的错误原因的关系；以及错误原因标签取得部，其使用所述错误原因标签数据库内的标签关系，对与由所述模型解析部数值化后的所述贡献度对应的所述特征量赋予对应的错误原因。
9.根据权利要求1至3中的任意一项所述的错误原因的推定装置，其特征在于，所述错误预测模型生成部使用发生了作为对象的错误的工作工序及该工作工序以前的工作工序中的所述输入数据来生成新的错误预测模型。10.一种错误原因的推定方法，其特征在于，所述错误原因的推定方法包括：特征量生成工序，使用从外部发送的数据来生成适合于机器学习模型的特征量；模型评价工序，将保存在模型数据库中的错误预测模型的预测结果与实际测量出的真正的错误结果进行比较，将所述特征量作为输入数据来评价在有无错误产生的判定中使用的错误预测模型的性能；模型选择工序，从所述模型数据库中选择在所述模型评价工序中计算出的评价值为预先设定的预定值以上的所述错误预测模型；以及错误预测模型生成工序，在所述模型选择工序中选择的所述错误预测模型没有符合的情况下，针对测量出的错误生成新的错误预测模型。
技术总结错误原因的推定装置具备：特征量生成部，其使用从外部发送的数据来生成适合于机器学习模型的特征量；模型数据库，其具有至少一个以上的错误预测模型，该错误预测模型将特征量作为输入数据而用于有无错误产生的判定；模型评价部，其将错误预测模型的预测结果与实际测量出的真正的错误结果进行比较来评价错误预测模型的性能；模型选择部，其从模型数据库选择由模型评价部计算出的评价值为预先设定的预定值以上的错误预测模型；以及错误预测模型生成部，其在由模型选择部选择的错误预测模型没有符合的情况下，针对测量出的错误生成新的错误预测模型。由此，即使没有错误原因的事先注释，也能够针对产生的多种错误推定其原因。也能够针对产生的多种错误推定其原因。也能够针对产生的多种错误推定其原因。
技术研发人员：吉田泰浩 石川昌义 早川功一 高野正干 笹岛二大
受保护的技术使用者：株式会社日立高新技术
技术研发日：2020.03.31
技术公布日：2022/11/1
