本公开涉及冰箱、服务器以及通过使用冰箱和服务器识别存储在冰箱中的食品的方法。
背景技术：
1、冰箱是一种用于储存冷藏或冷冻食品的电子设备（或家用电器）。冰箱不仅可以储存食品，还可以储存药品、酒类或化妆品。
2、技术的进步使得能够使用显示器来显示冰箱的操作模式。此外，冰箱在显示器上显示用户界面，从而显示信息或接收用户输入。此外，最近的冰箱可以包括可连接到外部设备（例如，接入互联网的服务器）的通信接口。
3、如此，冰箱已经通过显示器和通信接口向用户提供了各种服务。
4、以上信息仅作为背景信息提供，以帮助理解本公开。关于上述任何一项是否可以作为本公开的现有技术来应用，还没有做出确定，也没有做出断言。
技术实现思路
1、技术问题
2、提供了一种冰箱、服务器及其控制方法。
3、技术解决方案
4、附加方面将部分地在以下描述中阐述，且通过描述将部分地变得清楚明白，或者可以通过所呈现的实施例的实践来获知。
5、根据本公开的一个方面，服务器包括存储一个或多个指令的存储器和至少一个被配置为执行所述指令以获得在冰箱中拍摄的至少一张冰箱内部图像的处理器，通过将预存图像与获得的至少一张冰箱内部图像进行比较，识别在所获得的至少一张冰箱内部图像中是否存在在其中在获得的至少一张冰箱内部图像中发生变化的变化区域， 基于变化区域不存在于所获得的至少一张冰箱内部图像中，使用识别预存图像的第一结果来获得第一食品存储信息，基于变化区域存在于所获得的至少一张冰箱内部图像中，使用所获得的第一食品存储信息和识别包含在所获得的至少一张冰箱内部图像中的对象的第二结果来获得第二食品存储信息，并且向冰箱发送所获得的至少一张冰箱内部图像以及所获得的第一食品储存信息和所获得的第二食品储存信息中的一者或两者。
6、所述至少一个处理器还被配置为基于包含在预存图像中的每个第一像素的第一值和包含在获得的至少一张冰箱内部图像中的每个第二像素的第二值之间的差值，识别获得的至少一张冰箱内部图像中是否存在变化区域。
7、所述至少一个处理器还被配置为对所获得的至少一张冰箱内部图像应用校正所获得的至少一张冰箱内部图像的模糊的第一图像校正处理和增加所获得的至少一张冰箱内部图像的清晰度的第二图像校正处理中的任一者或两者，并且识别所述变化区域是否存在于应用了第一图像校正处理和所述第二图像校正处理中的任一者或两者的所获得的至少一张冰箱内部图像中。
8、所述至少一个处理器还被配置为利用食品变化感测模型来识别所获得的至少一张冰箱内部图像中的变化区域，并且其中所述食品变化感测模型是将第一图像、与第一图像相同但还包括具有变化的部分区域的第二图像和具有变化的位置信息作为学习数据进行训练的数据识别模型。
9、所述至少一个处理器还被配置为将所获得的至少一张冰箱内部图像改变为强调所获得的至少一张冰箱内部图像的边缘分量的新图像，并且基于所获得的至少一张冰箱内部图像被改变为新图像，基于基于边缘分量识别的对象的形状来识别包含在新图像中的对象。
10、所述至少一个处理器还被配置为基于变化区域存在于所获得的至少一张冰箱内部图像中，在所述变化区域中识别包含在所获得的至少一张冰箱内部图像中的对象。
11、所述至少一个处理器还被配置为利用食品识别模型来识别包含在所获得的至少一张冰箱内部图像中的第一类食品，其中所述食品识别模型是将包含食品、食品所属的食品类别以及食品在食品图像中所处位置的信息的食品图像作为第一学习数据进行训练的第一数据识别模型。
12、所述至少一个处理器还被配置为，基于对象被识别为加工食品，利用加工食品识别模型来识别包含在所获得的至少一张冰箱内部图像中的第二类加工食品，其中，所述加工食品识别模型是将相同加工食品的多张图像、相同加工食品的加工食品类别和相同加工食品的品牌名称作为第二学习数据进行训练的第二数据识别模型。
13、所获得的至少一张冰箱内部图像包括第一冰箱内部图像和第二冰箱内部图像，并且其中所述至少一个处理器还被配置为获得识别包含在第二冰箱内部图像中但在第一冰箱内部图像中未被识别的另一对象的第三结果。
14、根据本公开的一个方面，冰箱包括被配置为拍摄存储食品的储藏室的照相机、通信接口、处理器；以及存储一个或多个指令的存储器，所述指令使处理器基于预定事件的发生来控制照相机拍摄冰箱内部图像，并且控制通信接口将拍摄的冰箱内部图像发送到服务器，并且从服务器接收与发送的冰箱内部图像相对应的第一食品存储信息和第二食品存储信息中的一者或两者。
15、冰箱可以进一步包括显示器，并且所述一个或多个指令进一步使处理器控制显示器显示拍摄的冰箱内部图像，基于选择包含在显示器上显示的冰箱内部图像中的食品的第一用户输入，控制显示器显示所选择的食品所属的至少一个候选类别，并且基于选择所显示的至少一个候选类别中的一个的第二用户输入，将所选择的候选类别当中的一个识别为食品的类别。
16、冰箱可以进一步包括显示器，并且所述一个或多个指令还可以使处理器控制显示器显示食谱提供执行对象，基于选择显示器上显示的食谱提供执行对象的用户输入，控制通信接口将包含在拍摄的冰箱内部图像中的食品的类别发送到服务器，并且接收由服务器使用发送的种类获得的食谱，并且控制显示器显示接收到的食谱。
17、冰箱可以进一步包括显示器，并且所述一个或多个指令还使处理器控制显示器显示食品购买网站链接执行对象，基于选择显示在显示器上的食品购买网站链接执行对象的用户输入，控制所述通信接口访问销售与之前包含在拍摄的冰箱内部图像中但当前不包含在拍摄的冰箱内部图像中的食品相对应的食品类别的食品购买网站，并且控制显示器显示被访问的食品购买网站。
18、冰箱可以进一步包括显示器，并且所述指令还可以使处理器控制显示器显示健康信息显示执行对象，并且基于选择显示器上显示的健康信息显示执行对象的用户输入，使用先前包含在拍摄的冰箱内部图像中但当前不包含在拍摄的冰箱内部图像中的食品的卡路里来控制显示器显示用户的健康信息。
19、根据本公开的一个方面，冰箱包括被配置为拍摄存储食品的储藏室的照相机、通信接口、处理器和存储一个或多个指令的存储器，所述指令使处理器基于预定事件的发生来控制照相机拍摄冰箱内部图像，识别在拍摄的冰箱内部图像中是否存在在其中在拍摄的冰箱内部图像中发生变化的变化区域，通过比较预存图像与拍摄的冰箱内部图像，基于变化区域不存在于拍摄的冰箱内部图像中，使用识别预存图像的第一结果获得第一食品存储信息，并且基于变化区域存在于拍摄的冰箱内部图像中，控制通信接口将拍摄的冰箱内部图像发送到服务器，并且从所述服务器接收由所述服务器使用所述第一食品存储信息和识别包含在所发送的冰箱内部图像中的对象的第二结果而获得的第二食品存储信息。
20、所述一个或多个指令使处理器基于包含在预存图像中的每个第一像素的第一值和包含在拍摄的冰箱内部图像中的每个第二像素的第二值之间的差值来识别变化区域是否存在于拍摄的冰箱内部图像中。
21、所述一个或多个指令使所述处理器对所拍摄的冰箱内部图像应用校正所拍摄的冰箱内部图像的模糊的第一图像校正处理和增加所拍摄的冰箱内部图像的清晰度的第二图像校正处理中的任一者或两者，并且识别变化区域是否存在于应用了第一图像校正处理和所述第二图像校正处理中的任一者或两者的所拍摄的冰箱内部图像中。
22、所述一个或多个指令使处理器利用食品变化感测模型来识别所拍摄的冰箱内部图像中的变化区域，并且其中所述食品变化感测模型是将第一图像、与第一图像相同但还包含变化的部分区域以及变化的位置信息的第二图像作为学习数据进行训练的数据识别模型。
23、根据本公开的一个方面，用于控制服务器的方法，所述方法包括获取在冰箱中拍摄的至少一张冰箱内部图像，通过比较预存图像和获取的至少一张冰箱内部图像，确定在获取的至少一张冰箱内部图像中是否存在在其中在获取的至少一张冰箱内部图像中发生变化的变化区域，基于变化区域被确定为不存在于所获取的至少一张冰箱内部图像中，使用识别预存图像的第一结果来获取第一食品存储信息，基于变化区域被确定为存在于所获取的至少一张冰箱内部图像中，使用所获取的第一食品存储信息和识别包含在所获取的至少一张冰箱内部图像中的对象的第二结果来获取第二食品存储信息，以及将所获取的至少一张冰箱内部图像以及所获取的第一食品存储信息和所获取的第二食品存储信息中的一者或两者发送到冰箱。
24、所述方法可以进一步包括将预存图像和所获取的至少一张冰箱内部图像应用于被设置为识别所获取的至少一张冰箱内部图像中的变化区域的食品变化感测模型，并且所述食品变化感测模型可以是将第一图像、与第一图像相同但还包含变化的部分区域和变化的位置信息的第二图像作为学习数据进行训练的数据识别模型。
25、所述方法可以进一步包括将所获取的至少一张冰箱内部图像应用于被设置为识别包含在所获取的至少一张冰箱内部图像中的第一类食品的食品识别模型，并且所述食品识别模型可以是将包括食品、食品所属的食品类别以及食品在食品图像中所处位置的信息的食品图像作为第一学习数据进行训练的第一数据识别模型。
26、所述方法可以进一步包括，基于对象被识别为加工食品，将所获取的至少一张冰箱内部图像应用于被设置为识别包含在所获取的至少一张冰箱内部图像中的第二类加工食品的加工食品识别模型，并且所述加工食品识别模型可以是将相同加工食品的多张图像、相同加工食品的加工食品类别和相同加工食品的品牌名称作为第二学习数据来训练的第二数据识别模型。
27、根据本公开的一个方面，非暂时性计算机可读介质被配置为存储一个或多个包括指令的计算机程序，当由电子设备的处理器执行时，所述指令使得电子设备获取在冰箱中拍摄的至少一张冰箱内部图像，通过将预存图像和获取的至少一张冰箱内部图像进行比较，确定在所获取的至少一张冰箱内部图像中是否存在在其中在所获取的至少一张冰箱内部图像中发生变化的变化区域，基于变化区域被确定为不存在于获取的至少一张冰箱内部图像中，使用识别预存图像的第一结果来获取第一食品存储信息，基于变化区域被确定为存在于获取的至少一张冰箱内部图像中，使用所获取的第一食品储存信息和识别包含在所获取的至少一张冰箱内部图像中的对象的第二结果来获取第二食品存储信息，并且向冰箱发送所获取的至少一张冰箱内部图像以及所获取的第一食品储存信息和所获取的第二食品储存信息中的一者或两者。
28、根据本公开的一个方面，冰箱包括第一照相机、第二照相机、第一储藏室、第二储藏室、通信接口、处理器和被配置为存储一个或多个指令的存储器，所述指令使处理器控制第一照相机拍摄第一储藏室的第一冰箱内部图像，控制第二照相机拍摄第二储藏室的第二冰箱内部图像，通过将预存图像与所拍摄的第一冰箱内部图像和所拍摄的第二冰箱内部图像中的相应一个进行比较，确定所拍摄的第一冰箱内部图像和所拍摄的第二冰箱内部图像中的每一个的区域是否改变，基于区域被确定为在所拍摄的第一冰箱内部图像中没有改变，使用识别预存图像的第一结果来获取第一食品存储信息，并且基于区域被确定为在所拍摄的第二冰箱内部图像中发生改变，控制通信接口将所拍摄的第二冰箱内部图像发送到服务器，并且从服务器接收由服务器使用第一食品存储信息和识别包含在所发送的第二冰箱内部图像中的对象的第二结果获取的第二食品存储信息。
29、所述一个或多个指令可以进一步使处理器，以基于区域在拍摄的第二冰箱内部图像中被确定为不改变，获取第一食品存储信息，并且基于区域在拍摄的第一冰箱内部图像中被确定为发生改变，控制通信接口将拍摄的第一冰箱内部图像发送到服务器，并且从服务器接收由服务器使用第一食品存储信息和识别包含在所发送的第一冰箱内部图像中的另一对象的第三结果获取的第三食品存储信息。
30、根据本公开的一个方面，一种冰箱，包括：显示器；用于拍摄所述冰箱的内部的照相机；通信器，用于与存储识别模型的服务器通信，所述识别模型被训练为识别关于包括在图像中的食品的类别的信息；和处理器，被配置为：通过所述通信器向所述服务器发送由所述照相机获取的图像，并且从所述服务器获取关于由所述识别模型从所述图像识别的食品的类别的信息，以及控制所述显示器显示所述图像和关于所述食品的类别的信息。
31、根据本公开的一个方面，一种冰箱的控制方法，所述冰箱包括显示器并与存储识别模型的服务器通信，所述识别模型被训练为识别关于包括在图像中的食品的类别的信息，所述方法包括：向所述服务器发送由所述照相机获取的图像，并从所述服务器获取关于由所述识别模型从所述图像识别的食品的类别的信息；以及显示所述图像和关于所述食品的类别的信息。
32、根据本公开的一个方面，一种包括指令的非暂时性计算机可读介质，所述指令基于由冰箱的处理器执行，使得所述冰箱执行操作，所述冰箱包括显示器并与存储识别模型的服务器通信，所述识别模型被训练为识别关于包括在图像中的食品的类别的信息，所述操作包括：向所述服务器发送由所述照相机获取的图像，并从所述服务器获取关于由所述识别模型从所述图像识别的食品的类别的信息；以及显示所述图像和关于所述食品的类别的信息。
1.一种冰箱，包括：
2.根据权利要求1所述的冰箱，
3.根据权利要求2所述的冰箱，
4.根据权利要求2所述的冰箱，
5.根据权利要求2所述的冰箱，
6.根据权利要求1所述的冰箱，
7.根据权利要求1所述的冰箱，
8.一种冰箱的控制方法，所述冰箱包括显示器并与存储识别模型的服务器通信，所述识别模型被训练为识别关于包括在图像中的食品的类别的信息，所述方法包括：
9.根据权利要求8所述的控制方法，还包括：
10.根据权利要求9所述的控制方法，
11.根据权利要求9所述的控制方法，
12.根据权利要求9所述的控制方法，还包括：
13.根据权利要求8所述的控制方法，还包括：
14.根据权利要求8所述的控制方法，还包括：
15.一种包括指令的非暂时性计算机可读介质，所述指令基于由冰箱的处理器执行，使得所述冰箱执行操作，所述冰箱包括显示器并与存储识别模型的服务器通信，所述识别模型被训练为识别关于包括在图像中的食品的类别的信息，所述操作包括：
16.根据权利要求15所述的非暂时性计算机可读介质，还包括：
17.根据权利要求16所述的非暂时性计算机可读介质，
18.根据权利要求16所述的非暂时性计算机可读介质，
19.根据权利要求16所述的非暂时性计算机可读介质，还包括：
20.根据权利要求15所述的非暂时性计算机可读介质，还包括：
21.根据权利要求15所述的非暂时性计算机可读介质，还包括：
