1.本发明涉及智能家居技术领域，尤其涉及一种智能家居综合实验系统及数据处理方法。
背景技术：2.智能家居是通过物联网技术将家中的各种家居设备连接到一起，提供家居设备的智能联网控制。与普通家居相比，智能家居不仅具有传统的居住功能，还具有家居设备信息共享和自动化等特点，可以为家庭生活创造高品质的生活环境。
3.对智能家居进行实验研究可以验证智能家居环境和智能家居设备的性能。目前，智能家居的实验研究主要在仿真环境下针对不同的智能家居研究问题搭建不同的实验平台，采集的数据准确性低，应用场景单一。
技术实现要素：4.针对现有技术存在的问题，本发明提供一种智能家居综合实验系统及数据处理方法，实现真实智能家居空间的综合实验研究。
5.本发明提供一种智能家居综合实验系统，包括实验管理平台、网关设备和部署于真实智能家居空间中的多通道传感器网络，所述实验管理平台包括人机交互装置、实验控制模块和数据存储模块，所述实验控制模块与所述多通道传感器网络通过所述网关设备通信；
6.所述多通道传感器网络用于采集所述真实智能家居空间中的多模态数据；
7.所述人机交互装置用于提供实验项目配置界面，接收面向所述实验项目配置界面的输入操作；
8.所述实验控制模块用于通过所述网关设备从所述多通道传感器网络获取所述多模态数据，并将所述多模态数据保存至所述数据存储模块的第一存储区，响应于所述输入操作，确定实验内容信息，并从所述第一存储区中读取与所述实验内容信息关联的目标实验数据，基于所述实验内容信息对所述目标实验数据进行分析处理，得到实验结果数据。
9.根据本发明提供的一种智能家居综合实验系统，所述实验内容信息用于指示目标实验的实验内容，所述目标实验的实验内容包括如下至少之一：目标内容推荐、居家场景的环境状态决策、居家场景全局分析、智能家居设备可用性测试、智能家居设备稳定性测试、多通道传感器网络性能优化、能源管理、气味分析、步态分析、姿态分析、行为预测、多模态数据融合分析和神经网络模型训练。
10.根据本发明提供的一种智能家居综合实验系统，所述实验控制模块包括获取子模块、第一处理子模块和第二处理子模块；
11.所述获取子模块用于通过所述网关设备从所述多通道传感器网络获取所述多模态数据；
12.所述第一处理子模块用于根据数据预处理规则对所述多模态数据进行预处理，得
到预处理后的多模态数据，并将所述预处理后的多模态数据按照数据存储规则保存至所述数据存储模块的第一存储区；其中，所述数据预处理规则包括数据分类、数据标记和数据过滤中的至少一种数据预处理方式；所述数据存储规则包括基于数据来源设备存储、基于数据标记索引存储和基于所述数据存储模块的结构存储中的至少一种存储方式；
13.所述第二处理子模块用于响应于所述输入操作，确定实验内容信息，并从所述第一存储区中读取与所述实验内容信息关联的目标实验数据，基于所述实验内容信息对所述目标实验数据进行分析处理，得到实验结果数据。
14.根据本发明提供的一种智能家居综合实验系统，所述实验内容信息包括推荐系统类别信息，所述实验结果数据用于提供目标推荐内容；所述实验项目配置界面中包括推荐系统类别配置控件；
15.所述人机交互装置具体用于接收面向所述推荐系统类别配置控件的第一配置操作；
16.所述第二处理子模块具体用于响应于所述第一配置操作，确定所述推荐系统类别信息，根据所述推荐系统类别信息确定目标推荐内容指标项，并从所述第一存储区中读取与所述目标推荐内容指标项关联的第一目标实验数据，基于所述目标推荐内容指标项对所述第一目标实验数据进行统计分析，得到目标推荐内容指标项的指标值，基于所述指标值从推荐内容库中匹配推荐内容，得到所述目标推荐内容；
17.所述人机交互装置还用于输出所述目标推荐内容。
18.根据本发明提供的一种智能家居综合实验系统，所述实验项目配置界面中包括居家环境控制类别配置控件；
19.所述人机交互装置具体用于接收面向所述居家环境控制类别配置控件的第二配置操作；
20.所述第二处理子模块具体用于响应于所述第二配置操作，确定居家环境控制类别信息，从所述第一存储区中读取与所述居家环境控制类别信息关联的第二目标实验数据，基于所述第二目标实验数据识别居家场景并对所述第二目标实验数据进行统计分析，将统计分析结果与所述居家场景下的宜居环境状态数据进行比对，根据比对结果调整所述多通道传感器网络中连接的所述居家场景对应的智能家居设备的工作状态。
21.根据本发明提供的一种智能家居综合实验系统，所述实验项目配置界面中包括能源管理配置控件；
22.所述人机交互装置具体用于接收面向所述能源管理配置控件的第三配置操作；
23.所述第二处理子模块具体用于响应于所述第三配置操作，确定所述真实智能家居空间中的能源监测对象，从所述第一存储区中读取与所述能源监测对象关联的第三目标实验数据，基于所述能源监测对象对所述第三目标实验数据进行统计分析，得到所述能源监测对象的能耗趋势信息，基于所述能耗趋势信息优化所述多通道传感器网络中连接的所述能源监测对象对应的智能家居设备的能耗。
24.根据本发明提供的一种智能家居综合实验系统，所述实验项目配置界面中包括实验数据选择控件和数据处理方式配置控件；
25.所述人机交互装置还用于接收面向所述实验数据选择控件的第四配置操作和面向所述数据处理方式配置控件的第五配置操作；
26.所述实验控制模块还用于响应于所述第四配置操作，确定目标实验内容标识信息，并从所述第一存储区中读取与所述目标实验内容标识信息关联的第四目标实验数据，响应于所述第五配置操作，确定所述第四目标实验数据的目标处理方式，基于所述目标处理方式对所述第四目标实验数据进行处理，得到衍生数据，并将所述衍生数据保存至所述数据存储模块的第二存储区；
27.其中，所述目标处理方式包括数据同步、数据剪切、数据拼接、数据融合、数据降维和数据标注中至少之一。
28.根据本发明提供的一种智能家居综合实验系统，所述实验项目配置界面中还包括模型训练配置控件；
29.所述人机交互装置还用于接收面向所述模型训练配置控件的第六配置操作；
30.所述实验控制模块还用于响应于所述第六配置操作，确定待训练神经网络模型和训练数据标识，从所述第一存储区和所述第二存储区中的至少一个存储区读取与所述训练数据标识关联的第五目标实验数据，基于所述第五目标实验数据对所述待训练神经网络模型进行训练，得到目标神经网络模型。
31.根据本发明提供的一种智能家居综合实验系统，所述实验管理平台还包括与所述实验控制模块连接的服务发布模块；
32.所述服务发布模块用于接收客户端设备发送的实验请求消息，响应于所述实验请求消息，向所述客户端设备发送实验内容申请界面，接收所述客户端设备发送的基于在所述实验内容申请界面中输入的实验内容申请信息，并将所述实验内容申请信息发送给所述实验控制模块，所述实验内容申请信息包括实验对象和所述实验对象对应的实验内容；
33.所述实验控制模块还用于执行所述实验对象对应的实验内容，得到实验申请结果数据，并将所述实验申请结果数据通过所述服务发布模块发送给所述客户端设备。
34.根据本发明提供的一种智能家居综合实验系统，所述智能家居综合实验系统还包括网络监控模块，所述网络监控模块与所述网关设备连接，用于监测所述智能家居综合实验系统的网络状态，得到网络状态信息，并基于所述网络状态信息生成网络通信优化策略，所述网络通信优化策略用于指导所述智能家居综合实验系统的网络的优化调整。
35.本发明还提供一种基于智能家居综合实验系统的数据处理方法，包括：
36.获取多通道传感器网络采集的真实智能家居空间中的多模态数据，所述多通道传感器网络部署于所述真实智能家居空间中；
37.将所述多模态数据保存至数据存储模块的第一存储区；
38.响应于面向实验项目配置界面的输入操作，确定实验内容信息，所述实验项目配置界面用于配置待研究实验项目的实验内容信息；
39.从所述第一存储区中读取与所述实验内容信息关联的目标实验数据；
40.基于所述实验内容信息对所述目标实验数据进行分析处理，得到实验结果数据。
41.本发明提供的智能家居综合实验系统及数据处理方法，通过部署于真实智能家居空间中的多通道传感器网络采集真实智能家居空间中的多模态数据，并将该多模态数据保存在数据存储模块的第一存储区，数据来源于真实智能家居空间，准确性和可用性较高；在进行智能家居实验研究时，可以通过实验项目配置界面配置待研究实验项目的实验内容信息，基于该实验内容信息可以从第一存储区中读取与该实验内容信息关联的目标实验数
据，然后基于该实验内容信息对读取的目标实验数据进行分析处理，得到实验结果数据，这样，可以在同一个真实智能家居空间中根据研究需要进行多种不同的智能家居实验，实现了真实智能家居空间的综合实验研究，能够满足多种应用场景的需求，重复利用率高。
附图说明
42.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
43.图1是本发明提供的智能家居综合实验系统的结构示意图之一；
44.图2是本发明提供的智能家居综合实验系统的结构示意图之二；
45.图3是本发明提供的基于智能家居综合实验系统的数据处理方法的流程示意图。
具体实施方式
46.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
47.对智能家居进行实验研究可以验证智能家居环境、传感器部署方法、智能家居设备功能的可用性和实用性以及智能家居设备的性能等。对于智能家居用户，其很难将完整、全套的传感器网络部署到家居环境中，进行规范化、大量集的数据采集工作。而且，对于智能家居用户而言，其房屋中多为单一级的智能家居系统，主要实现单品功能或智能家居系统的简单联动，无法形成全套级体系的大范围应用，所收集的数据容易出现不准确或不可用的情况，智能家居环境及智能家居系统中的传感器部署方法、设备功能的可用性和实用性等无法得到验证，不利于智能家居的控制和优化。
48.相关技术中，对于智能家居的实验研究主要针对单点研究，而且，针对单一问题所搭建的智能家居实验场地具有搭建时间久、可重复利用率较低以及应用场景单一的问题，无法进行智能家居全面系统化的研究。因此，急需提供一种能够在综合、真实的人居环境下开展智能家居实验研究的平台，以对智能家居进行完整的流程化实验研究。
49.基于此，在本发明实施例中，提供了一种智能家居综合实验系统，在真实智能家居空间中部署多通道传感器网络来采集真实智能家居空间中的多模态数据，实验管理平台可以通过网关设备与该多通道传感器网络通信，获取多通道传感器网络采集的多模态数据并保存至数据存储模块的第一存储区。在进行智能家居实验研究时，可以通过实验管理平台的人机交互装置配置待研究实验项目的实验内容信息，实验管理平台可以基于该实验内容信息可以从第一存储区中读取与该实验内容信息关联的目标实验数据，然后基于该实验内容信息对读取的目标实验数据进行分析处理，得到实验结果数据。该实验结果数据可以用于指导真实智能家居空间的调整或提供应用于智能家居框架外的其他关联领域的研究数据。
50.下面结合图1和图2对本发明提供的智能家居综合实验系统进行描述。
51.图1示例性示出了本发明实施例提供的智能家居综合实验系统的结构示意图之一，参照图1所示，该智能家居综合实验系统可以包括实验管理平台110、网关设备120和部署于真实智能家居空间中的多通道传感器网络130，实验管理平台110可以包括人机交互装置111、实验控制模块112和数据存储模块113，该实验控制模块112与多通道传感器网络130可以通过网关设备120通信。多通道传感器网络130与真实智能家居空间中的各类智能家居设备联网通信。
52.其中，多通道传感器网络130可以用于采集真实智能家居空间中的多模态数据，该多模态数据可以包括图像数据、视频数据、音频数据、光线数据、温度数据、湿度数据、气味数据、步态数据、室内气体含量数据、家电使用状态数据、用电量数据、用水量数据、天然气用量数据和家具状态数据等。示例性的，该多通道传感器网络130中可以包括红-绿-蓝(rgb)相机组、麦克风组、深度相机、红外相机、嗅觉传感器、电容压感地板、环境传感器、用量传感器和装配于家电设备及家具上的压力传感器、光敏传感器等多种传感器，可以基于检测对象在真实智能家居空间中部署这些传感器。
53.示例性的，rgb相机组可以记录真实智能家居空间的图像数据和视频数据；多个麦克风构成的麦克风组可以记录真实智能家居空间中的音频数据；深度相机可以记录深度信息；红外相机可以包括主动红外相机和被动红外相机，主动红外相机可以记录夜间或暗光环境数据，被动红外相机可以记录温度环境数据；嗅觉传感器可以记录气味数据；电容压感地板可以记录步态数据；环境传感器可以检测室内二氧化碳、一氧化碳、烟雾、天然气等气体，也可以检测温度、湿度、光照等；用量传感器可以包括检测用电量情况的电量传感器、检测用水量情况的水流量传感器和检测天然气用量的天然气传感器等，可以通过用量传感器检测真实智能家居空间整体或单体设备的用电量、用水量、用气量和使用频率等数据；配置在沙发、床、座椅等家具上的多种传感器，比如压感传感器、光敏传感器等可以检测家具的使用状态数据等。
54.人机交互装置111可以用于提供实验项目配置界面，接收面向该实验项目配置界面的输入操作。实验人员可以通过该实验项目配置界面进行实验项目的配置。
55.实验控制模块112可以用于通过网关设备120从多通道传感器网络130获取多模态数据，并将该多模态数据保存至数据存储模块113的第一存储区；实验控制模块112响应于在实验项目配置界面中的输入操作，确定实验内容信息，并从第一存储区中读取与该实验内容信息关联的目标实验数据，基于该实验内容信息对目标实验数据进行分析处理，得到实验结果数据。该实验结果数据可以用于指导真实智能家居空间的调整，比如智能家居设备的工作状态调整、多通道传感器网络130的架构调整、真实智能家居空间的布局调整等，或者，该实验结果数据可以提供应用于智能家居框架外的其他关联领域的研究数据，比如作为姿态分析、情感计算等方面的研究数据。
56.示例性的，基于在实验项目配置界面中的输入操作所确定的实验内容信息可以用于指示目标实验的实验内容，该目标实验的实验内容可以包括如下至少之一：目标内容推荐、居家场景的环境状态决策、居家场景全局分析、智能家居设备可用性测试、智能家居设备稳定性测试、多通道传感器网络性能优化、能源管理、气味分析、步态分析、姿态分析、行为预测、多模态数据融合分析和神经网络模型训练。通过该智能家居综合实验系统可以实现多种实验项目研究，包括单个实验项目研究和多个实验项目的综合研究。
57.在图1所示的智能家居综合实验系统中，各种设备(包括智能家居设备和传感器等)及其数据通过网关互相关联，每个智能家居设备和传感器均具有唯一的身份标识，各设备之间相互独立存在，可以依靠网关设备120和实验控制模块112进行关联控制。该智能家居综合实验系统内的多通道传感器网络130、智能家居设备及各类设备之间的关联关系可变，并具有可扩展性，可以依据实验研究需求和技术条件进行改造。
58.本示例实施例提供的智能家居综合实验系统，通过部署于真实智能家居空间中的多通道传感器网络采集真实智能家居空间中的多模态数据，并将该多模态数据保存在数据存储模块的第一存储区，数据来源于真实智能家居空间，准确性和可用性较高；在进行智能家居实验研究时，可以通过人机交互装置配置待研究实验项目的实验内容信息，基于该实验内容信息可以从第一存储区中读取与该实验内容信息关联的目标实验数据，然后基于该实验内容信息对读取的目标实验数据进行分析处理，得到实验结果数据，这样，可以在同一个真实智能家居空间中根据研究需要进行多种不同的智能家居实验，实现了真实智能家居空间的综合实验研究，能够满足多种应用场景的需求，重复利用率高。
59.基于图1对应实施例的智能家居综合实验系统，在一种示例实施例中，实验控制模块112可以包括获取子模块、第一处理子模块和第二处理子模块。其中，获取子模块可以用于通过网关设备从多通道传感器网络获取多模态数据；第一处理子模块可以用于根据数据预处理规则对多模态数据进行预处理，得到预处理后的多模态数据，并将预处理后的多模态数据按照数据存储规则保存至数据存储模块的第一存储区；第二处理子模块可以用于响应于输入操作，确定实验内容信息，并从第一存储区中读取与实验内容信息关联的目标实验数据，基于实验内容信息对目标实验数据进行分析处理，得到实验结果数据。
60.示例性的，数据预处理规则可以包括数据分类、数据标记和数据过滤中的至少一种数据预处理方式，但不限于此。示例性的，数据分类比如可以按照数据内容、数据格式和数据来源设备的部署位置等其中至少一种进行分类。数据标记比如可以按照时间段标记或按照传感器类型标记等，按照时间段标记比如可以将一天划分为设定个时间段，比如平均划分为早中晚三个时间段，为每个时间段的数据添加该时间段的标记；按照传感器类型标记比如可以按照视频、音频、用量和环境等不同类型的传感器进行数据标记。数据过滤比如可以包括删除无用数据和错误数据等，例如删除长时间不存在人像的图片数据、删除离散数据等。通过数据预处理可以将多通道传感器网络130所采集的数据中的无用数据过滤掉，减少数据量并提高数据的准确性，同时可以通过数据分类和数据标记等对数据进行整理，为后续的数据存储和处理提供方便，提高数据处理的效率。
61.示例性的，数据存储规则可以包括基于数据来源设备存储、基于数据标记索引存储和基于数据存储模块的结构存储中的至少一种存储方式，但不限于此。通过将预处理后的多模态数据按照数据存储规则保存至数据存储模块的第一存储区，可以有效利用数据存储模块的存储空间，同时便于后续数据处理过程中对数据存储模块中数据的调用，提高数据查找的效率。
62.基于图1对应实施例的智能家居综合实验系统，在一种示例实施例中，可以基于该智能家居综合实验系统进行推荐系统的实验研究。具体的，基于在实验项目配置界面中的输入操作所确定的实验内容信息可以包括推荐系统类别信息，该推荐系统类别信息可以指示推荐系统推荐内容的类别，该类别比如可以包括食谱、游戏、视频、音乐等。相应的，实验
结果数据可以用来提供目标推荐内容，实验项目配置界面中可以包括推荐系统类别配置控件，通过该推荐系统类别配置控件可以设置实验研究的推荐系统的类别。
63.相应的，人机交互装置111可以具体用于接收面向推荐系统类别配置控件的第一配置操作。实验控制模块112中的第二处理子模块可以具体用于响应于第一配置操作，确定推荐系统类别信息，根据推荐系统类别信息确定目标推荐内容指标项，并基于目标推荐内容指标项从第一存储区中读取与该目标推荐内容指标项关联的第一目标实验数据，基于目标推荐内容指标项对第一目标实验数据进行统计分析，得到目标推荐内容指标项的指标值，基于该指标值从推荐内容库中匹配推荐内容，得到目标推荐内容，该目标推荐内容可以通过人机交互装置111进行输出。
64.以推荐系统推荐早餐食谱为例，多通道传感器网络130可以实时采集设定时间内的各种类型数据保存在数据存储模块113的第一存储区中。进行推荐系统推荐早餐食谱的实验研究时，实验人员可以通过人机交互装置111在实验项目配置界面中设置推荐系统类别信息，比如选定推荐早餐食谱，确定后，实验控制模块112可以基于该推荐早餐食谱的类别信息从数据存储模块113的第一存储区中读取与食谱推荐相关联的数据，比如可以读取二氧化碳传感器采集的夜间睡眠时段的二氧化碳浓度数据、布设于床体的压力传感器采集的夜晚睡姿等与睡眠质量相关的数据以及温度传感器采集的温度数据等，基于这些数据可以联合分析人的夜晚睡眠质量，可以读取嗅觉传感器采集的近期设定时间段的烹饪及呼出的气味数据，基于这些气味数据可以分析人的近期健康状况，同时可以读取从智能家居设备采集的人体生理数据(比如年龄、身高、体重等)和食品营养信息等，可以将夜晚睡眠质量、近期健康状况、人体生理数据和食品营养信息等作为推荐内容指标项进行综合考量，通过统计分析得到每一推荐内容指标项对应数据的指标值，然后基于该指标值从预设的早餐库中对次日早餐进行智能化推荐，该早餐库可以保存推荐内容指标项的指标值与早餐食谱的对应关系。示例性的，也可以为每一推荐内容指标项设置权重，利用每一推荐内容指标项权重和指标值计算总得分，通过总得分从预设的早餐库中对次日早餐进行智能化推荐，相应的，该早餐库可以保存得分值与早餐食谱的对应关系。
65.示例性的，实验人员也可以通过人机交互装置111在实验项目配置界面中直接设置推荐内容指标项，确定后，实验控制模块112可以直接基于该推荐内容指标项从第一存储区中读取相关联的数据。
66.基于图1对应实施例的智能家居综合实验系统，在一种示例实施例中，可以基于该智能家居综合实验系统进行复杂决策的实验研究。比如，以进行居家环境控制的实验研究为例，实验项目配置界面中可以包括居家环境控制类别配置控件，通过该控件可以设置实验研究的居家环境控制类别，比如可以包括基础环境控制和场景环境控制中的至少一种。基础环境控制可以指示是对温度、湿度、二氧化碳浓度、环境噪声、时间、空气质量等基础环境条件的控制，场景环境控制可以指示是对家庭娱乐场景、居家办公场景等其中至少一种居家场景的控制。
67.具体的，人机交互装置111可以用于接收面向居家环境控制类别配置控件的第二配置操作；实验控制模块112的第二处理子模块具体用于响应于第二配置操作，确定居家环境控制类别信息，从第一存储区中读取与该居家环境控制类别信息关联的第二目标实验数据，基于第二目标实验数据识别居家场景并对第二目标实验数据进行统计分析，比如数值
分析、时间序列分析和峰值分析等，将统计分析结果与该居家场景下的宜居环境状态数据进行比对，根据比对结果调整多通道传感器网络中连接的居家场景对应的智能家居设备的工作状态。其中的宜居环境状态数据可以基于真实智能家居空间的用户习惯、用户行为等确定。
68.例如，以基础环境控制为例，从第一存储区中获取温度、湿度、二氧化碳浓度等基础环境数据，对此进行统计分析，将统计分析结果与阈值数据进行比较，达到阈值时通过网关设备120向多通道传感器网络130中的对应智能居家设备发送指令，控制智能家居设备更改设备工作状态来提供适合人类生活的基础环境。
69.场景环境控制可以在基础环境控制的基础上结合相机、麦克风、压感地板等进一步进行环境状态控制。以居家办公场景为例，可以在基础环境数据的基础上结合第一存储区中的图像数据、视频数据、音频数据、步态数据、家具使用状态数据等判断真实智能家居空间中是否有用户以及识别该用户的习惯和行为，基于该习惯和行为确定出当前为居家办公场景，可以基于此匹配适合该用户工作的温度、湿度、氛围光线、音乐等环境状态，以此控制智能家居设备调整工作状态以符合该环境状态的要求。同时还可以定时提示用户喝水和起身放松，对用户的工作进度进行监控提示等。
70.通过复杂决策研究，可以使用多通道传感器网络130感知周围环境和人类活动并主动匹配与人类活动相适合的场景状态，并基于此控制智能家居设备来服务特定场景的人类活动。基于该实验研究可以优化复杂决策算法、优化真实智能家居空间的布局、优化智能家居设备等。
71.基于图1对应实施例的智能家居综合实验系统，在一种示例实施例中，可以基于该智能家居综合实验系统进行能源管理实验研究。具体的，实验项目配置界面中可以包括能源管理配置控件；人机交互装置111可以具体用于接收面向该能源管理配置控件的第三配置操作；实验控制模块112中的第二处理子模块可以具体用于响应于第三配置操作，确定真实智能家居空间中的能源监测对象，从第一存储区中读取与该能源监测对象关联的第三目标实验数据，基于该能源监测对象对第三目标实验数据进行统计分析，得到能源监测对象的能耗趋势信息，基于能耗趋势信息优化多通道传感器网络中连接的能源监测对象对应的智能家居设备的能耗。其中的能源监测对象可以包括水、电、天然气等其中的一个或多个。通过能源管理实验研究可以优化智能家居的能源管理算法、优化与能源管理相关的智能家居设备等。
72.例如，以水电用量统计为例，可以通过多通道传感器网络130中的用量传感器监控智能家居设备对相关水用量和电用量的统计，通过环境传感器监控设定位置的温度和湿度等基础环境状态信息，综合分析能耗趋势，基于能耗趋势优化水电用量相关的智能家居设备的功率、开关时长等。
73.一种示例实施例中，智能家居综合实验系统可以用于对特定场景或综合场景进行全方位分析，比如可以对推荐系统、复杂决策和能源管理等进行联合分析。例如，针对家庭娱乐场景，可以通过多通道传感器网络130所感知的数据推荐适合参与者的游戏，匹配适合家庭娱乐场景的灯光、音乐氛围以及相关智能家居设备的启停等，对家庭娱乐场景下的用电量、用水量和燃气量等能耗水平进行统计。进一步的，可以通过融合姿态识别、语音识别、上下文分析、能耗水平匹配、设备开关状态等信息综合判断在此场景中的人类活动内容。基
于该人类活动内容可以控制智能家居设备工作，可以驱动推荐算法优化以向智能家居设备下达匹配度更高的指令来辅助人类生活，也可以进一步验证智能家居环境及智能家居设备的可用性、可靠性、家居环境的空间布局、智能家居设备的使用习惯等其中的至少一项。
74.一种示例实施例中，可以通过该智能家居综合实验系统对智能家居设备的可用性进行测试，比如，可以将被测智能家居设备布置在真实智能家居空间中，通过多通道传感器网络130在主试人员不在场的情况下直接获取用户使用被测智能家居设备时的数据，如操作行为、使用周期等，并通过这些数据来分析用户真实使用状况下的情况，然后基于真实使用数据对智能家居设备的设计逻辑进行分析，以进一步改进设计。
75.基于图1对应实施例的智能家居综合实验系统，在一种示例实施例中，可以基于该智能家居综合实验系统进行基于实验研究需求的数据处理，得到衍生数据，为智能家居框架外的其他关联领域提供研究数据，比如姿态识别、情感识别等。具体的，实验项目配置界面中包括实验数据选择控件和数据处理方式配置控件；人机交互装置111还可以用于接收面向实验数据选择控件的第四配置操作和面向数据处理方式配置控件的第五配置操作；实验控制模块112还可以用于响应于第四配置操作，确定目标实验内容标识信息，并从第一存储区中读取与目标实验内容标识信息关联的第四目标实验数据，响应于第五配置操作，确定第四目标实验数据的目标处理方式，基于目标处理方式对第四目标实验数据进行处理，得到衍生数据，并将衍生数据保存至数据存储模块的第二存储区；其中，目标处理方式可以包括数据同步、数据剪切、数据拼接、数据融合、数据降维和数据标注中至少之一。
76.示例性的，数据同步比如可以按时间戳进行同步；数据剪切可以是将一个片段数据裁剪成设定数量个子片段数据，比如将8小时语音数据剪切成8段1小时长度的语音数据；数据拼接可以是将多个数据片段拼接成一段数据，比如将100张图片拼接成帧率为25fps的视频；数据融合可以是将多个模态的数据进行融合，比如将视频图像数据和语音数据进行融合等；数据降维比如可以包括将图像数据转化为骨骼点数据、将音频数据转换为文本数据、波形数据等；数据标注可以包括语意标注和特征标注等至少之一，例如标注动作、事件内容、开始点、结束点、观察特征等。示例性的，数据标注在前期可以使用人工标注的方法，在后期数据集足够多或算法模型准确率高的情况下，可以利用第一处理子模块的预处理功能基于强化学习或无监督学习等方式进行自动标注。
77.一种示例实施例中，得到的衍生数据可以用于模型的训练。具体的，实验项目配置界面中还可以包括模型训练配置控件；人机交互装置111还可以用于接收面向该模型训练配置控件的第六配置操作；实验控制模块112还可以用于响应于该第六配置操作，确定待训练神经网络模型和训练数据标识，从第一存储区和第二存储区中的至少一个存储区读取与该训练数据标识关联的第五目标实验数据，基于第五目标实验数据对待训练神经网络模型进行训练，得到目标神经网络模型。
78.例如，实验人员可以通过模型训练配置控件从智能家居综合实验系统提供的初始神经网络中选定一个或多个作为待训练神经网络模型，或者通过模型训练配置控件对选定的初始神经网络进行修改后作为待训练神经网络模型，或者通过模型训练配置控件新建待训练神经网络模型，或者通过模型训练配置控件加载外部设备保存或发送的待训练神经网络模型，同时，实验人员可以通过模型训练配置控件选择训练待训练神经网络模型所需的训练数据，比如需要训练能够识别人体姿态的神经网络模型，可以设置人体姿态相关的训
练数据标识，基于该训练数据标识从第一存储区和第二存储区中读取第五目标实验数据。
79.基于图1对应实施例的智能家居综合实验系统，在一种示例实施例中，第三方可以向该智能家居综合实验系统申请实验研究，利用该智能家居综合实验系统平台进行实验研究或调用数据存储模块113保存的数据。图2示例性示出了本发明实施例提供的智能家居综合实验系统的结构示意图之二，参照图2所示，图1的基础上，实验管理平台110还可以包括与实验控制模块112连接的服务发布模块114。该服务发布模块114可以用于接收客户端设备发送的实验请求消息，响应于实验请求消息，向客户端设备发送实验内容申请界面，接收客户端设备发送的基于在实验内容申请界面中输入的实验内容申请信息，并将实验内容申请信息发送给实验控制模块，实验内容申请信息包括实验对象和实验对象对应的实验内容；实验控制模块112还可以用于执行实验对象对应的实验内容，得到实验申请结果数据，并将实验申请结果数据通过服务发布模块114发送给客户端设备。
80.基于图1对应实施例的智能家居综合实验系统，在一种示例实施例中，可以基于该智能家居综合实验系统进行网络通信分析，分析系统内网关的连接质量，通过改变内网架构以及传输方式等方法对网络数据传输质量、设备连接状况、数据存储模块、设备响应时间等进行进一步优化。具体的，智能家居综合实验系统还可以包括网络监控模块，该网络监控模块与网关设备120连接，用于监测智能家居综合实验系统的网络状态，得到网络状态信息，并基于该网络状态信息生成网络通信优化策略，该网络通信优化策略用于指导智能家居综合实验系统的网络的优化调整。
81.本发明实施例提供的智能家居综合实验系统，一方面，可以在真实智能家居空间中采集非表演状态下的真实数据，数据的准确性和可用性较高；另一方面，可以在同一个真实智能家居空间中根据研究需要进行多种不同的智能家居实验，能够对多个场景、涉及多个交叉领域的研究问题进行实验研究，实现了真实智能家居空间的综合实验研究，能够满足多种应用场景的需求，具有较强的扩展性，重复利用率高；而且，可以对多个关联场景进行统一部署和调度，保证人居环境中各个场景之间的上下文关系，可以提供覆盖全屋的智能家居联动解决方案；再者，通过智能家居综合实验系统进行实验研究的结果数据可以指导真实智能家居空间的调整，也可以应用于智能家居框架外的其他关联领域的研究，为相关领域的研究提供数据支撑。
82.下面对本发明提供的基于智能家居综合实验系统的数据处理方法进行描述，下文描述的基于智能家居综合实验系统的数据处理方法与上文描述的智能家居综合实验系统可相互对应参照。
83.图3示例性示出了本发明实施例提供的基于智能家居综合实验系统的数据处理方法的流程示意图。示例性的，该基于智能家居综合实验系统的数据处理方法可以应用于智能家居综合实验系统的实验管理平台。参照图3所示，该基于智能家居综合实验系统的数据处理方法可以包括如下的步骤310～步骤350。
84.步骤310：获取多通道传感器网络采集的真实智能家居空间中的多模态数据。该多通道传感器网络部署于真实智能家居空间中，可以采集真实智能家居空间中的多模态数据。
85.步骤320：将多模态数据保存至数据存储模块的第一存储区。
86.示例性的，将多模态数据保存至数据存储模块的第一存储区可以包括：根据数据
预处理规则对多模态数据进行预处理，得到预处理后的多模态数据，并将该预处理后的多模态数据按照数据存储规则保存至数据存储模块的第一存储区。其中，数据预处理规则可以包括数据分类、数据标记和数据过滤中的至少一种数据预处理方式；数据存储规则可以包括基于数据来源设备存储、基于数据标记索引存储和基于数据存储模块的结构存储中的至少一种存储方式。
87.步骤330：响应于面向实验项目配置界面的输入操作，确定实验内容信息，实验项目配置界面用于配置待研究实验项目的实验内容信息。
88.示例性的，实验内容信息用于指示目标实验的实验内容，目标实验的实验内容可以包括如下至少之一：目标内容推荐、居家场景的环境状态决策、居家场景全局分析、智能家居设备可用性测试、智能家居设备稳定性测试、多通道传感器网络性能优化、能源管理、气味分析、步态分析、姿态分析、行为预测、多模态数据融合分析和神经网络模型训练。
89.步骤340：从第一存储区中读取与实验内容信息关联的目标实验数据。
90.步骤350：基于实验内容信息对目标实验数据进行分析处理，得到实验结果数据。该实验结果数据可以用于指导真实智能家居空间的调整或提供应用于智能家居框架外的其他关联领域的研究数据。
91.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行如图3对应实施例的方法。
92.以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
技术特征：1.一种智能家居综合实验系统，其特征在于，包括实验管理平台、网关设备和部署于真实智能家居空间中的多通道传感器网络，所述实验管理平台包括人机交互装置、实验控制模块和数据存储模块，所述实验控制模块与所述多通道传感器网络通过所述网关设备通信；所述多通道传感器网络用于采集所述真实智能家居空间中的多模态数据；所述人机交互装置用于提供实验项目配置界面，接收面向所述实验项目配置界面的输入操作，所述实验项目配置界面用于配置待研究实验项目的实验内容信息；所述实验控制模块用于通过所述网关设备从所述多通道传感器网络获取所述多模态数据，并将所述多模态数据保存至所述数据存储模块的第一存储区，响应于所述输入操作，确定实验内容信息，并从所述第一存储区中读取与所述实验内容信息关联的目标实验数据，基于所述实验内容信息对所述目标实验数据进行分析处理，得到实验结果数据。2.根据权利要求1所述的智能家居综合实验系统，其特征在于，所述实验内容信息用于指示目标实验的实验内容，所述目标实验的实验内容包括如下至少之一：目标内容推荐、居家场景的环境状态决策、居家场景全局分析、智能家居设备可用性测试、智能家居设备稳定性测试、多通道传感器网络性能优化、能源管理、气味分析、步态分析、姿态分析、行为预测、多模态数据融合分析和神经网络模型训练。3.根据权利要求1所述的智能家居综合实验系统，其特征在于，所述实验控制模块包括获取子模块、第一处理子模块和第二处理子模块；所述获取子模块用于通过所述网关设备从所述多通道传感器网络获取所述多模态数据；所述第一处理子模块用于根据数据预处理规则对所述多模态数据进行预处理，得到预处理后的多模态数据，并将所述预处理后的多模态数据按照数据存储规则保存至所述数据存储模块的第一存储区；其中，所述数据预处理规则包括数据分类、数据标记和数据过滤中的至少一种数据预处理方式；所述数据存储规则包括基于数据来源设备存储、基于数据标记索引存储和基于所述数据存储模块的结构存储中的至少一种存储方式；所述第二处理子模块用于响应于所述输入操作，确定实验内容信息，并从所述第一存储区中读取与所述实验内容信息关联的目标实验数据，基于所述实验内容信息对所述目标实验数据进行分析处理，得到实验结果数据。4.根据权利要求3所述的智能家居综合实验系统，其特征在于，所述实验内容信息包括推荐系统类别信息，所述实验结果数据用于提供目标推荐内容；所述实验项目配置界面中包括推荐系统类别配置控件；所述人机交互装置具体用于接收面向所述推荐系统类别配置控件的第一配置操作；所述第二处理子模块具体用于响应于所述第一配置操作，确定所述推荐系统类别信息，根据所述推荐系统类别信息确定目标推荐内容指标项，并从所述第一存储区中读取与所述目标推荐内容指标项关联的第一目标实验数据，基于所述目标推荐内容指标项对所述第一目标实验数据进行统计分析，得到目标推荐内容指标项的指标值，基于所述指标值从推荐内容库中匹配推荐内容，得到所述目标推荐内容；所述人机交互装置还用于输出所述目标推荐内容。5.根据权利要求3所述的智能家居综合实验系统，其特征在于，所述实验项目配置界面
中包括居家环境控制类别配置控件；所述人机交互装置具体用于接收面向所述居家环境控制类别配置控件的第二配置操作；所述第二处理子模块具体用于响应于所述第二配置操作，确定居家环境控制类别信息，从所述第一存储区中读取与所述居家环境控制类别信息关联的第二目标实验数据，基于所述第二目标实验数据识别居家场景并对所述第二目标实验数据进行统计分析，将统计分析结果与所述居家场景下的宜居环境状态数据进行比对，根据比对结果调整所述多通道传感器网络中连接的所述居家场景对应的智能家居设备的工作状态。6.根据权利要求3所述的智能家居综合实验系统，其特征在于，所述实验项目配置界面中包括能源管理配置控件；所述人机交互装置具体用于接收面向所述能源管理配置控件的第三配置操作；所述第二处理子模块具体用于响应于所述第三配置操作，确定所述真实智能家居空间中的能源监测对象，从所述第一存储区中读取与所述能源监测对象关联的第三目标实验数据，基于所述能源监测对象对所述第三目标实验数据进行统计分析，得到所述能源监测对象的能耗趋势信息，基于所述能耗趋势信息优化所述多通道传感器网络中连接的所述能源监测对象对应的智能家居设备的能耗。7.根据权利要求1所述的智能家居综合实验系统，其特征在于，所述实验项目配置界面中包括实验数据选择控件和数据处理方式配置控件；所述人机交互装置还用于接收面向所述实验数据选择控件的第四配置操作和面向所述数据处理方式配置控件的第五配置操作；所述实验控制模块还用于响应于所述第四配置操作，确定目标实验内容标识信息，并从所述第一存储区中读取与所述目标实验内容标识信息关联的第四目标实验数据，响应于所述第五配置操作，确定所述第四目标实验数据的目标处理方式，基于所述目标处理方式对所述第四目标实验数据进行处理，得到衍生数据，并将所述衍生数据保存至所述数据存储模块的第二存储区；其中，所述目标处理方式包括数据同步、数据剪切、数据拼接、数据融合、数据降维和数据标注中至少之一。8.根据权利要求7所述的智能家居综合实验系统，其特征在于，所述实验项目配置界面中还包括模型训练配置控件；所述人机交互装置还用于接收面向所述模型训练配置控件的第六配置操作；所述实验控制模块还用于响应于所述第六配置操作，确定待训练神经网络模型和训练数据标识，从所述第一存储区和所述第二存储区中的至少一个存储区读取与所述训练数据标识关联的第五目标实验数据，基于所述第五目标实验数据对所述待训练神经网络模型进行训练，得到目标神经网络模型。9.根据权利要求1所述的智能家居综合实验系统，其特征在于，所述实验管理平台还包括与所述实验控制模块连接的服务发布模块；所述服务发布模块用于接收客户端设备发送的实验请求消息，响应于所述实验请求消息，向所述客户端设备发送实验内容申请界面，接收所述客户端设备发送的基于在所述实验内容申请界面中输入的实验内容申请信息，并将所述实验内容申请信息发送给所述实验
控制模块，所述实验内容申请信息包括实验对象和所述实验对象对应的实验内容；所述实验控制模块还用于执行所述实验对象对应的实验内容，得到实验申请结果数据，并将所述实验申请结果数据通过所述服务发布模块发送给所述客户端设备。10.根据权利要求1所述的智能家居综合实验系统，其特征在于，所述智能家居综合实验系统还包括网络监控模块，所述网络监控模块与所述网关设备连接，用于监测所述智能家居综合实验系统的网络状态，得到网络状态信息，并基于所述网络状态信息生成网络通信优化策略，所述网络通信优化策略用于指导所述智能家居综合实验系统的网络的优化调整。11.一种基于智能家居综合实验系统的数据处理方法，其特征在于，包括：获取多通道传感器网络采集的真实智能家居空间中的多模态数据，所述多通道传感器网络部署于所述真实智能家居空间中；将所述多模态数据保存至数据存储模块的第一存储区；响应于面向实验项目配置界面的输入操作，确定实验内容信息，所述实验项目配置界面用于配置待研究实验项目的实验内容信息；从所述第一存储区中读取与所述实验内容信息关联的目标实验数据；基于所述实验内容信息对所述目标实验数据进行分析处理，得到实验结果数据。
技术总结本发明提供一种智能家居综合实验系统及数据处理方法，该系统包括实验管理平台、网关设备和部署于真实智能家居空间中的多通道传感器网络，实验管理平台包括：人机交互装置；数据存储模块；实验控制模块，与多通道传感器网络通过网关设备通信，用于获取多通道传感器网络采集的真实智能家居空间中的多模态数据并保存至数据存储模块的第一存储区，响应于通过人机交互装置在实验项目配置界面上的输入操作，确定实验内容信息，从第一存储区中读取与实验内容信息关联的目标实验数据，基于实验内容信息对目标实验数据进行分析处理，得到实验结果数据。本发明的技术方案可以在同一个真实智能家居空间中进行多种不同的智能家居实验，重复利用率高。重复利用率高。重复利用率高。
技术研发人员：付心仪 徐迎庆 张鹤 薛程 何爽 孙喆 高莹婷
受保护的技术使用者：清华大学
技术研发日：2022.07.20
技术公布日：2022/11/1
