1.本发明涉及数据统计技术领域，特别是一种客流统计装置及智能终端。
背景技术：2.当下，客流统计技术已成为城市公共场所中广泛应用的一项技术。例如，机场、车站、码头、银行、危险场所、工作区域等常需要统计进入、走出、停留在监控画面中行人的个数，以保证工作及生产场所的安全，同时也可进行考勤统计。而超市、商场、购物中心这样的商业设施还可以根据客流统计的结果，动态地安排工作人员，提高服务质量，并控制成本提升业绩。
3.常见的客流统计技术至少包括如下方式：基于压力传感器的方式、基于红外传感器的方式、基于wifi探针的方式和基于视觉/视频的方式。其中，基于压力传感器的方式和基于红外传感器的方式均是将传感器布置在场所出入口位置，需要行人贯序通过，无法应对多人同时通过的情形，而且仅限于客流出入分析；基于wifi探针的方式依赖于手机，可能存在一人携带多个手机、手机关机或不带手机的情形，统计结果并不精确；相较之下，基于视觉的方式布置非常灵活并且可以达到较高的精度，因而已然成为主流。
4.就统计内容而言，现有客流统计技术大多关注于统计进入、走出和停留在画面(或视频图像)的人数。但现实场景中，一些如商店商场的应用场景可能商家不仅仅关注整体客流量，还希望通过客流统计得出顾客在货柜或广告牌附近的停留时间，进而评估商品或展示内容的关注度。此时，就需要对行人驻足情况进行统计分析，但现有技术在这方面鲜有涉及。
技术实现要素：5.鉴于上述问题，本发明提出一种克服上述问题或者至少部分地解决上述问题的客流统计装置。
6.根据本发明的一个方面，提供了一种客流统计装置，所述客流统计装置包括依次耦合的行人检测模块、目标跟踪模块和统计模块；
7.所述行人检测模块，配置为检测视频图像内的至少一位行人作为目标对象；
8.所述目标跟踪模块包括基础跟踪单元和驻足分析单元；所述基础跟踪单元配置为对所述行人检测模块检测到的所述目标对象分配标识信息，并对各所述目标对象进行跟踪，得到包含各所述目标对象对应运动轨迹的跟踪信息；所述驻足分析单元配置为对所述基础跟踪单元跟踪到的各所述目标对象进行驻足分析，得到各所述目标对象是否驻足以及驻足时间的驻足信息；
9.所述统计模块，配置为根据所述基础跟踪单元的跟踪信息和所述驻足分析单元的驻足信息统计所述视频图像在设定时间内的客流信息。
10.可选地，所述目标跟踪模块中的基础跟踪单元还配置为：在所述行人检测模块检测到目标对象时，为所述目标对象分配唯一的标识信息；标记所述目标对象的驻足起始时
间和静止起始时间，并记录所述目标对象在一定持续时间内的运动轨迹；
11.所述驻足分析单元还配置为：根据所述目标对象对应的运动轨迹对所述目标对象进行驻足分析，以确定所述目标对象是在所述视频图像内驻足的行人或是误检的静止对象，并在确定所述目标对象在所述视频图像内驻足时，记录所述目标对象的驻足时间。
12.可选地，所述目标跟踪模块标记所述目标对象的驻足起始时间和静止起始时间的过程包括：遍历已有的跟踪对象列表，当在所述跟踪对象列表中未匹配到所述目标对象，则所述目标对象的驻足起始时间和静止起始时间均设置为所述行人检测模块检测到所述目标对象时的时间戳。
13.可选地，所述驻足分析单元还配置为根据所述目标对象对应的运行轨迹计算对应的位移标准差，并对比所述位移标准差和预设位移标准差阈值；根据所述位移标准差和预设位移标准差阈值的对比结果确定所述目标对象是在所述视频图像内驻足的行人或是误检的静止对象。
14.可选地，所述驻足分析单元预设有驻足位移标准差阈值、静止位移标准差阈值、驻足时长阈值和静止时长阈值；所述静止位移标准差阈值小于所述驻足位移标准差阈值；
15.当所述位移标准差处于所述驻足位移标准差阈值和所述静止位移标准差阈值之间，且当前跟踪时间戳与驻足起始时间的差值大于所述驻足时长阈值时，确定所述目标对象是在所述视频图像内驻足的行人；
16.当所述位移标准差小于所述静止位移标准差阈值，且当前跟踪时间戳与静止起始时间的差值大于静止时长阈值，则确定所述目标对象为误检的静止对象，将所述目标对象添加至预设的误检对象列表；否则，将所述目标对象的静止起始时间设置当前时间戳；
17.当所述位移标准差大于所述驻足位移标准差阈值时，将所述目标对象对应的驻足起始时间和静止起始时间均设置为当前时间戳。
18.可选地，根据所述目标对象对应的运行轨迹计算对应的位移标准差包括水平方向位移标准差和竖直方向位移标准差；所述驻足分析单元对比所述位移标准差与所述驻足位移标准差阈值、所述静止位移标准差阈值进行比较时，分别利用所述水平方向位移标准差、竖直方向位移标准差和所述驻足位移标准差阈值、所述静止位移标准差阈值进行比较。
19.可选地，所述驻足分析单元还配置为当甄别到所述行人检测模块检测的任一目标对象为误检的静止对象时，删除所述静止对象对应的驻足信息，将甄别结果同时反馈至所述基础跟踪单元，由所述基础跟踪单元删除所述静止对象对应的跟踪信息；
20.所述统计模块还用于根据修改后的所述跟踪信息和所述驻足信息更新统计的所述视频图像在设定时间内的人流信息。
21.可选地，所述行人检测模块设置有用于进行背景建模以得到所述视频图像内的运动区域的背景模型；所述行人检测模块包括模型修正单元；
22.所述驻足分析单元还配置为将所述甄别结果反馈至所述行人检测模块的修正单元，由修正单元利用所述甄别结果中静止对象对应的信息修正所述背景模型。
23.可选地，所述行人检测模块，配置为获取视频流数据，并基于所述视频流数据提取多张连续的视频图像，以进行行人检测。
24.可选地，所述装置还包括：范围限定模块，与所述目标跟踪模块耦合，配置为对所述目标跟踪模块中的驻足分析单元进行分析范围限定。
25.根据本发明的另一个方面，还提供了一种智能终端，设置有上述任一项所述的客流统计装置。
26.本发明提供了一种客流统计装置，通过行人检测模块对视频图像中的行人进行检测。然后，扩展的目标跟踪模块基于行人检测结果，由基础跟踪模块进行行人跟踪从而为各个行人提供唯一标识和运动轨迹，并进一步由驻足分析模块对跟踪到的行人分析其是否驻足并计算其驻足时间。最后，由统计模块根据行人跟踪结果和驻足分析结果，计算并输出行人进入、走出、停留在画面或指定区域的人数和时间以及行人驻足数目和时间。基于本发明实施例提供的方法，不仅能够统计指定场景中在一定时间内的客流量，通过客流统计得出顾客在货柜或广告牌附近的停留时间，进而评估商品或展示内容的关注度，从而更好地制定运营模式和提供个性化服务。
27.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
28.根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
29.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
30.图1示出了根据本发明一实施例的客流统计装置结构示意图；
31.图2示出了根据本发明实施例的行人检测模块工作流程示意图；
32.图3示出了根据本发明实施例的目标跟踪模块结构示意图；
33.图4示出了根据本发明另一实施例的客流统计装置结构示意图；
34.图5出了根据本发明一实施例的智能终端应用场景示意图；
35.图6出了根据本发明另一实施例的智能终端应用场景示意图。
具体实施方式
36.下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
37.本发明实施例提供了一种客流统计装置，本实施例的客流统计装置可以设置于任一具备运算以及数据分析能力的智能终端中，比如客流统计相机。
38.如图1所示，本实施例的客流统计装置可以包括依次耦合的行人检测模块、目标跟踪模块和统计模块。“耦合”是指两个部件彼此直接或问接地结合，这种结合可以是固定的或可移动性的,这科结合可以允许电、电信号或其它类型信号在两个模块之间进行通信。
39.本实施例中，进行客流统计时，通常是利用rgb相机或深度相机来采集视频图像，然后通过行人检测、目标跟踪和统计三个基本步骤或模块来实现客流统计。其中，rgb相机
或深度相机可以设置于商店、超市、自动贩卖机、智能广告牌等场景中。
40.所述行人检测模块，配置为检测视频图像内的至少一位行人作为目标对象。也即，相机采集的连续的视频图像可以输入客流统计装置的行人检测模块，由行人检测模块识别分析出视频图像内的至少一位行人，作为后续跟踪的目标。可选地，所述行人检测模块还可以配置为获取视频流数据，并基于所述视频流数据提取多张连续的视频图像，以进行行人检测；所述视频流数据包括画面水平的视频图像和/或画面倾斜的视频图像。本实施例中行人检测模块在获取视频流数据时，可以从预设数据库中获取一段离线的视频流数据，或者是基于如客流相机等图像采集设备获取到的实时拍摄的视频流。对于数据库中存储的视频流数据或者客流相机实时拍摄的视频流数据，在其拍摄过程中可能由于相机摆放位置以及姿态的不同，对应的拍摄角度可能也不相同，由于相机的水平拍摄或是倾斜拍摄则会生成画面水平的视频图像或者画面倾斜的视频图像，无论是视频图像的画面水平或倾斜，本实施例的行人检测模块均能够实现行人的检测识别。
41.具体地，如图1所示，行人检测模块检测目标对象的过程可以包括以下步骤s1～s6。
42.s1，对输入的图像进行预处理，例如进行下采样和/或格式转换。；其中，当深度图像分辨率较大时，对原始深度图像进行下采样(即缩小)；当深度图像位深度大于8时，将其转换为8bit图像。除此之外，还可以对预处理后的图像进行阈值选通，设定阈值范围[imin,imax],将超过阈值范围的像素值置为0。imin、imax根据应用需求和实际场景而定，例如设置imin为5，imax为250。
[0043]
s2，通过背景建模获取画面运动区域。可选地，所述行人检测模块设置有用于进行背景建模以得到所述视频图像内的运动区域的背景模型，通过该背景模型进行建模即可获取视频图像中的运动区域。
[0044]
背景建模(或称背景减除)是运动目标检测领域的一种常规手段(尤其是安防、监控领域较为常见)，对于相机固定且画面背景变化缓慢的场景，其可直接用于运动目标检测或作为前处理环节减少搜索范围进而减少计算量。对于本发明实施例所讨论的深度相机水平或斜拍的客流相机人体检测问题而言，其场景是适合使用背景建模的。背景建模的主要优势在于计算量相对较小、速度快。另外，如背景技术所述，客流相机深度图像中的人体形状往往是不完整的(比如头部或腿部缺失)且不固定的(大视场角模组靠近画面边缘人体畸变、倾斜较为严重)，这对于常规的基于单帧的检测手段(即便是深度学习)而言也是较大的挑战。而背景建模则能考虑多帧信息，不论形状如何，都能将运动目标(主要是行人)与画面背景区分开来。
[0045]
背景建模算法众多，效果方面需要能得到相对干净的背景和较完整的运动区域，要对噪声具备一定的容忍度，且允许目标短暂静止，同时还要有较好的实时性。本实施例优选采用码本算法(codebook)或lobster算法进行背景建模得到画面运动区域。
[0046]
s3，对所得运动区域进行聚类。聚类(也可称为区域生长)包括掩膜(mask)初始化和执行聚类两个步骤。
[0047]
s3-1，掩膜(mask)初始化
[0048]
制作一个和预处理后图像同等分辨率的图像掩膜用以标记像素是否有效。具体地，将步骤s2所得运动区域(前景)对应像素标记为有效，其余区域(背景)置为无效。进一
步，将图像掩膜的上、下、左、右边界像素都置为无效。(其有益效果：在执行聚类时避免对每个像素进行边界校验，提高效率)
[0049]
s3-2，执行聚类得到候选人体区域集合
[0050]
根据图像掩膜和预处理后的图像，对所有有效的像素进行聚类得到簇的集合即为候选人体区域集合。具体地，对于任意已在簇中的一个像素a，遍历其邻域像素，对任一有效的邻域像素ni，若ni与a的像素值之差的绝对值小于设定的簇内相似度阈值s，则将ni加入到a所在的簇中，否则新建一个簇并将ni加入其中并继续聚类。进一步，所述聚类会涉及图的搜索，具体地，可以采用深度优先搜索(depth-first-search,dfs)，也可以采用广度优先搜索(breadth-first-search,bfs)。优选地，采用广度优先搜索。(其有益效果：避免递归，内存消耗小，大多数情况下速度更快)
[0051]
s4，根据得到的簇集合计算人体检测结果。人体检测结果至少包括人体区域集合(即聚类所得的簇集合)和人体包围盒集合。可选地，人体检测结果还包括人头顶点集合。
[0052]
s5，对初步得到的人体检测结果进行修正，具体可以包括，对于识别出的任一人体结果进行重新检测，以确定是否是多个人体的粘连，如果是，则进行拆分处理。从另一方面来讲，假设检测出的人体结果未能构成一个完整的人体，则与其他的类似的检测结果进行撕裂合并处理。
[0053]
s6，对检测框进行重定向并输出检测结果。
[0054]
若s1中有对图像进行下采样，则s5所得的检测框是基于下采样后的图像分辨率的，所以需要将其重定向转回基于原始深度图像分辨率：记s1下采样的比例为sf，则将所有检测框位置、尺寸按照比例1/sf进行缩放即可。将重定向后的检测框集合作为最终人体检测结果输出。
[0055]
进一步地，行人检测模块得到的检测结果可以输入目标跟踪模块以进行人体的跟踪。
[0056]
在本实施例中，如图3所示，所述目标跟踪模块包括基础跟踪单元和驻足分析单元。所述基础跟踪单元配置为对所述行人检测模块检测到的所述目标对象分配标识信息，并对各所述目标对象进行跟踪，得到包含各所述目标对象对应运动轨迹的跟踪信息；所述驻足分析单元配置为对所述基础跟踪单元跟踪到的各所述目标对象进行驻足分析，得到各所述目标对象是否驻足以及驻足时间的驻足信息。可选地，跟踪信息可以包括行人进入、走出、停留在画面或指定区域的人数和时间，驻足信息可以包括行人驻足数目和时间。
[0057]
所述统计模块，配置为根据所述基础跟踪单元的跟踪信息和所述驻足分析单元的驻足信息统计所述视频图像在设定时间内的客流信息。
[0058]
本发明实施例提供的种客流统计装置，通过行人检测模块对视频图像中的行人进行检测。然后，扩展的目标跟踪模块基于行人检测结果，由基础跟踪模块进行行人跟踪从而为各个行人提供唯一标识和运动轨迹，并进一步由驻足分析模块对跟踪到的行人分析其是否驻足并计算其驻足时间。最后，由统计模块根据行人跟踪结果和驻足分析结果，计算并输出行人进入、走出、停留在画面或指定区域的人数和时间以及行人驻足数目和时间。基于本发明实施例提供的方法，不仅能够统计指定场景中在一定时间内的客流量，通过客流统计得出顾客在货柜或广告牌附近的停留时间。
[0059]
进一步地，本实施例中的统计模块在得到视频图像在设定时间内的客流信息之
后，还可以分析在视频图像中的至少一物品或广告牌对应的指定区域内的驻足人数以及驻足时间，以根据该指定区域内的驻足人数以及驻足时间评估对应商品或广告牌展示内容的关注度，举例来讲，可以划分不同等级关注度，较少关注度、一般关注度以及较高关注度，不同的等级的关注度所对应的最低驻足人数以及各驻足人数的最低驻足时间可以根据不同应用场景进行设置，通过对驻足信息与上述不同等级的关注度进行匹配可以得到商品或广告的关注程度，从而更好地制定运营模式和提供个性化服务。
[0060]
在本发明实施例中，所述目标跟踪模块中的基础跟踪单元还可以配置为：在所述行人检测模块检测到目标对象时，为所述目标对象分配唯一的标识信息；标记所述目标对象的驻足起始时间t
dwell_start
和静止起始时间t
stationay_start
，并记录所述目标对象在一定持续时间内的运动轨迹，该持续时间可以根据不同的应用场景进行设置。
[0061]
其中目标跟踪模块中的基础跟踪单元基于行人检测结果为每个初次检测到的行人分配一个唯一的标识(track id)，然后在后续各帧进行目标关联，从而得到行人运动轨迹，目标跟踪模块中的基础跟踪单元以及驻足分析单元各自在记录跟踪信息和驻足信息时，可以分别对应各目标对象进行记录，如表1所示。
[0062][0063]
基础跟踪单元在记录轨迹信息时，可以记录目标对象在视频图像中包含位置点的运动轨迹。
[0064]
所述驻足分析单元还配置为：根据所述目标对象对应的运动轨迹对所述目标对象进行驻足分析，以确定所述目标对象是在所述视频图像内驻足的行人或是误检的静止对象，并在确定所述目标对象在所述视频图像内驻足时，记录所述目标对象的驻足时间。也就是说，驻足分析单元不仅对跟踪到的行人分析其是否驻足并计算其驻足时间，还对被误检的静止物体进行甄别。静止是指一个对象在一个位置一直处于静止不动的状态；与静止状态不同的是，驻足是短暂的停留，当目标对象在一个位置停留一段时间后离开，即可判断该目标对象在该位置驻足。
[0065]
可选地，所述目标跟踪模块标记所述目标对象的驻足起始时间和静止起始时间的过程包括：遍历已有的跟踪对象列表，当在所述跟踪对象列表中未匹配到所述目标对象，则所述目标对象的驻足起始时间t
dwell_start
和静止起始时间t
stationay_start
均设置为所述行人检测模块检测到所述目标对象时的时间戳，也即每个跟踪目标在被创建时，驻足起始时间t
dwell_start
和静止起始时间t
stationay_start
均被初始化为创建时的时间戳。然后，在每次完成基础跟踪(或者完成基础跟踪的数据关联)之后，对于每个跟踪的目标，对其进行驻足分析。
[0066]
记现有跟踪目标列表为t＝{t1,t2,
…
,tn}，记本次基础跟踪时间戳为t(可以理解为跟踪时对应的当前时间戳)，记误检列表为d
fp
(用以反馈目标检测模块以及修正历史驻足人数)。
[0067]
可选地，所述驻足分析单元还配置为根据所述目标对象对应的运行轨迹计算对应的位移标准差，并对比所述位移标准差和预设位移标准差阈值；根据所述位移标准差和预设位移标准差阈值的对比结果确定所述目标对象是在所述视频图像内驻足的行人或是误检的静止对象。所述驻足分析单元预设有驻足位移标准差阈值、静止位移标准差阈值、驻足时长阈值和静止时长阈值；所述静止位移标准差阈值小于所述驻足位移标准差阈值。
[0068]
设定驻足位移标准差阈值t
dwell_σ
、静止位移标准差阈值t
stationary_σ
、驻足时长阈值t
dwell_duration
和静止时长阈值t
stationary_duration
；其中t
stationary_σ
取值应小于t
dwell_σ
。本实施例中的各个阈值的具体取值根据实际应用场景和应用需求来定，例如t
dwell_duration
可取值为3s，t
stationary_duration
取值为60s，本发明实施例对此不做具体限定。
[0069]
当所述位移标准差处于所述驻足位移标准差阈值和所述静止位移标准差阈值之间，且当前跟踪时间戳与驻足起始时间的差值大于所述驻足时长阈值时，确定所述目标对象是在所述视频图像内驻足的行人；
[0070]
当所述位移标准差小于所述静止位移标准差阈值，且当前跟踪时间戳与静止起始时间的差值大于静止时长阈值，则确定所述目标对象为误检的静止对象，将所述目标对象添加至预设的误检对象列表；否则，将所述目标对象的静止起始时间设置当前时间戳；
[0071]
当所述位移标准差大于所述驻足位移标准差阈值时，将所述目标对象对应的驻足起始时间和静止起始时间均设置为当前时间戳。
[0072]
举例来讲，目标跟踪模块标记所述目标对象的驻足起始时间和静止起始时间的过程，遍历现有跟踪目标列表t，对任意跟踪目标对象ti进行以下分析；
[0073]
a1,若在本次跟踪中未匹配到检测结果(未匹配到已跟踪的目标对象)，则将的驻足起始时间t
dwell_start
和静止起始时间t
stationay_start
均置为本次基础跟踪时间戳t并返回重新分析；否则执行下一步。
[0074]
a2,根据ti的轨迹信息(trace)计算其位移标准差σ。
[0075]
a3,若σ《t
dwell_σ
，则进一步判断：
[0076]
若t-t
dwell_start
》t
dwell_duration
，则判定ti为驻足状态。
[0077]
若σ《t
stationary_σ
且t-t
stationay_start
》t
stationary_duration
，则判定ti为误检的静止目标，将i加入到误检记录列表d
fp
中。否则，将ti的静止起始时间t
stationay_start
设置为本次基础跟踪时间戳t。
[0078]
否则，将ti的驻足起始时间t
dwell_start
和静止起始时间t
stationay_start
均置为本次基础跟踪时间戳t并返回已分析下一目标t
i+1
。
[0079]
本实施例中，根据的轨迹信息(trace)计算其位移标准差σ，相应计算公式为：
[0080][0081][0082][0083]
其中，σ
x
、σy分别为ti水平、竖直方向位移标准差，分别为均值，k为trace记
录({p1(x,y),p2(x,y),
…
,pk(x,y)})中的点数。
[0084]
可选地，根据所述目标对象对应的运行轨迹计算对应的位移标准差包括水平方向位移标准差和竖直方向位移标准差；所述驻足分析单元对比所述位移标准差与所述驻足位移标准差阈值、所述静止位移标准差阈值进行比较时，分别利用所述水平方向位移标准差、竖直方向位移标准差和所述驻足位移标准差阈值、所述静止位移标准差阈值进行比较。
[0085]
也即，上述步骤a3中条件σ《t
dwell_σ
也可替换为：σ
x
《t
dwell_σ
且σy《t
dwell_σ
。同理，上述步骤a3中条件σ《t
stationary_σ
可替换为σ
x
《t
stationary_σ
且σy《t
stationary_σ
，也即，只有在水平方向位移标准差、竖直方向位移标准差均小于驻足位移标准差阈值或者均小于静止位移标准差阈值时才会进行具体结果的确定，进而提升目标对象静止状态或者是驻足状态判断的准确性。
[0086]
可选地，所述驻足分析单元还配置为当甄别到所述行人检测模块检测的任一目标对象为误检的静止对象时，删除所述静止对象对应的驻足信息，将甄别结果同时反馈至所述基础跟踪单元，由所述基础跟踪单元删除所述静止对象对应的跟踪信息。对于误检测的目标对象来讲，通过删除对应的驻足信息以及跟踪信息，可以在节省存储空间的同时，使得所记录的数据更加清楚简洁，以便于后期进行人数的准确统计。
[0087]
前文介绍，所述行人检测模块设置有用于进行背景建模以得到所述视频图像内的运动区域的背景模型；相对应的，所述驻足分析单元还可以配置为将所述甄别结果反馈至所述行人检测模块，由所述行人检测模块修正所述背景模型。
[0088]
正如前文描述，驻足分析单元不仅对跟踪到的行人分析其是否驻足并计算其驻足时间，还对被误检的静止物体进行甄别。若发现误检的静止物体，则将误检的跟踪目标和检测结果剔除，并且把剔除的检测目标反馈给行人检测模块，以便其背景建模模块对相应的局部背景模型进行修正，进而改善后续的检测效果。可选地，所述行人检测模块包括模型修正单元，驻足分析单元所得到的甄别结果还可以反馈至行人检测模块中的修正单元，由修正单元利用所述甄别结果中静止对象对应的信息修正所述背景模型。
[0089]
与此同时，所述统计模块还用于根据修改后的所述跟踪信息和所述驻足信息更新统计的所述视频图像在设定时间内的人流信息。若统计结果包括历史人数、历史驻足人数，则当发现误检的静止物体时，将历史人数、历史驻足人数减去误检的静止物体数目，从而对统计结果进行修正。
[0090]
在本发明实施例中，如图4所示，客流统计装置还可以包括范围限定模块，该范围限定模块与目标跟踪模块耦合，其配置为对目标跟踪模块中的驻足分析单元进行范围限定，即仅对特定范围内的行人进行驻足分析。也就是说，若无范围限定模块，则是对整幅视频图像的行人进行驻足分析。
[0091]
进一步，范围限定模块所述范围限定可以是距离限定，也可以是roi(region of interest，感兴趣区域)限定。若客流统计装置用于采集图像的相机为深度相机，则所述范围限定可以是距离限定和/或roi限定，而若为rgb相机，则所述范围限定只能为roi限定。
[0092]
举例来讲，通过范围限定模块通过限定跟踪范围是商场内某个商品或者是广告牌一定距离范围，通过本实施例的客流统计装置可以识别该商品或者是广告牌附近的停留时间，进而评估商品或展示内容的关注度。基于本发明实施例提供的方案，通过对整个场景内或者是场景内的某个物品或对象进行客流统计，以及驻足分析，得到行人进入、走出、停留
在画面或指定区域的人数和时间以及行人驻足数目和时间的客流统计结果，进而根据客流统计结果指导商超或是客流统计装置所部署环境的管理者适应调整物品部署位置以及需求量，从而提升用户体验以及用户对商超的满意度和兴趣程度。可以理解为，客流统计装置所统计得到的客流信息还可以上传至云端服务器，由云端服务器对客流统计信息进行进一步分析，以获取用户对广告或物品的感兴趣程度，进而得到是否调整广告或者物品类型或增减广告或物品的推荐信息。
[0093]
根据本发明的另一个方面，还提供了一种智能终端，其设置有上述实施例所述的客流统计装置。除客流统计装置之外，智能终端还可以设置通讯模块、存储模块，以实现与云端服务器的通信，或者是统一场景中其他智能终端的通信。
[0094]
图5是根据本发明实施例的带有客流统计装置的智能终端应用场景示意图，该智能终端为商场、车站等公共场所的一个智能广告牌或智能贩卖机。若相应的客流统计装置为普通客流统计装置，则其一般用于统计整体客流量。而若集成了本发明实施例提供的客流统计装置，那还可以基于统计的行人驻足信息来判断所展示的内容或所售卖的商品对行人的吸引力。此外，当智能广告牌发现有行人驻足时，还可以自动展示广告。进一步，图5中智能终端的客流统计装置采用了深度相机，可以设置一个限定的范围，更具体地说设置一个限定的距离(比如3m)，即当有行人在限定的距离内驻足时，才纳入统计或产生类似自动展示广告的动作，而限定距离之外的驻足的行人则被忽略(不认为是对展示内容或商品感兴趣)。另外，基于本发明实施例提供的方法，通过对行人检测模块中的背景模型进行修正以及统计结果的修正，可以使得客流统计的结果更加精确。
[0095]
作为另一个应用场景，如图6所示，一个带有客流统计装置的智能终端，该智能终端为商铺、展馆的一个智能监控设备，相应地，图中a、b、c、d、e、f等区域为商铺内的不同品类商品区或展馆内的不同展区，管理者可以预先在画面中的商品区或展区周围标好限定的roi(图中虚线所示)。这样的智能监控设备，除了用于常规监控和客流量统计之外，可以用于精细化地监控各商品区或展区位置的行人驻足情况，以便管理者评估不同品类商品的关注度、转化率或不同展区的关注度，从而做出更合理地决策。本发明实施例的设置客流统计装置智能终端可以在保证结构简单的同时高效，对硬件算力要求低，无需npu、gpu等硬件模块，可直接在中低端cpu端运行，进而降低智能终端的成本。而且本实施例的智能终端体积可以根据需求调整大小，可以灵活部署，能够在即时进行信息统计的同时极大方便商家以及广告方获取商品和广告内容的关注度。
[0096]
所属领域的技术人员可以清楚地了解到，上述描述的系统、装置、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，为简洁起见，在此不另赘述。
[0097]
另外，在本发明各个实施例中的各功能单元可以物理上相互独立，也可以两个或两个以上功能单元集成在一起，还可以全部功能单元都集成在一个处理单元中。上述集成的功能单元既可以采用硬件的形式实现，也可以采用软件或者固件的形式实现。
[0098]
本领域普通技术人员可以理解：所述集成的功能单元如果以软件的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，其包括若干指令，用以使得一台智能终端(例如个人计算机，服务器，或者网络设备等)在运行所述指令时执行本发明各实施例所述方法的
全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom)、随机存取存储器(ram)，磁碟或者光盘等各种可以存储程序代码的介质。
[0099]
或者，实现前述方法实施例的全部或部分步骤可以通过程序指令相关的硬件(诸如个人计算机，服务器，或者网络设备等的智能终端)来完成，所述程序指令可以存储于一计算机可读取存储介质中，当所述程序指令被智能终端的处理器执行时，所述智能终端执行本发明各实施例所述方法的全部或部分步骤。
[0100]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：在本发明的精神和原则之内，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案脱离本发明的保护范围。
技术特征：1.一种客流统计装置，其特征在于，所述客流统计装置包括依次耦合的行人检测模块、目标跟踪模块和统计模块；所述行人检测模块，配置为检测视频图像内的至少一位行人作为目标对象；所述目标跟踪模块包括基础跟踪单元和驻足分析单元；所述基础跟踪单元配置为对所述行人检测模块检测到的所述目标对象分配标识信息，并对各所述目标对象进行跟踪，得到包含各所述目标对象对应运动轨迹的跟踪信息；所述驻足分析单元配置为对所述基础跟踪单元跟踪到的各所述目标对象进行驻足分析，得到各所述目标对象是否驻足以及驻足时间的驻足信息；所述统计模块，配置为根据所述基础跟踪单元的跟踪信息和所述驻足分析单元的驻足信息统计所述视频图像在设定时间内的客流信息。2.根据权利要求1所述的装置，其特征在于，所述目标跟踪模块中的基础跟踪单元还配置为：在所述行人检测模块检测到目标对象时，为所述目标对象分配唯一的标识信息；标记所述目标对象的驻足起始时间和静止起始时间，并记录所述目标对象在一定持续时间内的运动轨迹；所述驻足分析单元还配置为：根据所述目标对象对应的运动轨迹对所述目标对象进行驻足分析，以确定所述目标对象是在所述视频图像内驻足的行人或是误检的静止对象，并在确定所述目标对象在所述视频图像内驻足时，记录所述目标对象的驻足时间。3.根据权利要求2所述的装置，其特征在于，所述目标跟踪模块标记所述目标对象的驻足起始时间和静止起始时间的过程包括：遍历已有的跟踪对象列表，当在所述跟踪对象列表中未匹配到所述目标对象，则所述目标对象的驻足起始时间和静止起始时间均设置为所述行人检测模块检测到所述目标对象时的时间戳。4.根据权利要求2所述的装置，其特征在于，所述驻足分析单元还配置为根据所述目标对象对应的运行轨迹计算对应的位移标准差，并对比所述位移标准差和预设位移标准差阈值；根据所述位移标准差和预设位移标准差阈值的对比结果确定所述目标对象是在所述视频图像内驻足的行人或是误检的静止对象。5.根据权利要求4所述的装置，其特征在于，所述驻足分析单元预设有驻足位移标准差阈值、静止位移标准差阈值、驻足时长阈值和静止时长阈值；所述静止位移标准差阈值小于所述驻足位移标准差阈值；当所述位移标准差处于所述驻足位移标准差阈值和所述静止位移标准差阈值之间，且当前跟踪时间戳与驻足起始时间的差值大于所述驻足时长阈值时，确定所述目标对象是在所述视频图像内驻足的行人；当所述位移标准差小于所述静止位移标准差阈值，且当前跟踪时间戳与静止起始时间的差值大于静止时长阈值，则确定所述目标对象为误检的静止对象，将所述目标对象添加至预设的误检对象列表；否则，将所述目标对象的静止起始时间设置当前时间戳；当所述位移标准差大于所述驻足位移标准差阈值时，将所述目标对象对应的驻足起始时间和静止起始时间均设置为当前时间戳。6.根据权利要求5所述的装置，其特征在于，根据所述目标对象对应的运行轨迹计算对应的位移标准差包括水平方向位移标准差和竖直方向位移标准差；所述驻足分析单元对比所述位移标准差与所述驻足位移标准差阈值、所述静止位移标准差阈值进行比较时，分别
利用所述水平方向位移标准差、竖直方向位移标准差和所述驻足位移标准差阈值、所述静止位移标准差阈值进行比较。7.根据权利要求2-6中任一项所述的装置，其特征在于，所述驻足分析单元还配置为当甄别到所述行人检测模块检测的任一目标对象为误检的静止对象时，删除所述静止对象对应的驻足信息，将甄别结果同时反馈至所述基础跟踪单元，由所述基础跟踪单元删除所述静止对象对应的跟踪信息；所述统计模块还用于根据修改后的所述跟踪信息和所述驻足信息更新统计的所述视频图像在设定时间内的人流信息。8.根据权利要求7所述的装置，其特征在于，所述行人检测模块设置有用于进行背景建模以得到所述视频图像内的运动区域的背景模型；所述行人检测模块包括模型修正单元；所述驻足分析单元还配置为将所述甄别结果反馈至所述行人检测模块的修正单元，由修正单元利用所述甄别结果中静止对象对应的信息修正所述背景模型。9.根据权利要求1-8中任一项所述的装置，其特征在于，所述行人检测模块还配置为：获取视频流数据，并基于所述视频流数据提取多张连续的视频图像，以进行行人检测。10.根据权利要求1-8中任一项所述的装置，其特征在于，所述装置还包括：范围限定模块，与所述目标跟踪模块耦合，配置为对所述目标跟踪模块中的驻足分析单元进行分析范围限定。11.一种智能终端，其特征在于，设置有权利要求1-10中任一项所述的客流统计装置。
技术总结本发明提供了一种客流统计装置及智能终端，客流统计装置包括依次耦合的行人检测模块、目标跟踪模块和统计模块；行人检测模块，配置为检测视频图像内的至少一位行人作为目标对象；目标跟踪模块包括基础跟踪单元和驻足分析单元；基础跟踪单元配置为对各目标对象进行跟踪，得到包含各目标对象对应运动轨迹的跟踪信息；驻足分析单元配置为对基础跟踪单元跟踪到的各目标对象进行驻足分析，得到各目标对象的驻足信息；统计模块，配置为根据基础跟踪单元的跟踪信息和驻足分析单元的驻足信息统计视频图像在设定时间内的客流信息。本发明的客流统计装置不仅能够统计客流量，还能够得出顾客在停留时间，进而评估商品或展示内容的关注度。度。度。
技术研发人员：李春 肖兵
受保护的技术使用者：珠海视熙科技有限公司
技术研发日：2022.06.29
技术公布日：2022/11/1
