1.本发明涉及计算机技术领域，具体涉及一种基于地理空间信息的行人追踪方法及系统。
背景技术：2.目前对特定人群或者个人的追踪方法是通过全球卫星定位系统gps，信号基站和蓝牙技术来开发相关的移动应用程序或可穿戴跟踪设备来完成的，其需要依赖智能终端来完成。依赖于智能终端来完成对特定人群或者个人的跟踪，会导致对用户个人隐私的侵权，且需要依赖智能终端的普及率，对于特定人群比如老年人、盲人等使用智能终端有障碍的情况下，使得对特定人员的跟踪存在遗漏。
技术实现要素：3.本发明的目的在于克服现有技术的不足，本发明提供了一种基于地理空间信息的行人追踪方法及系统，可以不依赖智能终端仅依赖监控系统就可以实现对目标行人的行程追踪。
4.本提供了一种了基于地理空间信息的行人追踪方法，所述方法包括：
5.基于地理区域范围内的多个监控摄像机获取所述地理区域范围的视频流数据；
6.基于所述多个监控摄像机的位置信息映射到所述地理区域范围的三维地理空间中；
7.通过单阶段检测方法从视频流数据中检测出行人视频帧集合；
8.采用行人重识别模型对所述行人视频帧集合进行目标行人检索，获取目标视频帧集合，所述目标视频帧集合按照时间顺序排布；
9.通过目标视频帧集合和目标视频帧集合对应的摄像头位置获取目标行人在三维地理空间中的活动轨迹，所述活动轨迹按照时间顺序标记。
10.所述通过单阶段检测方法从视频流数据中检测出行人视频帧集合包括：
11.对视频流数据进行视频解帧处理得到若干个解码视频帧；
12.将所述若干个解码视频帧采用yolov5算法进行行人检测；
13.确定若干个解码视频帧中行人的位置和大小，并用检测框标记出行人。
14.所述采用行人重识别模型对所述行人视频帧集合进行目标行人检索包括：
15.对所述行人视频帧集合进行图像风格归一化处理；
16.基于空间变换网络对图像风格归一化处理后的行人视频帧集合进行空间变换处理；
17.采用多粒度特征提取方法对空间变换处理后的行人视频帧集合进行目标行人识别。
18.所述行人重识别模型中的主干网络采用深度特征提取网络resnet50。
19.所述对所述行人视频帧集合进行图像风格归一化处理包括：
20.将resnet50前三阶段残差块的归一化方式采用实例归一化和批归一化结合的方式过滤图像中的风格信息，保留语义信息。
21.所述基于空间变换网络对图像风格归一化处理后的行人视频帧集合进行空间变换处理包括：
22.对主干网络提取的特征图进行自适应仿射变换来消除检测误差，同时将特征图的空间信息变换到相同的特征空间，增强显著特征。
23.所述空间变换网络的变换过程为：
[0024][0025]
式中，(x
source
，y
source
)表示原图像像素点，(x
target
，y
target
)表示仿射变换后的图像像素点，系数矩阵θ即为仿射变换系数，(θ
12
，θ
21
)为旋转因子，(θ
11
，θ
22
)为放缩因子，(θ
13
，θ
23
)为平移因子。
[0026]
所述采用多粒度特征提取方法对空间变换处理后的行人视频帧集合进行目标行人识别包括：
[0027]
采用水平切分特征图提取局部特征进行行人识别。
[0028]
相应的，本发明还提供了一种基于地理空间信息的行人追踪系统，所述系统包括：
[0029]
多个监控摄像头，用于获取地理区域范围的视频流数据；
[0030]
位置映射模块，用于基于所述多个监控摄像机的位置信息映射到所述地理区域范围的三维地理空间中；
[0031]
行人检测模块，用于通过单阶段检测方法从视频流数据中检测出行人视频帧集合；
[0032]
行人重识别模块，用于采用行人重识别模型对所述行人视频帧集合进行目标行人检索，获取目标视频帧集合，所述目标视频帧集合按照时间顺序排布；
[0033]
行人轨迹生成模块，用于通过目标视频帧集合和目标视频帧集合对应的摄像头位置获取目标行人在三维地理空间中的活动轨迹，所述活动轨迹按照时间顺序标记。
[0034]
所述行人重识别模块包括：
[0035]
归一化处理模块，用于对所述行人视频帧集合进行图像风格归一化处理；
[0036]
空间变换处理模块，用于基于空间变换网络对图像风格归一化处理后的行人视频帧集合进行空间变换处理；
[0037]
多粒度特征提取模块，用于采用多粒度特征提取方法对空间变换处理后的行人视频帧集合进行目标行人识别。
[0038]
本发明可以采用普通的摄像头采集数据，通过行人检测和重识别模型完成目标行人跨摄像头之间的识别、活动场所标记和轨迹绘制，可以用于对目标行人的追踪并形成路径路线图，这种方法不需要依赖智能手机或可穿戴追踪设备，只需要基于当前监控系统部署行人检测和识别模型，同时可以进行室内室外的灵活部署，将所有人群均纳入了追踪的范畴，避免了现有方法依赖外部设备，导致一些特殊人群无法被追踪的问题，可以满足对行人的行踪掌控，更符合相关需要完成对特定人群或者个人追踪的实际需求。
附图说明
[0039]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0040]
图1是本发明实施例中的基于地理空间信息的行人追踪方法流程图；
[0041]
图2是本发明实施例中的行人重识别模型结构示意图；
[0042]
图3是本发明实施例中的基于地理空间信息的行人追踪系统结构示意图；
[0043]
图4是本发明实施例中的本发明实施例中的行人重识别模块结构示意图；
[0044]
图5是本发明实施例中的基于地理空间信息的行人追踪方法另一流程图；
[0045]
图6是本发明实施例中的目标行人在智能楼宇实现三维模型的方法流程图。
具体实施方式
[0046]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0047]
本发明实施例提供了一种基于地理空间信息的行人追踪方法，其方法包括：基于地理区域范围内的多个监控摄像机获取所述地理区域范围的视频流数据；基于所述多个监控摄像机的位置信息映射到所述地理区域范围的三维地理空间中；通过单阶段检测方法从视频流数据中检测出行人视频帧集合；采用行人重识别模型对所述行人视频帧集合进行目标行人检索，获取目标视频帧集合，所述目标视频帧集合按照时间顺序排布；通过目标视频帧集合和目标视频帧集合对应的摄像头位置获取目标行人在三维地理空间中的活动轨迹，所述活动轨迹按照时间顺序标记。
[0048]
需要说明的是，本发明实施例中的行人追踪方法在经过当事人许可下，并满足法律法规相关规定的情况下完成行人追踪。
[0049]
具体的，图1示出了本发明实施例中的基于地理空间信息的行人追踪方法流程图，包括以下步骤：
[0050]
s101、基于地理区域范围内的多个监控摄像机获取所述地理区域范围的视频流数据；
[0051]
具体的，这里的地理区域范围可以是一栋建筑物或者一个行政区域，该建筑物或者行政区域中设置有若干个监控摄像机，这些监控摄像机作为位置点的一个监控点，其具有相应的位置信息。目前监控摄像机已经融合到大众生活中，比如道路上的监控摄像机、智能楼宇中的监控摄像机等，其都可以实时监控到所在地理区域范围内的视频流数据，从而为行人追踪提供相应的追溯来源。
[0052]
s102、基于所述多个监控摄像机的位置信息映射到所述地理区域范围的三维地理空间中；
[0053]
这里将所在地理区域所有的监控摄像机在三维地理空间中进行映射，即可得到三维地理空间上的监控摄像机的布局，从而建立起以监控摄像机为三维空间感的地理信息，
从而方便结合监控对象进行位置信息的定位。
[0054]
摄像头与三维地理空间的映射可以涉及到城市道路三维空间，也可以涉及到智能楼宇三维空间，其可以基于一个区域来建立三维地理空间信息。
[0055]
s103、通过单阶段检测方法从视频流数据中检测出行人视频帧集合；
[0056]
具体的，所述通过单阶段检测方法从视频流数据中检测出行人视频帧集合包括：对视频流数据进行视频解帧处理得到若干个解码视频帧；将所述若干个解码视频帧采用yolov5算法进行行人检测；确定若干个解码视频帧中行人的位置和大小，并用检测框标记出行人。
[0057]
需要说明的是，这里实现行人检测可以采用目前性能较为稳定的单阶段检测方法yolov5，在将监控摄像头获取的视频解帧后输入yolov5后，用于确定监控图像中行人的位置和大小，并用检测框标记出。
[0058]
s104、采用行人重识别模型对所述行人视频帧集合进行目标行人检索，获取目标视频帧集合，所述目标视频帧集合按照时间顺序排布；
[0059]
具体的，所述采用行人重识别模型对所述行人视频帧集合进行目标行人检索包括：对所述行人视频帧集合进行图像风格归一化处理；基于空间变换网络对图像风格归一化处理后的行人视频帧集合进行空间变换处理；采用多粒度特征提取方法对空间变换处理后的行人视频帧集合进行目标行人识别。
[0060]
具体的，该行人重识别模型中的主干网络采用深度特征提取网络 resnet50。
[0061]
具体的，该对所述行人视频帧集合进行图像风格归一化处理包括：将 resnet50前三阶段残差块的归一化方式采用实例归一化和批归一化结合的方式过滤图像中的风格信息，保留语义信息。
[0062]
具体的，该基于空间变换网络对图像风格归一化处理后的行人视频帧集合进行空间变换处理包括：对主干网络提取的特征图进行自适应仿射变换来消除检测误差，同时将特征图的空间信息变换到相同的特征空间，增强显著特征。
[0063]
所述空间变换网络的变换过程为：
[0064][0065]
式中，(x
source
，y
source
)表示原图像像素点，(x
target
，y
target
)表示仿射变换后的图像像素点，系数矩阵θ即为仿射变换系数，(θ
12
，θ
21
)为旋转因子，(θ
11
，θ
22
)为放缩因子，(θ
13
，θ
23
)为平移因子。
[0066]
所述采用多粒度特征提取方法对空间变换处理后的行人视频帧集合进行目标行人识别包括：采用水平切分特征图提取局部特征进行行人识别。
[0067]
具体的，图2示出了本发明实施例中的行人重识别模型结构示意图，该行人重识别模型的目的在于以检测模型检测到的行人图像为输入，通过风格归一化、空间变换、多粒度特征提取等方法来得到鲁棒性的行人特征表示，用于目标行人检索。行人重识别模型融合了多种用于提升模型在复杂环境下识别能力的模块，具体包括：
[0068]
(1)主干网络，主干网络采用当前兼具性能与速度的深度特征提取网络resnet50；
[0069]
(2)图像风格归一化(ibn)，外部环境的光照变化会严重影响模型的识别结果，该模块通过将resnet50前三阶段残差块的归一化方式采用实例归一化(in)和批归一化(bn)结合的方式过滤图像中的风格信息，保留语义信息，缓解光照变化的影响；
[0070]
(3)空间变换网络(stn)，检测模型的检测误差，行人丰富的姿态变化也会显著影响模型的性能，该模块通过对主干网络提取的特征图进行自适应仿射变换来消除检测误差，同时将特征图的空间信息变换到相同的特征空间，增强显著特征，缓解行人姿态多变带来的影响。
[0071]
空间变换网络的变换过程为：
[0072][0073]
式中，(x
source
，y
source
)表示原图像像素点，(x
target
，y
target
)表示仿射变换后的图像像素点，系数矩阵θ即为仿射变换系数，(θ
12
，θ
21
)为旋转因子，(θ
11
，θ
22
)为放缩因子，(θ
13
，θ
23
)为平移因子。
[0074]
这里θ矩阵通过全连接层回归得到，可以表示为：
[0075]
(θ
12
,θ
21
,θ
11
,θ
22
,θ
13
,θ
23
)＝tanh(bn2(fc2(relu(bn1(fc1(f))))))；
[0076]
上式中，f表示主干网络提取的特征图，fc表示全连接层，bn表示批归一化，relu和tanh表示两种激活函数。
[0077]
(4)多粒度特征提取(mgn)，水平切分特征图提取局部特征进行行人识别，是目前较为稳定且高效的方法，该方法采用两种粒度的划分策略进行局部特征提取，可以有效扩大网络的关注范围，提取到细节信息，提升模型在复杂环境下的识别能力。
[0078]
多粒度网络包含三个分支，每个分支的特征提取过程可以表示为：
[0079]
f1＝bn(gap(f
stn
(b,c,h,w)))
[0080]
f2＝bn(gap(f
stn
(b,c,h/2,w)))
[0081]
f3＝bn(gap(f
stn
(b,c,h/3,w)))
[0082]
以上三个式子中，f
stn
表示主干网络提取的特征图经过sc-stn之后得到的增强特征图，gap代表全局平均池化，bn代表特征批归一化操作。f1表示全局特征，f2和f3表示两个不同粒度的局部特征，f2通过将特征图水平切分为两块得到，f3通过将特征图水平切分为三块得到，同时，这两个分支都保留了全局特征。
[0083]
s105、通过目标视频帧集合和目标视频帧集合对应的摄像头位置获取目标行人在三维地理空间中的活动轨迹，所述活动轨迹按照时间顺序标记。
[0084]
需要说明的是，目标行人通过选定的方式进行标记，检测框被标记为相应颜色。目标行人在监控范围内移动时，每当有新的摄像头检测到，系统主屏幕就会推送出检测结果以及检测结果和标记样本的相似度得分。检测到目标行人的摄像头位置也会在地理空间中以不同的颜色标记出来，并以文本的形式保存摄像机的索引和检测到目标行人的时间，摄像头的位置即代表目标行人当前的活动场所，当一段视频检索完后，将所有检测到目标行人的摄像头位置在地理空间中按照时间顺序连接起来，即得到目标行人一段时间内的活动轨迹。
[0085]
本发明实施例中可以采用普通的摄像头采集数据，通过行人检测和重识别模型完成目标行人跨摄像头之间的识别、活动场所标记和轨迹绘制，可以用于对目标行人的追踪并形成路径路线图，这种方法不需要依赖智能手机或可穿戴追踪设备，只需要基于当前监控系统部署行人检测和识别模型，同时可以进行室内室外的灵活部署，将所有人群均纳入了追踪的范畴，避免了现有方法依赖外部设备，导致一些特殊人群无法被追踪的问题，可以满足对行人的行踪掌控，更符合相关需要完成对特定人群或者个人追踪的实际需求。
[0086]
图3示出了本发明实施例中的基于地理空间信息的行人追踪系统结构示意图，所述系统包括：
[0087]
多个监控摄像头，用于获取地理区域范围的视频流数据；
[0088]
位置映射模块，用于基于所述多个监控摄像机的位置信息映射到所述地理区域范围的三维地理空间中；
[0089]
行人检测模块，用于通过单阶段检测方法从视频流数据中检测出行人视频帧集合；
[0090]
行人重识别模块，用于采用行人重识别模型对所述行人视频帧集合进行目标行人检索，获取目标视频帧集合，所述目标视频帧集合按照时间顺序排布；
[0091]
行人轨迹生成模块，用于通过目标视频帧集合和目标视频帧集合对应的摄像头位置获取目标行人在三维地理空间中的活动轨迹，所述活动轨迹按照时间顺序标记。
[0092]
图4示出了本发明实施例中的行人重识别模块结构示意图，该行人重识别模块包括：
[0093]
归一化处理模块，用于对所述行人视频帧集合进行图像风格归一化处理；
[0094]
空间变换处理模块，用于基于空间变换网络对图像风格归一化处理后的行人视频帧集合进行空间变换处理；
[0095]
多粒度特征提取模块，用于采用多粒度特征提取方法对空间变换处理后的行人视频帧集合进行目标行人识别。
[0096]
这里行人重识别模块的具体处理过程可以参阅图2中详细内容，这里不再一一赘述。
[0097]
图5示出了本发明实施例中的基于地理空间信息的行人追踪方法另一流程图，其可以分布于空间位置上的监控摄像头获取视频流，将相机位置即监控摄像头位置映射到地理空间中，系统对视频解帧处理，进行任务发放，确定目标，输入行人检测模块获取行人视频帧，然后输入行人识别模块对目标识别，基于重识别结果对目标位置标定，最终生成运动轨迹绘制，其具体技术实现过程与图1至图4所述的技术原理类似，这里不再一一赘述。
[0098]
具体的，图6示出了本发明实施例中的目标行人在智能楼宇实现三维模型的方法流程图，当进行目标行人室内轨迹追踪时，需要建立室内场景的三维模型。建筑物内每层楼的监控网络单独组成一个系统，当目标行人在不同楼层之间活动时，可以实现不同监控系统之间的切换，并保存不同楼层的索引。利用这些信息，可以知道目标行人出现在建筑物的哪一层，以及出现在不同楼层中的具体位置。检测到目标行人的摄像头位置也会在地理空间中以不同的颜色标记出来，并以文本的形式保存摄像机的索引和检测到目标行人的时间，摄像头的位置即代表目标行人当前的活动场所，当一段视频检索完后，将所有检测到目标行人的摄像头位置在地理空间中按照时间顺序连接起来，即得到目标行人一段时间内的
活动轨迹。
[0099]
本发明可以采用普通的摄像头采集数据，通过行人检测和重识别模型完成目标行人跨摄像头之间的识别、活动场所标记和轨迹绘制，可以用于对目标行人的追踪并形成路径路线图，这种方法不需要依赖智能手机或可穿戴追踪设备，只需要基于当前监控系统部署行人检测和识别模型，同时可以进行室内室外的灵活部署，将所有人群均纳入了追踪的范畴，避免了现有方法依赖外部设备，导致一些特殊人群无法被追踪的问题，可以满足对行人的行踪掌控，更符合相关需要完成对特定人群或者个人追踪的实际需求。
[0100]
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，存储介质可以包括：只读存储器(rom，read onlymemory)、随机存取存储器(ram，random access memory)、磁盘或光盘等。
[0101]
另外，以上对本发明实施例进行了详细介绍，本文中应采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
技术特征：1.一种基于地理空间信息的行人追踪方法，其特征在于，所述方法包括：基于地理区域范围内的多个监控摄像机获取所述地理区域范围的视频流数据；基于所述多个监控摄像机的位置信息映射到所述地理区域范围的三维地理空间中；通过单阶段检测方法从视频流数据中检测出行人视频帧集合；采用行人重识别模型对所述行人视频帧集合进行目标行人检索，获取目标视频帧集合，所述目标视频帧集合按照时间顺序排布；通过目标视频帧集合和目标视频帧集合对应的摄像头位置获取目标行人在三维地理空间中的活动轨迹，所述活动轨迹按照时间顺序标记。2.如权利要求1所述的基于地理空间信息的行人追踪方法，其特征在于，所述通过单阶段检测方法从视频流数据中检测出行人视频帧集合包括：对视频流数据进行视频解帧处理得到若干个解码视频帧；将所述若干个解码视频帧采用yolov5算法进行行人检测；确定若干个解码视频帧中行人的位置和大小，并用检测框标记出行人。3.如权利要求2所述的基于地理空间信息的行人追踪方法，其特征在于，所述采用行人重识别模型对所述行人视频帧集合进行目标行人检索包括：对所述行人视频帧集合进行图像风格归一化处理；基于空间变换网络对图像风格归一化处理后的行人视频帧集合进行空间变换处理；采用多粒度特征提取方法对空间变换处理后的行人视频帧集合进行目标行人识别。4.如权利要求3所述的基于地理空间信息的行人追踪方法，其特征在于，所述行人重识别模型中的主干网络采用深度特征提取网络resnet50。5.如权利要求4所述的基于地理空间信息的行人追踪方法，其特征在于，所述对所述行人视频帧集合进行图像风格归一化处理包括：将resnet50前三阶段残差块的归一化方式采用实例归一化和批归一化结合的方式过滤图像中的风格信息，保留语义信息。6.如权利要求5所述的基于地理空间信息的行人追踪方法，其特征在于，所述基于空间变换网络对图像风格归一化处理后的行人视频帧集合进行空间变换处理包括：对主干网络提取的特征图进行自适应仿射变换来消除检测误差，同时将特征图的空间信息变换到相同的特征空间，增强显著特征。7.如权利要求6所述的基于地理空间信息的行人追踪方法，其特征在于，所述空间变换网络的变换过程为：式中，(x
source
，y
source
)表示原图像像素点，(x
target
，y
target
)表示仿射变换后的图像像素点，系数矩阵θ即为仿射变换系数，(θ
12
，θ
21
)为旋转因子，(θ
11
，θ
22
)为放缩因子，(θ
13
，θ
23
)为平移因子。8.如权利要求7所述的基于地理空间信息的行人追踪方法，其特征在于，所述采用多粒度特征提取方法对空间变换处理后的行人视频帧集合进行目标行人识别包括：
采用水平切分特征图提取局部特征进行行人识别。9.一种基于地理空间信息的行人追踪系统，其特征在于，所述系统包括：多个监控摄像头，用于获取地理区域范围的视频流数据；位置映射模块，用于基于所述多个监控摄像机的位置信息映射到所述地理区域范围的三维地理空间中；行人检测模块，用于通过单阶段检测方法从视频流数据中检测出行人视频帧集合；行人重识别模块，用于采用行人重识别模型对所述行人视频帧集合进行目标行人检索，获取目标视频帧集合，所述目标视频帧集合按照时间顺序排布；行人轨迹生成模块，用于通过目标视频帧集合和目标视频帧集合对应的摄像头位置获取目标行人在三维地理空间中的活动轨迹，所述活动轨迹按照时间顺序标记。10.如权利要求9所述的基于地理空间信息的行人追踪系统，其特征在于，所述行人重识别模块包括：归一化处理模块，用于对所述行人视频帧集合进行图像风格归一化处理；空间变换处理模块，用于基于空间变换网络对图像风格归一化处理后的行人视频帧集合进行空间变换处理；多粒度特征提取模块，用于采用多粒度特征提取方法对空间变换处理后的行人视频帧集合进行目标行人识别。
技术总结本发明公开了一种基于地理空间信息的行人追踪方法及系统，其方法包括：基于地理区域范围内的多个监控摄像机获取所述地理区域范围的视频流数据；基于所述多个监控摄像机的位置信息映射到所述地理区域范围的三维地理空间中；通过单阶段检测方法从视频流数据中检测出行人视频帧集合；采用行人重识别模型对所述行人视频帧集合进行目标行人检索，获取目标视频帧集合；通过目标视频帧集合和目标视频帧集合对应的摄像头位置获取目标行人在三维地理空间中的活动轨迹。本发明可以不依赖智能终端仅依赖监控系统就可以实现对目标行人的行程追踪，可以满足对行人的行踪掌控。可以满足对行人的行踪掌控。可以满足对行人的行踪掌控。
技术研发人员：焦泽昱 李辰潼 卢杏坚 黄凯 钟震宇 钟由彬
受保护的技术使用者：视云融聚（广州）科技有限公司
技术研发日：2022.05.25
技术公布日：2022/11/1
