Effective and Efficient Detection of Moving Targets From a UAV’s Camera

2019-08-02

文献

Effective and Efficient Detection of Moving Targets From a UAV’s Camera

无人摄像机对移动目标的有效与高效检测

作者：Sara Minaeian, Jian Liu, and Young-Jun Son

Abstract

移动中的摄像机对移动目标的精确而快速的检测是一个重要且具有挑战性的问题，尤其是当计算资源有限的时候。本文，我们提出了一个有效高效且健壮的方法来从一段视频序列中精确检测和分离多个独立移动的前向目标，这些视频序列是由单眼移动摄像机所采集的。我们所提出的方法在多种方式上领先现有的方法：1，为了高效起见，摄像机移动是通过在所有检测区间使用金字塔卢卡斯-卡纳德追踪背景关键点而建立的；2，将局部运动历史函数与滑动窗上的时空差异相结合，对多个移动目标进行前景分割，同时为了效率将透视同形法应用于图像配准；3，基于经验法则和考虑摄像机配置参数的鲁棒性动态调整检测区间。所提出的方法已经用无人机摄像头和公开的数据集进行过大量的情景测试。基于所报道的结果，通过与现有方法的比较，成功地证明了该方法在多个运动目标检测中的准确性和实时性。 实验结果表明，该方法同样适用于地面摄像机的ITS应用。更具体的地说，与文献中定量指标相比，所提出的方法表现出了很好的性能，同时运行时间测量在实时实现方面得到了显著的改善。

索引术语

有效性，图像运动分析，目标检测，鲁棒性，无人飞行器。

INTRODUCTION

大多数自动系统（例如视觉监控和智能交通）第一功能步骤就是通过传感器（大多数是摄像头）检测事件/目标。故以此可以为制动器做正确的决定。况且，越来越多的无人飞行器、自动驾驶车辆和其他智能代理工具装载摄像头，这些工具需要做出精确和实时的决定。因此，设计和开发高效的计算机视觉算法对于动态场景中的鲁棒操作至关重要。特别地，由于装载的移动摄像机具有不同的方向，通过无人飞行器进行移动目标检测对于人控制的应用来说可能是一个很有挑战的问题。对于未知的监视环境（由于无人机的自由移动）和目标的外观和运动的变化这个问题被认为是不合适的。尽管文献中有几篇学术著作论述了用手持摄像机捕捉到的视频影像进行运动检测，但现有的方法要么过于复杂，要么无法以稳健的方式准确地从运动背景中分离出独立运动的前景，因此，他们缺乏足够的准确度和速度来应用于在线应用的中的单眼相机。况且，对于用无人飞行器检测移动物体，重点是对独立运动的前景区域进行分割。由于未知的背景先验模型和前景目标的动力学特性，监控目标检测技术不能直接应用于未知运动目标的分割问题。这些问题包括基于流行的深度学习（DL）和卷积神经网络（CNN）的方法，比如基于快速区域的卷积神经网络（R-CNN），超像素级别卷积神经网络（s-CNN），全常规网络（FCN），这些大多被应用于已知目标或区域分割（例如道路检测）的识别。值得注意的是，一般而言，深度学习方法的计算成本较高，主要集中在单个图像的检测和识别上，这对于机载计算资源有限的无人机来说是不可行的。考虑到这些挑战，本文的主要目标就是提出一种有效且高效的前景分割方法，用于通过无人机的移动摄像头检测独立移动目标，从而实现快速可靠的决策（例如用于对人群进行自主监控）。所提出的方法旨在从三种方式上领先现有文献资料：1，背景运动估计（在没有先验模型的情况下）是使用光学流方法的金字塔版本来跟踪在每个Δt帧（检测间隔）提取的背景关键点；2，前景分割是通过将时空差异和局部运动历史技术结合在一个滑动帧窗口上（间隔为Δt），通过透视变化（即同形法）进行注册，以减少图像配准误差，并区分多个移动目标物体；3，基于无人机的高度和速度，提出了一种启发式算法来调整检测区间，实现无人机鲁棒实时性能。
结果表明，该方法能够对独立运动的前景斑点进行近实时的精确分割，同时对视角和运动速度的变化具有鲁棒性。为了测试和证明所提出的方法，已经进行了实验研究，包括使用无人机视频进行人群控制应用的各种场景，以及自主检测和智能交通系统（ITS）等其他领域文献中可用的数据集。其原因是，虽然这项工作主要是为了无人机视觉监控而提出来的，但它很容易应用于ITS上，ITS高度依赖精确的车辆检测和改进的态势感知技术，以提供所需的交通统计、速度监控、存在检测的数据以及车辆分类。还要注意的是，视觉监控应用在这项技术的重点是低密度到中等密度的人群场景，这种场景中同一帧中前景到背景区域的近似比率小于一。文献中提出了一些替代方法，例如基于锚的群检测，用于高度拥挤的情况。

CONCLUSIONS AND FUTURE WORK

本文，我们提出了一种有效且高效的方法，以稳健的方式从无人机的单目移动摄像头中检测多个独立移动目标。考虑到一个滑动窗口框架，在每一个时间帧t上，提取关键点并跟踪到下两个间隔为t的帧上。然后通过透视转换将这些帧显示到t帧上。最后，在后处理操作后应用局部运动历史函数，分离出独立运动的目标。
我们使用无人机捕获的视频以及公开可用的数据集测试了我们的方法。在定量和定性评价的基础上，对不同的场景进行了实验，取得了较好的效果。更具体地说，该方法的有效性是通过考虑不同摄像机的设置（根据海拔高度、速度和视角）和不同应用的结果来评估的，通过与基本真实的数据和最先进的方法的比较验证了该方法的有效性，同时根据通用性能指标报告所取得的性能；通过计算时间分析和与现有方法的报告运行时间进行对比证明了该方法的有效性。灵敏度分析研究也为该方法的关键参数的优化设定提供了依据。
至于未来研究工作，我们旨在提出一种稳健的数据关联算法，在考虑各种监视场景的同时，通过一系列视频帧区分和关联多个检测到的目标，以便通过无人机应用目标跟踪。