无人飞行器在不确定扰动下的动态目标跟踪

, , , , , , , 陈彦杰 , 吴杨宁 , 兰立民 , 钟杭 , 缪志强 , 张辉 , 王耀南

工程(英文) ›› 2024, Vol. 35 ›› Issue (4) : 76 -88.

PDF (8054KB)
工程(英文) ›› 2024, Vol. 35 ›› Issue (4) : 76 -88. DOI: 10.1016/j.eng.2023.05.017
研究论文

无人飞行器在不确定扰动下的动态目标跟踪

作者信息 +

Dynamic Target Tracking of Unmanned Aerial Vehicles Under Unpredictable Disturbances

Author information +
文章历史 +
PDF (8246K)

摘要

本研究针对全球定位系统(GPS)信号受限环境下无人飞行器(UAV)的动态目标跟踪问题,提出了一种在速度观测器下的基于图像的视觉伺服(IBVS)控制方法。该方法通过构建虚拟相机,推导出应用于欠驱动无人飞行器上的简化且解耦的图像动力学模型,并进一步考虑了由于动态目标的不可预测旋转和速度变化所带来的不确定性影响。本研究提出了一种新的图像深度模型,该模型拓展了基于图像的视觉伺服方法的应用范围,使之能够对任意姿态旋转的目标进行跟踪。所提出的深度模型确保了在跟踪旋转目标过程中图像特征的准确性和图像轨迹的平滑性。此外,采用所提出的速度观测器来估计无人飞行器与动态目标之间的相对速度。得益于速度观测器,不再需要对平移速度进行测量,并有效减轻了因使用包含噪声的测量数据导致的控制振荡现象。为了提高抗干扰能力,本研究还设计了一种基于积分的滤波器,用于补偿不可预测的环境干扰。所设计的速度观测器和视觉伺服控制器通过李雅普诺夫方法对其稳定性进行分析。通过对比仿真与多阶段实验验证了所提方法对于动态旋转目标跟踪的稳定性能、抗干扰能力和鲁棒跟踪能力。

Abstract

This study proposes an image-based visual servoing (IBVS) method based on a velocity observer for an unmanned aerial vehicle (UAV) for tracking a dynamic target in Global Positioning System (GPS)-denied environments. The proposed method derives the simplified and decoupled image dynamics of underactuated UAVs using a constructed virtual camera and then considers the uncertainties caused by the unpredictable rotations and velocities of the dynamic target. A novel image depth model that extends the IBVS method to track a rotating target with arbitrary orientations is proposed. The depth model ensures image feature accuracy and image trajectory smoothness in rotating target tracking. The relative velocities of the UAV and the dynamic target are estimated using the proposed velocity observer. Thanks to the velocity observer, translational velocity measurements are not required, and the control chatter caused by noise-containing measurements is mitigated. An integral-based filter is proposed to compensate for unpredictable environmental disturbances in order to improve the anti-disturbance ability. The stability of the velocity observer and IBVS controller is analyzed using the Lyapunov method. Comparative simulations and multistage experiments are conducted to illustrate the tracking stability, anti-disturbance ability, and tracking robustness of the proposed method with a dynamic rotating target.

关键词

无人飞行器 / 视觉伺服 / 速度观测器 / 目标追踪

Key words

Unmanned aerial vehicle / Visual servoing / Velocity observer / Target tracking

引用本文

引用格式 ▾
Yanjie Chen,Yangning Wu,Limin Lan,Hang Zhong,Zhiqiang Miao,Hui Zhang,Yaonan Wang,陈彦杰,吴杨宁,兰立民,钟杭,缪志强,张辉,王耀南. 无人飞行器在不确定扰动下的动态目标跟踪[J]. 工程(英文), 2024, 35(4): 76-88 DOI:10.1016/j.eng.2023.05.017

登录浏览全文

4963

注册一个新账户 忘记密码

1 引言

无人飞行器(UAVs)因其在空中的高机动性能被广泛用于航空摄影和巡逻检查[1]。对无人飞行器的自主控制通常需要位置、速度和姿态信息的反馈。全球定位系统(GPS)和视觉技术被广泛采用作为无人飞行器获取位置和速度信息的主要解决方案[2]。但在恶劣环境下由于卫星信号的不连续反馈,GPS无法提供可靠的位置信息。相比之下,视觉技术提供丰富的像素信息和图像特征,更适合在恶劣环境中作为获取位置信息的主要手段。因此,研究人员开发了基于视觉技术的无人飞行器控制方法,使其能够在无GPS信号环境下实现自主控制[3]。

基于视觉的控制方法已被广泛应用于无人飞行器的各个领域,如定位[4]、目标跟踪[5]和飞行着陆[6],其优秀的定位性能引起了广泛关注[79]。视觉伺服方法通过图像信息实现对无人飞行器的精确控制。与实时定位和地图制图导航技术不同,视觉伺服技术使用低成本传感器实现无人飞行器定位,对于在无GPS环境下的无人飞行器的目标跟踪任务,视觉伺服方法为无人飞行器的控制任务提供了高效且低成本的解决方案。视觉伺服方法通常可以分为基于位置的视觉伺服(PBVS)和基于图像的视觉伺服(IBVS)[1011]。在PBVS中,通过图像信息估计的无人飞行器位置被视为控制反馈,但其所估计的位置信息需要依赖于精确的相机参数。在IBVS中,基于图像特征建立了动力学模型,使用特征像素作为控制反馈。IBVS不需要对姿态信息进行重建,因此使用其设计的控制器对硬件的算力需求更低。此外,IBVS对图像噪声和相机参数具有鲁棒性,在存在图像噪声或是相机参数不确定的情况下也能具备稳定的性能。因此,IBVS方法被广泛应用于无人飞行器的控制器设计中。高效的视觉伺服技术在无GPS环境中控制低成本无人飞行器具有实际的工程意义。

在无人飞行器的IBVS方法中,平移速度是辅助控制器设计的关键信息[12]。平移速度测量的准确性可能影响IBVS控制器的性能。当使用包含噪声的速度进行控制时,无人飞行器的姿态运动可能出现颤振现象。因此,研究人员为无人飞行器设计了速度观测器,以避免控制系统对平移速度测量的依赖。文献[1314]采用了基于模型和图像的速度观测器,但在使用时需要引入无人飞行器的位置信息作为观测器反馈,使用位置信息限制了在无GPS环境中对平移速度估计的准确性。通过使用基于图像的速度观测器作为观测器反馈,可以在无GPS环境中获得稳定和准确的速度估计。因此,基于图像的速度观测器被广泛应用于IBVS控制设计中,成为估计无人飞行器平移速度的有效方法。例如,在参考文献[15]中,提出了一种自适应观测器来估计平移速度。该方法由于不使用带有噪声的测量数据进行控制从而表现出可靠的控制性能。在参考文献[16]中,通过利用来自机载相机的图像反馈,采用非线性观测器实时估计图像深度和平移速度。

在最近的研究中,无人飞行器的IBVS方法已经扩展到复杂的目标跟踪任务。对于一个不可预测的移动目标,使用机载传感器获取位置轨迹是具有挑战性的[1718]。为解决这个问题,研究人员将针对静态目标的速度观测器推广到估计动态目标的平移速度。例如,将IBVS方法与自适应滑模控制方法相结合,用于无人飞行器的移动平台跟踪任务中[19]。在文献[20]中,在无人飞行器执行目标跟踪任务时,考虑了目标运动的不确定性,利用观测器进行目标速度估计。在文献[21]中,针对动态目标的轨迹参数估计设计了一个跟踪微分器,通过考虑动态目标的运动不确定性,实现了无人飞行器对运动目标的稳定跟踪。然而,这些方法依赖于假设无人飞行器或被跟踪目标的速度是可测量的。对于低成本的无人飞行器而言,不准确的测量会在控制回路中引入噪声干扰,导致姿态控制发生抖动。

在目标跟踪任务中,需要解决被跟踪目标姿态旋转引起的图像深度估计不准确的问题。通常,以单目相机为基础的IBVS方法中,通过构建与目标平面相平行的虚拟相机平面来估计图像深度[22]。图像深度的估计精度可能会受到动态目标旋转的影响。针对这种情况,提出了一种改进的基于虚拟相机的IBVS方法,保证了无人飞行器能够跟踪具有任意方向的目标。例如,在文献[23]中,通过设计基于虚拟相机的IBVS控制器,保证了无人飞行器能够对倾斜的目标平面进行稳定的定位。在文献[24]中,基于图像运动学旋转关系提出了真实和虚拟图像平面之间的转换,通过以虚拟相机为基础的IBVS方案保证了欠驱动无人飞行器对具有任意方向目标的追踪能力。上述方法扩展了虚拟相机应用,并考虑了被跟踪目标任意倾斜的情况。然而,在上述方法中,目标被假定为静止或准静止。当目标具有任意方向旋转时,虚拟相机平面与目标平面之间的平行约束可能无法得到保证。旋转的目标可能会导致图像深度估计不准确,从而影响控制精度。因此,对于单目IBVS控制来说,旋转目标的图像深度估计是一个实际且具有挑战性的领域。

由于无人飞行器通常需要在复杂干扰环境中执行操作,其抗干扰能力对于目标跟踪的稳定性至关重要[2527]。抗干扰控制方法保证了无人飞行器的IBVS控制器能够在存在不确定干扰的环境中运行。例如,在文献[24]中,提出了一种基于积分滤波器的IBVS控制器,通过补偿不可预测的干扰,进而提高无人飞行器的作业性能。在文献[28]中,提出了一种自适应IBVS控制方案,用于补偿平移动力学中的恒定力干扰。这些方法实现了在不可预测干扰下无人飞行器的稳定IBVS控制。然而,它们需要假设无人飞行器或被跟踪目标的平移速度是可测量的。在文献[24]中,平移速度测量被引入到提出的积分滤波器中,导致在无GPS环境中控制受限。在文献[28]中,被跟踪的目标被假定为静止,导致目标跟踪控制受限。采用平移速度测量可能会导致在无GPS环境中IBVS方法的控制受限。使用含有噪声的速度测量值可能会导致姿态控制中的抖动。因此,无人飞行器在外部干扰下的视觉伺服目标跟踪控制是一个必须解决的关键问题。

基于上述分析,无人飞行器IBVS控制面临的主要挑战包括:①被跟踪目标的平移速度估计,②动态旋转目标的图像深度估计,以及③在不确定的外部干扰下的跟踪稳定性。为了解决这些挑战,我们进一步改进了针对无人飞行器的IBVS方法,以保证其能够应对不可预测的目标速度、动态旋转目标带来的不确定性以及动态目标跟踪控制中的外部干扰。本研究的主要贡献总结如下:

• 提出了一种新颖的图像深度模型,并构建了图像动力学。利用所提出的图像深度模型,可以在不需要被跟踪目标旋转信息的情况下准确估计图像深度。保证了无人飞行器可以稳定跟踪具有任意方向动态旋转的目标。

• 设计了一种速度观测器,保证了无人飞行器能够在无GPS环境中准确估计与动态目标之间的相对速度。通过对相对速度的估计有效降低了由于测量速度中的噪声干扰引起的控制抖动现象,从而提高了无人飞行器的作业稳定性。

• 设计了一种积分滤波器来估计不可预测的外部干扰(包括动态目标的加速度和环境干扰)。这有效提高了无人飞行器在处理动态目标的未知运动和外部干扰时的干扰抑制能力。

本文的剩余部分组织如下。第2节介绍了无人飞行器的图像动力学和一种新颖的图像深度模型。在第3节中,我们设计了一个速度观测器、基于积分的滤波器和动态IBVS控制器,以实现在不可预测的干扰下的目标跟踪。第4节和第5节分别介绍了对比仿真和实验的结果与分析。最后,在第6节中给出了结论性的意见。

2 无人飞行器系统的图像动力学

本节介绍了一种虚拟相机图像以推导图像动力学。更具体地说,选择虚拟相机平面中动态目标的像素作为图像特征,以解耦滚转/俯仰运动和图像运动。随后,基于动态目标的几何特性导出了适用于任意方向动态目标的图像深度模型。最后,基于使用多个特征点构建的图像矩构造出的图像动态具有简单且解耦的形式。

2.1 无人飞行器动力学

图1展示了一个带有惯性测量单元(IMU)和单目相机的无人飞行器系统。无人飞行器的位置和姿态动态模型可在文献[29]中找到。

v ˙ = f M R b n 3 - g n 3 + d 1
J ω ˙ b = - ω b × J ω b + τ

其中, v R 3是无人飞行器相对于惯性坐标系O a的平动速度, v ˙表示为平动速度 v对时间的一阶导数。 R 3表示三维实向量的集合。 M R J R 3 × 3分别表示无人飞行器的质量与惯性矩阵。 R表示实数的集合。 R 3 × 3表示三维实矩阵的集合。M J 都为常数。g表示为重力加速度,f定义为无人飞行器的推力, n 3 = [ 0,0 , 1 ] T R 3z轴方向上的单位向量。 R b R 3 × 3是机体坐标系O b相对于惯性坐标系O a的旋转矩阵, ω b R 3 τ分别是无人飞行器的角速度与扭矩, ω ˙ b表示为机体角速度 ω b对时间的一阶导数。 d 1 R 3表示环境中存在的干扰,f τ由无人飞行器的旋翼提供。

将视觉伺服控制器的输入表示为 u = f M R b n 3 - g n 3公式(1)可以表示为:

v ˙ = u + d 1

考虑到环境扰动 d 1通常是由风产生的,因此可以使用如下假设。

假设1.环境扰动 d 1是一个有界变量: | | d 1 | | D 1 其中, | | y | |表示向量 y 的二范数, D 1是扰动 d 1的二范数上界。

基于当前的商用无人飞行器算法,假设无人飞行器的姿态控制器是可直接使用的[30]。将期望的机体姿态 R b与推力f作为无人飞行器视觉伺服控制器的输入。定义期望姿态 R b = [ r 1 , r 2 , r 3 ],其中, r 1 r 2 r 3分别是旋转矩阵 R b的第一、第二与第三列元素,所设计的视觉伺服控制输入 u 可以使用以下公式将其转化为商用无人飞行器的控制器输入[30]:

f = M | | u + g n 3 | |
r 1 = r 2 × r 3 r 2 = r 3 × l | | r 3 × l | | r 3 = u + g n 3 f

其中, l = [ c o s ϕ , s i n ϕ , 0 ] T是无人飞行器的航向矢量, ϕ表示为无人飞行器的偏航角。

2.2 虚拟相机

对于欠驱动的无人飞行器,像素运动和平移速度与姿态运动是耦合在一起的。图像动态特性与滚转和俯仰运动相关,这给基于图像的视觉伺服控制器设计带来了挑战。已有研究提出通过虚拟相机方法来解耦图像运动与滚转/俯仰运动[8,15]。受文献[15]的启发,本文构建了一个与惯性坐标系保持固定姿态的虚拟相机控制策略,从而保证了图像运动与无人飞行器旋转的独立控制。

图1所示,O cO v分别表示相机坐标系和虚拟相机坐标系。被跟踪目标坐标系定义为O t。被跟踪目标是一个能够任意方向旋转的平面。虚拟相机坐标系O v的旋转在惯性坐标系O a中保持不变,虚拟相机坐标系O v相对于惯性坐标系O a的旋转矩阵定义为 R v。虚拟相机坐标系O v的原点与相机坐标系O c相重合。从O v变换到O c的旋转矩阵 R c v可由以下公式计算:

R c v = R v T R b R c b

其中, R c b S O ( 3 )定义为相机坐标系O c相对于机体坐标系O b的旋转矩阵。由于相机固定在无人飞行器上,故 R c b是一个常数矩阵。

定义 s k = [ w k , h k , λ ] T R 3 s ¯ k = [ w ¯ k , h ¯ k , λ ] T分别表示为虚拟相机坐标系与真实相机坐标系下的像素坐标。 w k w ¯ k分别为虚拟相机和真实相机的像素横坐标。 h k h ¯ k分别为虚拟相机和真实相机的像素纵坐标。λ是相机的焦距。k为目标平面特征点的序号。使用相机的透视投影模型,可以推导出如下方程:

s k = λ z k p k
s ¯ k = λ z k p ¯ k

其中, p k = [ x k , y k , z k ] T p ¯ k = [ x ¯ k , y ¯ k , z ¯ k ] T分别表示在虚拟相机坐标系O v与相机坐标系O c下的第k个点的位置。zk 为第k个点的图像深度。xkykzk 分别是 p k 的三个组成部分。 x ¯ k y ¯ k z ¯ k p ¯ k的三个组成部分。

p k p ¯ k间的位置关系可以表示为:

p k = R c v p ¯ k

随后,通过结合公式(7)~(9), s k可以表示为:

s k = z ¯ k z k R c v s ¯ k

其中, z ¯ k z k = λ n 3 T R c v s ¯ k可以由公式(10)的矩阵第三行进行计算。通过应用公式(10),可以从真实图像中导出虚拟相机平面的特征像素坐标。

根据所定义的虚拟像机,可以导出描述平移速度与虚拟像机图像像素运动关系的图像运动学[10]:

w ˙ k h ˙ k = 1 z k - λ 0 w k 0 - λ h k ( v v - v e )

其中, v v = [ v v 1 , v v 2 , v v 3 ] T表示为无人飞行器在虚拟相机坐标系O v下的平移速度, v e = [ v e 1 , v e 2 , v e 3 ] T为动态目标的平移速度。 w ˙ k h ˙ k分别表示为 w k h k对时间的导数。

由于旋转矩阵 R v是一个常数,可以得到如下表达式:

z ˙ k = -   ( v v 3 - v e 3 ) v v = R v T v v ˙ v = R v T v ˙

其中, z ˙ k v ˙ v分别为 z k v v对时间的导数。

基于所定义的虚拟像机,像素运动仅与无人飞行器的平移速度有关。所建立的图像运动学方程如公式(11)所示,可以简化图像动力学的推导和视觉伺服控制器设计。

2.3 深度信息获取

由于方程(11)中的图像深度 z k不能直接使用单目相机进行测量,因此采用虚拟相机图像矩被作为图像深度 z k估计的有效方法。在虚拟相机方法中,构建一个与目标平面相平行的虚拟图像平面。基于这种平行约束,可以从图像矩与图像深度之间的比例关系获得可靠的深度估计。对于具有不可预测姿态的旋转目标,保持虚拟平面的平行约束可能会导致图像深度估计的抖动。为了克服这一问题,提出了一种基于旋转目标几何特性的图像深度模型以估计图像深度。深度模型独立于虚拟图像平面的平行约束。可以准确获取具有任意方向旋转目标的图像深度。

图1所示,abc是目标平面上的三个非共线特征点。i={1, 2, 3, …}表示三角形abc围成的区域内的特征点。假设abci是可识别的。 P k 被定义为在O t中表示的多个点的位置,其中k={a, b, c, i}表示目标平面中特征点的序号。 P a P b P c P i 分别是ab、c和i相对于O t的位置。ab、c和i的虚拟图像像素分别为 s a s b s c s i。然后, P i 可以通过使用重心插值来表示如下方程。

P i = α i P a + β i P b + γ i P c

其中, α i , β i , γ i 0为插值系数,满足方程 α i + β i + γ i = 1 α iβiγi 的值为常数可以由动态目标的几何信息进行确定。

P k p k之间的位置关系可以表示为:

p k = R t v P k + p t v , k = { a , b , c , i }

其中, R t v p t v分别是旋转矩阵和虚拟相机坐标系到被跟踪目标坐标系的平移。

结合式(7)式(13)式(14)可以得到:

z i s i = α i z a s a + β i z b s b + γ i z c s c

其中,zazbzc 分别是abc的图像深度。zi 为特征点i的图像深度。

通过对公式(15)等号两边进行向量运算,可以得到:

z i s a × s i = β i z b s a × s b + γ i z c s a × s c
z i s b T ( s a × s i ) = γ i z c s b T ( s a × s c )

z c可以表示为:

z c = 1 γ i s b T ( s a × s i ) s b T ( s a × s c ) z i = 1 γ i s i T ( s a × s b ) s i T ( s a × s b ) z i = r c z i

其中, r c = 1 γ i s i T ( s a × s b ) s c T ( s a × s b )c的图像深度参数。

同理, z a z b可以表示为:

z a = 1 α i s i T ( s b × s c ) s a T ( s b × s c ) z i = r a z i
z b = 1 β i s i T ( s a × s c ) s b T ( s a × s c ) z i = r b z i

其中, r a = 1 α i s i T ( s b × s c ) s a T ( s b × s c ) r b = 1 β i s i T ( s a × s c ) s b T ( s a × s c )分别为ab的图像深度参数。

假设动态目标的几何特征是不变的,则由 P a P b P c 围成的区域面积是恒定的,可以表示为:

S a , b , c = 1 2 | |   ( p a - p b ) × ( p a - p c )   | |

其中,Sa,b,c 为特征点abc所围城的面积。 p a p b p c 分别为特征点abc相对于相机坐标系O c的位置。

应用式(7)式(18)式(19)式(21)式(21)可以改写为:

S a , b , c = z i 2 λ | |   ( r a s a - r b s b ) × ( r a s a - r c s c )   | |

P i的图像深度可表示为:

z i = 2 λ S a , b , c ρ i

其中, ρ i = 1 | |   ( r a s a - r b s b ) × ( r a s a - r c s c )   | |i的图像深度参数。

对于 P a P b P c 围成的区域内的点,可以利用公式(23)估计图像深度,而不受目标旋转的影响。

2.4 虚拟相机图像动力学

考虑目标平面上的N个可见特征像素。图像特征定义如下:

q = 1 N i = 1 N ρ i s i

其中, q 是图像矩。

图像矩 q 的时间导数可以表示为:

q ˙ = 1 N i = 1 N ρ ˙ i s i + ρ i w ˙ i h ˙ i 0

其中, ρ ˙ i = z ˙ i 2 λ S a , b , c = - ( v v 3 - v e 3 ) 2 λ S a , b , c ρ i对时间的一阶导数,可以使用公式(23)进行推导。 w i h i分别是特征点i的虚拟相机像素的横坐标与纵坐标。 w ˙ i h ˙ i分别是 w i h i的时间导出。

结合式(11)式(12)式(23)式(25),可以将 q ˙表示为:

q ˙ = 1 N i = 1 N - ( v v 3 - v e 3 ) 2 λ S a , b , c w i h i λ + z i 2 λ S a , b , c w ˙ i h ˙ i 0 = 1 2 λ S a , b , c 1 N i = 1 N - λ 0 0 0 - λ 0 0 0 - λ ( v v - v e ) = - 1 2 S a , b , c ( v v - v e )

定义 m = 1 2 S a , b , c > 0(其中m为被跟踪目标的集合参数)和 δ = - m ( v v - v e )(其中δ是无人飞行机器人相对于被跟踪目标的速度)。代入式(3)式(12)式(26),可以将图像动力学表示为:

q ˙ = δ
δ ˙ = - m R v T u + d

其中, d = - m ( R v T d 1 - v ˙ e )是图像动态系统的集总不确定性。

鉴于动态目标的机动能力通常有限,可以采用以下假设。

假设2.被跟踪目标的加速度是有界的,存在 | | v ˙ e | | D 2,其中 D 2是跟踪目标加速度的上界。

定义 D = m D 1 + D 2,其中 | | d | | m (   | | R v T d 1 | | + | | v ˙ e | |   ) D是总不确定性的上界, R v m是常数。

通过所构建的虚拟相机与图像深度模型,可以将图像动力学化简为如式(27)式(28)所示。

3 动态视觉伺服控制方法

本节基于李雅普诺夫理论推导并分析了动态视觉伺服控制器。具体来说,提出了一种速度观测器来估计无人飞行器与动态目标之间的相对速度。在设计观测器时考虑了不可预测干扰和动态目标加速度的最大界限,并使用基于积分的滤波器进行估计。然后将速度观测器的输出应用于视觉伺服控制器中。图2展示了所提出的视觉伺服方法的控制流程。

3.1 自适应速度观测器

分别将 q δ的估计值定义为 q ^ δ ^ q ˜ = q - q ^ δ ˜ = δ - δ ^分别表示 q δ的估计误差。由于 q可以通过机载相机进行获取,故将 q ^作为速度观测器的辅助变量。

定理1.使用所提出的速度观测器,无人飞行器的系统观测误差 q ˜ δ ˜可以收敛于0:

q ^ ˙ = δ ^ + k 1 q ˜
δ ^ = δ o + k 2 q ˜
δ ˙ o = - m ^ R v T u + ( k 1 k 2 + 1 ) q ˜ + D ^ s g n ( q ˜ ˙ + k 1 q ˜ )

其中, q ^ ˙ q ^对时间的一阶导数。 δ o是速度观测器的辅助变量。 δ ˙ o δ o对时间的一阶导数。 k 1 > 0 R k 2 > 0 R是所设计观测器的控制参数。 D ^ m ^分别是 D m的估计值。基于积分的 D ^ m ^滤波器设计如下:

D ^ ˙ = ( q ˜ ˙ + k 1 q ˜ ) T s g n ( q ˜ ˙ + k 1 q ˜ )
m ^ ˙ = -   ( q ˜ ˙ + k 1 q ˜ ) T R v T u

证明.应用式(27)式(30) q ˜ ˙ δ ˜ ˙可以表示为:

q ˜ ˙ = - k 1 q ˜ + δ ˜
δ ˜ ˙ = - m ˜ R v T u - k 2 δ ˜ - D ^ s g n ( δ ˜ ) - q ˜ + d

由于 D m都是常数,对其求时间的一阶导数可以得到 D ˙ = 0 m ˙ = 0。定义 D ˜ = D - D ^ m ˜ = m - m ^ D ˜ ˙ m ˜ ˙可以表示为:

D ˜ ˙ = - δ ˜ T s g n ( δ ˜ )
m ˜ ˙ = δ ˜ T R v T u

速度观测器的李雅普诺夫函数 V o定义如下:

V o = 1 2 q ˜ T q ˜ + 1 2 δ ˜ T δ ˜ + 1 2 D ˜ 2 + 1 2 m ˜ 2

V o关于时间的一阶导数可以表示为:

V ˙ o = q ˜ T q ˜ ˙ + δ ˜ T δ ˜ . - D ˜ D ^ ˙ - m ˜ m ^ ˙ - k 1 q ˜ T q ˜ + q ˜ T δ ˜ - m ˜ δ ˜ T R v T u     = - k 2 δ ˜ T δ ˜ - D ^ δ ˜ T s g n ( δ ˜ ) - δ ˜ T q ˜ + δ ˜ T d - D ˜ δ ˜ T s g n ( δ ˜ ) + m ˜ δ ˜ T R v T u - k 1 q ˜ T q ˜ - k 2 δ ˜ T δ ˜                                

应用Barbalat’s定理, q ˜ δ ˜在时间t趋于 时收敛于0。

通过应用式(29)~(33),采用估计误差 δ ^代替 δ进行视觉伺服控制器设计。 D ^被用于补偿视觉伺服控制器中的外部干扰。

3.2 动态视觉伺服控制器设计

期望的图像矩定义为 q *,而图像特征 q 的误差为 q 1 = q q *。在目标跟踪任务中,无人飞行器与动态目标之间保持固定的相对位置;设定期望图像特征为一个固定值,则其对时间的一阶导数 q ˙ * = 0则可以得到 q ˙ = q ˙ 1。随后,利用反演控制方法进行视觉伺服控制器的设计。

考虑构建李雅普诺夫函数如下:

V 1 = 1 2 q 1 T q 1

其中,V 1是反演设计过程中初步选择的李雅普诺夫函数。

V 1关于时间的一阶导数可以写为:

V ˙ 1 = q 1 T q ˙ 1 = q 1 T δ = q 1 T ( δ ˜ + δ ^ )

定义误差项 q 2 = q 1 + 1 k 3 δ ^,其中 k 3 > 0 R是视觉伺服控制器的增益系数。 V ˙ 1可以写成如下形式:

V ˙ 1 = - k 3 q 1 T q 1 + k 3 q 1 T q 2 + q 1 T δ ˜

q 2的时间导数可以表示为:

q ˙ 2 = q ˙ 1 + 1 k 3 [ - m ^ R v T u + k 2 ( q ˜ ˙ + k 1 q ˜ ) + D ^ s g n ( q ˜ ˙ + k 1 q ˜ ) + q ˜ ] = δ ^ + 1 k 3 [ - m ^ R v T u + D ^ s g n ( q ˜ ˙ + k 1 q ˜ ) + q ˜ ] + ( k 2 k 3 + 1 ) δ ˜

定理2.式(27)式(28)所提出的图像动力学系统,当使用视觉伺服控制器输入 u时,控制系统是渐进稳定的,并且误差项 q 1 q 2 q ˜ δ ˜收敛到0:

u = 1 m ^ R v [ D ^ s g n ( q ˜ ˙ + k 1 q ˜ ) + q ˜ + k 3 δ ^ + k 3 k 4 q 2 + k 3 2 q 1 ]

其中, k 4 > 0 R是视觉伺服控制器中的增益系数。

证明.应用式(43)式(44),可以将 q ˙ 2表示为:

q ˙ 2 = - k 4 q 2 - k 3 q 1 + ( k 2 k 3 + 1 ) δ ˜

考虑设计如下李雅普诺夫函数:

V 2 = V 1 + 1 2 q 2 T q 2 + V o

其中, V 2是反演设计过程中最终使用的李雅普诺夫函数。

V 2关于时间的一阶导数可以表示为:

V ˙ 2 = - k 3 q 1 T q 1 + k 3 q 1 T q 2 + q 1 T δ ˜ - k 4 q 2 T q 2 + ( k 2 k 3 + 1 ) q 2 T δ ˜ - k 3 q 2 T q 1 - k 1 q ˜ T q ˜ - k 2 δ ˜ T δ ˜ -   ( k 3 - 1 2 ) q 1 T q 1 -          ( k 4 - k 2 + k 3 2 k 3 ) q 2 T q 2 - k 1 q ˜ T q ˜ - ( k 2 - k 2 2 k 3 - 1 ) δ ˜ T δ ˜

根据公式(47),控制器和观测器中所使用的增益系数选择如下:

k 1 > 0 , k 2 > 2 k 3 2 k 3 - 1 k 3 > 1 2 , k 4 > k 2 + k 3 2 k 3

根据Barbalat引理,当时间t趋近于 时, q 1 q 2 q ˜ δ ˜渐进收敛到0。

4 目标跟踪对比仿真

在仿真中,将所提出的视觉伺服控制器与文献[24]中所提出的控制器进行比较。使用CoppeliaSim(Coppelia Robotics, Switzerland)设计了一个对比仿真,以模拟实际飞行情况。仿真结果证明了所提出方法的有效性。

4.1 仿真设置

利用CoppeliaSim软件建立了无人飞行器模型以进行对比仿真。在仿真平台中分别实现了所提出的视觉伺服控制器和文献 [24] 中所提出的控制器。仿真平台的结构如图3所示。仿真参数如下:M = 0.8 kg;控制时间步长:Δt = 0.02 s;速度噪声N~(0, 0.02) m·s-1 d = N~(0, 0.1);被跟踪目标的姿态为 R o t z y x ( [ s i n   ( t ) 6 , 0 , c o s   ( t ) 12 ]   ) rad;被跟踪目标的位置轨迹为 p t a = [ 1,0.3 c o s ( 0.25 t ) , 0 ] m;无人飞行器相对于目标的期望位置为 p t c = [ 1,0 , 0 ] m,其中,N~(·)表示高斯分布,Rot zyx (·)表示对应于欧拉角的旋转矩阵。期望像素点 s a s b s c s i分别是 s a * = [ 0 , - 27 ] s b * = [ - 24,15 ] s c * = [ 24,15 ] s i * = [ 0,0 ]。所提出方法的控制器参数设置为 k 1 = 2 k 2 = 3 k 3 = 1 k 4 = 3。文献[24]中比较方法的控制器参数设置为 k c 1 = 1 k c 2 = 2 k t g = 1 k b 1 = k b 2 = 0.05。在仿真中,动态目标的几何参数分别为 α i = 1 3 β i = 1 3 γ i = 1 3。在比较方法中利用平移速度测量值来估计动态目标的速度,而在所提出的方法中避免了这些测量。此外,在所提出的方法中,基于虚拟相机的视觉伺服方法被扩展用于跟踪具有任意姿态的旋转目标。在仿真中比较了含噪声测量和旋转目标对控制的影响。

对比仿真分为三个阶段:①从t = 0到15 s的目标跟踪阶段,②从t = 15到30 s的干扰跟踪阶段,以及③从t = 30到45 s的旋转目标跟踪阶段。动态目标跟踪任务的仿真流程如图4所示。在目标跟踪阶段,无人飞行器被设定为跟踪一个非均匀运动的目标,以验证所提出的速度观测器的有效性。随后,在干扰跟踪阶段,对无人飞行器施加外部干扰,以验证所提出方法的抗干扰能力。最后,在旋转目标跟踪阶段,将动态目标的姿态配置为动态旋转,以验证无人飞行器对旋转目标的跟踪稳定性。

4.2 仿真结果与分析

对比仿真结果如图5图10所示。图5图6分别展示了无人飞行器和被跟踪目标的位置轨迹。图7图9图10分别展示了图像误差、平移速度和欧拉角。特征像素收敛轨迹如图8所示。在从t= 0到15 s的目标跟踪阶段中,图像误差在5 s内收敛到零,并在之后稳定在0附近。与对比方法相比,本文所提出方法的图像、姿态和平移速度轨迹更加平滑。在从t= 15到30 s的干扰跟踪阶段中,尽管外部干扰导致平移速度和姿态运动出现轻微抖动现象,但无人飞行器依然能够保持稳定的跟踪轨迹。所提出的视觉伺服控制器和文献[24]中的控制器的图像误差在±10 pixel范围内。所提出的视觉伺服控制器的姿态抖动在±0.02 rad范围内,而对比方法的姿态抖动在±0.025 rad范围内。所提出方法在不需要对平移速度进行测量的情况下实现了与对比方法相似的抗干扰性能。在t = 30 s到45 s的旋转目标跟踪阶段中,对比方法在z方向的图像误差 q 1 , z增长到±20 pixel并出现抖动。相比之下,所提出方法的图像误差始终保持在±10 pixel范围内。对比方法中的平移速度和姿态出现了抖动现象。相比之下,所提出方法的姿态和平移速度轨迹更加平滑。所提出的视觉伺服控制器的图像误差稳定在0附近,并限制在±10 pixel范围内。

表1提供对比仿真中的均方根误差(RMSE)和标准差(STD)的对比数据。数据表明,所提出的视觉伺服控制器的稳态误差小于参考文献[24]中对比方法的稳态误差。此外,STD统计数据表明,所提出的视觉伺服控制器的姿态运动比对比控制器更加平滑。

总体而言,所提出的视觉伺服控制器的图像、平移速度和姿态运动都更加平滑,从而实现了无人飞行器的稳定跟踪性能。所提出的视觉伺服控制器在无需进行平移速度测量的条件下,实现了与对比方法相当的抗干扰能力。所提出方法可以实现对旋转目标的稳定跟踪。

5 实验结果

在本节中,采用自制的无人飞行器来验证所提出方法的可行性。介绍了实验设置和过程,并提供了实验数据来说明所提出方法的控制性能。实验视频见附录A。

5.1 实验设置

在实验中,采用四旋翼平台来验证所提出的动态视觉伺服控制器的可行性。基于我们之前的工作[31],使用了一台带有机载计算机、Ardupilot飞行控制器和单目摄像头的自制无人飞行器作为主要平台。无人飞行器系统的硬件结构如图11所示。特别地,嵌入式的Ardupilot提供了准确的角速度和横滚-俯仰角,通过扩展卡尔曼滤波器(EKF)实现低级姿态控制。光流和距离传感器用于盘旋模式,以确保飞行安全。机载计算机用于图像处理和控制器计算;它通过微型飞行器链路(Mavlink)与飞行控制器连接,用于姿态信息采集和控制信号传输。地面站通过无线保真度(WiFi)与机载计算机通信,并用于切换视觉伺服控制器。控制时间步长设置为0.025 s,相机的分辨率和采样频率分别为320 × 240与60 Hz。采用开源标签检测工具AprilTag2 [32]来获取图像特征和无人飞行器的相对位置。图11中显示了选择的特征点 s a s b s c s i。动态目标的几何参数为 α i = 0 β i = 0.5 γ i = 0.5。以移动机器人为动态目标,采用车轮里程计获取移动机器人的位置。使用风速为10 m·s-1的螺旋桨来模拟外部的干扰。实验在没有外部定位条件(如GPS或Vicon系统)的情况下进行。

实验分为四个阶段:①从t = 0 s到12 s的视觉定位阶段,②从t = 12 s到32 s的目标跟踪阶段,③从t = 32 s到42 s的干扰跟踪阶段,以及④从t = 42 s到68 s的干扰定位阶段。首先,启动视觉伺服控制器以接近并保持与目标的固定相对距离。其次,被跟踪目标沿着轨迹 p t a = [ 0.1,0.05 c o s ( 0.42 t ) t a n h ( 0.05 t ) , 0 ]运动,相应地,被跟踪目标以 a r c s i n [ 0.5 c o s ( 0.42 t ) t a n h ( 0.05 t ) ]进行旋转。然后,无人飞行器进入受风干扰的区域并继续跟踪目标。最后,移动机器人停止移动,无人飞行器在干扰下保持定位。详细的实验配置如下:质量M = 0.8 kg;控制时间步长Δt = 0.02 s;无人飞行器相对于目标的期望位置 p t c = [ 1,0 , 0 ] m。特征点 s a s b s c s i的期望像素分别为 s a * = [ - 20 , - 20 ] s b * = [ 20 , - 20 ] s c * = [ - 20,20 ] s i * = [ 0,0 ]。控制器参数设定为 k 1 = 2 k 2 = 3 k 3 = 1 k 4 = 3

5.2 实验结果与分析

实验流程如图12所示,实验结果如图13图19所示。被跟踪目标的欧拉角如图20所示。通过移动机器人轮式里程计和AprilTag获取的无人飞行器的位置和三维轨迹如图13图14所示。图像矩和像素收敛轨迹分别如图15图16所示。速度观测器和基于积分的滤波器的输出如图17图18所示。

在视觉定位阶段,当激活视觉伺服控制器时,无人飞行器在5 s内收敛到期望位置,并在跟踪目标后方约1 m处悬停。相对速度估计误差 δ ˜收敛至0附近,并保持在±0.05 m·s-1范围内。定位误差和图像误差分别保持在±0.1 m和±10 pixel范围内。外界干扰的估计上界收敛于1.1 N附近。图像深度误差保持在±0.02 m以内。

在目标跟踪阶段,移动机器人沿给定轨迹移动,无人飞行器开始跟踪目标。由于被跟踪目标的加速度未知,无人飞行器的跟踪误差限制在±0.15 m以内。相对速度和图像深度的估计误差分别保持在±0.05 m·s-1和±0.02 m以内。得益于准确的速度估计,无人飞行器能够稳定地进行动态目标跟踪。

在干扰跟踪阶段,无人飞行器进入干扰区域。由于干扰的影响,外界干扰的估计上界值增加并收敛至1.35 N。图像深度的估计误差收敛至±0.06 m以内的有界值。通过补偿基于积分的滤波器,无人飞行器能够保持稳定,并将跟踪误差维持在±0.2 m以内。

在干扰定位阶段,当被跟踪目标停止移动时,无人飞行器停止跟踪。无人飞行器在干扰下悬停,并保持与目标1 m的距离。虽然无人飞行器的跟踪误差相比视觉定位阶段有所增加,但无人飞行器仍然以稳定的姿态悬停,并保持±0.2 m以内的定位精度。

总的来说,所提出的视觉伺服方法在GPS信号受限环境中保证无人飞行器对动态目标的有效跟踪。利用所提出的视觉伺服方法,可以减轻由外部干扰和跟踪目标的动态旋转所产生的控制不确定性对控制系统的影响。

6 结论

本文提出了一种基于速度观测器的动态视觉伺服方法,以提高无人飞行器在不可预测干扰下的跟踪性能。所提出的方法利用虚拟相机的多个特征点推导图像动力学,将图像运动与机体姿态进行有效解耦。提出了一种新的图像深度模型并在此基础上设计了速度观测器,使无人飞行器能够在没有平移速度反馈的情况下跟踪任意方向的旋转的运动目标。此外,使用基于积分的滤波器估计不可预测的干扰,并在观测器和视觉伺服控制器设计中进行补偿。使用基于李雅普诺夫理论分析了所提出的速度观测器和视觉伺服方法的稳定性。最后通过多阶段对比仿真和实验验证了所提出的动态视觉伺服方法的有效性和鲁棒性。在未来的研究中,我们将把所提出的动态视觉伺服方法用于无人飞行器的实际应用场景,如捕捉动态目标和自主着陆。

参考文献

[1]

Chung HM, Maharjan S, Zhang Y, Eliassen F, Strunz K. Placement and routing optimization for automated inspection with unmanned aerial vehicles: a study in offshore wind farm. IEEE Trans Industr Inform 2021;17(5):3032‒43. . 10.1109/tii.2020.3004816

[2]

Kendoul F. Survey of advances in guidance, navigation, and control of unmanned rotorcraft systems. J Field Robot 2012;29(2):315‒78. . 10.1002/rob.20414

[3]

Scaramuzza D, Achtelik MC, Doitsidis L, Friedrich F, Kosmatopoulos E, Martinelli A, et al. Vision-controlled micro flying robots: from system design to autonomous navigation and mapping in GPS-denied environments. IEEE Robot Autom Mag 2014;21(3):26‒40. . 10.1109/mra.2014.2322295

[4]

McFadyen A, Jabeur M, Corke P. Image-based visual servoing with unknown point feature correspondence. IEEE Robot Autom Lett 2017;2(2):601‒7. . 10.1109/lra.2016.2645886

[5]

Rafique MA, Lynch AF. Output-feedback image-based visual servoing for multirotor unmanned aerial vehicle line following. IEEE Trans Aerosp Electron Syst 2020;56(4):3182‒96. . 10.1109/taes.2020.2967851

[6]

Serra P, Cunha R, Hamel T, Cabecinhas D, Silvestre C. Landing of a quadrotor on a moving target using dynamic image-based visual servo control. IEEE Trans Robot 2016;32(6):1524‒35. . 10.1109/tro.2016.2604495

[7]

Xie H, Low KH, He Z. Adaptive visual servoing of unmanned aerial vehicles in GPS-denied environments. IEEE/ASME Trans Mechatron 2017;22(6):2554‒63. . 10.1109/tmech.2017.2755669

[8]

Zhang X, Fang Y, Zhang X, Jiang J, Chen X. A novel geometric hierarchical approach for dynamic visual servoing of quadrotors. IEEE Trans Ind Electron 2020;67(5):3840‒9. . 10.1109/tie.2019.2917420

[9]

Zhang K, Shi Y, Sheng H. Robust nonlinear model predictive control based visual servoing of quadrotor UAVs. IEEE/ASME Trans Mechatron 2021;26(2):700‒8. . 10.1109/tmech.2021.3053267

[10]

Chaumette F, Hutchinson S. Visual servo control. Ⅰ. Basic approaches. IEEE Robot Autom Mag 2006;13(4):82‒90. . 10.1109/mra.2006.250573

[11]

Chaumette F, Hutchinson S. Visual servo control. Ⅱ. Advanced approaches. IEEE Robot Autom Mag 2007;14(1):109‒18. . 10.1109/mra.2007.339609

[12]

Zhong H, Miao Z, Wang Y, Mao J, Li L, Zhang H, et al. A practical visual servo control for aerial manipulation using a spherical projection model. IEEE Trans Ind Electron 2020;67(12):10564‒74. . 10.1109/tie.2019.2958305

[13]

Sun N, Yang T, Chen H, Fang Y. Dynamic feedback antiswing control of shipboard cranes without velocity measurement: theory and hardware experiments. IEEE Trans Industr Inform 2019;15(5):2879‒91. . 10.1109/tii.2018.2878935

[14]

Abdessameud A, Tayebi A. Global trajectory tracking control of VTOL-UAVs without linear velocity measurements. Automatica 2010;46(6):1053‒9. . 10.1016/j.automatica.2010.03.010

[15]

Zhang X, Fang Y, Zhang X, Jiang J, Chen X. Dynamic image-based output feedback control for visual servoing of multirotors. IEEE Trans Industr Inform 2020;16(12):7624‒36. . 10.1109/tii.2020.2974485

[16]

Wang H, Zheng D, Wang J, Chen W, Yuan J. Ego-motion estimation of a quadrotor based on nonlinear observer. IEEE/ASME Trans Mechatron 2018;23(3):1138‒47. . 10.1109/tmech.2018.2823363

[17]

Shao X, Zhang J, Zhang W. Distributed cooperative surrounding control for mobile robots with uncertainties and aperiodic sampling. IEEE Trans Intell Transp Syst 2022;23(10):18951‒61. . 10.1109/tits.2022.3189201

[18]

Zhang J, Shao X, Zhang W, Na J. Path-following control capable of reinforcing transient performances for networked mobile robots over a single curve. IEEE Trans Inst Meas 2023;72:1‒12. . 10.1109/tim.2022.3201930

[19]

Lee D, Ryan T, Kim HJ. Autonomous landing of a VTOL UAV on a moving platform using image-based visual servoing. In: Proceedings of 2012 IEEE International Conference on Robotics and Automation (ICRA); 2012 May 14‒18; Saint Paul, MN, USA. IEEE; 2012. p. 971‒6. . 10.1109/icra.2012.6224828

[20]

Jabbari Asl H, Oriolo G, Bolandi H. Output feedback image-based visual servoing control of an underactuated unmanned aerial vehicle. Proc Inst Mech Eng Part I J Syst Control Eng 2014;228(7):435‒48. . 10.1177/0959651814530698

[21]

Cao Z, Chen X, Yu Y, Yu J, Liu X, Zhou C, et al. Image dynamics-based visual servoing for quadrotors tracking a target with a nonlinear trajectory observer. IEEE Trans Syst Man Cybern Syst 2020;50(1):376‒84. . 10.1109/tsmc.2017.2720173

[22]

Lin J, Wang Y, Miao Z, Zhong H, Nie J, Fierro R. Robust image-based landing control of a quadrotor on an unknown moving platform using circle features. In: Proceedings of 2021 IEEE International Conference on Real-Time Computing and Robotics (RCAR); 2021 Jul 15‒19; Xining, China. IEEE; 2021. p. 177‒82. . 10.1109/rcar52367.2021.9517654

[23]

Zheng D, Wang H, Wang J, Chen S, Chen W, Liang X. Image-based visual servoing of a quadrotor using virtual camera approach. IEEE/ASME Trans Mechatron 2017;22(2):972‒82. . 10.1109/tmech.2016.2639531

[24]

Li J, Xie H, Low KH, Yong J, Li B. Image-based visual servoing of rotorcrafts to planar visual targets of arbitrary orientation. IEEE Robot Autom Lett 2021;6(4):7861‒8. . 10.1109/lra.2021.3101878

[25]

Liang J, Chen Y, Lai N, He B, Miao Z, Wang Y. Low-complexity prescribed performance control for unmanned aerial manipula-tor robot system under model uncertainty and unknown disturbances. IEEE Trans Industr Inform 2022;18(7):4632‒41. . 10.1109/tii.2021.3117262

[26]

Zhang W, Shao X, Zhang W, Qi J, Li H. Unknown input observer-based appointed-time funnel control for quadrotors. Aerosp Sci Tech 2022;126:107351. . 10.1016/j.ast.2022.107351

[27]

Zhang Z, Chen Y, Wu Y, Lin L, He B, Miao Z, et al. Gliding grasping analysis and hybrid force/position control for unmanned aerial manipulator system. ISA Trans 2022;126:377‒87. . 10.1016/j.isatra.2021.07.038

[28]

Xie H, Lynch AF, Low KH, Mao S. Adaptive output-feedback image-based visual servoing for quadrotor unmanned aerial vehi-cles. IEEE Trans Control Syst Technol 2020;28(3):1034‒41. . 10.1109/tcst.2019.2892034

[29]

Kumar V, Michael N. Opportunities and challenges with autonomous micro aerial vehicles. Int J Robot Res 2012;31(11):1279‒91. . 10.1177/0278364912455954

[30]

Fresk E, Nikolakopoulos G. Full quaternion based attitude control for a quadrotor. In: Proceedings of 2013 European Control Conference (ECC); 2013 Jul 17‒19; Zurich, Switzerland. IEEE; 2013. p. 3864‒69. . 10.23919/ecc.2013.6669617

[31]

Lai N, Chen Y, Liang J, He B, Zhong H, Wang Y. An onboard-eye-to-hand visual servo and task coordination control for aerial manipulator based on a spherical model. Mechatronics 2022;82:102724. . 10.1016/j.mechatronics.2021.102724

[32]

Wang J, Olson E. AprilTag 2: efficient and robust fiducial detection. In: Proceedings of 2016 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS); 2016 Oct 9‒14; Daejeon, Republic of Korea. IEEE; 2016. p. 3400‒7. . 10.1109/iros.2016.7759617

AI Summary AI Mindmap
PDF (8054KB)

Supplementary files

Supplementary Material

4279

访问

0

被引

详细

导航
相关文章

AI思维导图

/