基于深度网络的多源卫星数据舰船目标融合跟踪

doi:10.19328/j.cnki.2096-8655.2026.01.006

doi: 10.19328/j.cnki.2096‐8655.2026.01.006

李鑫晟 ¹ ，张海超 ² ，吴楚泽 ¹ ，冯书谊 ² ，郝禹哲 ¹ ，李元祥 ¹

1. 上海交通大学航空航天学院上海 200240

2. 上海航天电子通讯设备研究所上海 201109

基金项目: 上海航天先进技术联合研究基金资助项目（USCAST2022-38）

详细信息

通信作者

李元祥,E-mail：yuanxli@sjtu.edu.cn。

中图分类号: V24

文献标志码: A

Deep Network-based Ship Target Fusion Tracking with Multi-source Satellite Data

LI Xinsheng ¹ ， ZHANG Haichao ² ， WU Chuze ¹ ， FENG Shuyi ² ， HAO Yuzhe ¹ ， LI Yuanxiang ¹

1. School of Aeronautics and Astronautics, Shanghai Jiao Tong University, Shanghai 200240, China

2. Shanghai Aerospace Electronic Technology Research Institute, Shanghai 201109, China

摘要

随着卫星遥感技术的快速发展，单一数据源已不再满足舰船目标跟踪的需求。多源卫星观测数据融合能提供更全面、准确的地球观测信息，克服单一数据源的局限性，提升目标跟踪性能，进而支持更精确的分析与决策。利用天基微波雷达、电子侦察卫星、星载合成孔径雷达（SAR）的观测数据，研究如何有效融合多种卫星载荷数据实现对舰船目标实现更精准的追踪。首先，提出一种基于卷积神经网络（CNN）和注意力机制的数据融合方法，该方法能有效整合来自不同模态的数据，以增强模型在复杂任务中的表现。然后，提出一种基于图神经网络（GNN）的数据关联算法，保证跟踪过程中每个目标的一致性和连续性，通过船舶自动识别系统产生的模拟数据集进行仿真验证。结果表明：该方法在 5 km×5 km、10 km×10 km、20 km×20 km 3 种舰船分布密度场景下都获得了良好的融合精度和跟踪稳定性，具有较高的工程应用价值。

关键词

多传感器数据融合 / 目标跟踪 / 航迹关联 / 卷积神经网络（CNN） / 图神经网络（GNN）

Abstract

With the rapid development of satellite remote sensing technology，a single data source no longer meets the needs of ship target tracking.The fusion of multi-source satellite observation data can provide comprehensive and accurate Earth observation information，overcome the limitations of a single data source，improve the target tracking performance，and thus support accurate analysis and decision-making.In this paper，the observation data from spacebased microwave radar，electronic reconnaissance satellites，and synthetic aperture radar （SAR）satellites are adopted to study how to effectively fuse data from multiple satellite payloads to achieve accurate tracking of ship targets.First，a data fusion method based on the convolutional neural network （CNN）and attention mechanism is proposed，which can effectively integrate data from different modalities to enhance the performance of the model in complex tasks.Then，a data association algorithm based on graph neural networks （GNNs）is proposed，which ensures the consistency and continuity of each target during the tracking process. Simulation validation is carried out with the simulated dataset generated by the ship automatic identification system.The results show that the method obtains good fusion accuracy and tracking stability in three ship distribution density scenarios of 5 km×5 km，10 km×10 km，and 20 km×20 km，and has high value for engineering applications.

Keywords

multi-sensor data fusion / object tracking / trajectory correlation / convolutional neural network（CNN） / graph neural network （GNN）

0 引言 1 问题描述 1.1 多源点迹融合 1.2 舰船目标关联 2 算法描述 2.1 基于 CNN 及注意力机制的多源点迹融合 2.2 基于 GNN 的多目标跟踪方法 3 仿真试验及结果分析 3.1 数据集 3.2 实验设置 3.3 多源点迹融合仿真实验 3.4 舰船多目标关联跟踪 4 结束语

0 引言

随着我国卫星技术与传感器技术的不断进步，以及大数据和人工智能的快速发展，海面舰船目标监测数据呈现出多样化的趋势，多目标跟踪^[1]作为现代战争的核心需求之一，正受到广泛的关注^[2]。天基微波雷达、星载合成孔径雷达（Synthetic Aperture Radar，SAR）和电子侦察在海面目标跟踪探测中得到广泛应用，各自展示出其独特的优势。但单一载荷用于舰船的探测与追踪往往只能获取目标的特定维度信息，难以全面反映目标的真实状态，对目标的描述稳定性较差，导致监视效果不理想。因此，需有效利用多源卫星观测数据，以满足复杂海洋环境下的监测需求，提高侦察卫星对海面舰船目标的识别和跟踪能力，建立基于多源数据融合的海上舰船定位与追踪系统。

舰船多目标跟踪是多目标跟踪的重要应用场景之一^[3]，舰船的监测在海上监控和国家安全等多个领域发挥着至关重要的作用^[4]。在海面舰船识别任务中，多目标跟踪^[5]的核心任务在于同时监测视频序列中多个目标的动态。其中一个主要挑战是有效处理新目标的出现和现有目标的消失，海杂波、云层、海岛及舰船尾迹等干扰因素都会对目标跟踪的准确性产生显著影响。在这一领域，BAR-SHALOM 等^[6]将数据关联技术与卡尔曼滤波相结合，为目标跟踪技术的进步做出了开创性的贡献。SAR 作为主动遥感系统，具备全天候、全天时观测能力，不受光照和天气限制，可获取高分辨率地表图像，已在全球范围内得到广泛应用和重视^[7-10]。SAR 图像在航空、海洋、天文等领域有着广泛的应用^[11]，因此深度学习算法也在基于高分辨率SAR 图像和基于电子侦查卫星数据的目标跟踪中引领算法的创新^[12-13]。然而，上述几类算法在覆盖范围及监控精度上都各自存在一定的局限性。随着目标关联和数据融合技术在多年的发展中变得日益成熟，融合遥感卫星上多种载荷数据，充分发挥各载荷的优势，以获得更精确、更丰富的量测信息，具有重要意义。

多源数据融合利用星上载荷数据，通过目标检测、数据关联、数据融合等流程，实现对未知舰船位置状态的精确估计^[14]。数据关联建立传感器量测数据与目标之间的对应关系，承担着解决目标数量未知挑战的任务，对提高目标跟踪过程的可靠性至关重要^[15]。数据关联通常包括量测-量测、量测-航迹和航迹-航迹关联^[16]。其中，量测-航迹关联通过将传感器量测与已知目标航迹进行关联处理，是最常用的数据关联方法，也是本文研究的重点。传统方法如匈牙利算法在目标跟踪中具有计算简单、实现方便的优点，但存在显著的局限性。匈牙利算法依赖于准确的成本矩阵计算，对于噪声较大的多源数据或目标间存在遮挡的场景，匹配结果易受误差影响。最近邻方法是其中最常用的数据关联方法，其核心思想是以目标预测位置为中心设立跟踪波门，在波门范围内选择距离中心最近的量测作为最优关联量测^[17]。然而，该方法没有考虑不同量测误差的相关性，导致抗干扰能力较弱，受传感器数据噪声的影响较大。因此，进一步提出改进马氏距离的最近邻关联方法^[18]，以及自适应距离最近邻关联方法^[19]，均提高了正确关联概率。此外，考虑到多个信息源之间的重要程度，李恒璐等^[20]采用信息熵理论确定权重系数，提高数据关联的正确率。而全局最近邻方法则充分考虑了数据关联的多种可能性，增强了关联的稳定性，提高了目标的跟踪效果^[21]。在数据融合方面，JING 等^[22]利用卷积神经网络（Convolutional Neural Network，CNN）开发出一种自适应的多传感器数据融合技术，该技术通过训练和学习原始数据的特征来满足决策需求。FRIKHA 等^[23]利用置信度函数评估传感器数据的可靠性，并通过加权系数进行数据合并，将其用于目标识别任务。美国海军通过融合多种非关联的连续信号来提升声纳搜寻目标的精度与成功率，进一步推动了数据融合技术的进展^[24]；柳胜凯等^[25]研发了一种优化的室内行人航位推算方法，该方法基于多传感器数据融合，在降低行人轨迹误差方面展现了卓越性能。周剑等^[26]提出一种基于登普斯特-谢弗（Dempster-Shafer，DS）证据理论的多传感器数据融合方法，以改善决策的不确定性和随机性。王智伟等^[27] 提出一种基于反向传播（Back Propagation，BP）神经网络的多源数据融合方法，有效用于结合多种异构网络数据进行滑坡形变预测，并取得了显著成效。

本文利用天基微波雷达、电子侦察和星载 SAR数据，研究多种载荷数据下对舰船的监测数据融合跟踪方法，提出一套完整的舰船多目标跟踪流程，涵盖传统目标跟踪方法和基于深度学习的数据融合技术。首先，考虑星上载荷数据的保密性，使用卫星工具包（Satellite Tool Kit，STK）^[28]和 Matlab 联合模拟实际场景并构建仿真数据集；其次，提出基于 CNN 和注意力（Attention）机制的多源数据融合方法，利用 CNN 提取各载荷量测之间的误差特征，并通过注意力机制减少对无关信息的依赖，得到多源融合点迹；然后，引入图神经网络（Graph Neural Network，GNN）对舰船目标进行跟踪，将融合后的点迹数据转换为图结构，综合考虑各载荷的量测信息和监测目标特征，得到不同监测时刻的关联度矩阵；最后，根据数据关联结果，利用卡尔曼滤波实现跟踪。实验结果表明，与匈牙利算法和最近邻关联算法相比，本文方法在多目标跟踪性能上表现更优秀。

1 问题描述

“基于多源信息融合的舰船目标跟踪”任务可被分解为以下 2 个子任务：1）多源点迹融合。不同载荷数据源在特定的时间地域对目标监测的量测信息都存在不同的误差，融合多种载荷的采样数据能够有效提高数据融合精度。2）多目标数据关联及跟踪。在得到舰船目标的测量值后，通过数据关联过程建立传感器量测数据与跟踪目标之间的对应关系，从而实现对目标的逐帧跟踪^[29-30]。

1.1 多源点迹融合

考虑第 k时刻，多源传感器信息可表示为[Z₁，Z₂，⋯，Z_T ]，T 为传感器的类型数量。其中第 i个数据 Z₂ 的轨迹长度为 N。[ X^k₁，X^k₂，⋯，X^k_T]表示第T 个目标在 k时刻的真实值。则点迹融合的优化问题可表示为

\hat{f}, \hat{s} = \underset{f, s, λ}{\arg min} \sum_{i = 1}^{T} D {X_{i} - f [Z_{i} + s (Z_{i}, λ)]}

（1）

式中：λ 为载荷整体误差差异参数，用来描述不同载荷之间由于定位误差带来的整体差异；s(·) 为空间误差差异函数，用于估计不同载荷点迹数据到目标真实值的差距；f(·) 为融合函数，用来融合点迹数据；D(·) 为距离度量，用于计算融合点迹和真实点迹之间的距离；

\hat{f} 、 \hat{s}

分别为最优融合函数和最优空间误差差异函数。其目标是完成第 k 时刻的多源数据点迹融合，为后续的滤波跟踪提供更高精度的融合点迹数据。

1.2 舰船目标关联

在舰船目标关联任务中，将融合后的点迹数据转换为图结构，并利用 GNN 进行训练，能有效融合不同载荷数据，更准确地捕捉舰船目标之间的联系，从而提高目标跟踪的精度和稳定性。该方法需对连续帧之间构造一个二部图G_t，其中分别包含上一帧t-1 时的轨迹

T^{(t - 1)} = T_{1}^{(t - 1)}, T_{2}^{(t - 1)}, \dots, T_{i}^{(t - 1)}

，以及当前帧 t 的观测值

O^{t} = O_{1}^{t}, O_{2}^{t}, \dots, O_{j}^{(t - 1)}, i \in I, j \in J

，集合 I与集合 J定义了前一帧的轨迹数与当前帧的量测目标数。关联度矩阵 S ∈ R^{I × J}通过二部图G_t 进行加权，其中相似度得分 s_i，j∈ R 与轨迹 i 和观测量 j 之间的边缘权重相关联，每条边与关联矩阵 X 中的指标 X_i，j 相关联，最终得到约束条件下的最优关联矩阵，定义如下：

X^{*} = \arg max S^{T} \cdot X

（2）

s.t. {\begin{matrix} \forall j : \sum_{i} x_{i j} ⩽ 1 \\ \forall i : \sum_{j} x_{i j} ⩽ 1 \\ x_{i j} \in {0, 1} \\ \sum_{i j} x_{i j} = k, k ⩽ min (I, J) \end{matrix}

（3）

式中：s_i，j为矩阵 S 中第 i 行第 j 列的元素，是一个实数值的相似度得分；x_ij为一个二元决策变量，取值为 0 或 1，表示轨迹i 是否与观测 j 关联。如 x_ij= 1，则表示两者关联；如为 0，则表示不关联。

约束条件式（3）中，前 2 个约束条件保证了任意2 个轨迹并不会在同一帧中获得相同的观测结果。最后一个约束通过计算 X 的矩阵范数，展示了恰好存在 k 个满足约束条件的一一对应关系。

2 算法描述

为完成“基于多源信息融合的舰船目标跟踪”，首先，使用 CNN 精确估计多源数据融合后的点迹；然后，根据测量数据的时空特征，通过基于 GNN 的数据关联方法确定每帧各测量点之间的关系；最后，通过卡尔曼滤波获得最终的舰船监测轨迹。其解决方案如图 1 所示。

2.1 基于 CNN 及注意力机制的多源点迹融合

在多源点迹融合任务中，仅依赖最高精度传感器的数据会忽略其他载荷提供的信息，丢失大量有价值的测量数据。因此，首先使用最大最小距离聚类（Max-Min Distance Clustering，MMDC）算法对多源载荷测量数据进行分组，然后设计一种基于 CNN和注意力机制^[31]的多源数据融合方法。该方法可调节不同载荷数据的权重，充分利用多种载荷提供的测量数据，从而获得更精准的点迹融合数据。

图 1 基于多源信息融合的舰船目标跟踪的解决方案

Fig. 1 Ship target tracking solution based on multi-source information fusion

1）点迹匹配算法

在舰船目标跟踪任务中，同一跟踪目标通常会由多个载荷侦测。因此，侦测到的目标轨迹可能会有交叉，导致错误的目标关联为数据融合带来困难^[32]。为此，需使用点迹关联^[33]技术对不同目标的点迹进行匹配，并通过聚类方法将不同载荷侦测到同一点迹的测量数据进行分组。MMDC 算法核心思想是在每一步迭代中选择一个新的聚类中心，使该新中心与已有的所有聚类中心之间的最小距离尽可能大，通过最大化聚类中心之间的分散度来保证对各个类别的均匀覆盖。因其具有较小的计算量、低空间复杂度和时间复杂度，符合侦测的实时性要求，适用于多载荷融合系统中的点迹匹配。最大最小距离聚类的算法流程如图 2 所示。

2）网络结构

本文提出一种基于 CNN 和注意力机制的多源数据融合网络，首先，描述该网络的输入部分。在第 k 时刻，模型的数据输入为经过 MMDC 进行点迹匹配后的聚类点迹，将其拼接成为 3 ×(2 × N) 的数据输入矩阵，其中，N代表聚类个数。输入数据矩阵的结构如图 3 所示。

具体的模型结构如图 4 所示。该模型对于多源数据的融合方案如下：首先将数据输入矩阵输入图 4中设计好的 CNN，通过卷积层和池化层提取出各个载荷数据的误差差异参数λ ₁、λ ₂、λ ₃，然后将误差差异参数输入注意力层。注意力机制的输入为查询向量（Query），键向量（Key），值向量（Value）3 个部分，分别简写为 Q、K、V。首先根据 Q 矩阵和 K 矩阵计算不同差异参数之间的相似性，然后通过 softmax 函数重新分配不同载荷数据源的权重，计算过程如下：

图 2 MMDC 算法流程

Fig. 2 Flowchart of the MMDC algorithm

图 3 输入数据矩阵

Fig. 3 Input data matrix

f_{Attention} = f_{softmax} (Q K^{T})

（4）

注意力机制能根据不同载荷数据源的精度自适应地调整权重，减少对冗余信息的关注，从而有效地提升模型的泛化能力。随后，结合注意力权重对 Value 进行加权求和得到：

f_{Out} = f_{Attention} \cdot V

（5）

最后，通过全连接层得到融合后的点迹数据{(x₁，y₁)，(x₂，y₂)，⋯，(x_N，y_N)}，从而为后续的跟踪提供一个有利的数据基础。

2.2 基于 GNN 的多目标跟踪方法

传统的多目标跟踪方法通常包括目标检测、特征提取、数据关联等多个阶段，不仅难以捕捉到多个目标之间的时空关系，且每个阶段都需单独设计和优化，给多目标跟踪带来了困难。而 GNN^[34]利用图结构来建模目标间的关系，并通过图信息更新节点的表示，可更好地捕捉全局上下文信息，有利于提高多目标跟踪的准确性和鲁棒性。不仅如此，基于 GNN 的方法可直接从原始数据中学习目标之间的关系和运动模式，简化整个多目标跟踪系统的设计；同时可根据不同场景和任务灵活调整网络结构和参数，以适应不同的多目标跟踪需求，因此 GNN在多目标跟踪中具有优越性。

图 4 数据融合网络结构

Fig. 4 Network structure for data fusion

本节将融合处理后的量测数据转换为图结构，从而学习和推理整个系统的全局信息，以处理目标间的关联和运动模式，提高多目标跟踪的性能和效率，并为实现与真实跟踪场景兼容的高效优化。提出一种基于 GNN 的数据关联方法，其网络结构如图 5 所示。

图 5 GNN 结构

Fig. 5 Structure of the GNN

1）相似度学习

在所研究的场景中，载荷获得的特征可分为运动特征和非运动特征。其中，运动特征涵盖了舰船的速度和航向。考虑上一帧 T^{t - 1}_i，计算时只保留一个长度为 L 的短轨迹

{Tr}_{i}^{t - 1} = (t_{i}^{t - 1}, t_{i}^{t - 2}, \dots, t_{i}^{t - L})

，长短期记忆网络（Long Short-Term Memory，LSTM）网络隐藏单元大小为 D_M，生成上一帧运动的特征向量

F^{M} \in R^{D_{M}}

。当前帧 o_j生成特征向量

F_{j}^{M} \in R^{D_{M}}

，并通过和计算运动相似度。非运动特征包括舰船的坐标、长度、宽度、舰载雷达参数等。从数据集中提取出 D_A 维的特征向量 F^M 和

F^{M} \in R^{D_{A} + D_{M}}

，并使用和通过计算得出非运动相似度。

相似度学习模块中实现 3 个度量学习 φ _A(·)、φ _M(·)和 φ_s(·)。以运动特征向量的计算为例，首先将特征向量连接成 2D_M 维度向量，然后将其转换为运动相似度得分。通过 φ_s(·)集成运动相似度与非运动相似度得到相似度矩阵 A、M 和 S，并将 S 送入之后的 GNN 优化模块中。此外，将每个轨迹和观测的非运动特征 F^A 和运动特征向量 F^M 拼接为

F \in R^{D_{A} + D_{M}}

，一起输入 GNN 优化模块中，如图 6所示。

图 6 GNN 优化模块架构

Fig. 6 Architecture of the optimized module based on the GNN

2）优化模块

计算出的相似度矩阵 S作为图的边权重，特征向量F_M 与 F_N作为加权不完全二部图G_t 上的节点特征，结合特征更新层和目标关系更新层组成最终的 GNN 模块，最佳关联矩阵 X* 用来指示追踪目标的出现与消失。

其中，特征更新层根据一组图中节点之间的相似度进行加权，以更新另一组图中每个节点的特征向量。在式（6）、式（7）中，F_M、F_N分别表示前一帧中和当前帧中每个观测结果的特征，W表示一组可学习的权重。

F_{M} = f_{softmax} (S) F_{N} W_{θ}

（6）

F_{N} = f_{softmax} (S^{T}) F_{M} W_{θ}

（7）

更新后的特征向量被送到关系更新层，该层可表示为

x_{i j} = f_{MLP} (ρ (F_{i}, F_{j}))

（8）

式中：f_MLP(·)为参数化的神经网络；ρ(·)为特征聚合功能。

将节点特征聚合到边缘特征中以获得 x_ij，从而得到输出的关联度矩阵 X*。得到关联结果后，结合扩展卡尔曼滤波算法公式：

{\hat{X}}^{t} (k ∣ k) = \sum_{i = 0}^{M} β_{i t} (k) {\hat{X}}_{i}^{t} (k ∣ k)

（9）

式中：

{\hat{X}}^{t} (k ∣ k)

为第 i 个量测值使用卡尔曼滤波算法对目标 t 的状态估计；β_it(k) 为扩展卡尔曼滤波在 k时刻的权重系数，从而得到下一观测时刻的状态更新。

3）损失函数

GNN 的损失函数分为 3 个部分，其中第 1 部分为预测得到的关联矩阵的分类损失，表达式为

\begin{matrix} L_{1} = & \sum_{I}^{I} \sum_{J}^{J} {- p {\hat{y}}_{i j} \log p (y_{i j}) - \\ (1 - {\hat{y}}_{i j}) \log [1 - p (y_{i j})]} \end{matrix}

（10）

式中：y_ij为节点 i 与 j 之间的真实关联标签；

{\hat{y}}_{i j}

为节点 i 与 j 之间的预测关联标签；p 为分配给正例的权重因子，以缓解样本不平衡问题。

第 2 部分损失函数则是计算关联对的分类损失：

L_{2} = - \sum_{g d}^{k} {\hat{v}}_{g d} \log [f_{softmax} (v_{g d})]

（11）

式中：v_gd 为对应的 one-hot 真值向量；k 为关联的数量。

第 3 部分是对消失或出现的目标单独计算均方误差损失：

L_{3} = \sum_{b d}^{m + n - 2 k} {‖ (v_{g d}) ‖}^{2}

（12）

最终的总损失函数表达式如下：

L = L_{1} + L_{2} + L_{3}

（13）

3 仿真试验及结果分析

本文以某海域 500 km×1000 km 范围内的 3 个区域为仿真场景，每个场景包含 30 艘船，舰船分布密度分别为每 20 km×20 km 一艘、每 10 km×10 km 一艘和每 5 km×5 km 一艘。每个仿真场景包含 3 种数据源，并在每 10 km×10 km 一艘船的场景下，进行电侦与微波融合、电侦与 SAR 融合及微波与 SAR 融合的实验。

3.1 数据集

实验数据均由 STK 和 Matlab 联合仿真生成。STK 可借助环境建模功能定义不同的海洋状态，包括风速、波浪高度、洋流等，由于不同季节的太阳位置、气温、湿度和风速会影响仿真结果，通过设置仿真时间段，可选择不同的季节和时间进行仿真。通过选择预定义的船舶模型并设定其属性，利用Matlab 计算从起点到终点的全程航迹点，最终结果以 csv 文件输出。数据形式主要有 3 种，分别为SAR 雷达数据、电侦卫星数据和微波雷达数据。每种数据除包含当前时刻的经纬度信息之外，SAR 输出的信息还包含每艘船的长度和宽度，且位置误差不超过 500 m；电侦卫星输出的信息包含脉冲宽度、载频等，位置误差范围在 2~4 km 内；微波雷达的输出信息包括速度、航向等，位置误差不超过 1 km。由于采样频率不一致、初始采样时刻不同或传输延迟等因素，导致 3 种传感器的数据采集频率与时间戳常呈现不同步的现象，本实验中的数据均进行过时间配准，每个时间戳都有对应的 3 种数据。

3.2 实验设置

本节实验所选用的硬件设备包括 CPU 处理器Intel Core i7-7800x，GPU 显卡 NVIDIA GeForce1080Ti，运行内存为 64G，硬盘容量 1 TB。具体的算法参数设置如下。

2.1 节中的多源数据融合网络：采用 Adam 优化器进行优化，学习率设置为 0.005，总迭代次数为 5000 次，共进行 100 个轮次（epoch）训练，训练批次大小（batchsize）设置为 8。所采用的训练数据共包含12 个长度为 2 100 的时间序列，总计 25 200 条数据。从中选取 20 000 条作为训练集，其中的 20% 作为验证集，剩余的 5 200 条作为测试集。

2.2节中的 GNN：LSTM 网络处理的轨迹长度为5，采用 Adam 优化器，初始学习率为 0.001，设定权重衰减为 0.000 5，进行总共 4 000次迭代。其数据集由数据融合后舰船量测数据组成，3种场景下，采样航行一天的数据，一共包含 4 000 000 条采样数据。选取其中的 80% 作为训练集，剩余 20% 作为测试集。

3.3 多源点迹融合仿真实验

为验证本文提出方法的适用性，在前述 3 种舰船分布密度场景下，使用 2 种传统融合算法：加权融合算法及贝叶斯估计法与本文算法进行对比。在加权融合法中，根据不同数据源的可靠性分配初始权重。具体而言，设定 SAR、雷达和电侦数据的初始权重分别为 0.5、0.3 和 0.2。权重的动态调整采用基于置信度的自适应策略。此外，为避免权重收敛至极端值，设置权重变化的上下限为[0.1，0.9]。在贝叶斯估计法中，初始先验分布设定均值为零、方差为 1 的正态分布。似然函数假设观测噪声服从方差为 0.05 的高斯分布。后验更新频率为每 5 帧更新一次，以平衡实时性与精度。此外，选取密度为每10 km×10 km 一艘船的密度情况下的电侦与微波融合、电侦与 SAR 融合及微波与 SAR 融合的实验，从而进一步验展示本文算法的优越性。实验结果见表 1，评价指标为均方根误差（E_RMSE）：

E_{RMSE} = \sqrt{\frac{1}{n} \sum_{i = 1}^{n} {({\hat{y}}_{i} - y_{i})}^{2}}

（14）

式中：

{\hat{y}}_{i}

为融合后的经纬度；y_i为实际的经纬度。

如图 7 所示，以 10 km×10 km 的融合结果为例，在 3 种载荷中，电子侦察卫星受干扰的可能较大，因此相较于天基微波雷达和 SAR 的数据融合，加入电侦后的融合精度有所下降。但考虑到电子侦察卫星的隐蔽性，所以在融合时不能轻易舍弃该量测值。因此，通过合适的融合算法，可在保证量测信息丰富度的同时，减少对定位精度的干扰。由表 1 可知，尽管引入了电子侦察卫星的量测数据，融合后的定位精度下降也不明显。

表 1 数据融合效果对比

Tab. 1 Comparison of data fusion effects

融合结果分析如下：

1）整体来看，本文方法在大多数情况下均明显优于加权融合法和贝叶斯估计算法，尤其是在多载荷融合（20 km×20 km、10 km×10 km、5 km×5 km）场景下，精度提升均超过 90%。

2）在单一载荷融合（微波+SAR、电侦+微波）场景下，本文方法仍能取得 61%~97% 的提升，表明其在数据融合精度上的鲁棒性。

因此，在 3种密度和不同载荷数据融合的场景下，本文提出的融合算法提升了适应能力，能有效地降低融合误差，提高数据融合的准确性和可靠性，为后续的流程中的数据处理和决策提供更可靠的基础。

图 7 10 km×10 km 的数据融合实验结果

Fig. 7 Data fusion results of the 10 km×10 km scenario

3.4 舰船多目标关联跟踪

为验证本文提出的 GNN 关联方法在舰船目标跟踪中的有效性，分别对前述 3 种舰船分布密度情况进行实验，其中舰船分别以不同曲线运动，并将该方法与基于匈牙利算法的关联方法及最近邻关联算法进行对比。每 5 km×5 km 一艘船的场景中的 5 艘船利用本文方法实现的轨迹和跟踪结果如图8 所示。本文方法与匈牙利方法、最近邻方法的跟踪指标对比结果见表 2。跟踪指标包括多目标追踪准确率（Multiple Object Tracking Accuracy，MOTA）、识别准确率（Identification Precision，IDP）、识别召回率（Identification Recall，IDR）^[35]、轨迹召回率（Trajectory Call，TC）、和计算效率（Frames per Second，FPS），轨迹精度（Root Mean Square Error of Tracking，RMSE-T）与 MOTA 一致，具体表达式如下：

f_{MOTA} = 1 - \frac{N_{FN} + N_{FP} + N_{IDSW}}{GT}

（15）

f_{IDP} = \frac{N_{IDTP}}{N_{IDTP} + N_{IDFP}}

（16）

f_{IDR} = \frac{N_{IDTP}}{N_{IDTP} + N_{IDFN}}

（17）

f_{TC} = \frac{\sum_{i = 1}^{M} L_{tracked}^{(i)}}{\sum_{i = 1}^{M} L_{g t}^{(i)}}

（18）

f_{FPS} = \frac{N}{\sum_{i = 1}^{N} (t_{end}^{(i)} - t_{end}^{(i)})}

（19）

式中：N_FP为总的误报数量，即整个视频中的 FP[FP为假正例，预测轨迹身份（ID）错误匹配（如 A 目标被预测成 B 目标的 ID）]数量，即对每帧的 FP 数量求和；N_FN为总的漏报数量，即整个视频中的 FN[FN 为假反例，真实轨迹的身份在预测中没有被匹配到（漏跟）]数量，即对每帧的 FN 数量求和；N_IDSW为总的 ID Switch 数量，即对每帧发生的 ID Switch 数量；N_IDTP为 ID 真正例，预测得到的目标轨迹与 groundtruth 目标轨迹匹配；N_IDFN为 ID 假反例，表示任何未被发现的真值且其轨迹未被匹配；N_IDFP为 ID 误检，表示任何错误的预测结果；f_TC为衡量算法对真实轨迹的覆盖能力，高 TR 值表明算法能持续跟踪目标；M 为目标总数；L^{( i )}_tracked 为目标 i 被跟踪的轨迹长度；L^{( i )}_gt为真实轨迹长度；f_FPS为算法每秒能够处理的帧数；N 为总帧数；t^{( i )}_end和 t^{( i )}_end为第 i帧的处理起止时间。

图 8 本文方法的跟踪效果

Fig. 8 Tracking performance of our methods

由表 2 可知，实验结果的分析如下：

1）MOTA 反映整体跟踪精度，包括目标丢失、误匹配等因素。由表 2 可知，本文方法的 MOTA 在所有密度条件下均高于其他方法，远超匈牙利方法和最近邻方法，说明本文方法在减少目标丢失、误匹配方面具有更好的表现，尤其是在高密度情况下优势尤为明显。

2）IDP 衡量正确跟踪目标的精确度，高 IDP 代表目标的正确匹配率更高。本文方法的 IDP 最高，相比匈牙利方法和最近邻方法均有提升，说明本文方法在减少变换错误方面表现更优，能够更稳定地保持目标身份。

3）IDR 主要衡量被正确识别的目标比例，高IDR 代表目标的召回率更高。本文方法的 IDR 在所有场景下均领先，相比匈牙利方法和最近邻方法均有显著提升，说明本文方法能有效减少目标漏检，提高目标的完整跟踪能力。

4）在密度最小的 20 km×20 km 场景下，各方法的 MOTA、IDP、IDR 均较高，说明目标之间的遮挡较少，整体跟踪任务难度较低。在 10 km×10 km和 5 km×5 km 场景下，目标密度增大，跟踪任务变得更具挑战性，但本文方法仍然能保持较高的指标，说明其适应高密度环境的能力更强，特别是在5 km×5 km 这样的高密度场景下，依然能大幅领先其他算法。

5）TC 衡量完整覆盖真实轨迹的比例，本文方法在实验中展现出较高的召回率，凸显了其在复杂遮挡和运动场景中维持轨迹连续性的能力。

6）在计算效率方面，本文方法以 32 FPS 的处理速度领先，验证了算法的高效性。

综上，在海面复杂场景和杂波干扰下，与匈牙利方法和最近邻方法相比，本文方法的多目标跟踪各项指标均有明显提升，展现出良好的鲁棒性。

表 2 跟踪指标对比

Tab. 2 Comparison of the tracking indicators

4 结束语

本文利用天基微波雷达、电子侦察卫星、SAR卫星的观测数据，研究基于多源数据融合的舰船目标跟踪问题。首先，提出一种基于 CNN 与注意力机制的数据融合方法，在数据融合精度上相较于传统的加权平均融合方法提升了 85.66%；然后，提出一种基于 GNN 的舰船目标跟踪方法，在数据融合的基础上实现多目标跟踪性能的提升，并与匈牙利方法和最近邻方法进行对比实验，在仿真数据集上验证了所提方法的有效性。实验结果表明，本文方法的 MOTA、IDP 和 IDR 指标分别较匈牙利算法提升了 4.19%、3.62%、3.76%，较最近邻算法提升了6.74%、4.54%、4.24%，显著提高了目标识别精度和跟踪性能。该研究为今后基于实际多源卫星观测数据的舰船目标跟踪提供了技术支撑和参考。本文方法虽在仿真数据集上取得了较好的性能提升，但仍存在一定的局限性，例如依赖仿真数据进行验证，导致模型在真实复杂环境中的泛化能力尚未得到验证。采用 CNN 与注意力机制进行数据融合及基于 GNN 的目标跟踪方法虽提升了性能，但也带来了较高的计算复杂度和硬件资源需求，限制了在资源受限的卫星平台上的实际应用。未来可利用实际的多源卫星观测数据进行验证，以评估模型在真实场景中的鲁棒性和适应能力。此外，通过模型剪枝、量化、蒸馏等轻量化技术优化网络结构，降低计算复杂度和资源占用，以适应卫星平台的运行环境；探索更加智能的多模态数据融合方法，如自适应融合和跨模态对齐机制，进一步提升舰船目标的识别和跟踪性能。

图 1 基于多源信息融合的舰船目标跟踪的解决方案

Fig. 1 Ship target tracking solution based on multi-source information fusion

图 2 MMDC 算法流程

Fig. 2 Flowchart of the MMDC algorithm

图 3 输入数据矩阵

Fig. 3 Input data matrix

图 4 数据融合网络结构

Fig. 4 Network structure for data fusion

图 5 GNN 结构

Fig. 5 Structure of the GNN

图 6 GNN 优化模块架构

Fig. 6 Architecture of the optimized module based on the GNN

图 7 10 km×10 km 的数据融合实验结果

Fig. 7 Data fusion results of the 10 km×10 km scenario

图 8 本文方法的跟踪效果

Fig. 8 Tracking performance of our methods

表 1 数据融合效果对比

Tab. 1 Comparison of data fusion effects

表 2 跟踪指标对比

Tab. 2 Comparison of the tracking indicators

图 1 基于多源信息融合的舰船目标跟踪的解决方案

Fig. 1 Ship target tracking solution based on multi-source information fusion

图 2 MMDC 算法流程

Fig. 2 Flowchart of the MMDC algorithm

图 3 输入数据矩阵

Fig. 3 Input data matrix

图 4 数据融合网络结构

Fig. 4 Network structure for data fusion

图 5 GNN 结构

Fig. 5 Structure of the GNN

图 6 GNN 优化模块架构

Fig. 6 Architecture of the optimized module based on the GNN

图 7 10 km×10 km 的数据融合实验结果

Fig. 7 Data fusion results of the 10 km×10 km scenario

图 8 本文方法的跟踪效果

Fig. 8 Tracking performance of our methods

表 1 数据融合效果对比

Tab. 1 Comparison of data fusion effects

表 2 跟踪指标对比

Tab. 2 Comparison of the tracking indicators

图(8) / 表(2)

引用本文

李鑫晟，张海超，吴楚泽，等 . 基于深度网络的多源卫星数据舰船目标融合跟踪[J]. 上海航天（中英文），2026，43（1）：63-73，81.

复制

计量

图 1 基于多源信息融合的舰船目标跟踪的解决方案

Fig. 1 Ship target tracking solution based on multi-source information fusion

图 2 MMDC 算法流程

Fig. 2 Flowchart of the MMDC algorithm

图 3 输入数据矩阵

Fig. 3 Input data matrix

图 4 数据融合网络结构

Fig. 4 Network structure for data fusion

图 5 GNN 结构

Fig. 5 Structure of the GNN

图 6 GNN 优化模块架构

Fig. 6 Architecture of the optimized module based on the GNN

图 7 10 km×10 km 的数据融合实验结果

Fig. 7 Data fusion results of the 10 km×10 km scenario

图 8 本文方法的跟踪效果

Fig. 8 Tracking performance of our methods

表 1 数据融合效果对比

Tab. 1 Comparison of data fusion effects

表 2 跟踪指标对比

Tab. 2 Comparison of the tracking indicators

谢贝旭, 张艳, 陈金涛, 等. 一种改进的 GM-C-CPHD 空间多目标跟踪算法[J]. 上海航天(中英文), 2024, 41(1): 89-96.
XIE B X, ZHANG Y, CHEN J T, et al. An improved GMC-CPHD spatial multi-target tracking algorithm[J]. Aerospace Shanghai (Chinese & English), 2024, 41(1): 89-96.

雷延花, 张聃, 蔡云泽, 等. 基于 IMM 的不完全观测下目标跟踪算法研究[J]. 上海航天(中英文), 2016, 33(1): 6-9, 74.
LEI Y H, ZHANG D, CAI Y Z, et al. Research on target tracking algorithms under incomplete observations based on the interacting multiple model (IMM)[J]. Aerospace Shanghai (Chinese & English), 2016, 33(1): 6-9, 74

袁志安, 谷雨, 马淦. 面向多类别舰船多目标跟踪的改进 CSTrack 算法[J]. 光电工程, 2023, 50(12): 13-27.
YUAN Z A, GU Y, MA G. Improved CSTrack algorithm for multi-class ship multi-object tracking[J]. Opto-Electronic Engineering, 2023, 50(12): 13-27.

龙昊, 张思佳, 周晶, 等. 基于改进 YOLOv5-ResNet 的海上舰船 SAR 图像快速检测[J]. 宇航计测技术, 2024, 44(2): 52-59.
LONG H, ZHANG S J, ZHOU J, et al. Rapid detection of maritime ships in SAR images using an improved YOLOv5-ResNet[J]. Journal of Astronautic Metrology and Measurement (formerly Journal of Astronautic Metrology and Measurement Technology), 2024, 44(2): 52-59.

MAHMOUDI N, AHADI S M, RAHMATI M. Multitarget tracking using CNN-based features: CNNMTT[J]. Multimedia Tools and Applications, 2019, 78(6): 7077-7096.

BAR-SHALOM Y, BIRMIWAL K. Consistency and robustness of PDAF for target tracking in cluttered environments[J]. Automatica, 1983, 19(4): 431-437.

LIU S Q, LU L, ZHANG L Y, et al. MRDDANet: a multiscale residual dense dual attention network for SAR image denoising [J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 1-13.

HU Q, HU S H, LIU S Q, et al. FINet: A feature interaction network for SAR ship object-level and pixellevel detection[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 1-15.

HU Q, HU S H, LIU S Q. BANet: A balance attention network for anchor-free ship detection in SAR images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 1-12.

曲海成, 高健康, 刘万军, 等. 上下文信息融合与分支交互的 SAR 图像舰船无锚框检测[J]. 电子与信息学报, 2022, 44(1): 380-389.
QU H C, GAO J K, LIU W J, et al. An anchor-free method based on context information fusion and interacting branch for ship detection in SAR images[J]. Journal of Electronics & Information Technology, 2022, 44(1): 380-389.

肖振久, 林渤翰, 曲海成. 融合多重机制的 SAR 舰船检测[J]. 中国图象图形学报, 2024, 29(2): 545-558.
XIAO Z J, LIN B H, QU H C. SAR ship detection with multi-mechanism fusion [J]. Journal of Image and Graphics, 2024, 29(2): 545-558.

JALIL A, YOUSAF H, BAIG M I. Analysis of CFAR techniques [C]//2016 13th International Bhurban Conference on Applied Sciences and Technology (IBCAST). Islamabad, Pakistan: IEEE, 2016: 654-659.

ZHANG H, LIU Y, JI Y, et al. Multi-feature maximum likelihood association with space-borne SAR, HFSWR and AIS[J]. The Journal of Navigation, 2017, 70(2): 359-378.

MENG T, JING X, YAN Z, et al. A survey on machine learning for data fusion[J]. Information Fusion, 2020, 57: 115-129.

ZHOU T, CHEN M, ZOU J. Reinforcement learning based data fusion method for multi-sensors[J]. IEEE/CAA Journal of Automatica Sinica, 2020, 7(6): 1489-1497.

唐胜景, 王太岩, 赵刚练, 等. 面向目标跟踪的多传感器数据融合研究综述[J]. 空天防御, 2024, 7(4): 18-29.
TANG S J, WANG T Y, ZHAO G L, et al. Review of multi-sensor data fusion for target tracking[J]. Air & Space Defense, 2024, 7(4): 18-29.

龚轩, 乐孜纯, 王慧, 等. 多目标跟踪中的数据关联技术综述[J]. 计算机科学, 2020, 47(10): 136-144.
GONG X, YUE Z C, WANG H, et al. Survey of data association technology in multi-target tracking [J]. Computer Science, 2020, 47(10): 136-144.

王晓君, 裴福俊, 刘红云. 一种改进马氏距离的最近邻数据关联算法[J]. 导航定位学报, 2015, 3(4): 50-56
WANG X J, PEI F J, LIU H Y. A nearest neighbor data association algorithm with improved mahalanobis distance[J] Journal of Navigation & Positioning, 2015, 3(4): 50-56.

易哲, 王国宏, 张翔宇, 等. 一种高数据率雷达跟踪慢速目标的数据互联算法[J]. 电光与控制, 2014, 21(7): 31-35.
YI Z, WANG G H, ZHANG X Y, et al. A high-datarate radar data interconnection algorithm for tracking slow targets[J]. Opto-Electronics and Control, 2014, 21(7): 31-35.

李恒璐, 陈伯孝, 丁一, 等. 基于信息熵权的最近邻域数据关联算法[J]. 系统工程与电子技术, 2020, 42(4): 806-812.
LI H L, CHEN B X, DING Y, et al. Nearest neighborhood data association algorithm based on information entropy weight[J]. Systems Engineering and Electronics Technology, 2020, 42(4): 806-812.

SHI M Z, LING Q, YU Z H, et al. Association using modified global nearest neighbor in the presence of bias [C]//Proceedings of the 32nd Chinese Control Conference. Xi’an, China: IEEE, 2013: 4688-4691.

JING L, WANG T, ZHAO M, et al. An adaptive multisensor data fusion method based on deep convolutional neural networks for fault diagnosis of planetary gearbox[J]. Sensors, 2017, 17(2): 414.

FRIKHA A, MOALLA H. Analytic hierarchy process for multi-sensor data fusion based on belief function theory[J]. European Journal of Operational Research, 2015, 241(1): 133-147.

SUN J, YI W, VARSHNEY P K, et al. Resource scheduling for multi-target tracking in multi-radar systems with imperfect detection[J]. IEEE Transactions on Signal Processing, 2022, 70: 3878-3893.

柳胜凯, 苏婷立, 王彬彬, 等. 基于多传感器数据融合的室内行人航位推算法[J]. 传感器与微系统, 2018, 37(3): 133-137.
LIU S K, SU T L, WANG B B, et al. Indoor pedestrian dead reckoning algorithm based on multi-sensor data fusion[J]. Sensors and Microsystems, 2018, 37(3): 133-137.

周剑, 马晨昊, 刘林峰, 等. 基于区间证据理论的多传感器数据融合水质判断方法[J]. 通信学报, 2016, 37(9): 20-29.
ZHOU J, MA C H, LIU L F, et al. Water quality assessment method based on interval evidence theory for multi-sensor data fusion[J]. Journal of Communications, 2016, 37(9): 20-29.

王智伟, 王利, 黄观文, 等. 基于 BP 神经网络的滑坡监测多源异构数据融合算法研究[J]. 地质力学学报, 2020, 26(4): 575-582.
WANG Z W, WANG L, HUANG G W, et al. Study on multi-source heterogeneous data fusion algorithm for landslide monitoring based on BP neural network[J]. Journal of Geomechanics, 2020, 26(4): 575-582.

杨颖, 王琦. STK 在计算机仿真中的应用[M]. 北京: 国防工业出版社, 2005.
YANG Y, WANG Q. Application of STK in computer simulation [M]. Beijing: National Defense Industry Press, 2005.

BOSE B, WANG X, GRIMSON E. Multi-class object tracking algorithm that handles fragmentation and grouping [C]//IEEE International Conference on Computer Vision. Rio de Janeiro, Brazil: IEEE, 2007: 1-8.

SONG B, JENG T Y, STAUDT E, et al. A stochastic graph evolution framework for robust multi-target tracking[C]//K Daniilidis, P Maragos, N Paragios.

首页

期刊介绍

编委会

期刊指南

下载专区

期刊订阅

联系我们

English

0 引言

1 问题描述

2 算法描述

3 仿真试验及结果分析

4 结束语