基于强区分性特征挖掘的无监督行人重识别

Unsupervised Person Re-Identification Based on Discriminative Feature Mining

摘要: 目前，基于深度学习的无监督行人重识别正在通过改进聚类方法来提高生成伪标签的准确性和鲁棒性。然而，行人的固有物理特征，如肢体和身体，尚未充分利用。此外，遮挡和姿势导致了在行人图像中准确匹配和识别局部区域的困难，而行人服装颜色引起的噪声干扰也对行人重识别准确性产生了重要影响。为了解决这些问题，本文提出了一种判别性特征挖掘网络(DFMN)，通过引入Transformer注意力机制来突出显示行人的有效物理特征；为了深入挖掘不同样本之间的细粒度局部特征，本文采用了基于最短路径的部分对齐分割机制；同时，针对行人服装颜色引起的冗余信息，本文融合了一个alpha通道，可以有效消除噪声干扰。实验结果表明，本文所提出的方法在Market1501数据集和MSMT17数据集上的map指标上分别实现了4.0%和6.4%的提升。

Abstract: At present, Unsupervised Person Re-Identification based on deep learning promotes the accuracy and robustness of generating pseudo labels mainly by improving the clustering method. However, for inherent physical features of pedestrians, such as limbs, and bodies, which are not fully utilized, occlusion, posture pose difficulties in accurately matching and recognizing local areas in pedestrian images ,and noise interference caused by pedestrian clothing color have essential impact on person re-identification accuracy. In this paper, we propose a Discriminative Feature Minning Network (DFMN) by introducing a Transformer attention mechanism to highlight the pedestrians’ effective physical features. To deeply mining the fine-grained local features among different samples, a part-aligned segmentation mechanism based on the shortest path is used. At the same time, as for the redundant information resulting from the color of pedestrian clothing, we incorporate an alpha channel, which can effectively eliminate noise interference. The experimental results show that the proposed method has achieved improvements of 4.0% and 6.4% on the Market1501 dataset and the MSMT17 dataset for the map metric.

1. 引言

大部分行人重识别模型都使用深度学习和标记数据进行训练。然而，随着实际监控需求增加和标记成本上升，无监督行人重识别成为研究的重点。这种方法通过聚类生成伪标签，不需要标记数据。

一种方法是无监督领域自适应(UDA)行人重识别 [1] - [6] ，该方法首先在源标记数据集上训练模型，然后在目标未标记数据集上对模型进行微调。然而，UDA方法的训练过程复杂且需要源域和目标域相似的限制，这限制了其成为主流研究趋势。另一种方法是纯无监督学习(USL)行人重识别 [2] [7] [8] [9] [10] [11] ，通常利用完全未标记的数据来生成伪标签。因此，本文侧重于进一步提高USL的性能。

目前最先进的无监督学习(USL)方法 [9] [10] [11] 使用内存字典和聚类生成的伪标签来训练神经网络。通过聚类算法：如DBSCAN [12] 、K-means [13] 或Infomap [14] ，为每个图像生成伪标签。尽管这些方法取得了良好的性能，但在获取足够具有辨识力的行人特征方面仍存在显著挑战。

本文的主要贡献如下：

1) 针对行人的固有物理特征挖掘不充分。本文通过加入Transformer将行人的固有物理特征作为全局信息源，放大和强调其在识别过程中的重要性。

2) 针对个体的遮挡和姿势变化可能导致局部特征丢失。本文通过使用部件分割对齐机制来解决这些不稳定和频繁丢失的局部信息。

3) 针对行人服装颜色的干扰信息。因此本文加入alpha通道来剔除颜色干扰。

2. 相关工作

目前，无监督行人重识别方法通常采用ResNet50 [9] [10] [11] 作为网络的主要框架。先前的工作在某些或整个框架上取得了显著的改进。具体来说，Lin等人 [9] 将每个样本视为一个簇，然后逐渐将相似的样本分组到一个簇中以生成伪标签。MMCL [10] 的预测包括相似性计算和循环一致性的质量伪标签生成。SPCL [11] 提出了一种新颖的自适应对比学习框架，逐步创建更可靠的聚类以精炼内存字典特征。然而，它们仅获得了行人的浅层特征，因此，聚类的准确性受到影响。

首先，从整体视角分析和定义图像中的全局特征。作为常见的全局特征，行人姿势特征可以直观地从行人图像中感知，有助于区分不同行人的姿势，尽管遮挡会带来一定限制。Transformer模型 [15] 提出，用于处理自然语言处理中的序列数据。许多研究也表明了其在计算机视觉任务中的有效性。Han等人 [16] 和Salman等人 [17] 调查了Transformer在计算机视觉领域的应用。L. Zheng [18] 等人首次成功将ViTs应用于重识别任务，提出了TransReID，其在人员和车辆重识别上实现了最先进的性能。这些学者验证了Transformer在视觉全局特征获取以及其在重识别任务中的应用中的重要作用。

另一种方法涉及提取个体的动态特征，例如行走姿势、手臂摆动、头部和肩部运动。然而，这些动态特征的提取和处理更加复杂。例如，姿势不变嵌入(PIE) [19] 将行人对齐到标准姿势以减少姿势变化的影响。SUN [20] 强化了图中信息的部分。通过注意力机制，CHO [21] 从整体身体层次挖掘了视觉相似性，并同时从上半身和下半身的局部层次挖掘了视觉相似性。然而，局部特征和全局特征之间没有明确的约束作为判断的共同基础。

在图像内容的部分被环境干扰遮挡的情况下，全局特征的利用和分析会极大地影响实际结果。与全局特征相比，局部特征提供了图像中对象的细粒度描述，涉及对图像特定区域的特征提取。获取局部特征的标准方法包括基于块、基于分割和基于网格的方法。CHO [21] 提出了以无监督方式从未标记的域学习局部判别特征，而不是从全局图像中学习。PAST [22] 通过使用局部特征改进了行人特征表示。这些学者有效地利用了局部特征作为辅助判别条件。然而，尽管利用局部特征作为判别标准，这些研究人员并未提出解决行人服装颜色对结果的影响的方法。

作为图像中表面特征的另一个直观体现，行人服装的颜色特征从行人图像中可感知。然而，由颜色导致的干扰噪声也存在于行人图像中。当不同身份的行人穿着相同颜色的衣服时，可能会出现误判。因此，抑制这种干扰信息并仅强调行人姿势和外观的主要特征至关重要。

3. 模型框架

Figure 1. Framework diagram of pedestrian robustness discriminative feature mining algorithm

图1. 行人强区分性判别特征挖掘算法框架图

本文提出了一个详细的网络结构，用于基于强特征挖掘的无监督行人再识别，如图1所示。该网络架构的这一部分主要包括五个不同的组件，其中①涉及通过alpha变换从训练图像中提取α通道。组件②包括利用ResNet50对行人图像进行浅层特征提取，而组件③将这些浅层特征组合起来进行深度特征挖掘，并将其映射到统一的特征空间。在组件④中，获取的全局特征被分类到α通道和可见光中，然后进行归一化。通过水平最大池化(HMAX) [23] 实现对行人的局部特征表示，并利用这些局部特征的分类和对齐来增强整体网络学习。最后，组件⑤涉及对融合特征进行聚类以生成伪标签，从而促进查询特征的匹配。

3.1. 基于Transformer的全局特征挖掘

为了突出特征图中的关键信息，减少无关细节，并从行人图像中提取更具区分性的全局特征，该组件采用了基于Transformer的全局特征卷积模块，如图2所示。

Figure 2. Component ③: Global feature convolution module based on Transformer

图2. 组件③：基于Transformer的全局特征卷积模块

通过组件①提取行人图像进行α通道提取后，本文利用网络中的组件②和③来挖掘更具有区分性的行人图像的全局特征。经过实验证明，带有堆叠的BN和ReLU [23] [24] [25] 层的卷积块显著提高了卷积的效率。具体来说，在Resnet50的浅层卷积层之后，输入到Transformer层的输入序列可以表示为：

$T_0=\left[F\left(f_{rgb}^1\right);\cdots ;F\left(f_{rgb}^N\right)\right]+\left[F\left(f_{\alpha }^1\right);\cdots ;F\left(f_{\alpha }^N\right)\right]+\rho$ (1)

其中 $T_0$ 表示输入序列嵌入， $\rho \in R^{\left(N+1\right)\times D}$ 表示位置嵌入。F是一个线性投影，将图像分块映射到维度为D的空间。此外，Transformer层用于学习特征表示。基于CNN的方法存在的有限感受视野问题得到解决，因为所有的Transformer层都具有全局感受视野，此外，没有下采样操作，因此详细信息得以保留。

本文使用滑动窗口来生成具有重叠像素的补丁。将步长表示为S，补丁的大小表示为P，那么两个相邻补丁重叠的区域形状为 $\left(P-S\right)\times P$ 。具有分辨率H × W的输入图像将被分割为N个补丁，如公式所示：

$N=N_H\times N_W=\Vert \frac{H+P-S}{S}\Vert \times \Vert \frac{W+P-S}{S}\Vert$ (2)

其中 $\Vert \Vert$ 表示向下取整函数，S设置为小于P的值， $N_H$ 和 $N_W$ 分别表示高度和宽度方向上的分割补丁的数量。S越小，图像被分割成的补丁数量就越多。直观地说，更多的补丁通常会带来更好的性能，但会增加计算量。本文可以得到RGB行人全局特征 $f_{rgb}^{glo}$ 和α行人全局特征 $f_{\alpha }^{glo}$ 通过以下表示：

$f_{rgb}^{glo}=N\times {\displaystyle {\sum }_{i=1}^{N}F\left(f_{rgb}\right)}$ (3)

$f_{\alpha }^{glo}=N\times {\displaystyle {\sum }_{i=1}^{N}F\left(f_{\alpha }\right)}$ (4)

本文通过构建全局特征模块的三元损失来优化组件②和③，如下所示：

$L_T=\log \left(\frac{1+{\text{e}}^{\Vert f_{rgb}^{glo}-f_{\alpha }^{glo}\Vert }}{{\text{e}}^{\Vert f_{rgb}^{glo}-f_{\alpha }^{glo}\Vert }+{\text{e}}^{\Vert f_{\alpha }^{glo}-f_{rgb}^{glo}\Vert }}\right)$ (5)

3.2. 基于最短路径的局部特征对齐机制

在获得全局特征之后，RGB图像的全局特征为 $f_{rgb}^{glo}$ α图像的全局特征为 $f_{\alpha }^{glo}$ 。局部对齐机制是基于人体结构特征的行人再识别中广泛使用的方法。它涉及将特征图分解成几个部分，提取它们，然后利用最短路径计算来找到更多匹配的局部特征。局部对齐机制可以更好地处理平移、旋转、缩放等几何变化。因此，在DFMN的组件④中，本文使用基于最短路径模块的部分分割对齐机制来挖掘局部特征，如图3所示。

Figure 3. Component ④: Part segmentation alignment mechanism based on shortest path

图3. 组件④：基于最短路径的部分分割对齐机制

以RGB的特征图为例，本文对这些特征进行了HMAX池化，包括水平分割。共设定了M个水平部分，对于每个部分，提取了一个局部特征图，确保每个局部特征图对应其相应的水平段。然后，本文定义行人局部特征表示的存在为 $f_{rgb}^{loc}=\left(f_{rgb}^1,f_{rgb}^2,\cdots ,f_{rgb}^m\right)$ ， $f_{\alpha }^{loc}=\left\{f_{\alpha }^1,f_{\alpha }^2,\cdots ,f_{\alpha }^m\right\}$ 。M是水平分割块的数量。

为了计算两幅图像的局部特征之间的距离，本文动态地从上到下匹配局部部分，找到具有最小总距离的局部特征。本文通过计算相似度来计算两个行人局部特征之间的距离，公式如下：

$d_{rgb}^{m,n}=\frac{\Vert f_{rgb}^m-f_{rgb}^n\Vert -1}{\Vert f_{rgb}^m+f_{rgb}^n\Vert +1}$ (6)

$d_{\alpha }^{m,n}=\frac{\Vert f_{\alpha }^m-f_{\alpha }^n\Vert -1}{\Vert f_{\alpha }^m+f_{\alpha }^n\Vert +1}$ (7)

上述公式表示第一幅图像的第m个垂直部分与第二幅图像的第n个垂直部分之间的距离，和分别表示两幅图像中局部特征的索引。计算绝对距离的平方。对于图像的每个分段部分，本文计算与另一图像的每个分段的局部距离。基于这些距离，形成一个6 × 6的距离矩阵。接下来，本文使用动态规划算法在矩阵中找到距离和最小路径，并定义距离和计算公式如下：

$S_{m,n}=\min \left(d^{m,n}+w\left(m,n\right)\right)$ (8)

在上述的公式中，表示这个矩阵的最短路径的总距离。 $w\left(m,n\right)$ 表示从水平部分m到n的权重。

为了提高具有高背景相似性的行人图像的区分性，本文利用部分级别的距离约束来辅助局部特征学习，优化了组件④中的局部特征的损失，如公式所示：

$L_M^{PA}={\displaystyle {\sum }_{i=1}^P{\displaystyle {\sum }_{b=1}^K{\displaystyle {\sum }_{j=2}^E\left({\left[ZG\left(f_{i,j}^{kb}\right)-f_{i,j}^{kp}\right]}^2+{\left[f_{i,j}^{kn}-ZG\left(f_{i,j}^{kb}\right)\right]}^2\right)}}}$ (9)

在上述公式中， $ZG(·)$ 表示零梯度函数，即在计算梯度时将变量视为常数， $f_{i,j}^{kb}$ 表示α/RGB局部特征的原始样本，表示RGB/α通道中距离原始样本最远的正样本， $f_{i,j}^{kn}$ 表示RGB/α通道中距离原始样本最近的负样本，P表示行人的数量，K表示同一行人的图像数量，E表示行人特征图的长度。

3.3. 特征融合聚类用于生成伪标签

本文使用DFMN模型在α通道和RGB下提取全局和局部特征，然后通过串联将这些特征融合起来，得到融合特征，然后将这些融合特征发送到DBSCAN聚类算法，从组件⑤生成伪标签。图4显示了这个过程的流程图。

Figure 4. Component ⑤: Feature fusion and clustering

图4. 组件⑤：特征融合和聚类

本文将融合的特征向量定义为 $f_T=\left\{f_T^1,f_T^2,\cdots ,f_T^i\right\}$ ，那么F的信息内容如公式所示：

$I\left(f_T^i\right)=-\log Q\left(F=f_T^i\right)$ (10)

其中Q代表取某个值的概率 $f_T^i$ ，公式中的信息度量受限于在随机变量取特定值时处理信息度量的能力。在文中，熵被用来描述整个概率分布下的平均信息度量

为了减少类内变异性，本研究缩短了同一类别样本之间的距离，从而增加它们的相似性并将它们更接近样本中心，以更好地匹配查询图像的特征。损失函数定义如公式所示：

$L_C=\frac{1}{2N}{\displaystyle {\sum }_{i=1}^N{\left|f_T^i-c\right|}_2^2}$ (11)

其中，类中心c指的是给定类别内所有样本的平均特征。这是通过将每个样本的特征通过高性能网络传递到特征层来实现的。因此，本文的DFMN网络的总损失如公式所示：

$L_{DFMN}=L_T+L_M^{PA}+L_C$ (12)

4. 实验

4.1. 数据集和参数设置

本文研究在两个大规模行人重识别数据集Market1501和MSMT17上评估所提出的方法。这些数据集在实际的行人重识别中被广泛使用，输入图像的尺寸为224 × 224。采用SGD优化器对re-ID模型进行训练，迭代次数为5e−e。DBSCAN聚类方法用于伪标签分配，所有实验使用相同的参数设置。两个样本之间的最大距离d设置为0.6，核心点中的最小邻居数设置为4。

4.2. 与无监督方法的比较

该实验首先将本文提出的方法与当前最先进的无监督学习(USL)方法进行比较，这是本文工作的主要焦点。如表1和表2所示，本文的方法在所有现有的无监督方法中表现出优越的性能，从而证明了其有效性。具体来说，使用相同的流程和DBSCAN聚类方法，本文提出的方法在Market-1501和MSMT17上的平均准确率(mAP)都超过了当前最先进的USL方法。

Table 1. Comparisons with state-of-the-art methods on Market1501 for USL Methods

表1. 在Market1501数据集上与最先进方法的比较(无监督学习方法)

Table 2. Comparisons with state-of-the-art methods on MSMT17 for USL Methods

表2. 在MSMT17数据集上与最先进方法的比较(无监督学习方法)

本文提出的方法展现了良好的结果。通过可视化和比较聚类结果与先前方法的结果，本文观察到本文的方法通过提取更具辨别力的特征增强了后续聚类步骤的稳健性，如图5所示。

Figure 5. Our approach (Right) has been found to exhibit greater robustness than the unimproved method (Left), as demonstrated through visual analysis and comparison of the clustering results

图5. 本文的方法(右)展现出比未改进的方法(左)更大的稳健性，通过对聚类结果进行可视化分析和比较

通过利用聚类技术，基于具有区分性的行人特征生成更为稳健的伪标签，本文提出的方法显著提高了重新识别的准确性。通过将行人样本匹配结果与未改进方法进行比较，图6展示了本文方法的有效性。

Figure 6. Comparison of top 5 retrieved images on Market1501between CCL and our method. Green boxes denote correct results, while red boxes denote false results

图6. 在Market1501数据集上，本文的方法与CCL方法之间的前5个检索图像比较。绿色框表示正确结果，红色框表示错误结果

4.3. 模块组合消融实验

本研究在Market1501数据集上进行了组件组合消融实验，分别对四个方面进行了校准：①、②、③和④。实验结果记录在表3中。结果显示，Transformer注意机制对网络特征学习产生积极影响，可以有效提高准确性。此外，alpha通道被证明可以消除行人服装颜色的干扰信息，突出身体姿势的有效信息。

Table 3. The ablation experimental results on the Market1501

表3. Market1501数据集上的消融实验结果

从表3可以看出本文提出的网络框架专注于全局特征挖掘和局部特征挖掘模块，这显著提高了重新识别的准确性。组件③和④对DMFN的影响更加显著。

4.4. 局部特征对齐模块消融实验

为验证本文提出的基于块分割的局部特征对齐方法的有效性，本文使用Market1501数据集进行了测试实验。采用对齐模块机制对全局特征进行分块并提取局部特征，重点关注局部特征维度和水平分割块数的影响。首先，本文在将块数设置为6的情况下，验证了局部特征维度变化对准确性的影响，得到了如表4所示的实验结果。

Table 4. The impact of changes in local feature dimensions on accuracy

表4. 局部特征维度变化对准确性的影响

从表4可以看出，在一定数量的切片情况下，随着维度的增加，准确度mAP值逐渐下降，然后在达到最大值之前达到最大维度。而排名值显示出一定的波动。总体而言，局部特征维度的准确性取决于切块的数量。

Table 5. Experiment on the number of local feature blocks

表5. 局部特征切块数实验

在前述步骤中，在保持相同数量的分割块的情况下，评估了不同维度特征对准确性的影响。在随后的实验中，本节特别选择了特定的特征维度，以研究分割块数对测试结果的影响。在Market1501数据集上进行测试时获得的实验数据记录在表5中。根据表5显示，随着分块数的增加，rank1和mAP值均呈正比增加。然而，超过一定阈值后，随着分块数的继续增加，准确性会降低。当分块数设定为6时，达到最佳准确性。

5. 总结与展望

本文针对行人图像测试数据集中由于行人固有物理特征挖掘不充分，遮挡问题以及姿态不同而导致的局部特征信息丢失，以及行人衣服颜色带来的干扰信息这些因素所造成的低识别精度问题，从而提出了一种解决方案。本文的方法基于抑制颜色干扰信息，突出行人全局特征，并利用局部特征辅助判别这三个模块来解决这些问题。

首先，本文使用Alpha通道提取解决服装颜色干扰问题。然后，通过在主网络中嵌入Transformer来突出行人的固有物理全局特征，提高获取的全局特征鲁棒性。随后，本文使用最短路径部件分割对齐机制，利用全局特征进行水平分割以获取局部特征并约束行人组件。此外，本文采用全局和局部特征的联合学习，最后融合获得的特征并应用到机器学习聚类算法生成伪标签。实验结果的客观定量分析表明，本文提出的算法在各种性能评价指标上优于最新算法，从而验证了本文算法的出色性能。