融合多尺度特征和注意力机制的成矿预测研究

Study on Metallogenic Prediction Combining Multi-Scale Features and Attention Mechanism

摘要: 当前成矿预测方法主要是基于地球物理、地球化学等手段来对成矿远景区进行标记。然而现实世界中成矿是稀有的地质事件，而且对矿点进行标记需要耗费大量的人力物力资源。为了解决传统方法的不足，本文提出了一种新颖的智能找矿框架——MFA Framework。具体地，首先定义MFCANet、SACNet两个网络。在此基础上，通过多尺度特征提取不同地球化学元素的特征。其次，引入通道注意力模块根据特征元素重要性赋予不同的权重，最终引入空间注意力模块解决特征图中不同空间位置对成矿影响程度不同的问题。并通过共享的全连接层和Voting模块最终确定有无矿点。通过在地球化学数据集上进行实验，大量实验表明本文所提模型相比主流方法具有显著的竞争力。

Abstract: The current metallogenic prediction method is mainly based on geophysical and geochemical means to mark the metallogenic prospect area. However, mineralization is a rare geological event in the real world, and marking the ore occurrence requires a lot of human and material resources. In order to solve the shortcomings of traditional methods, a novel intelligent prospecting framework MFA Framework is proposed in this paper. Specifically, MFCANet and SACNet are defined first. On this basis, the characteristics of different geochemical elements are extracted through multi-scale features. Secondly, the channel attention module is introduced to give different weights according to the importance of feature elements, and finally the spatial attention module is introduced to solve the problem of different spatial positions in the feature map having different effects on mineralization. Through the shared full connection layer and the voiting module, the presence or absence of mining points is finally determined. Through experiments on geochemical data sets, a large number of experiments show that the proposed model is significantly competitive with the mainstream methods.

1. 引言

矿产资源是支撑国民经济发展的基石，也是国家安全的保障。由于中国的经济不断发展，我国的重大基础设施工程中对矿产资源的需求量也愈来愈大 [1]，加速矿产资源的开发已经刻不容缓。同时，随着计算机技术的进步，将人工智能引入地球科学领域来代替传统的地球化学找矿方法已经成为了新的发展趋势 [2]。

当前很多学者使用传统的机器学习方法来进行矿靶区预测，例如左仁广 [3] 使用SVM算法对加拿大西部的Nova Scotia金矿床进行预测，通过对比证据权法，发现SVM算法对矿点分布预测的准确度和精度上都有很大提升。Mehrdad [4] 使用遗传算法来优化随机森林的超参数以提升其预测矿靶区的准确度。林楠 [5] 利用逻辑回归算法，综合地球物理、地球化学等数据构建了青海拉陵灶火地区的成矿预测模型。Marjanovic [6] 等人分别使用了机器学习中的人工神经网络、回归树、随机森林等算法对矿区进行了成矿预测，并对预测结果进行了比较全面的对比与评估。

虽然学者们在地球化学成矿预测中使用传统机器学习算法进行了大量的实验研究，但由于成矿信息具有多源、多模式的特点，而且地球化学数据往往矿点稀少且特征细微，给分类和预测带来了更大的挑战，使得传统的机器学习算法难以很好地执行 [7]。近些年，使用深度学习来进行成矿预测成为了研究的热点。

许多深度学习方法被用来解决地球化学成矿预测问题 [8] [9] [10]。这些方法包括CNN (卷积神经网络)、DBN (深层信念网络)、多层LSTMN (长–短期记忆网络)、GAN (生成对抗网络)和转移学习 [11]。深层CNN可以从训练数据中自动学习地球化学图像分类所需的特征，从而提高分类精度和效率，而无需依靠人工特征选泽 [12]。在地球化学领域，基于地球化学数据的找矿预测已成为一个活跃的研究领域。近年来，深度学习在地球化学数据分析和找矿预测中的应用越来越受到关注 [13]。例如，根据从中国东部福建省西南部采集的39个沉积物样品的地球化学数据，左仁广使用深度AEs网络识别与矽卡岩型铁多金属矿化相关的地球化学异常 [14]。大量研究表明，由深度学习方法支持的地球化学数据分析是识别与矿化相关的多元素地球化学异常的有力工具 [15]。深度学习依赖于拥有大量的训练数据，在应用深度学习进行找矿预测的过程中，需要将已知矿床的地球化学特征作为训练数据。为了解决深度学习的小样本、数据数量问题，提出了许多方法，包括数据增强、正则化、元学习和度量学习 [16]。数据增强方法已应用于图像识别，包括随机裁剪、旋转、翻转、仿射变换和其他图像变换，以生成训练数据集，这意味着有限的原始数据可以产生更多用于训练目的的数据。

为了解决当前深度学习智能预测矿靶区存在的特征细微、样本不平衡等问题，本研究的主要贡献如下：1) 针对地球化学数据矿点稀少、样本极其不均衡的情况，采用Smote算法对有矿样本进行扩充，保证输送到神经网络的数据达到平衡，极大提升了模型训练的准确度。2) 开发了一种智能化地球化学找矿预测方法——融合注意力机制和多尺度特征的方法，并提出了MFA Framework框架。该框架针对地球化学数据特征细微的情况，采用多尺度特征来提取更多的特征信息。针对矿点稀少的情况，采用不同卷积核大小的膨胀卷积来生成更多的样本数据。考虑到不同地球化学元素对成矿的影响程度不一样，引入通道注意力机制，对不同通道的特征元素赋予不同的权重。考虑到不同空间位置的元素对成矿影响程度不一样，引入空间注意力机制生成不同空间位置的权重，提升智能预测找矿框架的准确度。为提升模型的训练速度，减少需要训练的参数量，为不同的通道使用共享的全连接层，加快模型的收敛。

2. 相关工作

2.1. 多尺度特征学习

多尺度特征学习通常使用不同的数据方式，以及不同规格的卷积核完成图像数据获取，进而对得到的各种尺度的图像进行分类，最终使用分类算法实现不同的图像分类任务。当前，已经有不少研究者针对多尺度特征学习在图像识别技术应用领域中开展了大量研究 [17] [18] [19]。Alexey [20] 引入了Neck模块，该模块通过将自顶向下和自底向上两种方式相结合，对不同尺度的特征进行融合来提升语义和空间表达能力。Zhang [21] 使用Tansformer结构实现跨尺度特征融合以丰富上下文信息。Li [22] 通过定义一个沿着卷积层中输入和输出通道方向进行周期变化的膨胀卷积系数集合，以整齐的样式聚集不同尺度特征。DeeplLab [23] 使用不同尺寸的卷积核进行卷积操作，最终得到不同尺度特征的图像。

2.2. 通道注意力机制

在深度学习领域中，Attention机制是一种资源的分配机制，可以认为是对原本神经网络平均分配的资源根据特征信息的重要性程度进行重新的权重分配，这样使得神经网络的模型训练集中在重要的特征上，提升神经网络的效率和准确度。2018年，CVPR收录的论文中首次提出了SE-Net (通道注意力机制)的概念，该团队在2017年利用SE-Net获得了ImageNet图像分类竞赛的冠军 [24]。当前已经有很多学者进行了大量研究，并取得了很好的效果如文献 [25] [26]。X. Yang [27] 提出了一种结合空间注意机制和通道注意机制的CNN模型，以实现对野外图像的准确定位和识别。Y. Cheng [28] 为了解决文本情感分析领域文本前后之间的依赖关系，提出了基于多通道CNN和具有双向GRU的文本情感分析模型，并在MDB数据集和Yelp 2015数据集上都取得了很好的效果。W. Tong [29] 提出了一种用于遥感图像场景分类的基于通道注意力的DensNet网络。

2.3. 空间注意力机制

不是图像中所有的区域对任务的贡献度都是一样的，只有任务的相关区域才是最需要关注的。比如在分类任务中，空间注意力模块就是寻找网络中最重要的部位进行处理。在地球化学成矿预测中，考虑到不同空间位置的元素对成矿影响存在差异性，引入空间注意力模块是非常有必要的。当前已经有许多学者将空间注意力模块引入网络模型中，来改进模型的训练效果如文献 [30] [31]。张连超 [32] 为了获取到特征图中不同特征点之间的长距离依赖关系，使得卷积神经网络更好地区分前景目标和背景信息，提出了一种具有全局特征的空间注意力模块。张丹璐 [33] 提出一种结合空间注意力和通道注意力的孪生网络目标跟踪方法，增加了孪生网络对目标的判别能力，改善了SiamFC在复杂背景下跟踪效果不佳的问题。

3. 方法

如图1所示，MFA Framework主要是由两个部分组成，分别是MFCANet、SACNet。MFCANet使用了一个膨胀系数的集合 $\alpha =\left\{{\alpha }_1,{\alpha }_2,{\alpha }_3,\cdots ,{\alpha }_n\right\}$ 和一个通道注意力机制SE-Net模块。主要包含两个步骤：1)使用膨胀系数集合α生成不同尺度的卷积核，得到不同尺度特征图以解决矿区数量少的问题，也帮助后面的卷积操作提取到这个区域更多更细微的特征信息。2) 对于膨胀卷积后生成的特征图首先经过一个通道注意力模块，该模块主要包括压缩和激烈两个过程。压缩阶段通过在特征图上进行全局池化得到全局压缩特征量。激烈阶段通过两层全连接的bottleneck结构得到Feature Map中每个通道的权值，并将加权后的Feature Map作为下一层网络的输入。由此对提取的特征进行重标定，为不同通道上的特征赋予不同的权重值 $W=\left\{W_1,W_2,\cdots ,W_n\right\}$，解决不同地球化学元素对成矿影响程度存在差异的问题。CCANet模块主要包括一系列的卷积操作，考虑到特征图中不同空间位置的元素含量对成矿影响不同，在最后一层卷积加上空间注意力模块，对不同位置的特征赋予不同的权重系数，为了减少训练参数量、加速模型收敛，最终各个通道采用共享的全连接层进行分类。

Figure 1. Multiscale feature attention framework flow chart

图1. Multiscale feature attention framework流程图

3.1. 问题定义

本文首先对原始的地球化学数据集使用传统的插值法——反距离权重法，通过该方法得到其对应的元素含量富集图。然后，定义一个滑动窗口选择合适的步长在生成的含量图上进行滑动，得到各个采样点的特征元素含量，用来制成最终所需的数据集。地球化学训练集 $D={\left\{\left(x_i,y_i\right)\right\}}_{i=1}^N$ 包含N个样本，其中 $x_i\in R^c$ 为其中的各种特征元素， $y_i\in \left(0,1\right)$ 为其对应的真实标签。C为地球化学元素的通道数，其中0代表“无矿”数据，1代表“有矿”数据。为解决地球化学数据特征细微其数据分布不均衡的问题，模型设计如下。

3.2. Multiscale Feature Channel Attention Mechanism Mapping Network

MFCANet的作用如下：先通过不同尺度特征的卷积核进行膨胀卷积，得到不同尺度特征的元素含量图。然后引入通道注意力机制，对不同通道上面的特征元素赋予不同的权重，解决不同特征元素对成矿预测影响不同的问题，提升整个智能预测找矿框架的准确率。

3.3. 多尺度特征图生成

针对地球化学数据集中矿点稀少的问题，可以使用不同膨胀尺寸的卷积操作来生成不同尺度的特征图，增加数据样本的多样性。对于输入的地球化学特征元素集合 $x^{\prime }={\left\{x_i\right\}}_{i=1}^N$，可以采用膨胀系数集合 $\alpha =\left\{{\alpha }_1,{\alpha }_2,{\alpha }_3,\cdots ,{\alpha }_n\right\}$ 生成不同大小的卷积核对其进行卷积操作，生成不同尺度特征的元素特征图。具体地，使用卷积核 $W=\left\{W_1,W_2,\cdots ,W_n\right\}$ 和膨胀系数的集合α进行卷积操作得到多尺度特征图 $P=\left\{P_1,P_2,\cdots ,P_n\right\}$，其中第i个特征图为P_i。具体的生成公式如下所示：

$P_i=r\left(x_i,W_i,{\alpha }_i\right)$ (1)

其中X_i代表第i个特征元素，W_i代表生成第i个特征图对应的卷积权重，α_i代表生成第i个特征图对应的膨胀卷积系数。

3.4. SE通道注意力模块

一个区域的成矿前景是由多种元素共同作用的结果，不是由单一元素来决定的，不同的元素对成矿的影响程度不一样。由此引入通道注意力模块，根据loss的值，反向动态的调整不同通道上的权重值，增加重要特征的权重值，抑制影响小的特征的重要性，提高网络模型的表征力。SE通道注意力模块主要由特征压缩、特征提取、权重分配三个部分组成。对于输入的地球化学特征元素集合 $x^{\prime }={\left\{x_i\right\}}_{i=1}^N$，通过膨胀卷积生成不同尺度的特征图 $P=\left\{P_1,P_2,\cdots ,P_n\right\}$。对于多尺度特征变换后生成的特征图P，其维度为 $P^{W\times H\times c}$，W和H表示元素含量图的宽度和高度，C表示特征元素个数即通道数。对特征P经过两个3 × 3的卷积操作，其步长为1，0填充的数量为1。经过两个特征提取模块，输出的特征图为P1，其维度仍然保持不变。在压缩部分，通过全局的平均池化来压缩特征图P上通道的特征信息，这对于卷积操作捕获全局的特征信息是很有利的。特征压缩部分输出的特征图为Y，其维度为 $Y^{W\times H\times 1}$，将Y经过3 × 3的卷积操作输出Y1，Y1和Y一样的形状。特征图Y1过的输出和特征图P1进行相乘操作，为特征图的各个通道重新分配权重值。通过Loss的值反向来调整通道的权重值，通过为各个通道赋最合适的权重值，加速模型的收敛，提高智能找矿预测框架的准确度。具体的SE-Net模块的设计思想如图2所示。

Figure 2. Flow chart of channel attention module

图2. 通道注意力模块流程图

3.5. Spatial Attention Convolution Classification Network

SACNet的作用如下：通道注意力是为处于不同通道的特征赋予不同的权重，加强重要通道特征对模型训练的影响，降低或忽略非重要信息的通道。与通道注意力不同，可以使用空间注意力作为卷积操作的补充，其作为一种可学习的权重分配机制，可以用来对不同位置的特征进行增强或抑制。SACNet在卷积操作之后引入空间注意力模块，对一系列卷积操作之后所得到的中间特征元素信息，根据其不同位置的影响力不同，动态生成权重值，根据对成矿影响的不同做相应的增强或抑制。最后，通过共享的全连接层和SoftMax激活函数进行二分类，对于有矿或无矿，引入Voting机制进一步预测，提升模型预测的准确度。

3.6. 空间注意力模块

对于输入的地球化学特征元素集合 $x^{\prime }={\left\{x_i\right\}}_{i=1}^N$ 经过多尺度特征提取、通道注意力模块和一系列的卷积操作以后，生成的特征图定义为 $F=R^{H\times w\times C}$，将其作为通道注意力模块的输入。使用两个1 × 1的卷积核对通道进行加权求和，生成两个二维的特征元素图： $P_1^S\in R^{H\times W\times 1}$ 和 $P_2^S\in R^{H\times W\times 1}$，接着沿着通道维度将两个特征图连接起来，并再次对其进行卷积操作来生成单个通道的空间位置的权重分布图 $P_s\left(F\right)\in R^{H\times W\times 1}$，该特征图可以根据模型训练的需要，不断调整权重值，最终对元素含量图中不同空间位置的特征分配权重系数。具体的计算方法如下所示：

$P_s\left(F\right)=\varnothing (\text{Conv}3\left(\text{Concat}\left(\text{Conv}1\left(F\right),\text{Conv}2\left(F\right)\right)\right)$ (2)

$=\varnothing (\text{Conv}3(\text{Concat}\left(P_1^S,P_2^S\right)$ (3)

其中，Conv1(*)和Conv2(*)表示两个1 × 1的卷积层，Conv3(*)表示一个7 × 7的卷积层Concat(*)表示空间维度之间做的拼接操作， $\varnothing$ 表示Sigmoid激活函数。空间注意力模块具体设计思想如图3所示：

Figure 3. Flow chart of spatial attention module

图3. 空间注意力模块流程图

3.7. 共享的全连接层进行分类预测

对多尺度特征提取之后的不同尺度的特征图接着在不同通道上进行进一步特征提取，并通过共享的全连接层得到分类结果。对于输入的地球化学特征 $\text{X}={\left\{x_i\right\}}_{i=1}^N$ 通过不同系数的膨胀卷积进行多尺度特征提取可以得到其特征图的集合 $P=\left\{p_1,p_2,p_3,\cdots ,p_k\right\}$，其中 $P_i={\left\{P_j^i\right\}}_{j=1}^N$。SACNet的网络首先对P进行特征提取，接着进行全局的池化操作，然后经过空间注意力模块为不同位置分配不同权重，最后通过共享的全连接层得到其输出结果。使用最优化交叉熵的方式来优化分类模型的网络结构，如公式(4)所示。另外，在Softmax之后，加入Voting 机制来整合每个网络的输出结果，得到最终的有矿无矿预测信息。

$L=\underset{i=1}{\overset{M}{{\displaystyle \sum }}}\underset{j=1}{\overset{N}{{\displaystyle \sum }}}loss\left({\partial }^i;P_j^i;y_i\right)$ (4)

其中， ${\partial }^i$ 是SACNet中的权重参数，y_i是第i个地球化学特征元素的标签值，loss(*)是Softmax激活后再进行交叉熵损失计算。

3.8. Voting模块

SACNet参考MFI-Framework [34] 结构，在SoftMax后加入Voting模块，通过对各个通道网络使用SoftMax运算后的概率分布进行投票来得到最终的预测结果，实验证明比起仅使用共享的全连接分类有更好的效果。具体地，SACNet使用SoftMax运算后的概率分布为 $P={\left\{P_i\right\}}_{i=1}^k$， $P_i=\left[P_0,P_1\right]$，其中 $P_0$ 为预测为“无矿”的概率， $P_1$ 为预测为“有矿”的概率。首先通过公式(5)得到各个通道网络的预测结果，再通过公式(6)投票确定最终的预测结果。

${\hat{y}}_i=\text{argmax}\left(P_i\right)$ (5)

$\hat{y}=\text{vote}\left({\left\{{\hat{y}}_i\right\}}_{i=1}^k\right)$ (6)

4. 实验

4.1. 关键特征元素的选择

实验数据来源于研究区中提取的地球化学元素，从该区域测量样品分析Ag、As、Au、Ba、Bi、Cd、Co、Cr、Cu、Hg、Mo、Ni、Pb、Sb、Sn、V、W、Zn等18种化学元素。图4为实验区的地质简图，红点为矿区。表1为部分原始数据，X，Y为采样点坐标为地球化学元素含量。从16种地球化学元素中选取影响矿区形成的关键化学元素。

Table 1. Dataset of metallogenic mapping in the study area

表1. 研究区成矿出图数据集

Figure 4. Geological sketch of mineralization in the study area

图4. 研究区成矿地质简图

地球化学元素总共有18种，如果全部制成图像用来训练模型，效果不会很好，而且整个训练过程也会变得很复杂。针对这种情况，本文先采用主成分分析的方法对数据进行降维，保留大部分的特征信息，将降维后的数据用于模型的训练。主成分实验参考戴亮亮 [35] 对低山丘陵区土壤数据集处理方法，具体操作如下：将主成分的比重系数设置为0.94，选择保留原始地球化学数据集94%的特征信息，最终通过降维，得到了8个主成分，其中前三个主成分所占比重分别为28.12%，23.14%，21.56%。为保证特征元素含量图的效果，方便后续的神经网络训练，将降维后的数据进行100~200之间的归一化处理，最终得到的8个主成分数据的部分展示如下表2所示：

Table 2. 8 characteristic data after dimension reduction

表2. 降维后的8种特征数据

4.2. 数据预处理

实验参考郑泽宇 [36] 对水系沉积物数据的处理方法，对使用主成分分析降维后的地球化学数据使用反距离权重插值法来生成对应的元素含量富集图。生成W × H网格点的含量图，其中W是该图的宽度，H是高度。最终得到C个W × H的网格图，其中C是降维后的主成分个数。反距离权重法的计算公式如下所示：

$D_j=\sqrt{{\left(x_0-x_j\right)}^2+{\left(y_0-y_j\right)}^2}$ (7)

$\text{Z}\left(x_0,y_0\right)=\underset{j=1}{\overset{N}{{\displaystyle \sum }}}\frac{1}{{\left(D_j\right)}^2}$ (8)

其中， $D_j$ 为采样点到网格点(x₀, y₀)的欧式距离， $\text{Z}\left(x_0,y_0\right)$ 为对该位置的估值， $Z_i$ 为该位置采样点的实际值，N为需要跟该网格点计算距离的采样点个数。

最终，对经过反距离插值处理后的数据，根据其经纬度坐标和其特征值，生成实验所需要的图像数据集。对每种特征元素都根据反距离权重法生成1560 × 1560的特征元素含量图，总共8个特征元素含量图。如图5所示，就是其中八个特征图。对特征元素图进行处理，实验采用128 × 128的窗口和128的像素大小在含量图上进行滑动操作，生成最终模型训练需要用到的地球化学数据集。训练集共546个数据，其中86个为“矿”数据，“无矿”数据为 460个；测试集含96个数据，其中18个为“矿”数据，“无矿”数据为78个。从中可以看出数据样本分布及其不均衡，有矿数据远远大于无矿数据。针对当前数据存在的情况，实验采用Smote算法来对样本数据进行扩充，以此增加更多的有矿数据，是的数据达到平衡。并同时添加均值为0，方差为0.01的高斯噪声对数据进行增强处理。根据Smote算法以及数据增强的方法将原来的含矿样本从104个扩充到了416个，使得更多的非矿点能加入模型的训练，增强了其完备性。最终生成的数据集中训练集共780个数据，其中368个为“矿”数据，“无矿”数据为 412个；测试集含201个数据，其中98个为“矿”数据，“无矿”数据为102个。数据样本达到了平衡，可以用于模型的训练。将8中特征的网格图整合到一起，如图5所示，即最终数据集中有981个128 × 128 × 8的数据。将其作为MFA-Framework框架的输入。

4.3. 基于MFA Framework的实验

本实验平台选择Tesla v100 32GB GPU，使用的深度学习框架为Pytorch。对从研究区成矿数据集中提取的主要特征制成的数据集进行不同结构的实验研究。模型的评价指标使用准确度、召回率、AUC值、和F1-Score。

Figure 5. Content chart of 8 characteristic elements

图5. 8种特征元素含量图

本实验以ResNet18 [37] 和shufflenetV2 [38] 为基础，采用MFA-Framework对其进行优化，以此证明本文所以的MFA-Framework框架良好的泛化能力，并且与主流的深度学习模型进行对比实验。使用SGD优化器来迭代实验模型，其动量为0.2，权重衰减为1e−4，循环迭代220次，初始学习率设置为0.02，每30次衰减40%，批量大小为32。本文MFA-Framework所使用的 $\alpha =\left\{{\alpha }_1,{\alpha }_2,{\alpha }_3,\cdots ,{\alpha }_n\right\}$ 参考MFI Framework [34] 网络，将膨胀系数设置为α = {1, 6, 12, 18, 24}。

表3是引入MFA-Framewok后的实验结果，从表中的数据可看出，基于resnet18优化的模型比原先的resnet18性能获得了很大的提升，准确率提升了7.79%，AUC值提升了10.13%，召回率提升了10.86%，F1-Score值提升了4.09%。基于shufflenetV2优化的模型相比原先的shufflenetV2性能也存在提升，准确率提高了3.97%，AUC值提高了3.7%，召回率提高了17.65%，F1-Score提高了8.44%。证明了MFA-Net框架具有良好的泛化性，相比流行的框架具有一定的优势，特别在resnet18上效果获得了很大的提升。在用MFA-Framework对resnet18优化后，AUC和召回率提升非常明显，证明了该框架确实对成矿预测有效，特别是对有矿数据的预测。

Table 3. Experimental results

表3. 实验结果

*为基于MFA-Framework优化后的模型，下同。

4.4. 消融实验

MFA-Framework通过不同系数生成不同尺寸的卷积核，通过不同的卷积核进行卷积操作来生成多个尺度的特征图。通过这种方法可以增加样本的多样性，解决当前成矿预测中地球化学数据样本少的问题。同时，因为不同的地球化学元素对成矿的影响程度是不一样的，针对这种情况，引入通道注意力机制，动态调整不同通道的权重值，提升找矿的性能。为了验证本文所提框架对解决这些问题的有效性，针对共享的全连接层、膨胀卷积、通道注意力机制、空间注意力机制进行实验，并基于resnet-18的结构进行改进。

实验结果如表4所示，从中可以看出使用共享的全连接层、通道注意力等模块对解决地球数据现存的样本少、特征细微等问题确实有效。其中影响最大的是膨胀卷积操作，当不使用该模块的时候，准确度下降很多。其次，使用通道注意力模块对预测结果的提升也比较明显。

Table 4. Experimental results based on shared full connection layer, expansion convolution, channel attention mechanism and spatial attention mechanism

表4. 基于共享的全连接层、膨胀卷积、通道注意力机制、空间注意力机制的实验结果

4.5. 基于通道注意力模块实验

为了探讨MFA-Framework中通道注意力模块的影响，基于通道注意力模块进行实验研究。对resnet18*和shufflenetV2*增加个不使用通道注意力模块的实验，定义为no-se-resnet18*和no-se- shufflenetV2*。其实验结果如表5所示，resnet18*和不使用通道注意力模块的resnet18*相比，准确度提升3.08%，AUC值提升8.48%，F1-Score提升4.85%。而shufflenetV2*相比no-se-shufflenetV2*准确度提升3.0%，AUC值提升1.96%，F1-Score提升1.88%。

Table 5. Experimental results of channel based attention module

表5. 基于通道注意力模块实验结果

4.6. 基于空间注意力模块实验

为了探讨MFA-Framework中空间注意力模块的影响，基于空间注意力模块进行实验研究。对resnet18*和shufflenetV2*增加个不使用空间注意力模块的实验，定义为no-sp-resnet18*和no-sp-shufflenetV2*。其实验结果如表6所示，resnet18*和不使用空间注意力模块的resnet18*相比，准确度提升1.41%，AUC值提升1.48%，F1-Score提升1.87%。而shufflenetV2*相比no-se-shufflenetV2*准确度提升1.46%，AUC值提升0.96%，F1-Score提升0.88%。

Table 6. Experimental results based on spatial attention module

表6. 基于空间注意力模块实验结果

4.7. 基于辅助损失函数系数实验

为了探究损失函数的系数对MFA-Framework的影响，本次实验设置的辅助损失函数系数为0.4。另外设置四组实验，其中的系数分别为{0.8, 0.6, 0.5, 0.1}，并基于resnet-18结构进行优化。表7是基于辅助损失函数系数进行实验的结果，从表中可以看出，使用不同辅助损失函数的实验效果都优于resnet18。辅助函数系数为0.4时候，整体效果是最好的。当系数设置为0.6后，随着系数增大，反而效果变差了。

Table 7. Experimental results based on auxiliary loss function coefficient

表7. 基于辅助损失函数系数实验结果

4.8. 基于膨胀系数实验

为研究膨胀系数对本文所提框架的影响，膨胀系数参考MFI Framework神经网络设置为{1, 6, 12, 18, 24}。为了探究膨胀系数对MFI Framework的影响，以6为基准每间隔2设置一组实验，共设置4组实验，膨胀系数分

为：rate1 = {1, 2, 4, 8, 10}，rate2 = {1, 4, 8, 12, 16}，rate3 = {1, 6, 12, 18, 24}，rate4 = {1, 8, 16, 24, 32}，并基于resnet-18结构进行优化。表8是基于膨胀系数进行实验的结果，从表中可以看出，本文消融实验所使用的膨胀系数rate3效果是最好的，从rate1到rate3随着膨胀系数变大，模型的各方面性能都在提升。但当达到rate4以后，模型的准确度和AUC等值反而降低了。这说明膨胀系数并不是越大越好，需要选择最合适的膨胀系数才能最大发挥模型的效率。

Table 8. Experimental results based on expansion coefficient

表8. 基于膨胀系数实验结果

5. 结束语

本文针对矿靶区预测中特征细微、矿点稀少的问题，提出了一种智能的矿靶区预测框架——MFA Framework。该框架由两个部分组成，分别是MFCANet和SACNet。其中MFCANet主要负责多尺度特征图的生成，首先通过不同膨胀系数的卷积核进行多尺度特征的提取，以此来生成不同尺度的特征图，增加数据的多样性，解决样本数据过少的问题。然后引入通道注意力模块，对不同通道的特征元素赋予不同的权重值。因为在地球化学成矿预测中，不同的元素对成矿影响是不一样的。在MFCANet中，在一系列卷积操作之后，在最后一层卷积层，加入空间注意力模块，解决特征图中不同空间位置对成矿影响程度不一样的问题。MFCANet网络主要负责对多尺度特征图的进一步提取和预测，为了提升模型训练效率，减少需要训练的参数量，为各个通道使用共享的全连接层进行分类预测。最后通过Voting模块确定该位置有无矿点。

实验基于resnet-18和shufflenetV2结构进行优化，基于本文所提框架优化后的模型比原来模型的准确度、AUC值、F1-Score各方面都获得了提升。预测的效果也明显优于当前主流的深度学习模型。而且它兼容大部分的深度学习模型，都能用该框架进行优化。本文所提方法的泛化能力很好，有望在其他领域中发挥巨大作用。

基金项目

项目1：广东省自然科学基金，编号：18zxxt52。

项目2：2022江门市科技计划项目“基于机器学习的江门市土壤环境质量调查与风险评估”。

NOTES

^*通讯作者。