横断山区模式降水预报质量检验——以丽江市为例

Quality Test of Precipitation Forecasting of Numerical Models in Hengduan Mountain—A Case Study of Lijiang

摘要: 为充分了解全球数值预报模式和中国气象局数值业务区域模式(CMA区域模式)在丽江市的预报效果，本研究对欧洲中心全球模式(ECMWF)、中尺度天气数值预报系统(CMA-MESO)、上海数值预报模式系统(CMA-SH9)、广东快速更新同化数值预报系统(CMA-GD)、云南区域模式(科研所WRF)、中国气象局全球同化预报系统(CMA-GFS)共6种数值预报模式的降水要素进行了晴雨预报与分级降水预报检验。结果显示：1) 欧洲中心全球模式晴雨预报正确率低于国产模式，且国产模式中以科研所WRF和CMA-SH9准确率最高。2) 随着降水量级增大，各模式TS评分和预报偏差显著下降，空报率和漏报率显著上升，且各模式对于小雨量级具有较好的预报效果。随着预报时效增长，各模式检验指标无显著差异，但其变化趋势与降水量级间表现一致。3) 综合多个模式的预报检验结果，丽江市进行晴雨预报和降水预报时可着重参考CMA-SH9、科研所WRF和CMA-GD这3种国产数值模式。

Abstract: In order to fully understand the forecasting effect of the global numerical prediction model and the numerical operational regional model (CMA regional model) of the China Meteorological Administration in Hengduan Mountain, this study evaluated the prediction results of barometer and graded rainfall precipitation in Lijiang of six numerical prediction models, the European Central Global Model (ECMWF), CMA-MESO, CMA-SH9, CMA-GD, WRF of the Research Institute and CMA-GFS. The results showed that: 1) The accuracy of ECMWF is lower than that of the domestic models, and the accuracy of the domestic model WRF and CMA-SH9 is the highest. 2) With the increase of precipitation, the TS score and forecast deviation of all models decrease significantly, and the empty reporting rate and underreporting rate increase significantly, and all models have a good forecasting effect on light rain. With the increase of forecast duration, there are no significant differences between the test indicators of each model, the varied trend is consistent with that of precipitation levels. 3) Based on the forecast results of multiple models, three domestic numerical models can be used to refer to CMA-SH9, WRF and CMA-GD in Lijiang for weather and precipitation forecasting firstly.

1. 前言

数值预报是全球制作天气预报的重要依据，当前在众多的数值预报模式中以全球模式ECMWF为预报员的主要参考 [1] 。随着我国多种国产模式的迅速发展和日趋成熟，为各地的降水预报提供了更多有利参考。有研究表明，全球模式对晴雨和小雨的预报效果较好，在中到大雨中空报和漏报较为明显 [2] ；在国产模式中，CMA-SH9在西南地区预报效果较好并稳定 [3] ，且在多个量级中预报评分均高于ECMWF模式；CAM-SH9和CAM-MESO在08时起报的短时强降水预报中效果较好 [4] ；CMA-MESO在云南地区的暴雨量级降水预报中表现较好 [5] ；云南本地化的科研所WRF数值模式对云南的降水过程预报效果有明显提升 [6] [7] ，且在不同天气系统背景下预报效果差异较大 [8] ，但其对短时强降水存在明显漏报 [9] 。

我国滇西北高原横断山区地形复杂，其中丽江市海拔落差高达4581米，域内立体气候特征突出，含有北热带、南/中/北亚热带、南/中温带、高原气候区等7种复杂气候类型，常常受到孟加拉湾风暴、南支槽、切变线、西南涡等多种天气系统的单一或复合影响，加之横断山区复杂地形的影响，使得境内不同区域之间天气差异很大，短时强对流天气尤为突出，其中华坪县暴雨过程在全市更为突发及显著 [10] ，因此对于多种数值模式的预报产品需求较强，有必要对全球和区域模式在丽江市复杂地形下的降水要素预报能力进行检验评估，通过比较各种模式对丽江市晴雨预报和分级降水的预报能力，可有效提高对各模式的精确认识和优势了解 [11] ，以期为当地预报员在降水预报中提供更为准确的参考。

2. 资料与方法

本研究选取了6种数值模式进行检验，分别是ECMWF、CMA-MESO、CMA-SH9、CMA-GD、科研所WRF、CMA-GFS。检验内容包括：1) 丽江市国家站和区域站0~72小时晴雨预报准确率，并分别对0~24 h、24~48 h、48~72 h共3个时段预报结果进行检验。2) 分别对24小时降水等级(共小雨、中雨、大雨、暴雨4个量级降水)进行检验，并同样对0~72小时逐24小时预报进行检验。检验评估指标采用降水TS评分、漏报率、空报率和预报偏差共4个指标(见下式) [12] [13] 。检验时间范围为2023年1月1日至9月30日，模式起报时间选取20时，实况时刻选取20时~次日20时。

TS评分： $T{S}_k=\frac{N{A}_k}{N{A}_k+N{B}_k+N{C}_k}\times 100\%$

空报率： $FA{R}_k=\frac{N{B}_k}{N{A}_k+N{B}_k}\times 100\%$

漏报率： $P{O}_k=\frac{N{C}_k}{N{A}_k+N{C}_k}\times 100\%$

预报偏差： $B_k=\frac{N{A}_k+N{B}_k}{N{A}_k+N{C}_k}\times 100\%$

式中：k表示检验级别，共小雨、中雨、大雨、暴雨4个级别，NA_k为k级别降水预报正确的站点样本数、NB_k为k级别降水空报的站点样本数、NC_k为k级别降水漏报的站点样本数。

3. 模式降水检验结果分析

3.1. 晴雨预报正确率检验

2023年1~9月份丽江市国家站和区域站0~72小时预报时效中逐24小时晴雨预报正确率检验结果如下图1所示。结果显示，ECMWF全球模式0~72小时晴雨预报正确率在0.617~0.62，CMA-MESO在0.67~0.7，CMA-SH9在0.73~0.74，CMA-GD在0.69~0.72，科研所WRF在0.72~0.74，CMA-GFS在0.65~0.67。随着预报时效的增长，ECMWF全球模式晴雨预报正确率基本保持稳定水平，其余区域模式均略微有下降，可见各数值模式的0~24小时临近晴雨预报具有较大的参考意义。而在所有预报时效中，ECMWF预报正确率(平均值为0.62)显著低于其余区域模式(平均值为0.70)，区域模式预报正确率由高到低依次为：CMA-SH9 > 科研所WRF > CMA-GD > CMA-MESO > CMA-GFS。这一结果指示预报员在进行短时临近晴雨预报时应更多参考区域模式。

Figure 1. TS score of 6 numerical prediction models of national and regional stations in Lijiang by 24 hours from January to September 2023

图1. 2023年1~9月份丽江市国家站和区域站6种数值预报模式逐24小时预报TS评分

3.2. 降水分量级检验

2023年1~9月份丽江市各模式降水分级检验结果如图2(a)所示。各数值模式所有预报时效下小雨预报TS评分在0.30~0.39，中雨预报在0.07~0.20，大雨预报在0.04~0.12，暴雨预报在0.01~0.04。由于48~72h预报时效中CMA-MESO、CMA-SH9和科研所WRF模式无数据，因此下图中指标采用的是0~24及24~48小时的平均值。结果显示，所有模式对各降水量级的TS评分均小于0.4。其中，所有数值模式对于小雨量级的TS评分均显著高于其余降水量级，且各模式间差异较小，整体表现为：CMA-SH9 > 科研所WRF > CMA-GD > CMA-MESO > ECMWF > CMA-GFS。随着降水增大至中雨量级，各模式TS评分均大幅下降至0.2以下，其中全球模式ECMWF表现最佳，接近0.2，CMA-MESO表现最差，低于0.1，其余数值模式间差异较小。在大雨和暴雨量级中，各数值模式间TS评分值相差较小。可见，降雨量级与TS评分之间呈现出显著的负相关关系，即量级越大，TS评分结果越低(见表1)。因此，各数值模式对于小雨量级降水均呈现出相对较好的预报效果，这一结果指示预报员在进行短时临近预报时对于小雨预报可着重参考CMA-SH9、科研所WRF等国产模式，而对于中雨量级降水预报应着重参考全球模式ECMWF。

(a) (b) (c) (d)

Figure 2. TS score, FAR, PO and B values of 6 numerical prediction models under different precipitation levels

图2. 6种数值预报模式在不同降水量级下的TS评分、空报率、漏报率及预报偏差

Table 1. Significance test of evaluation indexes of different precipitation levels

表1. 不同量级降水检验评估指标显著性检验

注：不同字母代表同一列(即不同降水量级间)存在显著性差异，P < 0.05。

相较于TS评分，空报率呈现出相反趋势(见图2(b))。随着降水量级增大，各模式空报率显著上升(见表1)。各数值模式所有预报时效下小雨预报空报率在0.53~0.67，中雨预报在0.76~0.86，大雨预报在0.78~0.91，暴雨预报在0.83~0.97。从不同降水量级下空报率的变化趋势可以看出各模式对于小雨的空报率介于0.53~0.67之间，其中，科研所WRF、CMA-GD、CMA-SH9以及CMA-MESO的空报率相较于其余模式空报率较低；当降水量级上升至中雨时，空报率迅速提高至0.76~0.86，此时ECMWF、CMA-SH9、科研所WRF表现出相对较低空报率；CAM-MESO对于暴雨预报空报率甚至高达0.96，而ECMWF及CMA-GFS暴雨空报率相较于其余模式表现较好。

漏报率与空报率变化趋势一致(见图2(c))。各数值模式所有预报时效下小雨预报漏报率在0.07~0.37，中雨预报在0.47~0.89，大雨预报在0.78~0.92，暴雨预报在0.87~0.98。各模式漏报率表现在不同降水量级中与空报率有些许差异。在小雨量级中，ECMWF及CMA-GFS漏报率为0.07~0.18，显著低于其余数值模式(0.26~0.34)，中雨量级与小雨表现一致；而在大雨量级中，除CMA-MESO数值模式漏报率明显偏高外，其余模式间无明显差异；对于暴雨预报，CMA-SH9、CMA-GD、科研所WRF漏报率相对较低，但也接近0.9。

各数值模式24小时小雨预报偏差在1.37~2.76，中雨预报在0.68~2.64，大雨预报在0.78~1.89，暴雨预报在0.18~2.31 (见图2(d))。根据降雨量级与预报偏差间的相关关系可以看出，随着降水量级增大，除CMA-MESO和CMA-SH9之外的其余模式其与预报偏差均有所下降。

根据预报偏差的公式进一步分析，当预报偏差数值大于1，代表该降水量级下空报次数大于漏报次数，由图2(d)可见，ECMWF大雨和暴雨量级、CMA-MESO中雨和大雨量级、CMA-GFS暴雨量级的预报偏差均小于1，表明此时模式空报次数小于漏报次数，代表模式的降水预报结果偏弱；ECMWF及CMA-GFS模式的小雨和中雨量级、CMA-SH9的暴雨量级预报偏差结果均大于2，表明此时模式空报次数远大于漏报次数，代表模式的降水预报结果偏高。在ECMWF、CMA-GD、科研所WRF、CMA-GFS这4种数值预报模式中，随着降水量级增大，预报偏差均有所下降，可见模式空报与漏报之间的差距在逐渐缩小。

综合TS评分、空报率、漏报率及预报偏差的结果来看，各模式对于小雨量级均具有较好的预报效果，对于小雨以上量级全球模式和国产模式的预报效果均较差。

3.3. 降水预报时效检验

根据数值模式不同预报时效的TS评分结果来看(见表2)，各数值模式24小时小雨预报TS评分在0.32~0.39，48小时在0.30~0.39，72小时在0.31~0.35；在中雨量级下，24小时预报TS评分在0.09~0.20，48小时在0.07~0.19，72小时在0.10~0.18；在大雨量级下，24小时预报TS评分在0.06~0.12，48小时在0.04~0.09，72小时在0.07~0.09；在暴雨量级下，24小时预报TS评分在0.02~0.04，48小时在0.01~0.04，72小时在0.01~0.02。

Table 2. Evaluation indexes of 6 numerical prediction models of different precipitation levels under 24 h, 48 h, 72 h forecast timeliness.

表2. 6种数值预报模式24 h、48 h、72 h预报时效各量级降水检验评估指标

根据数值模式不同预报时效的空报率结果来看，各数值模式24小时小雨预报空报率在0.53~0.66，48小时在0.54~0.67，72小时在0.57~0.67；在中雨量级下，24小时预报空报率在0.76~0.82，48小时在0.77~0.85，72小时在0.78~0.86；在大雨量级下，24小时预报空报率在0.78~0.88，48小时在0.82~0.91，72小时在0.83~0.89；在暴雨量级下，24小时预报空报率在0.83~0.95，48小时在0.83~0.95，72小时在0.94~0.96。

根据数值模式不同预报时效的漏报率结果来看，各数值模式24小时小雨预报漏报率在0.07~0.32，48小时在0.07~0.37，72小时在0.08~0.36；在中雨量级下，24小时预报漏报率在0.47~0.86，48小时在0.49~0.89，72小时在0.53~0.80；在大雨量级下，24小时预报漏报率在0.78~0.90，48小时在0.80~0.92，72小时在0.79~0.87；在暴雨量级下，24小时预报漏报率在0.87~0.98，48小时在0.92~0.98，72小时在0.96~0.98。

根据数值模式不同预报时效的预报偏差结果来看，各数值模式24小时小雨预报偏差在1.44~2.76，48小时在1.37~2.73，72小时在1.48~2.67；在中雨量级下，24小时预报偏差在0.68~2.32，48小时在0.68~2.64，72小时在1.21~2.63；在大雨量级下，24小时预报偏差在0.78~1.65，48小时在0.86~1.60，72小时在0.98~1.89；在暴雨量级下，24小时预报偏差在0.18~2.31，48小时在0.22~1.96，72小时在0.30~1.08。

经分析，在不同降水量级下，逐24小时预报时效TS评分变化并不显著(见图3)。随着预报时效逐渐增长，各模式TS评分均略有下降，空报率和漏报率均略有上升。这一结果表明，在1~3天的短期预报中，时效越长模式预报的准确性均越低。

(a) (b) (c) (d)

Figure 3. TS score of 6 numerical prediction models by 24 hours under 4 precipitation levels

图3. 6种数值预报模式在4种降水量级下逐24小时预报时效TS评分

4. 结论与讨论

1) 从各数值预报模式逐24小时晴雨预报正确率检验结果来看，欧洲中心全球模式正确率低于国产模式，随着预报时效的增长，ECMWF全球模式正确率基本保持稳定水平，其余区域模式均略微有下降，但下降趋势并不显著。结果表明，国产数值预报模式的晴雨预报具有较强的参考价值，其中尤以科研所WRF和CMA-SH9准确率较高。

2) 从各数值预报模式降水分量级TS评分检验结果来看，各模式对于降水量级的预报效果较差，TS评分均低于0.4，其中，所有模式的小雨量级TS评分显著高于其余量级，且随着降水量级增大，各模式TS评分显著下降。在小雨量级下，TS评分依次为CMA-SH9 > 科研所WRF > CMA-GD > CMA-MESO > ECMWF > CMA-GFS；在中雨和大雨量级中，全球模式ECMWF表现最佳，CMA-MESO表现最差，其余数值模式间差异较小；在暴雨量级中，科研所WRF评分相对更高。

3) 从各数值预报模式降水量分级空报率和漏报率检验结果来看，所有数值模式的空报率和漏报率与降水量呈现显著正相关关系，即量级越大，空报率和漏报率越高。在小雨量级下，科研所WRF、CMA-GD、CMA-SH9、CMA-MESO的空报率较低，但漏报率较高，ECMWF和CMA-GFS反之。在中雨量级中，各模式空报率差异不大，其中ECMWF、CMA-SH9、科研所WRF表现出相对较低空报率；而ECMWF漏报率最低，CMA-MESO漏报率最高，其余模式差异较小。在大雨量级中，ECMWF空报率最低，CMA-MESO漏报率最高，其余模式差异较小。在暴雨量级中，空报率和漏报率均达到0.9以上，此时ECMWF和CMA-GFS空报率最低，但其漏报率最高。从预报偏差的检验结果来看，ECMWF、CMA-GD、科研所WRF、CMA-GFS这4种数值预报模式中，随着降水量级增大，预报偏差均有所下降，可见在小量级下空报次数远大于漏报次数，而在大量级下，空报次数与漏报次数间差异逐渐减小。

4) 从各数值预报模式不同预报时效的检验结果来看，随着预报时效逐渐增长，各数值模式TS评分均略有下降，空报率和漏报率均略有上升。

综合多项数值模式的检验结果可知：丽江市在进行晴雨预报时CMA-SH9、科研所WRF和CMA-GD这3种模式具有较强的参考意义；在进行降雨预报时，对于小雨量级，所有数值模式的预报效果均可参考，对于中雨量级，可参考ECMWF全球模式，其TS评分、漏报率和空报率表现均相对较好；对于大雨和暴雨量级，CMA-SH9、科研所WRF和CMA-GD这3种模式在各指标下表现相对稳定。在所有模式中，CMA-MESO在各预报中整体表现较差，科研所WRF整体表现良好，因此，在预报中可着重参考科研所WRF数值模式开展工作。

基金项目

2023年度云南省气象局自筹科研项目(YZ202318)。

NOTES

^*通讯作者。