官方微博  |  加入收藏  |  联系我们  |  English  |  网站地图  |  中国科学院  |  北京分院  
 首 页 所馆概况 机构设置 科学研究 科研成果 研究队伍 研究生教育 合作交流 党群园地 科学传播 信息公开
  当前位置:首页 > 新闻动态 > 科研进展  
气候模式性能的多变量集合评估新方法
——
2017-10-25 | 【 【关闭】

  第五次耦合模式比较计划(CMIP5)中包括多达19个模式组的60个耦合模式。CMIP6可能会包含更多的模式。如何客观、定量地评估和比较不同气候模式的性能,正变得越来越重要。目前的模式评估方法,大多针对单一变量进行评估。然而,在模式比较与评估中,我们需要评估的往往是模式对多个变量的总体模拟能力。目前,常用的评估方法是portrait diagram (图1a)。portrait diagram中的颜色代表标准化的均方根误差(RMSE)。由于portrait diagram是建立在RMSE基础之上的,有两点不足之处:(1)RMSE与模式性能之间不是严格单调的对应关系,即RMSE的减小不一定对应着模式性能的提高。比如:图1b中模式D的RMSE小于模式A,但实际上模式A的性能好于模式D。这是因为模式A和D具有相同的相关系数,但模式A的标准差更接近于观测。(2)虽然RMSE可写成相关系数和标准差的函数,即RMSE包含了相关系数和标准差两方面信息,但利用RMSE无法显式描述相关系数和标准差的大小。相同的RMSE可以对应完全不同的相关系数和标准差(比如图1b中的模式A、B、C)。此外,portrait diagram无法给出一个“定量”的多变量集合评估结果。

  针对上述模式评估方法的不足,中科院大气物理研究所的徐忠峰、韩瑛副研究员和符淙斌院士,在矢量场评估的图表的基础上,发展了新的多变量集合评估(MVIE)方法。该方法包括三级统计变量,既可以评估模式对具体某一个变量的模拟能力,又可以评估模式对多个变量的总体模拟能力(图2)。第一级统计量包括每个变量的相关系数(CORR)、均方根值(rms)和均方根误差(RMSD)。这些统计量可以表述成填色表格形式,从表格的颜色可以直观看出模式对不同变量的模拟能力(图2c)。第二级统计量由第一级统计量计算得出,代表模式对多个变量的总体模拟能力,这些统计量可以表述成矢量场评估图表的形式(Taylor图的推广形式)。该图从三方面,即矢量场的分布模态(VSC)、幅度(RMSL)和均方根误差(RMSVD),评估模式对多个变量的总体模拟能力(图2b),从而避免了单纯利用RMSE评估模式的弊端。第三级统计量为多变量集合评估指数(MVIE),由第二级统计量计算得出。与RMSE不同,MVIE随着模式性能的提高单调减小,更适合作为多模式性能排序的指标。如图2a所示,高一级统计量对低一级统计量信息进行提炼和概括。其中,第一级统计量包含的信息最全面,但缺乏对模式总体模拟能力的定量评估;第二级统计量从三方面评估模式对多个变量的总体模拟能力,但无法体现模式对具体某一个变量的模拟能力。第三级统计量将模式性能进一步概括为一个指数。三级统计量结合在一起,可以实现优势互补,从而对模式性能给出更为系统、定量、准确的评估结果。

  图1 Portrait diagram (a)和Taylor diagram (b)示意图。(a) 中阴影颜色代表标准化的均方根误差(RMSE)大小(Gleckler et al., 2008)。一般来说,RMSE越小模式性能越好,但实际上RMSE的大小与模式性能之间不是严格单调变化的。比如(b)图中模式A的RMSE比模式D大,但模式A的性能比模式D更好(两个模式相关系数相同,但A的标准差更接近观测)。(b)中的模式A、B、C的RMSE相同,但三个模式的实际表现差别非常大。模式B和C模拟的相关系数较高,但一个显著高估了标准差,另一个则显著低估了标准差;模式A对标准差模拟很好,但相关系数较低。如果单纯利用RMSE进行模式评估,无法显式体现这些差异。

  图2: 多变量集合评估方法示意图。(a)模式性能评估的三级统计量及它们之间的关系。金字塔最下层的第一级统计量包括每个变量的相关系数(CORR)、均方根值(RMS)和均方根误差(RMSD),这些统计量可以由(c)图直观描述。Tm(Pm)为气温(降水)的气候平均态;Ta(Pa)为气温(降水)的年际标准差。图中颜色深浅代表模式与观测之间的偏差,颜色越浅偏差越小。第二级统计量由第一级统计量计算而得,分别代表模式对多个变量分布模态(VSC)、幅度(RMSL)、均方根值的标准差()以及多变量总体均方根误差(RMSVD)。这些变量可以用矢量场评估图表表示(如图b),矢量场评估图表从多方面评估模式对多个变量的总体模拟能力。第三级统计量——多变量集合评估指数(MIEI)——由第二级统计量进一步计算而得,代表模式对多变量的总体模拟能力,利用该指数可对不同模式的模拟能力进行排序。

 

  Xu Zhongfeng, Han Ying, and Fu Congbin, 2017: Multivariable integrated evaluation of model performance with the vector field evaluation diagram, Geosci. Model Dev., 10, 3805–3820.

  https://www.geosci-model-dev.net/10/3805/2017

  Xu Zhongfeng, Hou Zhaolu, Han Ying, and Guo Weidong, 2016: A diagram for evaluating multiple aspects of model performance in simulating vector fields, Geosci. Model Dev., 9, 4365–4380.

  www.geosci-model-dev.net/9/4365/2016/

 

  

  

附件下载:
  Copyright @ 2012 中国科学院大气物理研究所 All Rights Reserved 京公网安备:110402500041
地址:中国北京市朝阳区德胜门外祁家豁子华严里40号 邮政编码:100029
联系电话:010-82995381  Email:iap@mail.iap.ac.cn