最优指纹法学习贴附程序

一大碗年糕

简单介绍已发表在微信公众号：获得诺贝尔奖的最优指纹法究竟是怎么做的？ (qq.com)

刚接触学习，仅个人理解，有问题还请大家多多交流讨论哈哈

最优指纹法OFP-based on OLS（暂不涉及正则化最优指纹法ROF-based on TLS）

一种通过最大化信噪比，增强气候变化信号特征使之排除内部变率噪声干扰的技术方法最早是Hasselmann（1998）在20世纪70年代末提出一种定量化鉴别人为气候变化信号并作归因分析的方法——最优指纹法（OFP）。

在这种最优指纹法中，增强人为气候变化信号特征使之排除低频自然变率噪声干扰，一般用在定量化鉴别人为气候变化的研究中，同时也要求气候变化的信噪比较大。最优指纹法通过旋转信号和噪声的空间场使信噪比达到最高。该方法要求气候要素的信噪比极大化，所以需要知道气候信号和噪音的空间和时间结构。这种方法不仅对早期的外部强迫检测有用，而且也可用于区分不同的强迫机制来进行归因分析。研究表明，最优指纹法是与其他一些最佳平均或滤波方法十分接近的方法，在噪声背景下它可以最佳地估计出气候变化振幅（孙颖等，2013）

典型的检测与归因分析方法是基于广义的多元线性回归的最优指纹法（如Allen et al.，1999 et al.，2003）。最优指纹法假定气候外强迫（信号）与内部变率（噪音）是可以线性叠加的（Bindoff等，2013）,也就是说观测的气候变化可以看作是各种外强迫信号和内部变率（主要包括北大西洋涛动、太平洋十年涛动、北大西洋年代际振荡、厄尔尼诺和南方涛动等）的线性组合。并且各种外强迫信号也是可以线性叠加的，即外强迫信号的响应是人为强迫（主要包括温室气体、土地利用和气溶胶排放等）和自然强迫（主要包括火山喷发和太阳活动等）的线性组合。因此最优指纹法既可以对单强迫信号进行检测归因，也可以对多个强迫信号进行分析。所以气候变化检测与归因的研究非常依赖于气候模式（DAMIP)。

在最优指纹法中，假定观测到的变化是期望的变化（信号）和内部变率（残差）的总和，由方程Y=βX+ε来表示：向量Y是指观测到的气候要素的变化;向量X代表模式模拟的不同强迫下该要素的变化（可以是一维的也可以是二维的），矩阵X的信号来自气候模式。向量ε代表不能被信号解释的自然变率（或者残差），拟合多元回归模式需要估计自然内部变率，由于观测资料过少，一般用气候模式的控制试验的结果来计算内部变率。尺度因子β是一个一维或者二维的向量，可以调整信号的幅度来与观测值相匹配。

关于单信号、双信号和三信号分析：

单信号分析中，观测结果是针对全强迫（ALL）信号的回归，ALL信号是基于多模式集合平均结果进行估计；

在双信号分析中，观测结果同时对人为强迫（ANT）和自然强迫（NAT）进行多元回归，其中ANT=ALL-NAT,即人为强迫为全强迫和自然强迫之差；

在三信号分析中，观测结果同时对温室气体强迫（GHG）、其他人为外强迫（ANTnoGHG）和自然强迫（NAT）进行多元回归，其中ANTnoGHG=ANT-GHG,即其他人为外强迫为人为强迫和温室气体强迫之差。

强迫信号的判定标准：

如果该信号对应的缩放因子的置信区间包含0,说明该强迫信号没有被显著检测到；

如果该信号对应的缩放因子及其的置信区间全部大于0,表明该强迫信号可以在观测结果中检测到；

如果该信号对应的缩放因子及其的置信区间全部大于0而且包含1,表明该强迫信号不仅可以被检测到，而且观测变化可以成功归因于该强迫的影响

最优指纹法的数据预处理：

应用最优指纹法的过程中需要估计残余协方差，但由于模式资料的局限性只能估计相对较小的协方差，所以最优指纹法只能在一个相对较小的时空维度中使用，需要对资料进行时间和空间尺度的降维处理。（数据预处理）

降维处理：

例如：利用最优指纹法检测归因前需要把观测和不同外强迫下的模式资料插值到5°x5°的网格上；然后对数据进行5年非重叠平均（以此来降低时间维度），检测归因时间段选取为1973-2012 年，将观测、ALL、GHG、NAT、ANT 和 ANTnoGHG 资料 5 年非重叠平均成8个数据。

提高信噪比：

通过使用经验正交函数分解对于控制试验取得多套数据（噪音片段大样本，见下文）的套数维度 n 进行分解，获取 k个截断的典型信号特征向量，然后将输入的观测与模拟皆投射到此 k 个特征向量上。这可以提高输入回归方程的观测及模拟信号的信噪比，也更容易探测到外部强迫信号(Allen and Tett, 1999)。选取截断 k 的标准是通过余项检验的最大k数，即根据残差一致性检验结果来选取EOF主导模态的数量(Allen和Tett,1999; Allen和Stott, 2003)。实际上，刚开始运用最优指纹法时，计算缩放因子是随机选取k的值，通过多次选取选取截断 k 的标准是通过余项检验的最大k数

最优指纹法的数据后处理：

趋势分析降噪处理和订正：

进行单信号、双信号和三信号的最优指纹法分析之后，得到各个run的缩放因子。进行趋势的分析需要说明的是，这里水汽变化的趋势是利用1973-2012年5年平均的时间序列，使用线性回归最小二乘法（robust-fit方法，Street等，1988）计算得到的，同时使用的信号序列都是经过降噪处理（Allen and Stott,2003）的模式模拟信号。同时，在观测的5年平均时间序列的基础上，使用线性最小二乘法来计算同期的水汽变化趋势。

并利用计算的最优缩放因子对不同外强迫下的要素变化趋势值进行了订正；即利用单信号检验（观测结果是针对全强迫ALL信号的回归）中的最优缩放因子与不同强迫下的要素变化趋势值相乘进行订正）

关于内部变率的估算

噪音片段大样本的生成：

噪音片段即内部变率，其总年数=样本数×与观测相同的period值

由于观测资料的时间序列太短，并且里面包含外强迫因子的影响，因此不适合用来计算内部变率。

①一般利用工业革命前的模拟控制试验计算气候系统内部变率，并利用Monte Carlo方法进行残差一致性检验（Allen andTctt, 1999），即从模拟控制试验CTL中选取多套与检测归因period等长的数据。

例：对于CTL模拟结果，将其分为289个模拟时间段，每个时间段为40年（22个模式中所有样本的和为289）,以此来估计内部变率。

②也可使用同一模式大样本集合历史模拟试验的成员间离差来估计从而增加样本量，即每个模式的各自历史模拟试验成员与该模式相应试验的集合平均的差值，每个噪音片段同样与检测归因等长。

例：共包含101个历史模拟试验成员，选取各模式历史模拟试验1890~2005年的模拟输出结果,共有2个58年的片段, 因此集合成员间离差共得到202个“噪音”片段

大样本的2等分：

获取的大样本模拟集合按时间排序分成两块相等且相互独立的数据。若为增加噪音片段，使用了分别来自模拟控制和强迫试验的片段，则将大样本数据集分成2个组，其中每组包含的模拟控制片段和强迫试验数应分别相同

例：(每组包含101个成员间离差“噪音”片段和102个控制试验“噪音”片段)

一组用于最优估计即优化，产生协方差矩阵用于估计。用来计算估计缩放因子。通过选取模式模拟的内部变率的经验正交函数(EOFs)主导模态进行降维

另一组用于计算缩放因子的置信区间（10%-90%，5%-95%），并进行残差的一致性检验（即余项检验，即模式模拟的内部变率是否一致于观测中的变率），根据残差一致性检验结果来选取EOF主导模态的数量(Allen和Tett,1999; Allen和Stott, 2003), 并通过选取不同的EOF主导模态数验证了检测结果的稳健性。

基于检测归因结果的未来预估订正

用单信号检测归因得出的ALL强迫信号的最优缩放因子，乘以不同未来排放情境下多模式集合平均的预估结果，就得出了订正后的趋势变化要素值

游客，如果您要查看本帖隐藏内容请回复

Houckin

刚看完公众号就看到这个

来自安卓APP客户端

si18

感谢楼主详细的介绍

一大碗年糕

Houckin 发表于 2022-06-11 17:21
刚看完公众号就看到这个

哈哈哈还是家园里好，学习到太多了

来自安卓APP客户端

13top

感谢楼主分享有对应的MATLAB代码吗

ghgg

学长牛

denghaijun

学习学习

wjy_ecnu

感谢楼主分享

一大碗年糕

13top 发表于 2022-6-11 19:56
感谢楼主分享有对应的MATLAB代码吗

暂时好像也还没有看到哈哈

Adiligirl

感谢楼主大大的分享