有效自由度的一些讨论

一大碗年糕

关于有效自由度，不同的计算方法结果常出现很大差异。之前很多东西还是一知半解。昨天花了点时间整理了下，同时用常见的几个公式做了些测试，把结果发出来供大家参考，如有问题欢迎和讨论
基本概念：   
什么是有效自由度：http://bbs.06climate.com/forum.php?mod=viewthread&tid=101563&highlight=%D3%D0%D0%A7%D7%D4%D3%C9%B6%C8
自相关系数：在计算有效自由度时经常要涉及计算自相关系数，自相关系数的计算公式通常分为两种情况，一种是用超前滞后时的子序列N-k来估计均值和标准差，另一种是用全序列N来估计均值和标准差。这里近似把前种看作无偏估计，后一种看作有偏估计。下面中简称为有偏无偏
具体可以参考NCL官网自相关系数这里的说明:https://www.ncl.ucar.edu/Document/Functions/Built-in/esacr_n.shtml
When calculating lag auto-correlations, Chatfield (pp. 60-62, p. 173) recommends using the entire series (i.e. all non-missing values) to estimate mean and standard deviation rather than (N-k) values. The reason is better mean-square error properties.

测试一：自相关系数函数测试  
首先测试python和ncl中常见的不同自相关系数函数计算结果，对于有偏的statsmodels, numpy, NCL三个函数计算结果都相同，无偏中statsmodels的计算结果稍有不同，numpy与esmtools一致。自相关系数函数的选择是有效自由度计算结果不确定性的一个重要来源

测试二：自相关系数有偏无偏对有效自由度的影响
可以看到对于同一种有效自由度计算公式：
无偏：滞后越大时，估计不稳定。
有偏：简单稳定，Chatfield等推荐用此方法来获得更小的MSE
同时可以看到滤波越低频，算出的有效自由度越低

测试三：不同有效自由度计算公式结果测试  
不同有效自由度计算公式在有偏无偏计算时的结果对比 包括六种常见计算公式：
Quenouille (1952)
Leith (1973)
Davis (1976) and Chen (1982)
Metz (1991)
Pyper and Peterman (1998)
Bretherton (1999)

测试四：原序列相关性正负对有效自由度的影响  
无偏时：序列负相关时，有效自由度函数为“凹”; 序列正相关时，有效自由度函数为“凸”
有偏时：序列正负相关性对有效自由度函数无影响  

内马尔

重要论述

2417404759

非常好的帖子，我的知识背景又扩大了，感谢大佬

高冷lxy

楼主你好，感谢分享！想请问您一个问题，我在做海温线性趋势拟合时，通过最小二乘法算出来了估计参数，然后是计算统计量t，但在这里有个小问题，t统计量里的自由度n-2。这里的n该取样本数还是有效自由度啊？？？我已经懵逼了

一大碗年糕

高冷lxy 发表于 2025-5-9 16:49
楼主你好，感谢分享！想请问您一个问题，我在做海温线性趋势拟合时，通过最小二乘法算出来了估计参数，然后 ...

我也不太确定，一般是低通滤波之后需要检验（自相关增大），如果原始序列（比如海温这种）本身存在强烈自相关的话，最好是也用有效自由度吧

高冷lxy

一大碗年糕 发表于 2025-5-13 11:20
我也不太确定，一般是低通滤波之后需要检验（自相关增大），如果原始序列（比如海温这种）本身存在强烈自 ...

是的！楼主！t检验这里应该还是用有效自由度。但是有效自由度我发现也有问题，就是利用Leith的公式求解有效自由度时，要考虑最大滞后时间。这个最大滞后时间该怎么选择呢？我有对趋势进行显著性检验，然后利用不同的滞后时间可以得到不同的自相关系数，然后得到不同的有效自由度，因此最后计算出来的p值也不同，我就有些懵逼了。

高冷lxy

这是Leith求解有效自由度的公式，应该就是楼主说的无偏估计