登录后查看更多精彩内容~
您需要 登录 才可以下载或查看，没有帐号？立即注册
x
本帖最后由 hillside 于 2014-1-2 17:47 编辑
气候研究中，预测具有很重要的位置。其他行业的预测技巧对于气候预测没准会有某些借鉴与启发，因为气候变化明显依赖于建模。
美国的纳特·希尔沃(注：尽管"Nate"的发音与中文“内”更接近，但从元音拼写看，“纳”更顺眼。我个人赞同翻译为“纳特”。silver的翻译也有“希尔沃”与“希尔弗”、“西尔弗”之异。因来源不同，故本帖有混用 )就目前而言，可称世界头号统计明星，他因借助数学模型，成功推断奥巴马会赢得2012年美国大选，被誉为“算法之神”，他并趁势出版了畅销全美的著作《《信号与噪音》。在此书的第十二章《温室效应：未来 10 年，全球气温会上升还是下降？》中他专门讨论了气候预测问题。
有书评称，“在你读完这本书后，你一定会更了解为什么接下来一周的天气预报对你来说更有用，而一周以后的天气预报根本是无稽之谈。”我尚未读过内特的书，对书评中断言我持怀疑态度，笼统地说一周后的天气预报难以预测似乎过于消极，起码一周后的气候推断还是有发展前景的，也是气候研究者所致力的。
被誉为“算法之神”的纳特·西尔弗内
他在2008年美国大选中曾准确预测了49个州的选举结果，而2012年的美国大选，他则准确预测了全部50个州的选举结果。34岁的纳特·西尔弗凭着自己的数学模型打败了所有时政记者、政党媒体顾问和政治评论员。美国公众沸腾了，媒体称他为超级极客、“算法之神”，并认为其成功让所有书呆子扬眉吐气。 准确预测美大选结果 纳特·西尔弗可以说是超级政治明星，他知道自己在说什么。在美国人看来，权威专家一直是拥有合适的发型、洁白的牙齿或者符合保守派观点的人。西尔弗 完全不符合这些条件，他有的只是数据，许许多多的数据，而美国总统大选之夜证实了这些数据的准确性。 投票前，许多评论家都认为无法预计哪方会获胜。他们预计本次选举两名候选人的得票率将不相上下。但事实并非如此。结果证明奥巴马和罗姆尼完全不是旗鼓相当，正如希尔沃几个月来的预测。在大选日当天，他预测奥巴马将有90.9%的可能获得大半选举人票，如果按州计算，他准确预测了所有州的选举结果。 “你们知道谁是今晚（选举开票夜）的赢家吗？”美国微软全国广播公司节目新闻主播自问自答，“是纳特·西尔弗。” “算法之神”受到狂热追捧 推特瞬间沸腾了，各大博客网站也为希尔沃沸腾了。西尔弗的处女作《信号和噪音：预测学的艺术与科学》的销量一夜间增长800%，排到了畅销榜第二位。媒体一致认为本次大选预测的成功并不只是希尔沃个人的胜利，它还使所有书呆子都扬眉吐气。西尔弗 凭他的数学模型打败了所有时政记者、政党媒体顾问和政治评论员。 选举前的数周，他的批评者们（大多数是不满他预测奥巴马将获胜的保守派们）不仅攻击了他的预测方法，还对他进行了人身攻击。UnSkewedPolls.com的迪安钱伯斯召集人们抵制西尔弗的“巫术数据”，宣称他神志不清并嘲讽他是个矮小瘦弱的娘娘腔。 西尔弗觉得自己当时将已有的数据套用贝叶斯理论，如此一来他将“小有优势”。美国政治领域原本就充斥着许多数据，而他所使用的贝叶斯理论也不是什么尖端科技。英国神父贝叶斯于18世纪初发现了计算有条件的事件发生可能性的贝叶斯理论。 西尔弗后来表示同意批评者的观点。他甚至不是唯一一个使用贝叶斯理论分析选情的人，其他分析师也同样有不错的准确度。就其属性来说，政治分析不过是平平无奇的数据分析，西尔弗 不过是综合已有的民调结果。然而，西尔弗建模分析的关键却在于如何衡量某一数据的重要性。这些数据在历史上有何作用，又有怎样的偏向性，还有什么别的信息可以借鉴？ 西尔弗认为“书呆子”才是他的“秘密武器”。“我总觉得自己是个局外人。我身边总有朋友，可是我总是有跟他们不一样的观点。我觉得这点很重要。”希尔沃渐渐开始担心：他的能力是否意味着将来他不仅能预测选举结果，还将影响选情。此外，他还担心失去旁观者的优势。“我获得各种机遇，不过我不希望自己堕落或者淹没在体制内。”
《信号与噪声:大数据时代预测的科学与艺术》内容简介
书中涉及如下有趣又值得研究的问题：天气预报说降水概率为60%，你出门会带伞吗？被雷电击中的概率到底有多大？地震发生之前，我们真的无法预测吗？中情局为什么会忽略“9.11”恐怖袭击发生的信号？禽流感为何会突然爆发，又突然消失？为什么大数据时代的预测更容易失败？“信号”是我们想要和需要的事实，比如能帮助我们侦破早期鞋子炸弹案的信号。“噪声”则是另一回事，通常是不相干的信息，它阻碍或误导我们搜索信号。
人类每时每刻都需要对未来进行预测并制定相应的策略，如此国家、企业乃至个体才能持续发展，因此我们对于“下一刻会发生什么”倍加关注。在信息爆炸的大数据时代，随着我们的生活节奏变得越来越快，我们所要做出的预测的速度和数量都在不断增加。一个不容忽视的事实是，现实世界中的很多预测都失败了，由此付出了巨大的社会代价。“9.11”恐怖袭击事件、2008年金融危机、卡特里娜飓风、2011年日本大地震、禽流感肆虐，这些“黑天鹅”事件的发生在很大程度上应归咎于糟糕的预测，也就是说预测者们被众多信息中的噪声干扰，而忽视了其中真正的信号。
本书的前半部讨论的是在各个领域中，预测未来的难易程度，比如在天气预报和选举结果上，预测工作就相对容易，而地震预测则困难得多，因为许多异常的地质活动并不伴随地震的发生，也就是书名中所说的“噪音”太大。作者指出，虽然现在流行“大数据”概念，但是许多人因此陷入一种误区，认为数据的增多必然导致预测的准确度的加强，即“让数据自己说话”。其实在不断增加的数据中，哪些是“信号”、哪些是“噪音”，还是需要人来认知和判断，不可以轻信任何数据模型。
本书的后半部就是在讨论如何在数据面前加强判断能力，作者所推崇的是贝叶斯定理(Bayes' theorem)，由十八世纪英国数学家托马斯·贝斯(Thomas Bayes)提出。这是一种基于概率的思考方式，首先必须承认自己对未来的预测不可能是完全准确的，必然带有一定程度的倾向性和错误，然后用事实证据来测试预测的可靠性，不断调整预测，这样才能一点点地接近事实，也就是说预测的概率越来越准确。作者指出这种方法在医学科研中已经广为应用，完全应该扩充到经济、政治和生活领域中来。
作者是最为美国最具影响力的预测专家之一，检视了从飓风到地震、从经济到股市、从NBA到政治选举在内的众多领域的预测事例，旨在回答一个问题：如何才能从繁杂的海量数据中筛选出真正的信号，摒弃噪声的干扰，从而做出接近真相的预测。
真正优秀的预测者会用概率的方法思考问题，他们谦虚而且勤恳，他们能清楚地区分什么是不可预测的、什么是可预测的，他们注重能带领他们接近真相的成千上百个小细节，他们能辨识出什么是噪声、什么是信号。从全球经济的健康到战胜恐怖主义，都依靠预测的质量。《信号与噪声》可以给你想要的答案。
附：第十二章部分内容摘录
第十二章 温室效应：未来 10 年，全球气温会上升还是下降？
1988 年 6 月 23 日，美国国会山异常燥热。前一天下午，华盛顿国家机场的温度约为37.8 摄氏度，初夏的气温就达到这么高的温度这几十年来还是第一次。美国国家宇航局的气候学家詹姆斯·汉森一边擦去额头上的汗珠（因为此时参议院能源委员会听证室的空调竟然不合时宜地坏了），一边告诉美国民众说，这样的高温天气可能还会持续几天，请大家作好准备。
科学家们曾经预测到温室效应会使地球升温，这一理论早已为人们接受。汉森说，温室效应开始在气温记录中制造明确无误的信号：自 20 世纪 50 年代起，全球气温已经上升了 0.4 摄氏度，而这种升温现象不可能是自然变异导致的。汉森说：“气温自然出现同等上升幅度的概率仅约为 1%，因此，人们可以有 99%的信心宣称这一时期气候变暖的趋势仍在继续。”
汉森预测高温天气会频繁造访华盛顿和其他一些城市，如奥马哈，这种天气变化已“明显得人人可见了”。他建议改良气象预测模型，但气温趋势及其变化原因是显而易见的。汉森说：“没时间闲聊了，有充分证据表明温室效应已经来势汹汹了。”
这场听证会距今已差不多有 25 年了，当时就“全球变暖”所提的问题，有些也可以用来对本书提到的其他领域进行提问，比如，迄今为止人们作的预测是好是坏？科学家们在哪些事情上取得了一致意见，对于哪些事情仍在争论不休？预测中的不确定性有多大，我们该作何反应？像天气系统这样的复杂事物，究竟可不可以建模研究？气候学家是否都存在过度自信的问题呢？这一问题会发生在其他领域的预测者身上吗？政治和其他反向力量会阻碍科学真相的挖掘吗？贝叶斯定理是否有助于判定争论呢？
仔细检查证据，描述出什么是对气候预测的合理怀疑，你会发现对全球变暖问题的怀疑有别于普通博文或政治主张中经常提到的内容。
……
谈到全球变暖问题时，人们总是对“共识”一词过度痴迷，而那些不赞成共识的人也以此为荣，并把自己标榜为异端分子。另外一些人有时会依靠在线散发请愿书这类不可靠的手段，试图表达他们对全球变暖这一理论的怀疑态度。每当一些气候学家公开反对某项有关气候变暖的调查结果时，他们就会声称这些调查缺乏理论共识。
…… 模型越复杂，预测越糟糕
阿姆斯特朗和格林对气候预测提出的批评，与他们所作的研究有关。这两位学者对经济学这类几乎不存在可用的物理模型、人们对其因果关系也知之甚少的学科进行过实证研究。野心过于膨胀的预测方法在这些领域频频失败，所以阿姆斯特朗和格林推断，这些方法用于气候预测也会失败。
任何预测模型的目标都是尽可能地“抓住信号、扫除噪声”。保持两者的平衡有时并非易事，需要有理论依据和保质保量的数据做保证。在经济预测中，数据贫乏，理论研究薄弱，所以阿姆斯特朗才会认为“（经济）模型越复杂，预测越糟糕”。
在气候预测中，情况更加模糊不清：温室效应理论的影响很大，可以支撑更为复杂的预测模型。然而，气温数据非常嘈杂，总是与预测模型相向而行。哪种考虑才是对的呢？
我们可以依据经验处理这个问题，对气候科学中曾经使用过的各种预测方法的成功和失败的状况进行评估。像往常一样，最重要的是看这些预测在现实生活中的效果。
我敦促大家，不要将预测过程缩减为一系列的“车贴标签”式的标语口号。简单性原理（“在其他条件相同的情况下，简单的解释比复杂的解释更好。”）这类启发法看似诱人，却难以为我们所用。与用于预测疾病爆发的 SIR 模式一样，有些预测模型中的假设既简单又简洁，这样的情况我们已经遇到过很多，但是这样的模型却过于天真，无法提供成熟的预测。而在地震预测中，那些复杂得离谱的预测方案在软件程序包里功能齐全，在实际应用中却漏洞百出，真可谓华而不实。
“模型越复杂，预测越糟糕”，这句话就是在告诫人们，“不要在食谱中加入过多的盐”。你在做事之前是不是把它搞得很复杂，或者说在其中加了很多“盐”呢？如果你想越来越擅长作预测，就要“相信自己的厨艺，相信自己的味蕾”。
……
说明：新浪爱问与百度可找到该书的下载链接（有三种格式的全文电子版本，其中两种格式免费，PDF版需要2个积分），因涉及版权，有兴趣的网友可自行前往。另外，京东商城提供部分《信号与噪声》的在线阅读（似乎仅有前3章，无讨论气候预测的第十二章）：
http://pan.baidu.com/share/link?shareid=2607954732&uk=3422672844（mobi格式）
http://pan.baidu.com/share/link?shareid=1417015425&uk=789406156&fid=1027241877&from=name（azw格式）http://ishare.iask.sina.com.cn/f/65351044.html (PDF版,需要2个积分)
http://item.jd.com/11299291.html京东商城提供的《信号与噪声》在线阅读
| 
窥视卡
雷达卡
发表于 2014-1-1 22:24:06
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
抢沙发
千斤顶
显身卡
楼主