[閱讀筆記] Standard Deviations: Flawed Assumptions... - 第十三章 黑色星期一 (Serious Omission)

 第十三章  黑色星期一 (Serious Omission)

火箭科學／巴斯克維爾的獵犬／五行噩運／花押決定論

1.  當少數資料與其他資料存在較大差異時，這些資料被稱為異常值 (outlier)。例如，1978/10/19 道瓊工業平均指數下跌 23%，這就是異常值，根據歷史資料，一天變動約 4%。

2. 異常值有時是筆誤、測量錯誤或意外，若無法得到校正或被忽略，就會扭曲資料。在其他時候，異常值是重要的觀測值，比如臭氧讀數。排除異常值有時會誤導，但是不排除異常值，則幾乎一定會產生誤導。

3. 任何理論都會有數據支持，不管一種理論有多愚蠢，只要丟棄不支持這種愚蠢理論的資料就可。

4. 為什麼研究人員為了要發表愚蠢理論：① 研究人員需要統計顯著性；② 研究人員真誠相信自己是對的，因此認為忽略反對證據是沒關係的。對於任何理論，只要考察大量資料，並丟棄不支持這種理論的資料，你一定可以收集到支持這個理論的證據。

5. 在研究中遺漏資料的做法，是一個巨大的危險信號。遺漏資料的決定應當基於數據的相關性和品質，而不是數據是否支持或影響研究人員期望或理想的理論。

6. 對讀者來說，應警惕被研究人員放棄的資料，應問問自己：① 被忽略的資料是否是有明顯錯誤的資料；② 被忽略的資料是否是跟理論互相矛盾。