Total Pageviews

2021/08/05

[閱讀筆記] Standard Deviations: Flawed Assumptions... - 第四章 新的經濟學上帝 (Oops!)

 第四章 新的經濟學上帝 (Oops!)

政府債務臨界點/相關性等同於因果關係?/墮胎會減少犯罪嗎?/是我的錯

  1.  電腦可以迅速、正確地完成計算工作,但它不會考慮計算的意義與合理性。電腦只會做人們要求它做的事情,錯誤的問題只會得到錯誤的答案,例如,我想知道 169 的平方根,但我卻在鍵盤敲成 196,最後答案得到 14,這類錯誤稱為「計算誤差」,但其實是「人為誤差」。

  2. 2010 年,兩位哈佛教授 Camen Reinhart 與 Kengoff 發表一篇論文,得出當聯邦政府債務相對於國內生產總值 (GDP, Gross Domestic Product) 的比例超過 90% 時,國家經濟會陷入衰退。最終發現,計算過程因為 excel 公式拉錯,推導出錯誤的結論。

債務的觀念

  • 國家債務與房貸相同,重點不是債務是否 > 年收入 (因為不是要馬上全額償還),而是我們的月收入是否 > 每月分期金額。

  • 當一個國家尚未從 2008 年的經濟危機恢復,為了減少政府債務而提高稅收的作法,反而是錯誤的。政府為了減輕負擔,可在必要時刻啟動印鈔機,減輕負擔。

造成的影響

  • 當時英國首相 David Cameron 與歐洲領袖開始使用哈佛教授的研究,開始試圖削減開支和提高稅收,以減少政府財政赤字。結果,歐洲平均失業率從 2011 年的 10%,到 2013 年提升到 12%。就連提倡緊縮政策的 IMF 都承認,歐洲緊縮措施的危害性大大超乎預期。

  • 荷蘭 2006 ~ 2017 年債務危機個案


  1. 債務增加導致經濟衰退?這兩個有很強烈的關係嗎?還是因為經濟衰退,政府撒幣拯救經濟而導致債務增加?

債務與 GDP 佔比關係

  • 假設債務相同,GDP (分母) 的大小會決定債務與 GDP 佔比。

  • 不是高債務比降低經濟增長速度,是成長減緩,提高債務佔比。



2021/08/04

[閱讀筆記] Standard Deviations: Flawed Assumptions... - 第三章 被誤傳的謀殺之都 (Apples and Prunes)

 第三章 被誤傳的謀殺之都 (Apples and Prunes)

  1. 若道瓊工業平均指數 (Dow Jones Industrial Average,DJIA) 當天開盤是 1,000 點,下跌 100 點是 -10% (令人恐慌);若開盤是 10,000 點,下跌 100 點是 -1% (令人不快)。股價漲跌百分比變化是有用的資訊,不過有一些百分比變化有其誤導性。當基數 (base) 很小時,一個統計意外能產生巨大的 % 變化影響 (因為分母小)

  2. 確認偏誤 (Confirmation bias) 是心理學上的一種現象,簡單的說,就是人們都會傾向於尋找能支持自己理論或假設的證據,忽略不能支持自己理論或假設的證據。這種選擇性的擷取資訊來強化自己理論或假設的現象,幾乎在每個人身上都看得到,但能意識到的人卻很稀少,更不要說能去盡力避免了。(Ref: Antifragile: Things That Gain from Disorder)

  3. 確認偏誤是人腦內建的,習慣性地去找因果關係、找解釋、甚至自我腦補。很可怕的是,它無時無刻不在發生作用的,若沒有內省的習慣,也很難發現自己的問題,更根本的是要修正自己的觀念,改正自己的「假設前提」,當生活中發生矛盾現象時,用來觸發自己的縝密思考,也就是 System 2 (Ref: https://reurl.cc/qmon7N )。

  4. 以下圖為例,美國啤酒銷量與已婚人口數量的相關性達到 0.99,面對此高度相關,能否推論飲酒會導致婚姻?或是婚姻導致飲酒?正確的解釋是,當人口隨時間增長,啤酒銷量也會跟著成長。類似的,婚姻、嬰兒、汽車、鞋子、大學入學率、心臟病等,都會隨著人口增長而增加,它們之間不必然存在關係

  1. 當我們成功預測美式足球比賽、選舉、選股結果,就會高估自己的預估能力,證明自己真的是聰明人;若預測失敗,則歸因於自己運氣不好而已,如裁判不公、投票率太低、其他投資人不理性。

  2. 當人選擇性收集或是回憶訊息時,常帶有自己強烈的意見去解讀該事物時,確認偏誤便會產生。身為設計師,我們可以透過這種理性偏誤,去刺激消費者的感受與決定。確認偏差是設計使用者體驗時,一項強大的「勸敗方法」。 尤其是在消費者思考購買或購買後,「肯定與加深」消費者對產品的正面記憶,渴提升產品形象與未來二度購買的動力。(Ref: https://reurl.cc/GdQnyp )

  3. 在與某種替代方案進行比較前,我們無法確定某種藥物、療法、政策或策略的有效性。不過,請留意膚淺的比較,包括對大數或小數百分比變化的比較,對於除了隨時間增長以外沒有其他共同點的事物比較,以及與無關事物的比較。


2021/08/03

[閱讀筆記] Standard Deviations: Flawed Assumptions... - 第二章 不再神奇的超級暢銷書 (Garbage in, Gospel out)

 第二章 不再神奇的超級暢銷書 (Garbage in, Gospel out)

  1.  如果我們讓電腦去做愚蠢的事情,它們也會忠實地遵從我們的命令,也就是 「garbage in, garbage out」。不管電腦多強大,輸出的價值取決於輸入的品質。人常常過度相信電腦生成的結果,不會審慎思考,盲目崇拜根據誤導性數字而生成的數據結果。

  2. 選擇性偏誤:我們很容易用刻板印象 (stereotype) 或一些極端的例子作為估計某些事件發生的概率的基礎,而忽視其他有關潛在可能性的證據

選擇性偏誤例子

說明

大學畢業生的平均薪資較中輟生高出 54%,所以顯示學位具有經濟價值

選擇上大學、努力學習並獲得學位的學生,與中輟生顯然有系統性差異

從 Steve Jobs、Bill Gates 與 Mark Zuckerberg 的創業成功的例子來看,輟學創業是個好點子

僅根據這三個人的成功就認為輟學創業更容易成功,也是一種選擇性偏誤

6 呎 8 吋的非裔美國人比 5 呎 6 吋的猶太人,有更高的機率是籃球員

這就是刻板印象

投擲硬幣,正反兩面出現機率各半,當連續三次出現正面,我們就會覺得下次出現反面的機率會比較大

忽略機率各半、每次投擲都是獨立事件的事實


  1. 要想做到完全不存偏見、不犯錯誤,對何人都是不可能的;但是有意識地避免偏聽、偏信,應該是個可以努力的方向

  2. 倖存者偏差 (survivorship bias),是一種認知偏差,其邏輯謬誤表現為過分關注於目前人或物「倖存了某些經歷」然而往往忽略了不在視界內或無法倖存這些事件的人或物。也就是說,我們現在所選擇的研究樣本並回顧過去時,只能看到倖存者

倖存者偏差例子

矯正說明

許多基金的長期績效資料通常只評估目前還存活的基金的歷史資料

忽視失敗、已下檔基金的歷史資料

經商致富者出書介紹自己的成功之道

失敗者是無法出書的,所以我們會誤以為該書介紹的辦法就是成功的途徑

檢視公司的財務紀錄歷史

排除已破產公司的財務紀錄歷史

二戰期間,結束轟炸任務的英國皇家空軍 (RAF, Royal Air Force) 戰機,受傷的彈孔多位於機翼與機尾,應加強防護這兩個位置

無法成功返航的都是被攻擊到駕駛艙與油箱位置的戰機,這兩個地方才是最需要加強防護的位置


  1. 做為資料科學家與分析師,更應慎重評估資料與全面性的思考,應評估是否可能存在無法觀察到的數據。實驗設計時更應該試著減少偏差,並且忠實呈現實驗的結果。

  2. 《一口吃心理學》為什麼你不應該信任成功人士的建議? (中文字幕)

  3. 對於成功的企業、投資方法和婚姻進行回溯研究的所有書籍,都存在有倖存者偏差問題,包含企業如何成功、如何投資致富、婚姻持久的秘訣等。一個有效的檢驗方法是,找到擁有這些特點的企業或個人,然後查看他們未來 10 / 20 / 50 年後的表現。若否,我們僅是在考察過去,而非預測未來

  1. 倖存者偏差 (survivorship bias) 回溯性研究的例子:《從 A 到 A+》本書,找出卓越與平庸的企業的差別:

  1. 我們很自然地會根據所看到的現象而得出結論,例如,工人的工資、受損的飛機、成功的公司等。我們應當還要考慮到沒看到的事情,例如,離職的員工,沒有返航的飛機、失敗的公司等。沒看到的資料與看到的資料一樣重要,甚至更加重要。為了避免倖存者偏差,應當從過去的資料開始,並展望未來


2021/08/02

[閱讀筆記] Standard Deviations: Flawed Assumptions... - 第一章 模式、模式、模式 (Patterns, Patterns, Patterns)

 第一章 模式、模式、模式 (Patterns, Patterns, Patterns)

混雜效應/選擇性報告與謊言/易受欺騙的本性/無論文,不生存/統計顯著性膜拜

  1.  【干擾效應】章魚保羅 (2008年1月26日-2010年10月25日) 是德國奧伯豪森 (Oberhausen) 一個水族館的一隻普通章魚,據稱這隻章魚能準確預測德國國家足球隊的比賽結果,因而有「章魚哥」、「保羅哥」之稱。章魚是色盲、能辨識明暗度、喜歡橫向形狀,這就能解釋其會選擇德國、西班牙、塞爾維亞等由三塊鮮豔的水平條文組成的國旗。國旗只是一個干擾因素,保羅不是挑選最佳的足球隊,而是牠喜歡的國旗。無所不知的保羅,只是一隻缺乏智商的章魚。

選 11 次 (德國)

選 1 次 (西班牙)

選 1 次 (塞爾維亞)

(Ref: https://reurl.cc/dVpVnq )


  1. 對於保羅的成功,另一種解釋是,許多人嘗試這種愚蠢的寵物預測把戲,用寵物來預測體育、彩券、股票領域。在 1000 個拋硬幣的人當中,一定會有一個人連續拋出 10 次正面;相同的道理,在那些嘗試寵物把戲的人當中,一定有一些人會成功。你覺得誰會獲得報導?是選獲勝隊伍的章魚?還是預測失敗的鴕鳥?這就是「選擇性報告」與「謊言」

  2. 人類容易受騙,其實是因為老祖先遺留下的 DNA:我們很容易受到模式以及解釋模式的理論所迷惑;常緊盯支持這些理論的證據及忽視與之矛盾的證據。我們總是渴望不確定的世界變得更確定,渴望控制無法控制的事物,渴望預測無法預測的事物

Examples

說明

🎲  賭桌 

在雙骰賭桌上不斷搖出七點,你認為自己會繼續連勝,因為你希望如此;當你不斷骰出兩點,你認為自己即將轉運,不會一直這麼衰,因為你希望如此。其實,骰子沒有記憶,也不關心未來,每次擲骰都是獨立事件

📈  購買熱門股票 

如果其他人購買這檔股票都賺錢,那麼我們跟著買也一定會賺錢。

🧦  幸運襪 

⛹️‍♂️ 把上一場獲勝原因歸功給襪子,運動員繼續穿著上次沒洗過的獲勝幸運襪,希望複製上一場的好表現。


  1. 在大多數研究人員看來,< 0.05 的機率具有「統計顯著性」(statistical significance)。如果數據中的模式憑運氣出現的可能性不到 1/20,這種模式就被視為具有統計說服力。例如,章魚哥的預測具有統計顯著性,憑運氣獲勝的可能性 < 1% (116384),但這是代表章魚哥很會預測嗎?

  2. 提升檢定力 (Power Up):統計分析經常需要判斷在某個樣本中觀察到的一個特定的值是否是碰巧出現的,此過程稱為顯著性檢定 (test of significance)。顯著性檢定會產生機率值 (p-value, probability value),如果 p-value 很小,說明原假設情況的發生的概率很小,而如果出現了,根據小概率原理 (small probability principle),我們就有理由拒絕原假設,p-value 越小,我們拒絕 H0 的理由越充分。在大家習慣採用 0.05 當作一個臨界,當研究的 p 值小於這個臨界值的時候就宣稱研究結果達到統計顯著,也就是說大家普遍同意接受 5%犯錯的可能性。研究與統計學者於實驗結果常使用下列說法:

p值

說明

p > .05

表示結果不顯著,不加以註記

p < .05

表示結果顯著,通常會以「*」註記

p < .01

表示結果更顯著,通常會以「**」註記

(Ref: https://reurl.cc/XexNMj )


  1. 統計研究常見陷阱

統計研究常見陷阱

解法

從樣本自以為找到母體某項特性,但是只存在於樣本中

以對母體具有代表性的方式進行抽樣

在樣本找不到任何特性,母體卻確實存在

增強統計檢定力 (power)


  1. 檢定力並非找到顯著結果 (significant result) 的機率,它是某種關係「真的存在」時,找到該種關係的機率。檢定力的公式包含三個組成部分:

檢定力的公式包含三個組成部分

① 樣本大小 (sample size)

② 要達到 (小於) 預先決定的顯著性水平 (p-value)

③ 效應大小 (effect size, 母體中該項關係的強度) 


  1. 如何解讀研究發現

解讀研究發現

說明

例子

統計顯著性

(statistically significant)

回答這個關係可能出現在母體嗎?

服用 aspirin 的患者,心臟病發的可能性是服用安慰劑哪組的 50%,代表有統計顯著性

效應大小

(effect size)

回答這個關係有多大?

運用比例式比較 (proportional comparison) 的公式,此研究的 effect size = .06 個標準差,or .06 的 d,代表 aspirin 與心臟病的關係真實存在,但是沒有很強烈

顯著性 (significance) 告訴你的是此關聯可能存在於母體中,若是效應很小,使得沒人對它有興趣。


  1. 設計 5% 作為顯著性水準的門檻是長期經驗的結果,也是社會科學和生醫科學常用的準則。如果 p=5%,即是指 100 次相同方法(但抽取的樣本不同)統計的結果,有 95 次會掉在信賴區間內,有 5 次會在信賴區間外。可是因為它太常用,導致一種錯覺,以為達到「顯著性水準」如 p 值 < 5%,就算是「驗證」了假設;如 > 5%,就算是否證了假設。例如,如果在藥物療物檢驗上,一次檢驗的結果,沒有達到 < 5% 的顯著性水準,就結論說該藥物是無效的。換言之,把 p 值當成一種「確定性」的指標,那就在科學推論上犯了很大的錯誤。統計顯著性是一種「偽確定性」,p值的「內具不確定性」必須被牢記。(Ref: https://reurl.cc/NXOZYq )

  2. 如何判斷正確理論或胡謅?有兩種良方:常識與新數據。

如何判斷胡謅

說明

用常識判斷

若某種理論聽起來很可笑,在看到壓倒性的證據前,絕不輕易相信。即使看到壓倒性的證據,仍保持懷疑態度。不尋常的說法需要不尋常的證據。遺憾的是,在這個年代,常識是個稀缺品,許多誠實的研究人員用嚴肅語氣提出愚蠢研究。

用新數據驗證

當你收集資料、編造理論時,用同份資料進行檢驗是不明智的。既然你的理論是從這些資料得出結論的,怎麼檢驗都會符合結論,應使用不受資料收集污染的新資料來做驗證


  1. 我們往往會尋找重複出現的模式 (patterns),並且相信我們觀察到的模式是有意義的。不要天真的以為重複出現的模式就是證據,我們需要一個符合邏輯、具有說服力的解釋,並且用新資料檢驗這種解釋。重複出現的模式 (patterns)有:

重複出現的模式 (patterns)

① Stephen Curry 連續命中四顆三分球,很有可能第五次出手也會命中。

② 當 NFC 冠軍隊贏得超級盃,股市一定會上漲,故要看完比賽再去投資。

③ 一個國家在高負債時出現經濟衰退,這說明政府的債務導致經濟衰退。



2021/08/01

[閱讀筆記] Standard Deviations: Flawed Assumptions... - 序言

 序言

  1. 許多明顯是錯誤的說法,卻每天出現在報章雜誌上。在資訊爆炸的時代,用毫無意義的資料指導我們的思考與行動,也難怪我們會反覆得到錯誤的推論,制定糟糕的決策。例如:

荒謬的說法

  • 過去 20 年,美國犯罪率下降,50% 是因為合法墮胎。

  • 若每日飲用兩杯咖啡,將大幅提升罹患胰臟癌風險。

  • 亞裔美國人更容易在每月 4 號心臟病發。

  • 當 NFC 冠軍隊贏得 Super Bowl 時,股市一定會上漲。

  • 出現在《運動畫刊 》(Sports Illustrated) 的運動員,容易受運動傷害。


  1. 在資訊匱乏的時代,需千辛萬苦收集資料,反而能得出正確的結論;在資訊爆炸的時代,我們不再是缺乏資料,而是被眼前過多的資料所誤導

  1. 本書目的是幫助我們遠離錯誤,包括外部錯誤和自己造成的錯誤。你將學到簡單的指導原則,用來測試他人或自己說出來的不可靠觀點。人們常用數據騙人,我們也經常用數據騙自己。