Total Pageviews

2021/09/13

[閱讀筆記] HOW NOT TO BE WRONG - 第11章:你期望贏得樂透時,是在期望什麼 (What To Expect When You’re Expecting To Win The Lottery)

 

  1. 有句老話說,樂透是「笨人繳的稅」,是政府犧牲那些遭誤導去買樂透所獲取的收入。如果你把樂透看成稅收,你就知道為什麼美國各州的財政局都喜歡樂透。還有別的稅目能讓人在便利商店大排長龍去繳嗎?

  2. 期望值很適合用來標定物件的恰當價格,例如在真正價值並不確定的賭狗場合,如果用 $12 下注,長期下來可能會輸錢;反過來說,如果改用 $8 下注,或許應該盡量長期下注。

  3. Laplace’s Law (拉普拉斯定律) 計算期望值:假設買 n 張彩券有 w 張中獎,期望值= w+1n+2。想算出公車遲到機率嗎?你參加的壘球隊的贏球機率?只要算一下過往發生次數 + 1,再除以機會數 + 2 即可。拉普拉斯定律的優點在於,無論只有一個資料點或是有數百萬個資料點,它一樣有效。例如,地球上已經連續看見太陽約 1.6 億次,明天太陽還是會升起的機率與 100% 無差別。

過往經驗

成功機率

嘗試 10 次,成功 5 次

5+110+2=612=0.5

嘗試 1 次就成功

1+11+2=23=0.667


  1. 年金的定價與投保年齡有關,這也是期望值的概念。透過新生與死亡的統計,就能估計每位年金購買者的存活機率,計算出年金的期望值:「購買年金的人應依他的存活機率,付出相對應價格;這需每年計算一次,最後把那些年度價值加總後,就是購買者終身年金的價值。」換句話說,老爺爺未來日子較短,所以年金購買價格會比孫子便宜。

  2. 期望值和機率的運作概念仰賴大數法則,數量足夠多的情況下比較有參考價值。例如,投擲一枚公正的硬幣出現人頭的機率二分之一,指的是投擲足夠多次後人頭出現的頻率約佔全部的二分之一,足夠多可能只要幾千或者甚至幾百就能夠觀察出來,而中樂透頭獎的足夠多次可能就得進行高達以億兆萬計的等級。(Ref: https://reurl.cc/dVE74q)

  3. 平均來說,玩樂透的人花出去的肯定比贏回來的人多,所以樂透的期望值必然是負的。當頭獎獎金極高、你又想投注且不想跟別人平分時,有幾個策略:

避免獎金平分的策略

  • 用電腦選號:所有贏錢的彩券中,有 70% 是電腦選號的;

  • 不要用日期選號:如果你要自己選號,避開低於 32 的數字。因為如果你的中獎號碼是別人的幸運日期,就會增加你平分獎金的機會。

  • 遠離眾所皆知的號碼:不要挑選大家都知道的數字,例如上一期中獎號碼。


  1. 對於政府來說,彩券賣得越多,國庫進帳更多。所以,政府只關注有多少人買彩券,不管誰贏錢、只管抽稅,因為贏走的錢也是買家們貢獻的錢,不是政府的錢。樂透得主賺的不是政府的錢,是其他買家的錢,投注集團沒有打敗莊家,他們自己就是莊家

  2. 大樂透期望值計算

頭獎機率計算

P(頭獎機率) = 1C649=113,983,816=0.00000007151123842

期望值計算 (大樂透一張 $50)


頭彩獎金

期望值

公式

100,000,000

-42.85

頭彩獎金P(頭獎機率) -50

200,000,000

-35.70

300,000,000

-28.55

400,000,000

-21.40

500,000,000

-14.24

600,000,000

-7.09

700,000,000

0.06

800,000,000

7.21

900,000,000

14.36

1,000,000,000

21.51

1,100,000,000

28.66

1,200,000,000

35.81



結論

  • 大多數購買彩券的人都是慈善家,他們付出的總是比得到的多,讓我們一起祝福這些善心人士全家平安,事業順利發大財;少部分的人真正賺到比成本高的報酬,但是報酬也不高;絕無僅有的致富案例只有中頭獎的那一個人。

  • 理性賭徒的期待很難稱得上理性,因為獎金期望值的高低幾乎不影響你能否賺到比成本高的報酬。在樂透獎金分配設計上,往往只有頭獎和貳獎能夠參與高額獎金的分配,其餘獎項都是固定獎金制。換句話說,除非中了頭獎或貳獎,否則高期望值和你一點關係也沒有。(ref: https://www.shs.edu.tw/works/essay/2010/11/2010111210550174.pdf, https://reurl.cc/2b2KaX, http://www.math.nsysu.edu.tw/outstanding/use/report/j01.pdf )


  1. 賭場經營是一門生意而不是在賭博:大量客人平均贏的錢會很接近期望值,而莊家老早就算好了期望值,並且知道長期下來,這門生意會賺多少錢。 

  2. 人壽保險公司的運作很像賭場─賭被保險人會不會死亡:依據死亡率,預測出必須給付的理賠金期望值,然後訂出保費來保障其公司之利潤。

2021/09/12

[閱讀筆記] HOW NOT TO BE WRONG - 第10章:上帝,祢在嗎?是我,貝氏推論 (Are You There, God? It’s Me, Bayesian Inference)

 

  1. ⛅ 當資料收集越詳細,電腦運算能力越強,確實可以讓預測結果更好。美國數學與氣象學家 Edward Lorenz:「不管我們收集多少資料,對於能預測多久以後的天氣,仍有難以跨越的極限,我認為我們頂多只能預測兩週內的天氣。」目前全世界氣象學家共同努力的結果,仍無法打破 Lorenz 的估計。

  2. 對於天氣,我們有非常優良的數學模型,只要增加數據量,至少在短期預報可以表現很好,儘管我們知道天氣系統內在的混沌性,最終會破壞預報準確性。但對於人類行為,我們連模型都沒有,也可能永遠都不會有,這使預測人類行為難上加難,比預測天氣還難。

  3.  Facebook 使用演算法算出可能的恐怖份子,真的是是恐怖份子的機率有多少?

Assumption

假設美國人口 2 億人,base rate 如下:

分析結果

  • P(被誤會是恐怖份子) = 99,99099,990 + 199,890,010=99,990199,990,000=0.0005

  • 演算法挑出來的嫌疑人,幾乎是清白 (在名單內,不是恐怖份子的機率高達 99.99%);清白的人,很少被標示為嫌疑人。


  1. 貝氏定理 (Bayes' Theorem)

Bayes' Theorem

公式

  • P(A|B) 是已知 B 發生後,A 的條件機率。

  • P(A) 是 A 的事前機率,不考慮任何 B 方面的因素。

  • P(B|A) 是已知 A 發生後, B 的條件機率。

  • P(B) 是 B 的事前機率。

郵件例子

  • 給定機率

  • 事前機率

    • P(spam)=0.3

    • P(contains offer | spam)=0.8

    • P(contains offer)=0.3*0.8+0.7*0.1=0.31

  • 推論機率:offer 信件在垃圾郵件出線機率高達 77%

P(spam | contains offer)=P(spam)P(contains offer|spam)P(contains offer)=0.30.80.31=0.77

新冠病毒

檢測例子

  • 給定機率

  • 事前機率

    • P(covid19)=0.6

    • P(positive | covid19) = 0.99

    • P(positive)=0.60.99+0.40.01=0.598

  • 推論機率:檢驗結果陽性且真的有中標的機率為99%

P(covid19|positive)=P(covid19)P(positive|covid19)P(positive)=0.60.990.598=0.99


  1. 如果你想要成為具有正確直覺的貝氏統計學家,若你想自然地做出正確預測,不需思考應採用哪個預測法則,就必須好好保護你的事前分布,你該做的反而是違反直覺地少看新聞

  2. Sherlock Holmes 曾說:我有一條座右銘,當你把不可能都排除後,不管剩下來的可能性有多低,必然是真相,除非真相是你從沒想過的假設。

2021/09/11

[閱讀筆記] HOW NOT TO BE WRONG - 第9章:內臟占卜學 (The International Journal Of Haruspicy)

 

  1. 想在國際期刊發表論文,必須通過標準的統計顯著性門檻,也就是 p 值 0.05。換句話說,20 次要成功 1 次。回憶 p 值 的定義:某項實驗若虛無假設為真,則實驗有 1/20 的機會,能產生具有統計意義的結果。倘若虛無假設永遠為真,也就是說內臟占卜學純粹是騙人的,那麼 20 次實驗裡也只有 1 次能發表。

  2. 以下的方格圓圈,是說明相關基因數量的好辦法。格子裡圓圈的大小代表該區域裡基因的數目,左上與左下代表未通過顯著性檢定的基因;右上與右下有通過顯著性檢定,右上是真陽性 (有通過檢定且真有作用),右下是偽陽性 (有通過檢定但無作用)。顯著性檢定並非問題所在,它只是在做份內的事。與思覺失調症無關的基因很少會通過檢定,而我們感到有興趣的基因則會一半會通過檢定,偽陽性雖然比真陰性少,但遠比真陽性多

  1. 偽陽性問題:假設大麻檢測率有 95% 的檢驗準確率、估計 5% 的人有吸食大麻,被檢驗出陽性且真的有吸食大麻的人,機率有多高

樹狀圖

Bayes Theorem 計算過程

  • P(有吸食大麻)=.05

  • P(陽性 | 有吸食大麻) = .95

  • P(陽性)=.05.95+.95.05=.095

  • P(有吸食大麻 | 陽性)=P(有吸食大麻) P(陽性 | 有吸食大麻)P( 陽性)=.05.95.095=.5

  • 被檢驗出陽性且真的有吸食大麻的人,機率只有 50%;代表被檢測出陽性的員工,高達 50% 沒有吸食大麻


  1. 醫療檢驗提供診斷用的篩選資訊,但病人經常會理解錯誤,有時甚至醫生也會。了解稱作「敏感度 (sensitivity)」和「特異性 (specificity)」的機率特徵能提供更為準確且 (有的時候) 令人安心的畫面。(Ref: Statistics Hacks: Tips & Tools for Measuring the World and Beating the Odds)

可能的醫療檢驗結果


病人實際該症狀 (A)

病人實際該症狀 (B)

檢驗結果顯示該症狀

true positive

真陽性

敏感度 (sensitivity)

false positive

偽陽性

檢驗結果顯示該症狀

false negative

偽陰性

true negative

真陰性

特異性 (specificity)

敏感度 (sensitivity)

特異性 (specificity)

  • 若一個人真的有該疾病,檢驗結果為陽性的機率有多高

  • 即 A 欄中,有多少比率會得到陽性的檢驗結果

  • 若一個人沒有該疾病,檢驗結果為陰性的機率有多高

  • 即 B 欄中,有多少比率會得到陰性的檢驗結果

如果一個人得到陽性的檢驗結果,那麼這個人真的有該種疾病的可能性有多高?從病人的角度來看,可被視為這些檢驗基本的有效性考量。病人會問,醫生,我可以相信這些檢驗結果嗎?有可能哪裡出錯嗎?

  1. 在醫學上,偽陽性是可被接受的,盡早發現、盡早治療

  2. 如何判斷正確理論或胡謅?有兩種良方:常識與新數據。

如何判斷胡謅

說明

用常識判斷

若某種理論聽起來很可笑,在看到壓倒性的證據前,絕不輕易相信。即使看到壓倒性的證據,仍保持懷疑態度。不尋常的說法需要不尋常的證據。遺憾的是,在這個年代,常識是個稀缺品,許多誠實的研究人員用嚴肅語氣提出愚蠢研究。

用新數據驗證

當你收集資料、編造理論時,用同份資料進行檢驗是不明智的。既然你的理論是從這些資料得出結論的,怎麼檢驗都會符合結論,應使用不受資料收集污染的新資料來做驗證


  1. 2012 年,美國安進(Amgen) 製藥公司進行一項研究,他們挑選 53 個極出名的癌症生理研究,嘗試複製研究結果,結果只有 6 個可以成功複製結果。。實驗重現的危機僅反映出科學研究的困難,我們的想法經常不正確,即便這些想法已通過初步的統計檢定的研判

  2. 發表偏差 (publication bias) 或稱為抽屜問題 (file drawer problem),是指使用統計顯著性作為發表與否的門檻,可能會大幅扭曲某些假設獲得的證據,例如,第六章提及股票經紀人的套路。投資人跟科學家一樣,只看到因巧合而成功的那次就信以為真,但是卻忽視為數眾多的失敗案例 (ex. 沒有通過檢定的案例就收進抽屜)

  3. 巧克力、葡萄酒、咖啡、陽光等,都是曾經是有害的,現在卻變成有益的。壞的變好的,好的變壞的,這是因為最初的研究存在缺陷,這通常是當初研究忽略重要的干擾因素,或者為了尋找值得發表的結論,進而探究資料。操弄 p 值的人,很少有不良企圖,他們通常是真心相信自己的假設

  4. 倖存者偏差 (survivorship bias),是一種認知偏差,其邏輯謬誤表現為過分關注於目前人或物「倖存了某些經歷」然而往往忽略了不在視界內或無法倖存這些事件的人或物。也就是說,我們現在所選擇的研究樣本並回顧過去時,只能看到倖存者

倖存者偏差例子

矯正說明

許多基金的長期績效資料通常只評估目前還存活的基金的歷史資料

忽視失敗、已下檔基金的歷史資料

經商致富者出書介紹自己的成功之道

失敗者是無法出書的,所以我們會誤以為該書介紹的辦法就是成功的途徑

二戰期間,結束轟炸任務的英國皇家空軍 (RAF, Royal Air Force) 戰機,受傷的彈孔多位於機翼與機尾,應加強防護這兩個位置

無法成功返航的都是被攻擊到駕駛艙與油箱位置的戰機,這兩個地方才是最需要加強防護的位置


  1. 為什麼研究人員為了要發表愚蠢理論:① 研究人員需要統計顯著性;② 研究人員真誠相信自己是對的,因此認為忽略反對證據是沒關係的。對於任何理論,只要考察大量資料,並丟棄不支持這種理論的資料,你一定可以收集到支持這個理論的證據

  2. 以 p = 0.05 做為生死分界線,犯了基本的類別謬誤,錯認連續變數為二元變數。新藥有效的證據有多強,基因預測 IQ 的高低、排卵期婦女喜歡共和黨的程度,都是涉及連續變數的問題。而二元變數只有兩種值,真或假、是或非。我們應允許科學家發表不具統計顯著的證據。p 值很弱代表證據不足,但總比沒有好;p 值很強代表證據充足,但無法宣稱效果一定存在。

  3. 波蘭數學家和統計學家 Jerzy Neyman 認為:統計的目的不在於告訴我們該相信什麼,而是告訴我們該做什麼。統計的目的在於做決策,而非回答問題。顯著性檢定只是一個規則,告訴下決策的人要不要批准新藥物、是否採納新的經濟方案、要不要把網站做得更漂亮。

  4. 發現具統計顯著性的實驗結果,不是這項科學歷程的終點,而是另一段旅程的起點。如果發現一項重要的新成果,其他實驗室的科學家會一再測試這個現象及它的變化,想辦法判定這項成果是否只是偶然事件,這就是科學家提到的「再現性」(reproduce)。