[閱讀筆記] Statistics Hacks (6/6)

 

1. 【Hack #61】Outsmart Superman (智勝超人)：閃電可能劈在相同地方兩次，但機率很低。機率的法則能讓我們計算一系列罕見事件連續發生的可能性。

連續事件發生機率計算困難點

困難的是任何單一事件發生一次的機率之良好估計值，當你得到此估計值，把這些各別機率乘在一起，就能得到整串怪事發生的總可能性。

乘法原則

【問題】假設一系列連三次擲骰子，連續出現 10, 11, 12 的機率為何？ 【連續發生的機率】因為你感興趣的是數個連續事件是否全部 (all) 會發生，所以會用「乘法原則」，機率 = .083.056.028=.00013

以下四個問題都猜對的機率

在五輛完全相同的裝甲車中，哪一輛實際載有銀行的現金？ 放有一家大公司新的保險箱的開鎖五位數密碼組合 台北市最富有的人未公開的市話號碼 銀行搶匪把贓物放在 20,000 顆樹中的哪一顆

2. 【Hack #62】Demystify Amazing Coincidences (解開神奇巧合之謎)：機率的模式會產生一些異常有趣的巧合。本 Hack 將談論如何解讀看似無法置信的巧合。要決定一個巧合是真的很神奇或是單純可預測的，可以使用的一個工具就是數可能的結果數，然後判斷給定的那些結果（巧合）是否不太可能是碰巧發生的，這就是 Hack #45 (預測一大群人中是否有人生日相同) 所採用的做法。

Abraham Lincoln vs. John F. Kennedy
一些驚人巧合	一些平凡無奇的巧合
都被刺殺	身高不同
當選當年都是 60 結尾	體重不同
Kennedy 的刺客是從一間倉庫開槍，然後躲在一家戲院；Lincoln 的刺客在一家戲院開槍，然後躲在一間倉庫	死的時候年紀不同
Lincoln 是在 Ford 戲院中被槍擊；Kennedy 是在一輛 Ford 中被槍擊	出生年月日不同
兩人都在星期五被殺	兩人的 middle name 不同
兩人被殺時，都是坐在妻子旁	兩人妻子名字都不同，鞋號或許也不同
兩人的繼任者都叫 Johnson	他們繼任的前任總統名字不同； Lincoln 有留鬍子，Kennedy 沒有 Kennedy 偶爾有玩過板球，Lincoln 一生都沒玩過。
若把焦點放在兩人間相對少數的巧合，然後忽略那些幾乎有無限多不同之處，很容易對某些離奇的連結之存在有錯誤的認知。 奇特的關聯仍可能存在，但「巧合」並沒有為它們提供證據。 我們經常暴露在會彼此互動且會以非常不可能的方式產生巧合的大量人事物之中。偶爾，那些巧合對我們來說有意義，所以我們注意到它們。令人驚訝的應該是，我們沒有更常注意到那些極度不可能的事件。

同花大順 (royal flush)

依照統計數據，每 649,740 手會拿到一次構成同花大順的牌 在換牌撲克與德州撲克中，玩家有機會改善他們手上的牌。在換牌撲克中，如果你有同花大順中的四張牌，並希望捨棄第五張，抽一張新的牌，你就有 2.1% (152-5=147) 的成功機率；如果你有兩次換牌機率，你就有  4.3% (152-5+152-6=147+146=125) 的成功機率。

3. 【Hack #63】Sense the Real Randomness of Life (察覺生命真正的隨機性)：在你指責賭場經營不當遊戲，或只雇用金髮女郎為由威脅要對你老闆提出法律訴訟前，這裡有個工具可以幫你區分大概是隨機發生的哪些看似不隨機的狀況（看起來隨機 ≠ 真的是隨機），以及實際上真的不是隨機發生的那些看似不隨機的狀況（看起來不隨機 ≠ 真的不隨機）。

第二種結果看似不可能，但是因硬幣沒有記憶，每次機率都是 ½ 。這就是看似不隨機，但實際卻是隨機的例子。
硬幣翻轉結果	機率
① 人頭、數字、人頭、人頭、數字	1212121212=132=.03125
② 數字、數字、數字、數字、數字	1212121212=132=.03125
③ 人頭、人頭、數字、數字、數字	1212121212=132=.03125
④ 人頭、人頭、人頭、人頭、數字	1212121212=132=.03125

組合 (combination)	排列 (permutation)
從某個母體隨機抽取時，最終會產生一個特定數目的值總共會有幾種方式。 例如，硬幣翻轉結果理論上是由 50% 人頭和 50% 數字所構成的無限大母體所抽取的樣本。	給定數目的一組元素能被安排的方法數。換句話說，它們是確切序列的數目。 例如，上表中的翻轉結果，每 32 次會發生 1 次。
如何計算翻轉五次硬幣的組合數：值的數目翻轉次數=25=32種	計算從一個母體抽出特定數目的元素，並得到某個特定抽取結果（如，三個人頭）的方法數：n!r!(n-r)! n: 抽取次數或元素的數目，例如，翻轉硬幣五次 r: 感興趣的特定抽取結果，例如三個人頭 翻轉五次拿到三個人頭的方法數為：5!3!(5-3)!=1206(2!)=12012=10，代表你有1032的時間，翻轉一個硬幣五次，會得到三個人頭

順序	此順序的機率	結果	結果機率
① 人頭、數字、人頭、人頭、數字	125=.03125	三個人頭	方法數=5!3!(5-3)!=1206(2!)=12012=10 結果機率=1032=.3125
② 數字、數字、數字、數字、數字	125=.03125	五個數字	方法數=5!5!(5-5)!=120120)=1 結果機率=132=.03125
③ 人頭、人頭、數字、數字、數字	125=.03125	三個數字	方法數=5!3!(5-3)!=1206(2!)=12012=10 結果機率=1032=.3125
④ 人頭、人頭、人頭、人頭、數字	125=.03125	四個人頭	方法數=5!4!(5-4)!=12024=5 結果機率=532=.15625

判斷是否為隨機的條件

知道特定組合（非排序）的機率； 要對抗心理傾向，預期偶然的結果不會產生某種可是別的模式 設下標準指出一個事件必須多不可能，我們才需要去質疑資料 一個事件必須多罕見，你才會認為他不是偶然發生嗎？科學家設下的一個標準是 5%。如果研究結論指出只有 5% 或更少的時間會出現的一個結果，它通常會被認為是顯著的 (significant)，並且大概就會是機遇之外有某些正在產生影響的證據（例如，五個數字一直出現，就是有鬼）。

4. 【Hack #64】Spot Faked Data (看出偽造的資料)：如果你從未想過這點，可能會很自然地假設大多數的隨機資料集中，所有的數字 (digits) 擁有同樣出現的機率。但依據 Benford’s Law，在自然發生的許多種資料中，數字越小，它出現在首位數字 (leading digit) 的情況就會越常見。你可以用這個秘密知識來檢查任何資料集的真實性。此 hack 會描述 Benford’s Law，並示範如何應用它，提供它為何有效的一些直覺解釋，並且提供可套用 Benford’s Law 機時的指導方針。Benford’s Law 說明一堆從實際生活得出的數據中，以1為首位數字的數的出現機率約為總數的三成，接近直覺得出之期望值 1/9 的 3 倍。推廣來說，越大的數，以它為首幾位的數出現的機率就越低。它可用於檢查各種數據是否有造假。但要注意使用條件：1.數據至少 3,000 筆以上。2.不能有人為操控。

應用 Benford’s Law，以台灣上市公司股價為例
股價第一個非 0 數字	股價第一個數字的相對次數	依據 Benford’s Law 的出現機率
1	0.305	0.301
2	0.176	0.176
3	0.145	0.125
4	0.093	0.097
5	0.071	0.079
6	0.076	0.067
7	0.049	0.058
8	0.048	0.051
9	0.037	0.046

更廣義應用 Benford’s Law（第二個數字），以台灣上市公司股價為例
股價第二個有效數字	股價第二個數字的相對次數	依據 Benford’s Law 的出現機率
0	0.11985	0.11968
1	0.13858	0.11389
2	0.09738	0.10882
3	0.10674	0.10433
4	0.09551	0.10031
5	0.10674	0.09668
6	0.08240	0.09337
7	0.06929	0.09035
8	0.08801	0.08757
9	0.09551	0.08500

Benford’s Law 適用性	說明
尺度不變性 (scale invariance)	若具有尺度不變性，將資料乘以任何非 0 常數 (ex. 𝛑)，所得到的分布依舊會遵循 Benford’s Law。 因此，股價報價單位是美元／日幣／歐元，或河流長度的單位是英里／公里，都不會有差異。
基數不變性 (base invariance)	不僅適用於基數為 10 (base 10) 的情況，也能應用於更廣義的基數。
Benford’s Law 特別適用於	說明
① 資料有足夠的變異性 (variability)	資料變異性越高，Benford’s Law，效果越好。
② 沒有內建最大值或類似的限制	例如，Benford’s Law 不適用於高中生的年齡，或是當地老人會的成員年齡。
③ 產生自計數或測量的數字	例如，SSN 和郵遞區號，單純是識別號碼，而非真正的數值。
④ 大樣本	資料集越大，Benford’s Law 就越適合。
⑤ 隨機抽樣	資料產生自大量的隨機樣本，並且來自大量的隨機選取的機率分布。 要注意的是，與 Benford’s Law 偏離並不是詐騙的證明，但確實提出警示，建議做進一步調查。

5. 【Hack #65】Give Credit Where Credit Is Due (功勞要歸功於應得之人)：文本計量分析 (stylometrics) 是一種統計程序，用來辨識定義一名作者寫作風格的底層維度。其使用因素分析 (factor analysis) 的方法來判斷誰寫了什麼。假設有兩位學生論文互控抄襲，可以做以下分析

常用字詞出現頻率

論文每個段落，常用字詞的出現次數

因素分析

經查發現，論文用字遣詞是 Lisa 的撰寫風格，Paul 是抄襲者。

6. 【Hack #66】Play a Tune on Pascal’s Triangle (使用巴斯卡三角形快速計算機率)：需要快速得知機率嗎？巴斯卡三角形 (Pascal’s Triangle) 是數字的一種簡單佈局，能讓我們快速且輕易地計算機率。它已經持續發揮作用 300 年了，我打賭它也能幫上你。（https://reurl.cc/e95yyj）

翻轉一個硬幣兩次，剛好得到兩個人頭的機率

根據巴斯卡三角形，翻轉一個硬幣兩次，會有一次機會得到兩個人頭，機率是 14=.25

翻轉一個硬幣六次，剛好得到三個人頭的機率

根據巴斯卡三角形，翻轉一個硬幣六次，會有 20 次機會得到兩個人頭，機率是 2064=.3125

假設家族旅遊成員共 6 人，遊覽車是 2 個人一起坐，共有幾種排列組合

根據巴斯卡三角形，六個人，兩兩一排，會有 15 種排列組合。 假設你有一個很討厭的親戚，坐在一起的機率是 115

7. 【Hack #67】Control Random Thoughts (控制隨機念頭)：我們內在思維漂浮不定的本質，經常被視為好像是在創造一條無法預測的隨機路徑。你可以利用這誤解來猜出你身邊人的想法，方法是增加他們會專注在你希望的任何東西上的機率。

精神控制

我們的記憶充滿字詞、思想、故事等與其他字詞、思想、故事相關的東西。如果你想要對方想到特定東西，最簡單的方法就是提到你想談的主題緊密相關的某個主題。 如果你想要控制某個人的心智，技巧單純就是知道哪些東西最常一起出現。一個字詞的出現頻率越高，聯想到的可能性就越高，例如 salt 與 pepper、rythm 與 blues 等。

注意事項

這種特殊的心智技巧有一些失敗的風險，特別是在你所仰賴的關聯是低機率的關聯時。 我們可以預備 (prime) 他人去做看似單純只是自然發生的事情，只因為他們毫不費力就能達成且經常出現。 如果某個人跟你沒有共同的語言、文化背景，可能就不會跟你有同樣的字詞關聯。

8. 【Hack #68】Search for ESP (找尋超感官直覺, extra-sensory perception)：所謂的 ESP 是獨立於傳統五感 (sight, sound, touch, taste, and smell) 以外的感官知覺。雖然大多數的科學家都同意 ESP 實際存在的證據不多，但他們可能是錯的。你或你的朋友或你養的狗可能有 ESP，而現代就是找出它們的最佳時代。

Zener Cards

Zener Cards 由五種符號組成，猜對機率會是 15＝.2

極端結果在樣本大小增加時，會出現劇烈下降的狀況。舉例來說，只猜 25 次時，命中率 40% 的機率約 1%；當猜 100 次時，機率劇烈下降至 .00001%。 以命中率來說，20% 屬正常，24% 就高於平均，但也沒有到非常不尋常，但何時會認為不尋常？此時會運用【Hack #17】 t 檢定。 顯著性檢定會產生機率值 (p-value, probability value)，如果 p-value 很小，說明原假設情況的發生的概率很小，而如果出現了，根據小概率原理，我們就有理由拒絕原假設，p-value 越小，我們拒絕 H0 的理由越充分。大家習慣採用 0.05 當作一個臨界，當研究的 p 值小於這個臨界值的時候就宣稱研究結果達到統計顯著，也就是說大家普遍同意接受 5%犯錯的可能性。

9. 【Hack #69】Cure Conjunctionitus (治癒 Conjunctionitus 思考偏誤)：兩個獨立事件同時發生的機率，永遠不會比任一事件獨立發生的機率還高。出乎意料的是，這種嘗試性的真理並不是常被注意到。描述「兩個事件同時發生的機率不可能大於其中任一事件單獨發生的機率」的規則叫做 conjunction rule (合取規則)；很多人卻經常認為兩個實踐接連發生的情況比一個事件單獨發生的情況更有可能的這個事實稱為 conjunction fallacy (合取謬誤)。

Linda Problem
描述	Linda 今年 31 歲，單身、講話直率，且非常聰明。他主修哲學，身為一名學生，非常關心歧視與社會正義的議題，還參加反核示威。
受試者依可能性來排序右邊這八個句子	Linda 是國小老師 Linda 在書店工作，並且會上瑜伽課 Linda 活躍於女權運動 Linda 是精神病學的社會工作者 Linda 是美國女選民聯盟的成員 Linda 是銀行職員 Linda 是保險推銷員 Linda 是銀行職員也活躍於女權運動
受測結果	很多人認為 8 比 3 或 6 更有可能 這就是 conjuncition fallacy (連接謬誤）
小明 Problem (https://reurl.cc/9ZrkvX)
小明經常對男生做出性暗示的笑，且經常對男生做出親密的肢體動作，試問那一種可能性較高？ 小明是男性 小明是男同性戀
如果認為是2.，就犯了conjunction fallacy (合取謬誤)。男同性戀意味著是「男性」且是「同性戀」，無論如何，小明符合「男性」的機會一定比符合「男性」又符合「同性戀」的機率更大。

10. 【Hack #70】Break Codes with Etaoin Shrdlu (以 Etaoin Shrdlu 破解密碼)：你永遠都不會知道你何時需要破解秘密訊息，不管那是你的同事 James Bond 攔截到的，或是你的醫師撰寫處方時潦草寫下的。這裡是你會需要的所有統計技巧，探員 003.14159。

電腦鍵盤所發現到的現象

你可能會注意到，你電腦鍵盤上的某些案件變髒或磨損的情況比其他案件嚴重。 按鍵磨損情況，以及它們在標準打字機 (即 QWERTY，頂端那列的前六個字母) 模式上分布的位置，都是以它們在英文中的使用頻率為基礎。

單一替換格式密碼 (single substitution)

簡單的密碼可以用下表所示的替換模式來做加密 句子 明文 (plain text) This is a book. 密文 (cipher text) Jdrw rw n auus.

字母出現頻率

英文字母出現頻率的基本知識 最常見的字母是 E 最不常用的字母是 Z 最常見的子音是 T J, X, Q 很少使用 Q 被使用時，後面幾乎總是接著 U 在英文中，只有 A 與 I 會被用作單字母的字詞 英文中字母的出現頻率分布 EATOIN SHRDLU 這個奇怪詞組是一種 mnemonic device (喚起記憶之技巧工具)，用來記憶最常出現的字母，這 12 個字母佔據所有字母出現次數的 80% 以上 （雖然與上表不完全相同，但已夠接近）。對於常見字母，例如 E、T、A 用來作為破解密碼時的最佳初次猜測，是個廣泛共識。 EATOIN SHRDLU 記憶方式 我在吃洋蔥的時候，想到要買一罐 SHRD 洗髮精給 LU 小姐

其他常見的字母模式

優秀的密碼破解員還運會用其他字母模式的統計資訊 字詞最有可能以 T, O, A, W 或 B 開頭 大多數的字詞已 E, T, D 或 S 結尾 如果一個字詞有兩個字母重複，最有可能是 SS, EE, TT, FF 或 LL 經常出現的雙字母字詞包括 of, to, in , it, is 目前為止，最常見的三字母字詞是 the 與 and；其他常見的三字母字詞包括 for, are 與 but。 傾向於成對出現的字母包括 TH, HE, AN, IN 與 ER。 最常用的字詞有 the, of, and, to, in, a, is, that, be 與 it。 前 100 個最常用的字包括 dollars, great, general 與 public。

11. 【Hack #71】Discover a New Species (發現新物種)：雖然每天都有某個物種的生物在滅絕，偶爾也會有之前不知道的新物種被發現。令人意外的是，統計工具而非生物工具，可以做到這點。假設我們要找出澳洲的短耳負鼠 (short-eared possum) 中，是否有新的物種

步驟	說明
收集資料	包含收集負鼠的描述性資料，例如其身體構造，包含眼睛、耳朵、鼻子、喉嚨等，並有其他物理特徵的測量值。
挑選統計方法	選用典型變量分析 (canonical variate analysis) 來做因素分析。
選擇一個假說並分析資料	也就是對假說 (hypotheses) 進行檢定 (test)，你的開頭會是猜測提供你資料的這兩組動物間是「有差別」，還是「沒有差別」。 以下是使用的變數 頭長 顱骨寬度 眼睛大小 耳長 體長 尾巴長度 胸寬 腳長 並給上述變數不同權重  變數 權重 頭長 .44 顱骨寬度 .07 眼睛大小 .05 耳長 .82 體長 .35 尾巴長度 .72 胸寬 .16 腳長 .70 假設我們透過此方程式發現，所有負鼠的這些特徵高達 89% 變異性，代表這兩組負鼠群組很可能真的是兩個不同的負鼠物種。 短耳負鼠 掃尾山負鼠 棲息地 北方 南方 耳朵 較短 較長 腳 較小 較大 頭 較大 較小 尾 較長 較短

12. 【Hack #72】Feel Connected (感受關聯性)：「六度分隔 (six degrees of separation)」的概念不僅是社群的新時代隱喻或涉及演員 Kevin Bacon 的派對遊戲。如果你想要實際測試「我們都認識某個認識所有其他人的人」這個概念，就找出你與每個人的連結有多接近吧。

小世界問題 (small-world problem)

此概念來自於探討 small-world probelm 的研究。 在社交網路中，有多少重疊之處存在呢？如果我們能全部聚在一起，列出我們認識的每一個人，是否永遠會存在某些連結？最終很可能是這樣，隨著我們從熟人網路的中心網外探索，我們會發現幾乎與每個人，我們都可以找到一些關聯。但需要多少個連結呢？ 根據研究，人們之間的平均關聯數大約是 6 或更小。

用簡單的數學做關聯數推敲

假設你認識 100 個人，若到第二個分隔，你已經連結一萬人；事實上，到第五度分隔，你應該能連結一百億人，已超過地球人口。

13. 【Hack #73】Learn to Ride a Votercycle (學習駕馭投票循環)：雖然自由的選舉看似制定政策和選擇官員最公平且明智的一種系統，統計學家有時還是會擔心政治科學家叫做「投票循環 (vote cycling)」的一種矛盾，它可能會導致少數獲勝。

沒有限制的選擇與不太算是選擇的選擇

父母可能會跟小孩說：「Bruce，你自己選，要什麼時間想上床睡覺？」另外一種問法可能是：「Bruce，你自己選，現在去睡，還是五分鐘後？」 第二種選擇不太算是選擇，小孩必須在兩個替代選擇方案作出抉擇，Bruce 真正的意見並未準確反映出來。 民主的運作方式也類似如此，我們必須在數個替代方案間做挑選，即使可能對任何選項都感到不滿意，但是還是投票了。

投票循環 (vote cycling)

選舉中的投票循環，其運作方式就類似籃球錦標賽，比賽發生順序可能影響誰贏得最後冠軍。 對於有許多候選人的選舉，經常會有兩輪決選制的制度，讓為數眾多的候選人削減為較少的數目。如此即可消除投票循環的弱點，因所有的替代選擇會同時一起被考慮，也消除一次決勝負做法的弱點，增加獲勝的候選人有多數支持的可能性。

14. 【Hack #74】 Live Life in the Fast Lane (You’re Already In) (快車道上的生活)：應用機率法則、對人性的知識。以及高速公路駕駛的一些事實，你就能做出明智的切換車道選擇。以統計學為基礎進行電腦模擬的研究指出，即使事實上移動的速度相同，駕駛人通常會認為另一個車道移動得比他們的車道還快。調查研究所發現的這個錯覺，會讓大多數駕駛人試著變換車道。

skips / slips / epochs 名詞解釋

skips：你正在超越其他車子的時間，稱為穿越時期 (passing epochs) slips：其他車子正在超越你的時間，稱為被超越時期 (being-overtaken epochs) epoch：就是一小段時間，駕駛人在繁重車流量中駕駛的過程，基本上是由一系列時間非常短的時段所構成。 駕駛人強烈偏好穿越時期 (passing epochs)，遠勝於被超越時期 (being-overtaken epochs)。我們被超越時，所體驗的時間長度可能比超越別人時感受到的時間長度還要長。就是這個不公平的感覺，使得駕駛人判斷他們位於車速較慢的車道，即使兩個車道速度一樣慢。

如何修正錯覺

可以用導航的預定抵達時間來評估你的駕駛情況，而非在車流壅塞的競賽中比輸贏。 挑選其他車道中特定一輛車，然後在數分鐘後比較你與他的位置。畢竟，有的時候確實有某些車道比較快，只是你不能用穿越的車作為速度較快的唯一證據。 接近出入口時，遠離外側車道，因為車輛進出道路是減速和加速的主因。 抑制你在駕駛上的好鬥傾向。

15. 【Hack #75】Seek Out New Life and New Civilizations (搜尋新生命體與新興文明)：探查外星生命體的搜尋活動持續且順利進行中，你可以使用統計的抽樣發法和機率規則來縮小搜尋範圍。

天文學家 Frank Drake 提出的銀河系文明數公式

Milky Way 銀河系中的文明數=(R)(Nh)(Fl)(Fi)(Fc)(L) R：新的恆星在星系中形成的速率 (每年) Nh：圍繞每個恆星的能夠支持生命的行星之平均數目 Fl：在 Nh 中有發展出生命的行星比例 Fi：在 Fl 中發展出智慧生命體的行星比例 Fc：在 Fi 中發展出文明的行星比例 L：在 Fc 中，文明的平均生命週期 (以年為單位) 其實這公式不過是一連串的機率。

採用統計檢定歷來做資料分析

搜尋地外文明計劃

搜尋地外文明計劃（SETI），是對所有在搜尋地外文明的團體的統稱，不是只代表一個組織。這其中較著名的有學術單位包括哈佛大學和柏克萊加州大學，非營利組織SETI協會。這些組織致力於用無線電望遠鏡等先進設備接收從宇宙中傳來的電磁波，從中分析有規律的信號，希望藉此發現外星文明。 其中，SETI@home 是一項旨在利用連入網際網路的成千上萬台計算機的閒置計算能力搜尋地外文明的工程。參加者可以用下載並運行螢幕保護程式的方式來讓自己的計算機計算無線電訊號所反饋回的數據。(Ref.: https://reurl.cc/7ypv0y)  你的電腦會開始運用統計分析來處理這些訊號資訊，尋找標記般的非隨機狹窄頻寬，因為那可能代表其他的行星已經進步到能夠產生 Gomer Pyle or Melrose Place 之類東西的文化水平。 SETI @ Home是在1999年5月17日啟動至 2020/3/31 中止。不過到目前為止，本專案的分析結果，還沒有找到足以證明外星智慧存在的證據。(Ref.: https://reurl.cc/MZNEeW)