- 許多衡量始於將一向不確定的變數「分解」為幾個部分，並找出可以直接觀察的事物，哪些是比較容易衡量的。分解往往最後會降低相當多的不確定性，以至於不需要更多的觀察。
- 對「不可衡量的」變數做分解，是邁向衡量的第一步，有時分解本身就能充分降低不確定性。
- 所謂的間接研究 (secondary research)，是指假設你不是第一個衡量它的人。猶如文獻研究，在科學領域中被認為是最基本的步驟。
- 觀察的基本方法：
4.1.
像個精明的偵探般追蹤線索：對已掌握到的資訊進行鑑識分析
4.2.
直接觀察：開始觀看、計數，如果可能的話則進行抽樣
4.3.
如果目前沒有留下任何線索，加上「追蹤器」，讓它開始留下足跡
4.4.
透過實驗，強迫創造觀察可觀察的條件：如果你完全不能追蹤線索，創造能觀察它的條件，如連鎖零售商想衡量退貨政策對客戶滿意度與銷售是否有不利的影響，可以直接在店面試行，比較控制組與對照組的差異
- 請記住，為了要偵測線索、加上追蹤器或標籤、或進行實驗，你需要觀察的只有隨機抽樣的少數樣本而已。同樣請記住，你所分解出的不同部分，可能需要使用不同的方法來衡量。
- 你只要針對必要的且具備高度資訊價值的事物進行衡量，例如你想衡量某個飲料公司的新舊配方是否能提升客戶滿意度，若資訊價值只有幾千美元，卻要耗時兩個月進行測試與觀察，就不具合理性與正當性；但是若資訊價值高達數百萬美元，我們就不該被需要耗時數星期且要花費十萬美元的衡量給嚇到。
- 資訊價值在理論上是你應該願意花費多少的上限。但是花在衡量上的最佳支出，可能遠低於這個最大值。該花多少成本做衡量，可以拿完全資訊的預期價值 (EVPI, Expected Value
of Perfect Information) 的 2% ~ 10％ 做為你的衡量經費，理由有三：
7.1.
EVPI 是完全資訊的價值，我們的目標只是要降低不確定性，而非完全資訊，所以我們做的衡量，其價值可能會遠低於 EVPI
7.2.
初始衡量常常會改變後續衡量的價值：如果最初幾個觀察值出乎大家意料，後續衡量的價值可能降到零，這些表示反覆衡量是有價值的
7.3.
資訊價值曲線通常在最剛開始比較陡峭：你一開始有的不確定性愈高，初始的觀察能告訴你的資訊就越多。當你從極高的不確定性開始，即使是誤差很大的方法，都能給你原來你所不知道的資訊。
- 完全訊息的預期價值 (EVPI) 計算範例：https://docs.google.com/spreadsheets/d/16R5AOGthV7YAbw5oiUue1rfcWfMyjrcwywXXAoPq5Qo/edit#gid=118122570
- 衡量的誤差：
9.1.
系統性的誤差：
9.1.1.
在每個觀察之間都有一致性的變異，例如銷售人員例行性對下一季個營收高估平均 50%
9.1.2.
衡量的過程本身就有一種傾向，會偏向某個特定的結果，是一種具有一致性的偏誤
9.2.
隨機性的誤差：
9.2.1.
在每個觀察間的變異是隨機、不一致的
9.2.2.
隨機誤差無法個別預測，但是會有一些可量化的規律模式，而這些模式是可以用機率法則計算的
- 衡量的準確性 (precision) 與正確性
(accuracy) 是不一樣的：
10.1.
準確性：
10.1.1.
是指衡量的可複製性 (reproducibility) 與符合性 (conformity)；
10.1.2.
隨機性誤差小的衡量的一種特質。高度一致性的結果，即使他們離真的數值很遠，但是錯得很一致。
10.2.
正確性 (精確性)：
10.2.1.
指的是衡量有多接近它「真正的」數值。
10.2.2.
系統性誤差小的衡量的一項特性。系統性誤差小，就不會一致性的高估或低估。
- 準確性是隨機性誤差小，錯得很一致，無論系統性誤差是多少；正確性是系統性誤差小，無論隨機性誤差有多少。
- 常見的觀察偏誤類型：
|
觀察偏誤類型
|
說明
|
|
預期性偏誤
|
只看到你想看到的。觀察者與受測主體有時候會有意無意的，只看到他們想看到的。我們是很容易受騙，同時也有自我欺騙的傾象。
|
|
選擇性偏誤
|
即使我們知道抽樣時要隨機，我們有時也會沒注意到的非隨機性。
|
|
觀察者偏誤
|
被觀察者因為被觀察而影響到最後的觀察結果。最簡單的解決之道就是，不要讓被觀察的對象察覺到他們正在被觀察。
|
- 如何找出衡量工具的程序：
- 如果你無法想像出你要用的工具，請考慮以下提示
14.1.
從結果來想：例如，如果產品品質有改善，應可預見客戶投訴減少；如果一套新的銷售輔助軟體能夠幫銷售人員賣得更好，為什麼你會看到使用後的業績反降呢？
14.2.
反覆進行：不要想用一次言大型研究就消除不確定性，一開始先做幾個觀察，再重新計算資訊價值，此舉對於如何繼續衡量會提供方向
14.3.
考慮多種方法：每一個所分解出來的項目，可以考慮使用多種方法，最後再決定哪種方法較適合
14.4.
一個會讓衡量失去意義的簡單問題是什麼：例如衡量產品品質是否改善前，可以先看客戶投訴量是否減少了
14.5.
做就對了：不要讓焦慮阻擋你開始做一些有系統的觀察，焦慮起因於不確定性，開始觀察就能開始降低你的不確定性
- 我們從「經驗」得知的每件事，都只是一個樣本，我們並未真正經歷過所有事情；我們有過一些經驗後，再以那個經驗為基礎做推論。
- 書中提到可以利用 t 分配 (student’s t-statistic) 來透過抽樣小樣本得知一顆
jelly bean 的重量 (90% CI)，步驟如下 (https://docs.google.com/spreadsheets/d/16R5AOGthV7YAbw5oiUue1rfcWfMyjrcwywXXAoPq5Qo/edit#gid=0)：
16.1.
輸入抽樣值
16.2.
計算樣本平均數
16.3.
計算每個抽樣值得方差
16.4.
計算抽樣差異變異數
16.5.
計算樣本標準差
16.6.
計算t-stat (雙尾反函數)：在非常大樣本數時，t 分數會非常接近 z 分數 (常態分配)
16.7.
計算抽樣誤差
16.8.
算出 upper / lower bound
- 若樣本數不夠大時，你可以：
17.1.
當你有很大不確定性時，少量樣本就能大幅降低不確定性，尤其當母體是相對同值性時
17.2.
在某些案例中，校準的估計者即使只靠一個樣本也可以降低不確定性
17.3.
校準的估計者雖然保守，但是合理的。多做一點數學將能進一步降低不確定性
- 最大的資訊報酬傾向於方生在資訊收集過程的早期階段，雖然初期樣本數少、不確定性很高，但是每個新樣本都能降低很多不確定性；隨著樣本數增加，90%
CI 變窄很多，但是每個新樣本只能將降低一點不確定性，30 個樣本之後，你需要四倍的樣本數才能將誤差在減半。
- 小樣本是否告訴能告訴我們很多資訊，取決於我們如何做抽樣，所做的抽樣是否能代表全部母體，這就是所謂的統計顯著性 (statistical
significance)。統計顯著性告訴我們所見是否為事實，而不是偶然發生的。
- 當要求進行統計分析時，都會問「樣本數要多少？」這是錯誤的提問，但卻是大多數人會問的的一個問提。為了回答這個問題，你應該了解要衡量什麼以及為什麼要衡量。
