Total Pageviews

2019/07/09

[閱讀筆記] 如何衡量萬事萬物 (3/5)


  1. Monte Carlo Simulation 例子:https://docs.google.com/spreadsheets/d/17CSoiUobLhjJRGHBk8L1mbttfL2KWdvht1AsRC0KdqY/edit?usp=sharing
  2. 在現實世界,對於許多真實現象而言,常態分配的表現是非常差的,包括股票市場的波動、軟體計劃的成本,或是地震、疫情、風暴等災變的規劃。
  3. 常見的風險矛盾:組織常將量化風險分析運用在例行的營運決策上,在高層、風險性最高的決策,反而用到最少的量化風險分析。
  4. 為什麼衡量對企業或政府部門很重要,這是因為有風險存在。如果沒有風險,對於決策而言,資訊其實是沒有價值的。
  5. 了解如何衡量不確定性,是衡量風險的關鍵。了解風險的量化意義,是了解如何計算資訊價值的關鍵。瞭解資訊價值,我們將得知要衡量什麼,以及應該投入多少努力去衡量它。  
  6. McNamara Fallacy (麥納馬拉謬誤) : 
  7. 對企業而言,資訊是有價值的,原因有:
                    7.1.          資訊降低決策的不確定性,決策是有經濟後果的
                    7.2.          資訊影響其他人的行為,行為是有經濟後果的
                    7.3.          資訊本身就有市場價值:例如我們收集都市十字路口一天當中不同時段的交通資訊,賣給評估零售據點的廠商,那麼該項衡量的價值,就是我們預期從販賣資訊得到的利潤。
  1. 賽局理論就曾提出,若我們能降低不確定性 (i.e. measurement),就會有較好的賭局 (i.e. decision-making)
  2. 決策者要做衡量的理由很簡單:承認有風險存在,且想要降低風險
  3. 有價值的衡量,都必須降低會影響決策的各種數量的不確定性,因為決策是有經濟後果的。降低越多 EOL (預期機會損失, Expected Opportunity Loss),衡量的價值就越高。衡量之前的 EOL 與衡量後的 EOL 的前後差異,就稱為 EVI (Expected Value of Information, 預期資訊價值)。換言之,資訊價值等於風險降低的價值
  4. 計算衡量價值最簡單的,是完全資訊的預期價值 (EVPI, Expected Value of Perfect Information)。換言之,如果你能消除不確定性, EOL 就能降到 0。  
  5. 資訊的價值
                 12.1.          預期資訊價值 (EVI) = 預期機會損失的降低 (EOL) (EOL衡量前 - EOL衡量後)
                 12.2.          EOL = 犯錯的機率 X 犯錯的成本
                 12.3.          完全資訊的預期價值 (EVPI) = EOL衡量前 (如果資訊是完全的,消弭風險, EOL衡量後  = 0)
  1. 如果有人說一項衡量太貴,就必須要反問「與什麼做比較?」
                 13.1.          如果一項衡量的衡量是 5 萬美金,可以將不確定性降低一半,但他的 EVPI (Expected Value of Perfect Information) 50 萬美金,這項衡量肯定不會太貴;
                 13.2.          但是如果資訊價值為 0,任何衡量都是太貴;
                 13.3.          如果有些衡量也許有很小的資訊價值,不足以做一些正式衡量,但又沒小到可以忽略它,我建議可以找一些有關的研究或多打幾通電話給專家。
  1. 我們應該要將衡量視為是重複性 (iterative) 的過程,不要想一次就揮出全壘打,是透過逐步改進的過程,朝目標前進。每一回合的衡量,都能告訴你如何 (以及是否要) 進行下一回合的衡量。  
  2. 常見的衡量迷思:當你有很多不確定性時,需要大量資料來告訴你一些有用的事。事實是,如果你現在有很多不確定性,你要大幅降低不確定性並不需要太多資料;反倒是當你已經很多確定性,那時你要大幅降低不確定性,就需要很多資料佐證
  3. 作者擁有豐富的量化應用資訊經濟分析的經驗,從過往的經驗中發現以下的規律模式,客戶常犯的錯誤有:
                 16.1.          所分析的絕大多數的變數,它們的資訊價值為零。也就是說,這些變數目前的不確定程度是可接受的,進一步做衡量則不具正當性;
                 16.2.          有高度資訊價值的變數,通常是客戶從未衡量過的變數。在過去的案例中,高價值變數常常是完全缺席的;
                 16.3.          客戶過去花費最多時間衡量的變數,通常是那些資訊價值很低、甚至為零的變數 (也就是對決策毫無影響力的變數)
  1. 衡量反比:在企業案例中,變數衡量的經濟價值通常與衡量得到的關注成反比。很顯然地,我們對於哪些事物該做衡量的直覺,常常讓我們失望了。因為大多數的組織,對於進行一項衡量的價值,沒有方可以衡量,他們衡量的東西幾乎是錯的。
衡量價值
例子
實際付出的注意力
實際經濟上的重要性
價值低、典型的衡量
      花在一項活動的時間
      銷售訓練參加次數
      專案的近期成本
      安全檢驗中發現違規的數目

價值高、通常被忽略的衡量
      一項活動的價值
      銷售訓練對銷售的影響
      專案的長期效益
      安全檢驗對災難意外的風險降低程度

  1. 衡量反比的發生原因
                 18.1.          人們只會衡量他們已知如何衡量的事物,或他們相信比較容易衡量的事物
                                18.1.1.          如果組織擅長於用 data mining 的方式衡量事物,他會傾向於只衡量那些適用 data mining 衡量的事物。
                                18.1.2.          數量方法教授 Abraham Maslow 曾說過:「如果你唯一的工具是鐵槌,那麼每個問題看起來都會像是釘子。」
                 18.2.          經理人傾向於衡量比較有可能產生好消息的事物
                 18.3.          不知道從一項衡量得到的資訊,對企業的價值
  1. 衡量的基本概念:
                 19.1.          避免一開始就做大規模的研究:先做一些衡量,去除一些不確定性,然後評估所得到的訊息,再決定是否要做更進一步的衡量
                 19.2.          先計算衡量的價值:如果你沒計算衡量的價值,你會不知道如何有效率的衡量,你甚至會花費太多或太少時間衡量某件事物,你可能誤將高價值的衡量視為太昂貴而放棄它   

  1. 計算資訊價值的心得
                 20.1.          衡量的價值很重要:如果你不計算衡量的價值,你很能會用了錯誤的方法,衡量了錯誤的事物
                 20.2.          要反覆進行 (iterative):衡量價值最高的事物是起步,接下來要一步一步進行,透過每一回合的衡量累積一些收穫