Total Pageviews

2021/10/10

[閱讀筆記] The Most Human Human - 第十章 高度驚異

 第十章  高度驚異 (High surprisal)


  1. 阿基米德想確認王冠是否以純金打造,得想出比對王冠的質和量的辦法。阿基米德的難題是,他既不能融化王冠,又得精確算出它的體積。直到他踏進公共浴池時,注意到水位升高的現象,才靈光一閃:要測量不規則的物體時,觀察他排出多少水就好。據說阿基米德極其興奮,連衣服都沒有穿,就急著跑回家,並一邊歡呼:「Eureka !」這希臘文的意思是「我知道了」,後來變成科學新發現的同義詞。

  2. 在資訊理論中,熵是指接收的每條消息中包含的資訊的平均量,不確定性越高,information entropy 越大,此現象被稱為資訊熵 (information entropy)。在某種狀況下,各種結果機會相等時 (normal distribution, 常態分配),entropy 會達到高峰;到結果固定 (0 or 1) 或確定性降至最低時,entropy 會降到最低。

  1. 當硬幣越偏差 (biased coin, 例如正面出現機率高達 80%),就能用越簡單的語言描述結果;公正硬幣 (fair coin, 正反面出現機率各 50%) 則難以簡單描述結果。換句話說,7 : 3 的 biased coin 得到的資訊比 fair coin 來得少,這是最基本的 information entropy 概念:東西的資料量是能測量的。

  2. entropy 越高,資訊越多。能用它測量的東西多得驚人,從拋硬幣到電話號碼,從遺言到圖靈測驗,都在它的測量範圍。

  3. 21 世紀的我們,會比前幾代的人更能體會到 information entropy,因為過去的問題是資訊匱乏、難找,現代的我們面臨的資訊超載與如何過濾到想要的資訊。例如,🔎 我們在 google 搜尋時,本能般會避開常見或通用的 keyword,達到縮小搜尋結果的效果,以降低 information entropy。📚 又如我們在準備考試、閱讀教科書時,卡住最久的地方,正是 information entropy 較高的地方。

  4. 壓縮分成無損 (lossless) 與有損 (lossy) 兩種

Type

說明

例子

無損壓縮

(lossless)

代表在壓縮過程毫不妥協,解壓縮後能完整重建原貌,沒有遺漏或遺失細節的風險

zip 與 unzip file 

有損壓縮

(lossy)

精準複製並不重要,為了節省大量時間、空間、金錢、資源,我們可以妥協,讓它接近原樣就好

網路上的圖檔、音樂檔、影像檔、母語為英文的人將"and in an 念成"aninin" 等


  1. 無損壓縮的怪異現象是,有些東西的 information entropy 會高的匪夷所思。雜訊就是如此,因為其隨機性、無固定模式或規則可循,壓縮器毫無用武之處,此類資訊的 information entropy 極高、stakes (資訊含金量) 極低;換成有損壓縮,只要壓縮品質在眼睛、耳朵的可接受範圍內,盡量壓縮,即可大幅降低 information entropy。

  2. 🎬 Frame rate (幀率):30 FPS (Frames Per Second) 代表每秒跑30張畫面。由於人類眼睛的特殊生理結構,如果所看畫面之幀率高於16的時候,就會認為是連貫的,此現象稱之為視覺暫留。這也就是為什麼電影膠片是一格一格拍攝出來,然後快速播放的。現代電影的幀率為24,對一般人而言已足夠流暢,但對高動態的電子遊戲,尤其是第一人稱射擊遊戲來說,幀率少於每秒30幀的話,遊戲就會顯得不連貫,這是因為兩者顯像原理不同所致。電影的一格幀中其實隱含了1/24秒內的所有訊息,但電子遊戲的一格幀就只有該時間點上的畫面,故電子遊戲需要更高的幀率來達到順暢的視覺效果,此缺失可用一些電腦圖形學的技術來彌補。(https://reurl.cc/MA5VE4)

  3. synecdoche (借代、比喻) 是以部分指涉整體的語言手法,借代讓我們能變換詞句,保留某個經驗最主要的部份。以這種方式傳遞訊息時,作者信任讀者有能力填補空白。(https://reurl.cc/zenRje)

例子

代指說明

臣本布衣,躬耕於南陽

「布衣」用以代指平民百姓

黃髮垂髫,並怡然自樂

「黃髮」以代指老人,「垂髫」代指小孩

把酒話桑麻

「桑麻」借代「農作物」

但願人長久,千里共嬋娟

「嬋娟」借代「月亮」


  1. 🌳 深諳借代之道的作者就像熟悉標本的植物學家,雖然採集的標本只是樹木的一小部分,但已足以讓他們一窺樹木的原貌。

  2. 📚 文學評論是有損壓縮,有毀損作品本身之虞。關於藝術品的任何評論,都是在跟藝術品本身較勁。大家經常批評一般人貪圖方便,只閱讀書摘、書評,不好好讀書。但若《Anna Karenina》的 information entropy 超低,只用整本書篇幅的 1/100 講完 60% 的內容,那肯定是托爾斯泰的問題。讀者一生只有 28,000 天,如果他們只想看有損書評過日子,誰又能怪他們呢?

  3. 🎬 若你晚上閒閒沒事,可以去看電影預告,看預告片的熵值 (entropy value) 最高,每段都能帶你通往新世界。

  4. 📱 手機越好用,你就越難展現自己。我們要努力對抗頑強的拼字校正、抵制文字預測、堅拒自動完成,力求寫出獨具風格、成為難以預料、桀敖不馴、有高熵值文句的人,別讓手機讓我們變得平庸。

  5. 資料壓縮能夠實現是因為多數現實世界的資料都有統計冗餘。例如,字母「e」在英語中比字母「z」更加常用,字母「q」後面是「z」的可能性非常小。非破壞性資料壓縮通常利用了統計冗餘,這樣就能更加簡練地、但仍然是完整地表示傳送方的資料。非破壞性資料壓縮的壓縮率不足以處理龐大體積的音影片數據,但如果允許一定程度的保真度損失,那麼還可以實現進一步的壓縮。例如,人們看圖畫或者電視畫面的時候可能並不會注意到一些細節並不完善。同樣,兩個音訊錄音採樣序列可能聽起來一樣,但實際上並不完全一樣。破壞性資料壓縮在可以接受或無法察覺的情況下使用較少的位數表示圖像、影片或者音訊。(https://reurl.cc/6azy6M)

  6. 要評判壓縮後的 mp3 音檔是否夠好,一部分要看它保留多少未經壓縮的原始資料,另一部分得看 mp3 player (通常也是解壓縮程式) 猜的多準,是否能為沒有保留住的部分增添價值。要討論某個檔案的品質,就一定得把它和撥放器的關係列入考量。

  7. 「小說」的資訊量遠大於「電影」,因為小說留給讀者更大的想像空間。這也是為什麼,忙了一整天後,你可能會累到無法讀書,卻不太可能累到無法看電視、聽音樂。

2021/10/09

[閱讀筆記] The Most Human Human - 第九章 汝不可一成不變

 第九章  汝不可一成不變 (Not staying intact)


  1. 使用語言的最佳狀況是,講話的人有說話的意願,也把觀眾放在心上。即使在說自己的事,理想上也應考慮對方的感受。

  2. 在電視台當主持人訪談來賓時,應盡可能讓自己變成投影機的投影布幕;可是交朋友就不同了,在友誼中隱藏自己實在有點蠢。愛情也是如此,當個謎樣情人不但有失真誠,而且怠慢情意,讓整段感情充滿不確定感。

  3. 我們常用「複雜」或「精巧」來評價人工智慧,但很多時候,這無助於我們衡量程式本身,因為很多軟體都能做到同樣的行為,而它們的「智能」高低其實天差地遠。「智能是一種對事物的敏感度」,不論是不斷搶話的圖靈測試程式,或是預先做好的作詩樣板,即使它們能產生有趣的東西,但它們仍是靜止的,依舊無法回應。換句話說,它們對事物毫無敏感度。

  4. 最強的棋士可以改變棋局變陣;最好的藝術家可以改變創作媒介。在機器人有辦法「從模仿者變成創新者」前,不可能通過圖靈測驗只要機器只能因循前例,未能開創新局,無法對語言產生任何貢獻 (ex. 產生新字),就不可能通過圖靈測驗這關

  5. 很多用字遣詞,會隨著時間而產生改變,聊天機器人卻做不到。許多政治正確 (political correctness) 的用法如下 (https://reurl.cc/O08oZX):

身體機能 👀

政治不正確

政治正確

handicapped/ disabled (殘廢)

physically challenged (肢體受挑戰)

differently abled (不同能力的)

blind (瞎子)

visually challenged (視力受挑戰)

mute/dumb (啞巴)

verbally challenged (口語受挑戰)

deaf (聾子)

aurally challenged (聽力受挑戰)

retarded (白癡)

mentally challenged (心智受挑戰)

midget / dwarf (侏儒)

vertically challenged (垂直受挑戰)

fat (胖子)

horizontally challenged (平行受挑戰)

old person / elderly (老人)

senior citizens (資深公民)

性別 ♂️♀️

政治不正確

政治正確

policeman (男性警察)

police officer (警察)

mailman (男性郵差)

mail carrier (郵差)

chairman (男性主席)

chair/ chairperson (主席)

salesman (男性業務員)

salesperson (業務員)

businessman (男性企業家)

business professional (企業家)

工作 

政治不正確

政治正確

housewife (家庭主婦)

homemaker (創造家庭者)

domestic engineer (家庭工程師)

dish washer (洗碟工)

utensil sanitizer (器皿消毒者)

garbage-man (垃圾工)/ janitor (工友)

sanitation engineer (衛生工程師)

waiter / waitress (侍者)

food server (食物服務者)


  1. 語言永不安分、永不穩定,也永遠找不到平衡點。圖靈測試難度極高的原因之一,也許是參賽各方在游移的擂台上過招。語言不是棋局,它沒有固定規則,也沒有必殺絕技,它不斷在改變,雲遊於一切「解決方案」之外。

  2. 觀測者效應 (Observer effect) 是指「觀測」這種行為對被觀測對象造成一定影響的效應。恰如 Werner Heisenberg 的「測不準原理」(uncertainty principle) 所言:測量電子的位置需借助光子,但光子的反射又必然擾動電子的位置,使測量結果產生誤差。

  3. 觀察者效應也常發生在日常生活中

例子

說明

吃晚餐

  • 當你問朋友要不要出去吃晚餐,或多或少暗示著你想出去吃,進而影響對方的回覆。

車禍目擊

  • 問題用語會影響答案

    • ① 車子碰撞時,肇事雙方開多快?

    • ② 車子衝撞時,肇事雙方開多快?

  • 問題 ② 的車速答案會大於問題 ① 的答案

民調詢問方式

  • 問題用語會影響答案

    • ① 你贊同總統目前的處理方式嗎?

    • ② 你贊同總統目前的處理方式嗎?還是反對?

  • 問題 ① 的肯定回覆比率會遠高於問題 ②

個人滿意度

  • 問題順序會影響答案

    • ① 先問對人生是否滿意,再問對自己的財務狀況是否滿意

    • ② 先問對自己的財務狀況是否滿意,再問對人生是否滿意

  • 順序 ① 得出的相關性有限;順序 ② 會得到高度相關


  1. Programmer 會跟你說,無法修正不能 reproduce 的問題。在 debug 時,會盡可能多次重現發生錯誤的行為,以利測試程式是否正確修正;人類溝通則相反,無法回收說出口的話。試想,哪個法官會荒謬地要求陪審團忘記 20 分鐘前的某一句證詞?

  2. 只要我們跟某人混熟,或多或少會改變對方,也一定多少變得與對方相似。只要有人想著你、感受你、讓大腦受你影響,你不必多費力氣就能進入那個人的內在,進入那個人的自我之所在,並改變那裏的東西,不論變化多麼渺小。

2021/10/08

[閱讀筆記] The Most Human Human - 第八章 地表上最糟的證人

 第八章  地表上最糟的證人 (The world's worst deponent)


  1. 美國加州大學洛杉磯分校心理學教授 Albert Mehrabian,曾提出「55 - 38 - 7 法則」,我們的溝通,有 55% 是來自於身體語言 (body language),有 38% 來自於語調 (tone of voice),只有 7% 來自於說話的內容 (actual word spoken)。可是到了法庭,你得全力應付這 7%,從法律層面出發,你的證詞比語氣或動作來得重要。在圖靈測試裡,要證明你是人,也只能靠這 7%。

  1. 我們可以把圖靈測驗視為測謊,因為電腦說的大多是假的,關於它自己的事更是如此。除非一個人認為自己知道真相,否則這個人不可能說謊,聊天機器人無法表達真相。(《On Bullshit》)

  2. 一般來說,軟體出問題的情況有三種:① 在編譯程式時發生的 compile error;② 在使用者執行時發生的 runtime error;③ 程式明明執行很順暢,但卻出現非預期的形容。聊天機器人無法正確回答我們的問題,就屬第三種錯誤。

  3. 在討論西洋棋的章節,有提到 min-max (保守型、極小化對手可採取的策略) 與 max-min (攻擊型、極大化自己的攻勢) 演算法,在此種零和遊戲中,一個人獲勝,意味著另一方落敗,沒有雙贏這回事。但是,好的對話應是 max-max 策略,雙方能擦出火花、說出很精采的事物,而非一較高下

策略

說明

① min-max

選擇令對手優勢最小化的方法

② max-min

選擇將自己優勢最大化的方法

③ max-max

選擇雙贏的方法


  1. 探求真理需要採用 max-max 策略,彼此像在跳探戈、互相合作、互相砥礪學習、需彼此配合。

  2. 資本主義有個灰色地帶,其鼓勵競爭以促進社會繁榮;不過,參與競爭的公司未必保證社會受益,故制定反壟斷法,限制公司的合作,因公司同心協力,反而會產生價格壟斷,對消費者不利。

  3. 與別人攀談時,會依照你目的,決定你要丟的攀談點數量或是忽略對方拋出的攀談點


2021/10/07

[閱讀筆記] The Most Human Human - 第七章 插嘴的奧義

 第七章  插嘴的奧義 (Barging in)


  1. 人類自我覺察、自我意識、反思自己的行動與思考的能力,似乎是我們自認「智慧」(intelligence) 出眾的一個環節,可是生命中許多重要時刻偏偏不是如此。在重複作業、盡情玩樂、全神貫注和勝任愉快時,我們常忘了省查自身的瑣事,變得像 Nike 廣告詞說的一樣,just do it。

  2. 「行為與知覺合而為一」指的是忘掉週遭,注意力集中致使個體僅專注所從事的行為,而非本身的知覺。否則個體往往會從外界的角度來感覺、衡量自己的行為,進而使心流狀態受到干擾。例如當個體想著「我到底作得好不好」,心流就中斷了,當個體的知覺受到外界干擾時,心流狀態僅能夠維持很短暫的時間。(https://ir.nctu.edu.tw/bitstream/11536/123753/1/200607145176.pdf)

  3. 能感受心流的人,其運作方式如下

  1. 可計算性理論 (computability theory) 關切的是計算機的理論模型,以及這類機器在能力上的理論限制。但是,可計算性理論只在乎能否計算,不在乎要花多少時間,只要能計算,不管是花 1/1000 秒或是 1000 年,對可計算性理論毫無差別。

  2. 當電腦科學家說某問題很「難解」(intractable),他們的意思是需要花很久的時間才能計算出結果,計算時間長到失去實用價值。舉例來說,假設有個神奇的機器能預測未來,但是它的運算速度比現實時間還慢,那它實際上可說無法預測未來。

難解問題

說明

🔒 密碼鎖

密碼鎖不是不能開,而是要花很長的時間、試過各種排列組合,你一定可以試出來,但在你試出來前,已被警察逮捕、或裏頭的東西不值得你花這麼多時間嘗試。

🔐 電腦資料加密

質數可以很快乘成合數,但合數要因式分解回質數就慢到如難解問題。因此,網路安全和線上交易能有一定的保障,就是拜此所賜。


  1. 從經濟學發展來看,此門學科也頗有可計算性理論 (computability theory) 的風格,主流經濟學假設「理性人」能瞬間收集海量資訊、立即吸收歸納、做出決策、付諸行動。這些理論很愛提到成本,很少認真思考「思考本身也是成本」。例如,📈 股市瞬息萬變,根本容不得你慢慢分析,分析速度過慢導致錯失良機,即使分析正確也沒有用處;👚 時尚隨時在變,等你千思萬想配好穿搭,風向說不定也改變了。

  2. 停頓、禮讓、開啟新話題、結束舊話題的時機相當微妙,許多聊天機器人明顯沒有這種能力。

  3. 電腦程式發展之所以沒有善加處理時機問題,部分原因在早期理論對電腦程式的定位。這些理論是在可計算性理論 (computability theory) 時代形成的,它們把程式看做處理「決定性問題」(decision problems) 的工具。所謂的決定性問題 (Decision problem) 是一個在某些形式系統回答是或否的問題。例如:“給兩個數字 x 與 y,x是否可以整除 y?” 便是決定性問題,此問題可回答是或否,且依據其 x 與 y 的值。決定性問題在數學問題是否“可決定”中出現,即是否存在有效方法判定一個性質的存在性。數學中許多重要的問題都是不可決定的。(https://reurl.cc/EnvO4K)

  1. 這種預設 input / output 一來一往的聊天機器人語言模式,會發生很多荒謬的對話。這些聊天機器人可以應付很多刁鑽問題,但是對於「呃 / 喔 / 嗯 / 蛤 / 欸」毫無招架之力,因為電腦碰到不可決定的問題。

評審👨





好的,有什麼能為您服務?

機器🤖

評審👨





不太確定您的問題,可以再輸入一次嗎?

機器🤖

評審👨





您好嗎?

機器🤖

評審👨





這是好還是不好呢?

機器🤖


  1. 對話之所以有這麼多難題與曖昧,常常因為了解問題和提出適當回應並不容易。在圖靈測試中,假扮機器人的真人,若開始插嘴,會讓評審感到驚訝與困惑,評審會因此暫停、猶豫、讓對方繼續說話。聊天機器人通常會等你按下 enter 鍵後,才會回覆你,沒有內建插話功能。