一個更偉大的系統設計理論:現代性和後現代性出了什麼問題,如何在即將到來的雪崩中生存下來,以及如何解決我們面臨的主要問題。 第一部分:系統就是模型。但什麼是模型?
我保證這在某個時候會變得實用,但首先我們必須奠定一些基礎。如果您發現基礎工作很明顯,或者您願意相信我的話,請隨意跳過它。但最終,如果沒有背景,你甚至無法真正理解這個提案。
在不失去通用性的情況下,任何系統都可以被視為由邊緣連接的參數圖,其中感官節點接收驅動內部圖變化並在活動節點上產生輸出的輸入。
模型是一個系統,用於最大限度地減少其參數圖所體現的先驗的預測誤差。
系統始終是模型,因為系統必須繼續持續存在,如果它們採取與持續條件不相容的行動,它們就會消亡。條件發生了變化。因此,持久系統必須學習,這要求它們對現實進行建模並最大限度地減少意外。
模型示例:鐵匠鍛造廠中的鋼材、市場、森林、牢房、樹木、法學碩士、電網、公司、社交媒體服務。換句話說,任何隨著時間的推移而適應以預測新輸入的東西。
題外話:這些東西不僅僅是模型。它們也可以從其他方面看到:社交媒體服務也是軟件的集合,完全固定且確定性,處理輸入和輸出。人是水的脂質袋,也是人,也是模特。
模型可以看作是預測可能輸入的分佈。成功的模型預測的分佈與其輸入的分佈非常匹配。這意味著它可以準確、精確、穩健和高效地進行預測。
(以下是對預測處理、自由能原理和主動推理的簡單解釋,如果您有背景知識的話)。
我們說,當預測的分佈將與觀察到的輸入分佈的背離最小化時,它是準確的。
當預測的分佈具有低方差時,我們稱之為精確,這意味著它做出了非常具體的預測。在給定精度下進行較窄的預測不會使您的平均猜測更接近平均輸入,但它確實會讓您更接近每次猜測!
如果預測盡可能簡單,則對雜訊具有穩健性。模型用於預測的參數和參數交互作用越少,它就越符合輸入的低頻不變方面。
我們在這裡主要跳過效率,但主要思想是能耗與花費位精度或復雜性基本相同,你只需要從熱理論轉化為信息論。
非常穩健地擁有高精度很容易:總是猜出同樣的事情。不幸的是,你的準確性會很糟糕。因此,我們通常將它們放在一起考慮,作為精確加權誤差。
低精度加權損失的王道被發現是慘痛的教訓:您是否嘗試過更多參數和更多數據?最終,你可以對所有人類知識 (LLM) 進行過度擬合,這非常好。遺憾的是,如果域名發生變化......不健壯。
這三者都需要平衡。幸運的是,您可以將它們全部評分。 精度加權誤差 = -log(與輸入的背離,按精度加權) 穩健性又名複雜性 = -log(模型先驗與均勻或自然先驗的背離)
對於模型的任何動作或變更,您可以透過在準確度、精確度和穩健性方面總結總收益來評分其幫助程度。是否值得添加該參數?那麼,額外的 20 位精度是否可以彌補先驗中的 8 位複雜性?
在考慮實際系統時,名義目標通常是某種準確性。對於經濟來說,高GDP增長和低失業率是該系統試圖實現的「先驗預期」。對於公司來說,通常是對高收入和低成本的預先預期。
即將推出,第 2 部分:我們的系統發生了什麼?我們是怎麼走到這一步的?為什麼一切都變得瘋狂和破碎,但又都是正確的?
38.5K