AI學習與應用體會系列文章02:由幻覺到驗證循環
接上文
大型語言模型最危險嘅錯誤，往往唔係荒謬，而係流暢、完整、似乎有根據。要令 AI 真正可靠，重點唔係要求佢永遠答中，而係建立一套可以查證、計算、反駁同修正嘅流程。
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
第一次使用大型語言模型，好容易被佢嘅表現震撼。你問一條問題，佢幾乎即時就可以寫出一段結構完整、語氣肯定、前後連貫嘅答案。當題目係自己熟悉嘅範圍，我哋通常可以迅速判斷內容有冇問題；但當題目涉及冷門細節、精確數字或者自己唔熟悉嘅知識，同一種流暢感反而最容易令人放低戒心。
筆者開始認真學 AI 之後，其中一個最重要嘅體會就係：答案「聽落合理」，同答案「已經被證實」，係兩件完全唔同嘅事。最棘手嘅錯誤，往往唔會以「我唔知道」出現，而係被包裝成一段非常似真嘅解釋。
大型語言模型本身唔係一個傳統資料庫。資料庫通常會按一個明確位置，找出已經儲存好嘅記錄；語言模型就主要根據問題、對話內容同已學到嘅語言模式，逐步產生下一段最可能出現嘅文字。佢擅長組織答案，但呢個機制本身並唔保證每一句都先經過事實查證。
今日嘅 AI 系統可以再連接搜尋器、文件庫、數據庫同其他工具，令答案有機會建基於外部資料。不過，除非工作流程真係完成咗搜尋、讀取、引用同核對，否則一段寫得好完整嘅文字，仍然只係模型生成嘅內容，唔等於證據。
當資料不足、問題含糊，或者幾個相似概念互相重疊時，模型可能會混合日期、人物同事件，補上一個未經證實嘅細節，甚至產生一個格式似真但實際不存在嘅來源。一般使用者通常將呢類無根據、失實或者虛構嘅內容，統稱為「幻覺」，英文係 hallucination。
如果 AI 答出一個明顯荒謬嘅答案，問題反而容易發現。真正危險嘅情況，係九成內容都正確，只係其中一個年份、一個比例、一項條文或者一個因果關係出咗錯。讀者見到整體結構合理，就可能連嗰個細小但關鍵嘅錯誤一併接受。
大型語言模型嘅語氣，亦唔係一個可靠嘅信心指標。佢可以用同樣肯定嘅方式，講出有充分證據嘅事實，亦可以講出只係根據語境拼合出嚟嘅推測。有引號，未必代表真係有原文；有書名，未必代表來源存在；有小數點，亦未必代表模型實際做過運算。
| AI 最大嘅風險，唔係佢完全唔識，而係佢識得用非常合理嘅語氣，填補自己唔知道嘅部分。 |
先將答案拆成四個層次
要減少被一段流暢文字誤導，筆者覺得第一步唔係立即問「答案啱唔啱」，而係先分清楚答案入面混合咗邊幾類內容。好多 AI 回覆同時包含事實、計算、推論同建議，但四者需要嘅驗證方法完全唔同。
事實：例如日期、人物、法例、產品規格同公司數據，需要由原始文件或者可靠來源核對。
計算：例如增長率、回報、相關性同配置比例，應該交俾 Python、試算表或者固定程式重新計算。
推論：例如「盈利下降可能由成本上升造成」，本質上係一個有待驗證嘅解釋，唔應該同已知事實混為一談。
建議：例如應唔應該投資、採用某個方案或者自動執行某項操作，仲涉及目標、風險承受能力同價值判斷。
當呢四層被清楚標示，我哋就比較容易知道邊啲句子要找來源、邊啲數字要重算、邊啲只係假設，以及邊啲決定最後仍然要由人承擔。
雖然幻覺會帶來風險，但筆者唔認為所有未經證實嘅 AI 輸出都毫無價值。關鍵在於，我哋將佢當成「事實」，定係當成一個「候選假設」。前者要求證據；後者嘅作用，就係幫助我哋擴闊探索範圍。
喺投資、策略、創新或者產品設計入面，過往經驗有時會形成框框。AI 可以快速提出另一種解釋、反面觀點、極端情境、失敗原因或者新組合，幫助我哋接觸一啲原本未諗過嘅可能性。呢啲可能性可以理解為 unknown unknowns，即係連自己唔知道都未察覺嘅東西。
但探索同證明一定要分開。AI 提出「公司盈利下降可能因為原材料成本上升」，只係一個研究方向；要令佢變成結論，仍然需要閱讀年報、比較成本數據、核對管理層解釋，甚至用程式重新計算相關指標。候選答案可以多，但證據標準唔可以因此降低。
所以，較可靠嘅做法唔係單純喺 prompt 入面加一句「唔好作嘢」，而係重新設計整個工作流程。即使模型願意承認不確定，系統仍然需要有方法查證；即使第一個答案錯，流程亦應該有能力找出錯誤，再進行下一輪修正。
1｜定義問題同證據標準：先講清楚要回答乜、資料截至邊一日、可接受邊類來源，以及最終要輸出事實、假設，定係建議。
2｜產生假設並暴露前提：叫 AI 提出幾個可能答案，同時列出每個答案依賴嘅假設、缺失資料同可能反例。
3｜搜集原始證據：由搜尋工具、公司文件、研究報告、數據庫或者現場觀察取得資料，並保存來源、日期同版本。
4｜用固定工具驗證：需要運算就用 Python 或 SQL，需要驗證程式就執行測試，需要比較文件就直接讀原文，而唔係再叫模型憑語感估計。
5｜反駁、修正同批准：主動要求 AI 找漏洞、比較相反證據、修改原有假設；涉及資金、安全或者其他重大後果時，再由人作最後判斷。
真正令 AI 變得有價值嘅，唔係佢第一次就一定答中，而係佢可以喺呢個循環入面不斷提出、查證、被反駁同修正。答案由一段文字，變成一個可以追溯嘅研究過程。
可靠性來自分工，而唔係一個萬能模型
建立驗證循環之後，筆者亦愈來愈清楚，唔同工作應該交俾唔同工具。大型語言模型適合理解問題、整理資料、比較觀點同提出假設；搜尋工具負責取得最新來源；Python 同 SQL 負責精確運算；測試系統負責檢查程式行為；數據庫同紀錄就負責保存輸入、版本同結果。
人嘅角色亦唔會因此消失。邊一個問題值得研究、幾多風險可以接受、證據是否足夠，以及一個決定造成嘅後果應該由邊個承擔，仍然係人需要負責嘅部分。
筆者會用一個簡單原則提醒自己：可以被計算嘅，唔好只靠語言模型估；可以搵到原文嘅，唔好只靠模型記憶；涉及不可逆後果嘅，唔好取消人工確認。可靠性往往唔係由某一個模型單獨提供，而係由整套系統嘅分工、限制同檢查機制建立出嚟。
無論模型幾強，AI 系統仍然可能出錯。實際目標唔應該係假設「以後永遠唔會錯」，而係令錯誤比較容易被發現、影響範圍受到限制，而且可以沿住來源、計算同版本紀錄追查原因。
當 AI 願意顯示不確定、引用可以核對嘅資料、將事實同推論分開，並喺遇到矛盾時停止而唔係繼續編下去，佢先開始由一個說話流暢嘅工具，變成一個可以放入真實工作流程嘅系統。
所以，面對 AI 幻覺，筆者嘅答案唔係完全拒絕佢，亦唔係盲目相信佢，而係將創意放喺探索階段，將證據放喺驗證階段，再將最終責任留俾人。
下一篇
由 Chatbot 到 AI Agent：AI 開始唔只係答問題
當大型語言模型可以搜尋資料、閱讀文件、執行 Python、調用 API，並根據工具結果再決定下一步，驗證循環就唔再只係一個理念。下一篇會拆解 AI Agent 點樣由問答工具，變成可以協助完成整個工作流程嘅系統。