
小編用了這兩天大熱的新 term「向後buy」作為測試,對比分析多款主流 AI 在面對突發性、極短時間且高度本地化文本的資訊檢索力。結果顯示,多數模型的動態檢索機制會因「索引滯後」或「知識邊界觸發失敗」而失效,甚至開始 AI 最強能力 – 「頭頭是道地老作」,測試中只有一款 AI 成功其他全敗。
Grok AI:懶「貼地」但亂作一通
Grok 在面對這個發生僅一天的全新詞彙時,其網絡檢索完全失效,即使擁有自家 X 檢索能力。然而模型並未選擇拒答,而是觸發了嚴重的幻覺。它利用強大的全廣東話生成能力,將其憑空捏造為一個行之有年的「香港股市散戶俚語(逢低買入)」。這種在缺乏實時動態檢索支持下,僅憑字面概率強行輸出極具欺騙性文本的行為,證明了該模型在處理最新突發事件時缺乏有效的知識邊界自我審查機制,最討厭是那種有信心、貼地式語氣「懶 friend」 。
Perplexity (Sonar):拋書包式亂作
Perplexity 以往最大賣點是其 web search 工具及交叉驗證 logic ,小編預期它會勝出,但今次測試雖然觸發了聯網搜尋,並成功引用了線上粵語字典,但其檢索權重明顯偏向了靜態、權威的結構化文本文檔。
對於一個爆發僅一天的香港潮語,靜態字典不可能有任何記錄。模型的 RAG 機制未能敏銳捕捉到社交媒體(如 Instagram、Facebook)上的實時熱度飆升,反而被引導至傳統字典進行字面成分拆解,最終導致「表錯情」的機械式錯誤答案,而他的手法就是「拋書包」將肯定的答案通通掉給你後,然後硬砌出結果。
ChatGPT 5.6 :唔中但無亂作且分析準
ChatGPT 5.6 在面對該突發文本時成功觸發了聯網機制(引用靜態粵語辭典 words.hk),但受限於極短時間內的資訊傳播差,未能直接檢索到網約車衝突之具體即時新聞。然而該模型在語義解構上展現出極強的反向推論能力,將該未知詞彙歸納為「打錯字/聽錯音」(如向後擺、向後跛)或「網絡借詞」。模型敏銳地指出該現象可能源於「特定語境嘅術語、諧音,或者根本係字幕 / ASR(語音識別)錯誤」,並主動向用戶列舉潛在來源平台以索取原始語境。
這種行為範式代表了 Zero-shot Deductive Reasoning 與 Interactive Context-Seeking 的高度結合。儘管其 RAG 架構在實時社群數據流的攝入上存在滯後,但模型憑強大內部邏輯規則,成功於知識盲區中推導出該事件底層生成機制(即語音識別/諧音偏誤),並透過主動引導用戶進行交互 Debug,有效阻斷了隨機幻覺的生成。
Claude AI (Sonnet 5):直接認「唔識」不亂作
Claude 在面對這個24小時內的新詞彙時,其系統精準識別出該詞超出了自身的知識邊界與網絡獲取權限。它拒絕進行任何毫無事實根據的編造,明確表示「搵咗一輪都搵唔到」,並主動向用戶索取更多資訊。在資訊科學中,這種行為被稱為Epistemic Humility。主動拒答並進一步向用家詢問,是防範 AI 產生有害幻覺最為穩健且符合安全 Alignment 的工程設計。
Google 產品內鬨:Google Search AI 模式完勝 Gemini
這次測試中最有趣的發現,就是同屬 Google 旗下的兩款產品,表現竟然有天壤之別!這正好證明了 Google Search AI 在 Web Search(網頁搜索)能力上進行了極限優化。
Google Search AI : 全中 ! Winner
實測表現: 只有它完全答對,在事件發生短短一天內,就成功打破字面意思,準確指出「向後 buy」其實是國語 「向後掰」的音譯。它還完美還原了「車 Cam 影片」、「疑似藝人身份」、「網約車司機口角」等背景,甚至準確列出 Instagram 潮流媒體的來源標籤。
Google Gemini Pro:唔中但「夾硬」去分析
實測表現: 作為通用大型模型的 Gemini,在這次突發事件中似乎未能及時觸發實時網搜,結果只能靠自己的邏輯去「斷估」。它列出了三個充滿創意的解釋:商業策略的「向後整合」、運動動作「向後擺(baai2)」的懶音,或者是口語「喺後面支持(Buy)你」。雖然它沒有答對,但其實它的第二個猜測「向後擺(動作)」在語音上已經極度接近真相(向後掰)。它就像一個很想幫手但沒看新聞的商科教授,雖然給出的分析很有條理,結尾還貼心問你需要什麼場景,但始終因為缺乏即時網絡數據而「表錯情」。奇怪的是 Gemini 也是 Google 自家的產品,由此可見 Google Search AI 模式在使用 Web Search 工具能力上更高權重。
—
| 模型名稱 | 24小時內事件檢索能力 | 數據源攝入動態性 | 語義干擾應對 (如: Buy vs 掰) | 綜合時效性評價 |
|---|---|---|---|---|
| Google Search AI | 極高(完全跨越時間滯後) | 實時熱數據流(社群媒體動態追蹤) | 完美 | 唯一直擊真相,展現最強 Web Search 優化 |
| ChatGPT 5.6 | 低(未成功搜尋到即時熱話) | 依賴靜態詞典與網頁,社群熱度抓取不足 | 優秀(雖不知事件但精準推斷出錯誤原因) | 網搜時效卡關,但邏輯推理與 Debug 能力極強 |
| Google Gemini | 未有效觸發 / 滯後 | 依賴靜態內部參數量化知識 | 中等(靠邏輯推導出接近的「擺」) | 雖具高度結構化推論力,但受限於時間壁壘 |
| Grok | 失效 | 無有效實時攝入 | 極差(被字面 Buy 誤導至股市語境) | 自信且擬真的嚴重知識幻覺 |
| Perplexity | 低(受限於字典等靜態源) | 偏向權威文獻,缺乏時效彈性 | 差(字面生硬拆解為時間概念) | 缺乏對 24 小時內社群動態的感知力 |
| Claude AI | 失效(安全截斷) | 無實時觸覺,啟動邊界防禦 | 不適用(主動承認查無此詞) | 誠實度極高,防禦性優異但缺乏即時資訊 |
—
P.S Deepseek 原來知道「連登」
由於 Deepseek 多數用來作 Local LLM 用,所以小編就不包括在今次的試測了,但有趣的是它也知道這個是俚語可能出自連登(LIHKG)。
結論 :
AI 在面對未知的答案上,真的很像人類!有人不停「拋書包」、有的懶 friend 「Trust me bro」、有的扮專家,只有 Claude 誠實地認自己「我不懂」。人類太過喜歡在腦中「自行推論未來」,覺得如何答不懂的話,對方如何看待自己,繼而令自己受盡壓力。但其實這個推論往往只是「想多了」或者只是在「保護自我型象」而不對事。其實像 Claude 簡單回答,不懂就不懂,跳過這些無謂的想法,反為最少痛苦及壓力,對方也得到了最佳結果,至少對於不會因為你亂答而吸收錯的知識、也不會因為對方知道你亂答而更加對你失去信任,很多時壓力來源往往是因為自己亂推論而得出來。
|
鍾意就快D Share啦!
|
|
|



