這項比較的內容密度圖:每則回答的字數與引用的網站數
← 知識庫 · AI模型比較 AI模型比較 · 網路搜尋

面對展會口譯員的問題,哪個AI模型的網路搜尋做得更好?

我們在開啟網路搜尋的情況下,向三個OpenAI模型提出同一個問題,並使用不同的推理強度設定。本頁衡量每則回答搜尋的範圍有多廣,以及它引用的網頁是否支持它所寫的內容。本頁比較的是模型本身,而不是它們給的建議。

AI生成 · 未經查證 · 提問日期2026年10月28日 · 連結檢查於2026年10月28日、31日

測試問題

照原文逐字呈現。

research the effectiveness of the translators at a booth of a trade show in Japan. the goal is to understand how far we can go, and the limitation of the translation especially the below points to get smooth communication with visitors.

  • language barrier
  • product knowledge

Instruction

  • $d-search

中文翻譯(僅供參考,提問時使用的是上方英文原文)

研究日本展會攤位上翻譯人員的效果。目標是了解我們能做到什麼程度,以及翻譯的限制,特別是以下幾點,好讓我們和參觀者順利溝通。

  • 語言障礙
  • 產品知識

指示

  • $d-search

「$d-search」指示模型遵循Dorado的研究指示,這些指示要求使用第一手資料來源,並把每個主張與它自己的連結比對。這個問題需要很少人公開的資料來源:展會口譯員的服務條件、日文的參展商指南,以及翻譯工具的說明文件。這項測試看的是模型能否找到這些網頁,並且不超出網頁所寫的範圍。

實測 · 內容密度

哪個模型搜尋得更深入?

13個網站GPT-6.1 Terra(Max),搜尋範圍最廣
6至10GPT-6.1 Sol與GPT-6 Sol(High與Max)
5個網站GPT-6.1 Terra(Low與High),兩則最短的回答
每個點代表一則回答。橫軸是回答的字數(英文),縱軸是引用的不同網站數。點越高,代表引用的來源越多。形狀代表廠商。會重疊的兩個點並排顯示。將游標移到點上,或用Tab鍵選取,即可查看數字。
以表格顯示
回答字數(英文)引用網站數

引用的網站越多,代表模型搜尋得越廣,但不代表回答正確。下一張圖表會檢查這一點。

實測 · 已檢查引用連結

哪則回答照原文就站得住腳?

我們打開了每個引用連結,並將網頁與引用它的段落比對。段落中的每個數字、名稱、日期與條件都出現在網頁上,才算有依據。

102/107完全有依據的段落,出自全部六則回答
2部分有依據:引文經過未說明的修正、支援頁面屬於另一項產品
3連結失效或遭封鎖的段落。沒有任何一段與它的網頁相矛盾。
每列代表一則回答,每個方格代表一個引用連結。各列依查證比例由高到低排列。列越長,代表依據的連結越多:7個連結全部成立的回答,證據仍比29個連結的回答薄弱。方格依序為已查證、錯誤、失效。將游標移到某一列可查看明細,移到方格可查看它的引用編號。這裡的每則回答都把連結放在主張旁邊,因此每段內容都與它連結的網頁比對過。

檢查發現的問題

  • GPT-6.1 Terra(High):失效連結。它引用的資料來源談的是2017年富山的一場展會,當時一位口譯員同時服務兩個攤位;這個網頁現在會轉址到無關的頁面。GPT-6.1 Terra(Low)引用的一份JETRO規定中,也有同樣的安排。
  • GPT-6.1 Terra(Max):網頁遭封鎖。有兩段引用一份JETRO研討會的PDF,這份檔案拒絕所有存取請求。其中一段是在30秒內介紹產品的建議,這段沒有其他經過檢查的資料來源。
  • GPT-6.1 Sol(High):產品不對。它把一個網頁稱為Pocketalk S的支援頁面。但網頁內文描述的是初代Pocketalk,內容截至2019年2月。
  • GPT-6 Sol(Max):修飾過的引文。它引用VoiceTra的常見問題時,修正了一個拼字錯誤,卻沒有說明。它所支持的論點仍然成立。
我們的解讀 · Dorado的觀點,不是實測結果

用AI做研究時,這對選擇模型代表什麼。

  1. 研究指示發揮了大部分的作用。

    每則回答都使用相同的研究指示,要求模型把每個主張與它自己的連結比對。107段引用內容中有102段完全站得住腳,也沒有任何網頁與它的段落相矛盾。

  2. 提高推理強度,換來的是廣度,不是準確度。

    GPT-6.1 Terra(Low)以英文857字引用了5個網站。在Max設定下,它以英文2,992字引用了13個網站。兩者幾乎都完全站得住腳。較長的回答涵蓋了更多面向,例如翻譯App,而且同樣嚴謹。

  3. 有依據的段落,不等於有力的證據。

    這些回答都指出,沒有任何研究衡量過日本展會攤位上口譯的準確度或銷售成效。它們的人力配置表和演練計畫是模型自己的建議,沒有附連結。這項檢查確認的是網頁上寫了什麼,而不是這些建議在您的攤位上是否有效。

  4. 活動網頁會消失。

    參展手冊和研討會講義在展會結束後會搬移或關閉。32個引用的網頁中,有兩個我們已經打不開。您依賴的任何網頁,都請保留一份副本。

全部6則回答

每則回答與它的數字。

模型設定字數(英文)網站數已檢查段落有依據部分有依據無依據
GPT-6.1 Sol英文OpenAIHigh2,2949232210
GPT-6.1 Sol英文OpenAIMax2,0426141400
GPT-6 Sol英文OpenAIMax1,98710262510
GPT-6.1 Terra英文OpenAILow85757700
GPT-6.1 Terra英文OpenAIHigh86956501
GPT-6.1 Terra英文OpenAIMax2,99213312902

GPT-6.1 Sol與GPT-6 Sol(Max)各寫了一則簡短的聊天回覆和一份完整的研究筆記。知識庫顯示的是研究筆記,這些數字也是根據研究筆記計算。點選模型名稱,即可閱讀該則完整回答(英文)。

月度研究方案
首月US$50 之後每月US$200

想替您的產品查核資料來源嗎?

這些回答都未經查核。在月度研究方案中,我們會打開資料來源、確認日期,並在簡報交給您之前修正錯誤。