
面對日本工廠選址的問題,哪個AI模型的網路搜尋做得更好?
我們在開啟網路搜尋的情況下,向12個AI模型提出同一個問題。本頁衡量每個模型搜尋的範圍有多廣,以及它引用的網頁是否支持它所寫的內容。本頁比較的是模型本身,而不是它們給的建議。
照原文逐字呈現。
Give me the top 5 location where I can incorporate an entity in Japan as a food manufacturer. Consider the government subsidy as well.
Output condition
- Include fact links after the paragraph or sentence
給我日本前5個可以讓我以食品製造商身分設立法人的地點。也要考慮政府補助。
輸出條件
- 在段落或句子後面附上事實來源連結
這個問題需要最新的在地資料來源:日本各縣市以日文公布的補助上限、補助比例與截止日期。這項測試看的是模型能否找到這些網頁,並正確引用。
哪個模型搜尋得更深入?
以表格顯示
| 回答 | 字數(英文) | 引用網站數 |
|---|
引用的網站越多,代表模型搜尋得越廣,但不代表回答正確。下一張圖表會檢查這一點。
哪則回答照原文就站得住腳?
我們打開了每個引用連結,並將網頁與引用它的段落比對。段落中的每個數字、名稱、日期與條件都出現在網頁上,才算有依據。
檢查發現的問題
- Grok 4.7:差了十倍。它說福井的各項支援合計為¥50億至80億。但它自己的資料來源列的是5〜8億円,也就是¥5億至8億。
- Opus 5.5:截止日期。它說中小企業成長補助這一輪在10月29日截止。它引用的公告寫的是11月12日。
- Qwen3.8-Max:AI引用AI。它引用的六段中,有四段依據的是本知識庫中其他AI的回答。它對靜岡的排名,與它引用的報告相矛盾。
- Gemini 3.6:數字沒有網頁佐證。五段中有四段列出的補助上限或比例,在它的JETRO連結上都看不到。
用AI做研究時,這對選擇模型代表什麼。
廣度不等於準確度。
Qwen3.8-Omni-Flash引用了37個網站,數量最多,但都列在文末的清單裡。其中沒有任何主張能追溯到單一連結。Qwen3.8-Max引用了13個網站,六段中有四段依賴其他AI的回答。
請要求在每個主張旁邊附上連結。
有十則回答把連結放在句子旁邊。正因如此,這些回答才能逐段檢查:它們引用的95段中,有65段完全站得住腳。
要確認數字,不只是確認計畫。
大多數的錯誤都出在一個數字上。補助確實存在,但上限、比例或日期不在網頁上。數字放進您的計畫之前,請先打開網頁確認。
連結很快就會失效。
回答儲存三週後,有七個引用的網頁已經打不開。補助每一輪也會開放和截止,所以請在網頁上確認日期。
每則回答與它的數字。
| 模型 | 設定 | 字數(英文) | 網站數 | 已檢查段落 | 有依據 | 部分有依據 | 無依據 |
|---|---|---|---|---|---|---|---|
| Opus 5.5英文 | Medium | 1,167 | 13 | 19 | 13 | 4 | 2 |
| Sonnet 5.5英文 | Medium | 904 | 14 | 8 | 6 | 2 | 0 |
| GPT-6 Luna英文 | Max | 509 | 5 | 7 | 5 | 2 | 0 |
| GPT-6.1 Sol英文 | Max | 1,140 | 9 | 16 | 13 | 3 | 0 |
| GPT-6 Astra英文 | Max | 1,088 | 8 | 14 | 11 | 3 | 0 |
| Gemini 3.6英文 | Thinking | 612 | 1 | 5 | 1 | 4 | 0 |
| Grok 4.7英文 | Fast | 744 | – | 已儲存的版本中沒有連結 | |||
| Grok 4.7英文 | Fast | 713 | 7 | 9 | 5 | 2 | 2 |
| Qwen3.8-Max英文 | Thinking | 545 | – | 已儲存的版本中沒有連結 | |||
| Qwen3.8-Max英文 | Thinking | 587 | 13 | 6 | 0 | 5 | 1 |
| Qwen3.7-Plus英文 | Fast | 616 | – | 已儲存的版本中沒有連結 | |||
| Qwen3.7-Plus英文 | Fast | 985 | – | 已儲存的版本中沒有連結 | |||
| Qwen3.8-Omni-Flash英文 | Thinking | 1,174 | – | 已儲存的版本中沒有連結 | |||
| Qwen3.8-Omni-Flash英文 | Thinking | 1,914 | 37 | 72 | 65 | 1 | 6 |
| Haiku 5.5英文 | Medium | 485 | 7 | 6 | 5 | 1 | 0 |
| Haiku 5.5英文 | Extra | 693 | 9 | 7 | 5 | 1 | 1 |
| GPT-6 Sol英文 | Max | 646 | 8 | 7 | 6 | 1 | 0 |