
面對KALDI Coffee Farm競爭對手的問題,哪個AI模型的網路搜尋做得更好?
我們向七個AI模型提出同一個問題,保留了九則回答,其中兩則來自GPT-6.1 Sol(High設定)。九則中有八則記錄為開啟網路搜尋,第九則的紀錄沒有註明。本頁計算每則回答引用了多少網站。我們沒有打開這些連結,因此無法判斷網頁內容是否支持回答所寫的內容。本頁比較的是模型本身,而不是它們給的建議。
照原文逐字呈現。
I want you to research KALDI Coffee Farm (https://www.kaldi.co.jp/) and find the five most similar companies in Japan. Put everything in one comparison table with KALDI as the first row, explain in one line why each company made the list, and link a source for every fact. Write in English.
我要你研究KALDI Coffee Farm(https://www.kaldi.co.jp/),找出日本最相似的五家公司。把所有內容放在一張比較表裡,KALDI放在第一列,用一行說明每家公司入選的原因,並為每一項事實附上資料來源連結。用英文撰寫。
這個問題指定了一家公司,要求再找出五家,每家公司附一行理由,每一項事實都要附上資料來源連結。門市數、營收和創立日期散見於公司網頁和商業新聞,其中很多是日文。這項測試看的是模型能找到多少資料來源,以及是否為它陳述的每一項事實附上連結。
哪個模型搜尋得更深入?
以表格顯示
| 回答 | 字數(英文) | 引用網站數 |
|---|
引用的網站越多,代表模型搜尋得越廣,但不代表回答正確。這需要下方的連結檢查,而這個問題的檢查還沒有進行。
引用的網頁是否支持模型所寫的內容?尚未檢查。
在已檢查的比較中,我們會打開每個引用連結,並將網頁與引用它的段落比對。這個問題還沒有做這項檢查。下方數字顯示需要檢查的量。
引用連結 · 每個連結一個方格,尚未打開任何連結
在檢查完成之前,請把這些回答中的每個數字都當作線索,而不是事實。數字放進您的計畫之前,請先打開網頁確認。想看看完成的檢查是什麼樣子,請閱讀這項比較:口譯員與翻譯工具在展會攤位上的效果如何。
用AI做研究時,這對選擇模型代表什麼。
每則回答都列出了成城石井。
有七則也列出了Jupiter。Opus 5.5、Latest(Extra High設定)和Grok 4.7都說Jupiter已在2026年1月申請民事再生。GPT-6 Luna、兩則GPT-6.1 Sol的回答以及Pro都沒有提到這件事。
有兩則回答引用的是不同的網頁。
Opus 5.5和Sonnet 5.5從未引用kaldi.co.jp。有四個網站只出現在這兩則回答中,其他回答都沒有:job.mynavi.jp、scouter.monex.co.jp、bookplus.nikkei.com和www2.infomart.co.jp。其餘六則附有連結的回答都引用了kaldi.co.jp。
Latest(Pro設定)和Grok 4.7的連結很少,甚至沒有。
這個問題要求每一項事實都附上連結。Latest(Pro設定)表示每一項事實陳述都有引用的資料來源佐證,但它保存下來的版本沒有任何連結。Grok 4.7連結了兩個網頁,kaldi.co.jp和維基百科,其他資料來源則在表格的一欄裡只寫出網站名稱,例如meidi-ya.co.jp和yamaya.jp。
每則回答與它的數字。
| 模型 | 設定 | 提問日期 | 字數(英文) | 網站數 | 連結數 |
|---|---|---|---|---|---|
| Opus 5.5英文 | High | 2026年10月3日 | 676 | 13 | 16 |
| Sonnet 5.5英文 | High | 2026年10月3日 | 599 | 15 | 16 |
| GPT-6 Luna英文 | High | 2026年10月3日 | 355 | 6 | 9 |
| GPT-6.1 Sol英文 | High | 2026年10月5日 | 436 | 10 | 12 |
| GPT-6.1 Sol英文 | High | 2026年10月3日 | 410 | 7 | 13 |
| Latest英文 | Extra High | 2026年10月4日 | 935 | 8 | 15 |
| Latest英文 | Pro | 2026年10月4日 | 780 | – | |
| Pro英文 | Pro | 2026年10月4日 | 547 | 9 | 19 |
| Grok 4.7英文 | Fast | 2026年10月5日 | 721 | 2 | 2 |