
面對居酒屋顧客抱怨的問題,哪個AI模型的網路搜尋做得更好?
我們在開啟網路搜尋的情況下,把同一份詳細的研究指示交給五個AI模型,其中Gemini 3.6回答了兩次。本頁計算每則回答引用了多少網站,並與回答的長度對照。我們尚未打開引用的連結,確認它們是否支持回答的內容。本頁比較的是模型本身,而不是它們給的建議。
照原文逐字呈現。
ROLE
You are a qualitative market researcher who reads Japanese fluently. You analyze user-generated content (UGC) about restaurants in Japan.
OBJECTIVE
Find out what customers in Japan complain about when they visit izakaya, using ONLY user-generated content. Then work out what operational struggles those complaints reveal on the izakaya side. The end use is finding products or services that could be sold to izakaya operators to fix those struggles.
PARAMETERS
- Time window: {{2024-10-01}} to {{2026-10-04}}
- Geography: Japan (all regions; note region when the source states it)
- Report language: {{English}}. Keep every quote in its original language and add a translation.
SOURCE RULES (strict)
ALLOWED, posts written by individual customers only:
- Review sites: 食べログ, Google Maps reviews, Retty, ホットペッパーグルメ口コミ, 一休, TripAdvisor
- Social media and forums: X (Twitter), Instagram comments, Threads, YouTube comments, Yahoo!知恵袋, 発言小町, ガールズちゃんねる, 5ch, Reddit (r/japanlife, r/japan, r/JapanTravel), note (personal posts only)
EXCLUDED (do not use as evidence, even if they quote reviews):
- News articles, industry reports, surveys, statistics, consultancy or vendor blogs, PR, restaurant-owned accounts, listicles ("居酒屋の嫌なところ10選" summaries), and any AI-generated summary (including review-site AI summaries)
If you cannot open a source and read the original post yourself, do not cite it. If you have no browsing access, say "NO BROWSING" at the top and stop. Do not answer from memory.
SEARCH GUIDANCE
Search mainly in Japanese. Treat these as starting points, not limits: 居酒屋 最悪 / 居酒屋 二度と行かない / お通し 不満 / 席料 チャージ 知らなかった / 飲み放題 ラストオーダー 早い / 料理 出てこない 居酒屋 / 店員 態度 居酒屋 / モバイルオーダー 居酒屋 不便 / タッチパネル 注文 / 居酒屋 うるさい 狭い / 居酒屋 タバコ 臭い / 予約 取れない 居酒屋 / 会計 間違い 居酒屋 / 2時間制 追い出された Also search in English for complaints from foreign visitors. Cover chain izakaya and independent izakaya, and say which one each piece of evidence concerns.
METHOD
1. Collect complaint posts. Aim for 40 or more distinct posts from at least 4 different platforms. Do NOT pad. If you find fewer, report the real number.
2. Group the complaints into themes. Map every theme to exactly ONE of these fixed domains so the results can be compared: D1 Food quality/portion | D2 Drinks/飲み放題 rules | D3 Staff attitude/service D4 Speed/wait times | D5 Ordering system (tablet/QR/mobile order) | D6 Price/billing/お通し/charges | D7 Seating/space/noise | D8 Smoking/smell | D9 Cleanliness/hygiene | D10 Reservations/time limits | D11 Payment methods | D12 Foreign-visitor/language | D13 Other (explain)
3. For each theme, separate three layers and never mix them: - OBSERVED: what the users actually said (backed by quotes) - INFERRED: the operator-side struggle that likely causes it (for example, a labor shortage that causes slow service). Label it as inference. - OPPORTUNITY: what kind of product or service could address it. Label it as speculation.
OUTPUT FORMAT (follow exactly)
0. Run metadata
Model name, browsing/research mode, date run, number of posts reviewed, platforms used.
1. Evidence table
One row per post:
| ID | Platform | URL | Post date | Venue type (chain/independent/unknown) | Region | Domain | Original quote (verbatim, max 2 sentences) | Translation |
IDs: E01, E02, ... Copy quotes exactly. Do not paraphrase inside the quote column. If the post date or region is not shown, write "unknown". Do not guess.
2. Complaint themes (ranked by number of supporting posts in YOUR sample)
For each theme:
- Theme name / Domain code
- Supporting evidence IDs (e.g. E03, E11, E27) and the count
- OBSERVED: 2-3 sentence summary
- Severity signal: does it cause "never coming back", lower star ratings, or only mild annoyance? Cite IDs.
- INFERRED operator struggle: [inference] ...
- Confidence: High / Medium / Low, with a one-line reason
Do not state percentages or claim anything about the whole population. Counts describe your sample only.
3. Operator struggle map
| Struggle (inferred) | Themes it explains | Evidence IDs | Confidence |
4. Sales opportunity hypotheses
| Struggle | Solution category | Why the complaints suggest the izakaya would pay for it | Counter-evidence or risk |
Label every row [speculation]. Do not name vendors unless asked.
5. Self-audit
- Claims you are least sure about
- Platforms you could not access or search well
- Possible biases in the sample (for example, angry reviewers are over-represented, or tourist-area venues dominate)
- Anything you EXCLUDED because it was not genuine UGC
6. Machine-readable summary
A JSON block in this shape: {"model":"","run_date":"","posts_reviewed":0, "themes":[{"name":"","domain":"D1","evidence_ids":[],"count":0,"confidence":"High"}], "struggles":[{"name":"","theme_names":[],"confidence":"Medium"}]}
ACCURACY RULES
- Every factual statement in sections 2 and 3 must cite evidence IDs.
- Never invent a URL, quote, date, or reviewer. If you are unsure that a quote is exact, leave it out.
- Prefer fewer, verified items over many unverified ones.
角色
你是一位能流利閱讀日文的質性市場研究員,負責分析與日本餐廳相關的使用者生成內容(UGC)。
目標
只能使用使用者生成內容,找出日本的顧客去居酒屋時會抱怨什麼。接著推敲這些抱怨反映出居酒屋端有哪些營運上的困難。最終用途是找出可以賣給居酒屋業者、用來解決這些困難的產品或服務。
參數
- 時間範圍:{{2024-10-01}}至{{2026-10-04}}
- 地區:日本(所有地區;來源有註明地區時請一併記下)
- 報告語言:{{English}}。所有引述都保留原文,並附上翻譯。
資料來源規則(嚴格)
允許:僅限個別顧客撰寫的貼文:
- 評論網站:食べログ、Google地圖評論、Retty、ホットペッパーグルメ口コミ、一休、TripAdvisor
- 社群媒體與論壇:X(Twitter)、Instagram留言、Threads、YouTube留言、Yahoo!知恵袋、発言小町、ガールズちゃんねる、5ch、Reddit(r/japanlife、r/japan、r/JapanTravel)、note(僅限個人貼文)
排除(即使內容引用了評論,也不得作為證據):
- 新聞報導、產業報告、問卷調查、統計資料、顧問公司或廠商的部落格、公關稿、餐廳自營的帳號、清單型文章(「居酒屋の嫌なところ10選」之類的彙整),以及任何AI生成的摘要(包括評論網站的AI摘要)
如果你無法開啟來源並親自閱讀原始貼文,就不要引用。如果你無法瀏覽網路,請在最上方寫「NO BROWSING」並停止。不要憑記憶作答。
搜尋指引
主要以日文搜尋。以下關鍵字是起點,不是限制:居酒屋 最悪 / 居酒屋 二度と行かない / お通し 不満 / 席料 チャージ 知らなかった / 飲み放題 ラストオーダー 早い / 料理 出てこない 居酒屋 / 店員 態度 居酒屋 / モバイルオーダー 居酒屋 不便 / タッチパネル 注文 / 居酒屋 うるさい 狭い / 居酒屋 タバコ 臭い / 予約 取れない 居酒屋 / 会計 間違い 居酒屋 / 2時間制 追い出された。也請用英文搜尋外國旅客的抱怨。連鎖居酒屋和獨立居酒屋都要涵蓋,並註明每項證據屬於哪一種。
方法
1. 收集抱怨貼文。目標是來自至少4個不同平台、40則以上不重複的貼文。絕對不要灌水。如果找到的比較少,請回報實際數量。
2. 把抱怨歸納成主題。每個主題都只能對應到下列固定領域中的一個,以便比較結果:D1餐點品質/份量 | D2飲料/飲み放題規則 | D3店員態度/服務 D4出餐速度/等候時間 | D5點餐系統(平板/QR碼/行動點餐) | D6價格/結帳/お通し/各項費用 | D7座位/空間/噪音 | D8吸菸/氣味 | D9清潔/衛生 | D10訂位/用餐時間限制 | D11付款方式 | D12外國旅客/語言 | D13其他(請說明)
3. 每個主題都要分成三個層次,絕不混在一起: - 觀察(OBSERVED):使用者實際說了什麼(以引述佐證) - 推論(INFERRED):可能造成這個問題的業者端困難(例如人手不足導致出餐慢)。請標示為推論。 - 機會(OPPORTUNITY):什麼樣的產品或服務可以解決這個問題。請標示為推測。
輸出格式(請嚴格遵守)
0. 執行資訊
模型名稱、瀏覽/研究模式、執行日期、檢閱的貼文數量、使用的平台。
1. 證據表
每則貼文一列:
| ID | 平台 | URL | 發文日期 | 店家類型(連鎖/獨立/不明) | 地區 | 領域 | 原文引述(逐字,最多2句) | 翻譯 |
ID依序為E01、E02……。引述必須逐字照抄,不要在引述欄改寫。如果貼文沒有顯示發文日期或地區,請寫「unknown」。不要猜測。
2. 抱怨主題(依你自己的樣本中支持的貼文數排序)
每個主題請列出:
- 主題名稱/領域代碼
- 支持的證據ID(例如E03、E11、E27)及數量
- 觀察(OBSERVED):2至3句摘要
- 嚴重程度訊號:它會導致「再也不來」、星等降低,還是只是輕微不滿?請註明ID。
- 推論的業者困難:[推論]……
- 信心程度:高/中/低,並附一行理由
不要列出百分比,也不要對整體母群做任何斷言。數量只描述你的樣本。
3. 業者困難地圖
| 困難(推論) | 可解釋的主題 | 證據ID | 信心程度 |
4. 銷售機會假設
| 困難 | 解決方案類別 | 為什麼這些抱怨顯示居酒屋會願意付費 | 反證或風險 |
每一列都標示[推測]。除非有人要求,否則不要點名廠商。
5. 自我稽核
- 你最沒把握的論點
- 你無法存取或搜尋效果不佳的平台
- 樣本中可能的偏差(例如憤怒的評論者比例偏高,或觀光區的店家占多數)
- 你因為不是真正的UGC而排除的所有內容
6. 機器可讀摘要
一個符合以下格式的JSON區塊:{"model":"","run_date":"","posts_reviewed":0, "themes":[{"name":"","domain":"D1","evidence_ids":[],"count":0,"confidence":"High"}], "struggles":[{"name":"","theme_names":[],"confidence":"Medium"}]}
正確性規則
- 第2節與第3節中的每項事實陳述,都必須註明證據ID。
- 絕不捏造URL、引述、日期或評論者。如果不確定引述是否逐字正確,就不要放進去。
- 寧可項目少而經過查證,也不要多而未經查證。
這份指示又長又嚴格。它只允許個別顧客在評論網站和論壇上撰寫的貼文,並禁止使用新聞、問卷調查和廠商部落格。它要求來自至少4個平台、40則以上的貼文,並說明如果模型找到的比較少,就回報實際數量。這項測試看的是模型能否找到並引述原始貼文,以及做不到時是否會明說。
哪個模型搜尋得更深入?
以表格顯示
| 回答 | 字數(英文) | 引用網站數 |
|---|
引用的網站越多,代表模型搜尋得越廣,但不代表回答正確。這需要下方的連結檢查,而這個問題的檢查還沒有進行。
引用的網頁是否支持模型所寫的內容?尚未檢查。
在已檢查的比較中,我們會打開每個引用連結,並將網頁與引用它的段落比對。這個問題還沒有做這項檢查。下方數字顯示需要檢查的量。
引用連結 · 每個連結一個方格,尚未打開任何連結
在檢查完成之前,請把這些回答中的每個數字都當作線索,而不是事實。數字放進您的計畫之前,請先打開網頁確認。想看看完成的檢查是什麼樣子,請閱讀這項比較:口譯員與翻譯工具在展會攤位上的效果如何。
用AI做研究時,這對選擇模型代表什麼。
這份指示要的是貼文,以網站計算會低估數量。
一個網站可以包含許多則貼文。GPT-6.1 Sol保存的版本有40個連結,分布在5個網站。計算時把tripadvisor.com和tripadvisor.jp算成兩個網站。
只有一則回答表示達到了40則貼文的目標。
以下是各回答自己的執行紀錄,我們沒有查核。GPT-6.1 Sol回報40則貼文,Gemini 3.6第2次執行回報23則,GPT-6 Luna回報14則,Grok 4.7回報約12至15則,Pro回報3則。
Gemini 3.6兩次執行的結果完全相反。
第1次執行為118字。它印出「NO BROWSING」後就停止,但紀錄顯示網路搜尋是開啟的。第2次執行為4,905字,回報從Yahoo! Chiebukuro和Reddit找到23則貼文。
Pro的網址是截斷的。
Pro回報3則貼文。它的表格欄位標題是「URL (partial)」,網址都以「...」結尾,例如forum.tripadvisor.in/ShowTopic...。這些不是完整的網址,因此知識庫計為0個連結。
每則回答與它的數字。
| 模型 | 設定 | 提問日期 | 字數(英文) | 網站數 | 連結數 |
|---|---|---|---|---|---|
| GPT-6 Luna英文 | High | 2026年10月5日 | 2,671 | 5 | 13 |
| GPT-6.1 Sol英文 | High | 2026年10月5日 | 6,259 | 5 | 40 |
| Pro英文 | Pro | 2026年10月5日 | 1,062 | – | |
| Gemini 3.6英文 | Thinking | 2026年10月5日 | 118 | – | |
| Gemini 3.6英文 | Thinking | 2026年10月5日 | 4,905 | 2 | 25 |
| Grok 4.7英文 | Fast | 2026年10月5日 | 1,830 | 1 | 7 |