← 回工具箱首頁 / 銷 · 行銷業務
銷 · 行銷業務 自動檢查

網站 SEO 與 AI 爬蟲自動檢查

輸入網址,幾秒鐘自動檢查 20 項技術設定:Google、ChatGPT、Perplexity 的爬蟲進不進得來、有沒有誤設不收錄、標題描述和結構化資料是否齊全。由程式直接判斷,結果固定,每一項都附官方說明和修改方法。

第一步:技術自動檢查(本頁)搜尋引擎和 AI「讀不讀得到」你的網站

輸入網址,開始檢查

建議先檢查首頁,再挑一個服務頁或熱門文章頁。不同類型的頁面,問題常常不一樣。

自動讀取失敗時:改貼網頁原始碼檢查

用電腦瀏覽器打開要檢查的頁面,按右鍵選「檢視網頁原始碼」(或按 Ctrl+U,Mac 為 ⌘+Option+U),全選複製後貼在這裡。注意:不要用「檢查元素」,那看到的是執行程式之後的畫面,不是爬蟲讀到的內容。

在瀏覽器打開「你的網域/robots.txt」,例如 https://www.example.com/robots.txt,把內容全部複製貼上。沒貼的話,爬蟲相關的兩項會顯示「無法檢查」;如果打開是「找不到網頁」,請在這格輸入「無」。

檢查結果 —

請 AI 教你一步一步修改

檢查完成後,下方會自動整理出「沒通過」和「建議改善」的項目,變成一段提示詞。選好你的網站平台,複製貼到 ChatGPT、Claude 或 Gemini,就能拿到針對你的網站平台的修改步驟。也可以直接轉給網站廠商或工程師。

請先在上方完成檢查,這裡會自動產生提示詞。

提示詞會要求 AI 只引用工具提供的官方網址,也不會建議 Google 官方說不需要的作法(例如製作 llms.txt)。修改完成後,回到本頁再檢查一次,確認都通過了。

結果怎麼讀、先改哪裡

什麼時候該用這個工具?

背後的邏輯是什麼

搜尋引擎和 AI 的爬蟲(自動讀取網站的程式)來到網站時,先看 robots.txt(網站給爬蟲的通行規則),再讀網頁的「原始碼」。很多 AI 爬蟲不會執行網頁裡的 JavaScript 程式,所以如果重要內容要等程式跑完才出現,它們就讀不到。這個工具讀的正是爬蟲看到的原始碼,所以能反映爬蟲眼中的你。

瀏覽器基於安全規定,不能直接讀取別人的網站,所以本工具透過一個中繼程式(架設在 Google 的伺服器上)代為讀取公開網頁、robots.txt 和網站地圖,讀完立刻交給你的瀏覽器判斷,不會保存你的檢查內容。少數網站會擋這類自動讀取,這時改貼原始碼,檢查結果一樣由程式判斷。

每一項都標明是「官方依據」(Google、OpenAI 等官方文件有明確說明)還是「業界經驗」(常見的好做法,但官方沒有硬性規定)。要提醒的是:技術設定只是「讓 AI 讀得到」的門檻,AI 會不會推薦你,還要看內容有沒有價值、可不可信,這部分請接著用第二步的內容診斷。

參考範例

一家 B2B 零件工廠的官網首頁,檢查後出現兩個紅色項目:

  • robots.txt 裡寫著「User-agent: * / Disallow: /」,是網站建置時防止測試站被搜到的設定,上線後忘了拿掉,結果所有搜尋引擎和 AI 都被擋在門外
  • 產品介紹全部由程式載入,原始碼裡幾乎沒有文字,AI 爬蟲讀到的是一個空白頁

這兩項修好之前,寫再多文章都不會被 AI 引用。所以本工具把「能不能進來」放在第一組,優先處理。

相關工具

需要數位行銷策略諮詢嗎?

我是王如沛(Kevin),利果果創辦人、中小企業經營顧問,專長數位行銷策略、營運管理與 AI 導入前期診斷。經濟日報專欄作家,長期在外貿協會、金融研訓院及大專院校授課,也為企業開設內訓課程。我協助資源有限的中小企業,用數據和管理方法找出最值得投入的地方。

如果想針對你的公司做更深入的分析,或安排團隊教育訓練,歡迎跟我聯繫。

回檢查區