掃描開始後,分析器將解析 Robots.txt 文字欄位中的每一行內容並分析其中包含的指令。此外,您還可以知道機器人是否會從「URL清單」欄位中抓取頁面。
機器人.txt 文字
您可以透過編輯規則來建立適合 英國手機號碼 您的資源的 robots.txt 檔案。不要忘記資源檔案本身保持不變。為了使變更生效,您需要將新版本的文件獨立上傳到網站。
當檢查用於 Yandex 機器人的部分指令(使用者代理:Yandex 或使用者代理:*)時,分析器將遵循使用 robots.txt 的規則。其餘部分依標準要求進行檢查。當分析器解析文件時,它會顯示有關發現的錯誤的訊息,如果規則編寫不準確則發出警告,並列出文件的哪些部分適用於 Yandex 機器人。
分析器可以發送兩種類型的消息:錯誤和警告。
將您的利潤提高 200%:免費下載 5 個強大的工具
亞歷山大·庫列紹夫
亞歷山大·庫列紹夫
銷售發電機有限責任公司總經理
在我的個人部落格上閱讀更多文章:
在過去的 7 年裡,我們進行了超過 23,000 次全面的網站審核,我清楚地了解我們所有的經理都需要清晰且有效的演算法來進行行銷和銷售。
今天,我們將與您分享我們為客戶開發的 5 份最有價值的文件。
免費下載並立即實施:
如何找出你公司的5個關鍵行銷指標?
逐步計算模板,其中包含可輸入資料的字段
銷售經理如何根據工作成果制定KPI?
現任銷售經理KPI計算模板
通用銷售商業提案的 9 個範例
升級您的 CP 以達成更多交易
處理冷客戶端的腳本模板
包含現成問題的清單,以吸引潛在客戶
行銷策略的 7 個有利可圖的例子
將有助於增加至少 30% 的客流量
免費下載精選內容
pdf 8.3 MB
文檔 3.4 MB
已下載
153084
如果由於編寫指令時出現嚴重語法錯誤而導致分析器無法處理任何行、節或整個文件,則會顯示錯誤訊息。
警告通常報告分析器無法糾正的與規則的偏差,或潛在的問題(結果可能不是),原因是意外的拼字錯誤或不準確的書面規則。
錯誤訊息「此 URL 不屬於您的網域」表示 URL 清單包含您的資源映像之一的位址,例如http://example.com而不是http://www.example .com(正式上這些URL 是不同的)。要檢查的地址必須與正在分析 robots.txt 檔案的網站相關。
Google 如何檢查 robots.txt
Google Search Console 工具可讓您檢查 robots.txt 檔案是否阻止 Googlebot 抓取您網站上的某些網址。例如,您不希望有一張圖像出現在 Google 圖片搜尋結果中。使用該工具,您將了解Googlebot-Image是否有權存取該映像。
為此,請指定感興趣的 URL。此後,robots.txt檔案將由驗證工具處理,類似Googlebot機器人的驗證。這使得可以確定該位址是否可存取。
外殼:VT-金屬
了解我們如何將莫斯科一家金屬加工公司的 吸引申請成本降低 13 倍
了解如何
驗證程序:
在 Google Search Console 中選擇您的資源後,請前往驗證工具,該工具將為您提供 robots.txt 檔案的內容。突出顯示的文字存在語法或邏輯錯誤。它們的編號顯示在編輯視窗下方。
在介面頁面的底部,您將看到一個特殊的窗口,您需要在其中輸入 URL。
右側會出現一個選單,您需要從中選擇機器人。
點選“檢查”按鈕。
如果檢查結果顯示一條帶有「可用」文字的訊息,則表示允許 Google 機器人存取指定頁面。 「不可用」狀態意味著不允許機器人存取它。
如有必要,您可以更改選單並執行新的測試。注意力!不會自動更改資源上的 robots.txt 檔案。
複製變更並將其新增至 Web 伺服器上的 robots.txt 檔案中。
處理 robots.txt 文件
您需要注意的是:
在編輯器中所做的變更不會儲存在 Web 伺服器上。您需要複製生成的程式碼並將其貼上到 robots.txt 檔案中。
只有 Google 使用者代理程式和 Google 附屬機器人(例如 Googlebot)才能接收該工具的 robots.txt 檔案檢查結果。但是,不能保證其他搜尋引擎的機器人對您的文件內容的解釋會類似。