robots.txt 規則與公開 URL 回應對照表
robots.txt 的 User-agent、Disallow、Allow、Sitemap 規則逐條對照公開網址的實際搜尋結果狀態，含封鎖後仍可被外部連結索引的條件、測試工具與檔案放置位置。
工作中寫下來的東西
專案結束後，我們會把可以公開的部分整理成筆記。多半是某個檢查怎麼做、為什麼這樣判斷， 偶爾是我們自己判斷錯了、後來怎麼發現的。
專案結束後，我們會把可以公開的部分整理成筆記。多半是某個檢查怎麼做、為什麼這樣判斷， 偶爾是我們自己判斷錯了、後來怎麼發現的。
robots.txt 的 User-agent、Disallow、Allow、Sitemap 規則逐條對照公開網址的實際搜尋結果狀態，含封鎖後仍可被外部連結索引的條件、測試工具與檔案放置位置。