robots.txt: 一個一直被忽略的SEO問題
After constructing two sites with Next.js last month and noticing poor Google indexation, the issue was identified as a missing robots.txt file. To address this, a robots.txt with rules to allow all user-agents, enablecontent access to allow all user-agents, enable access to allow excluding the 'private' directory, and link a sitemap was added to the Next.js app directory. This resolved the indexing issue, underscoring the importance of robots.txt for site visibility.
問題
上個月，用nextjs做了兩個站，之後一直沒管。最近發現這兩個站在Google的收錄狀況都不好。今天仔細看了一下，發現是robots.txt的問題。
在GSC中檢查一個沒有被收錄的URL，結果如下
這些年，做站，大多是用成熟的cms，像是Wordpress等，不必考慮robots.txt的問題，所以，對robots.txt一直都是忽略的狀態。
這次用nextjs做站，才注意到這個問題。
解決方法
增加robots.txt檔案。
1.在nextjs專案的app目錄中增加robots.txt文件
2、在robots.txt檔案中增加以下規則
User-Agent: * Allow: / Disallow: /private/ Sitemap: https://www.xxx.com/sitemap.xml說明：
“User-Agent: *”：表示所有的爬蟲都可以存取網站。
“Allow: /”：表示允許存取所有內容。
“Disallow: /private/”：表示不允許存取private目錄。
3.完成後再次測試
總結
robot.txt檔案缺失會從很大程度上影響搜尋引擎對內容的收錄。
