robots.txt: Göz ardı edilen bir SEO sorunu

Yazar:neo-yang Zaman:2024/02/29 Okumak: 7473

Geçen ay Next.js ile iki site oluşturduktan ve Google indekslemesinin zayıf olduğunu fark ettikten sonra, sorunun eksik bir robots.txt dosyası olduğu belirlendi. Bu sorunu çözmek için, tüm kullanıcı aracılarına izin veren ve tüm içeriğe erişimi etkinleştiren kuralları içeren bir robots.txt oluşturuldu. 'özel' dizin ve bağlantı hariç, Next.js uygulama dizinine bir site haritası eklendi. Bu, indeksleme sorununu çözerek robots.txt dosyasının site görünürlüğü açısından öneminin altını çizdi.

soru

Geçen ay nextjs'yi iki web sitesi oluşturmak için kullandım, ancak o zamandan beri onlarla uğraşmadım. Son zamanlarda bu iki sitenin Google'a dahil olma durumunun iyi olmadığını buldum. Bugün daha yakından inceledim ve robots.txt ile ilgili bir sorun olduğunu fark ettim.

GSC'ye dahil olmayan bir URL kontrol edildiğinde sonuçlar aşağıdaki gibidir

Son yıllarda web siteleri oluştururken çoğu, WordPress vb. gibi olgun CMS kullanıyor ve robots.txt sorununu dikkate almaya gerek kalmıyor, bu nedenle robots.txt her zaman göz ardı ediliyor.

Bu sefer web sitesini oluşturmak için nextjs'i kullandım ve bu sorunu fark ettim.

Çözüm

robots.txt dosyasını ekleyin.

1. robots.txt dosyasını nextjs projesinin uygulama dizinine ekleyin

2. Robots.txt dosyasına aşağıdaki kuralları ekleyin

Kullanıcı Aracısı: * İzin Ver: / İzin Verme: /özel/ Site Haritası: https://www.xxx.com/sitemap.xml

gözünde canlandırmak:

"User-Agent: *": Tüm tarayıcıların web sitesine erişebildiğini belirtir.

"İzin Ver: /": Tüm içeriğe erişime izin verir.

"Disallow: /private/": Özel dizine erişime izin verilmediğini belirtir.

3. Tamamlandıktan sonra tekrar test edin

Özetle

Robot.txt dosyasının bulunmaması, içeriğin arama motorları tarafından dahil edilmesini büyük ölçüde etkileyecektir.

başvurmak

Nasıl düzeltilir? Robots.txt, masaüstü sayfalarının taranmasını engelliyor - Google Merchant Center Yardım

Meta veri dosyası: robots.txt |Next.js (nextjs.org)

Etiketler:SEO