robots.txt: проблема SEO, которая была проигнорирована.

Автор:нео Ян Время:2024/02/29 Читать: 7671

После создания двух сайтов с помощью Next.js в прошлом месяце и обнаружения плохой индексации Google проблема была определена как отсутствующий файл robots.txt. Чтобы решить эту проблему, был создан файл robots.txt с правилами, разрешающими всем пользовательским агентам и разрешающими доступ ко всему контенту. исключая «частный» каталог, а в каталог приложения Next.js была добавлена ссылка на карту сайта. Это решило проблему индексации и подчеркнуло важность файла robots.txt для видимости сайта.

вопрос

В прошлом месяце я использовал nextjs для создания двух веб-сайтов, но с тех пор ими не занимался. Недавно я обнаружил, что статус включения этих двух сайтов в Google не очень хороший. Сегодня я присмотрелся и обнаружил, что проблема в robots.txt.

Проверка URL-адреса, не включенного в GSC, результаты следующие:

В последние годы при создании веб-сайтов большинство из них используют зрелые CMS, такие как WordPress и т. д., и нет необходимости учитывать проблему robots.txt. Поэтому robots.txt всегда игнорировался.

На этот раз я использовал nextjs для создания сайта и заметил эту проблему.

Решение

Добавьте файл robots.txt.

1. Добавьте файл robots.txt в каталог приложения проекта nextjs.

2. Добавьте следующие правила в файл robots.txt.

Пользовательский агент: * Разрешить: / Запретить: /private/ Карта сайта: https://www.xxx.com/sitemap.xml

проиллюстрировать:

«User-Agent: *»: указывает, что все сканеры могут получить доступ к веб-сайту.

«Разрешить: /»: разрешает доступ ко всему содержимому.

«Disallow: /private/»: указывает, что доступ к частному каталогу запрещен.

3. Проверьте еще раз после завершения.

Подведем итог

Отсутствие файла robot.txt сильно повлияет на включение контента поисковыми системами.

Ссылаться на

Как исправить: файл Robots.txt препятствует сканированию страниц рабочего стола – Cправка - Google Merchant Center

Файл метаданных: robots.txt |Next.js (nextjs.org).

теги:SEO