Файл robots.txt часто содержит директиву Disallow: /, которая запрещает индексацию всего сайта. Это распространённая ошибка после разработки или миграции — забывают убрать блокировку. Проверьте файл по адресу yoursite.ru/robots.txt и удалите запрещающие строки для User-agent: *.
Мета-тег <meta name=»robots» content=»noindex»> или noindex в HTTP-заголовках блокирует попадание страниц в индекс. Он может быть случайно добавлен в шаблон сайта или CMS вроде WordPress. Используйте инструменты вроде Google Search Console или Яндекс.Вебмастера, чтобы найти и удалить такие теги.
Директивы в .htaccess, такие как RewriteRule с noindex или приватным режимом, скрывают сайт от ботов. Это актуально для Apache-серверов и часто встречается при настройке редиректов. Проведите аудит файла и протестируйте доступность через curl или Screaming Frog.
Скорость ниже 3 секунд отпугивает роботов — Googlebot и YandexBot просто не дочитывают страницы. Причины: тяжёлые изображения, неоптимизированный JS/CSS или слабый хостинг. Оптимизируйте с помощью PageSpeed Insights и внедрите lazy loading.
Без карты сайта (sitemap.xml) боты не понимают структуру ресурса, особенно на больших сайтах. Неправильный синтаксис или отсутствие в robots.txt усугубляют проблему. Создайте карту в XML-формате, добавьте в robots.txt (Sitemap: yoursite.ru/sitemap.xml) и отправьте в Search Console.
Массовые 404-е или серверные ошибки (5xx) сигнализируют о некачественном сайте, снижая crawl budget. Роботы тратят время впустую и игнорируют ресурс. Используйте Google Search Console (раздел «Ошибки» > «Не удалось проиндексировать») для выявления и настройки 301-редиректов.
Сайты на чистом JS (SPA как React/Vue) не индексируются, если контент генерируется динамически без серверного рендеринга. Боты видят пустые страницы. Добавьте prerendering или SSR, протестируйте в Mobile-Friendly Test.
Переиндексируйте страницы через инструменты: «Переобход» в Google Search Console или Яндекс.Вебмастере. Мониторьте прогресс в разделах «Индексирование» — обычно изменения видны за 1–2 недели. Регулярный технический SEO-аудит предотвратит повторные проблемы.
Полезные ссылки:
Канал в телеграмм — https://t.me/+-BsUnghNcJ81OGYy
Наш канал на Youtube — https://youtube.com/@traff058
Telegram Паблик — https://t.me/+R2NG4GVGqS4yOTky
Паблик в VK — https://vk.com/traff_agency
Инстаграм TRAFF — https://www.instagram.com/traff_agency
Блог на vc.ru — https://vc.ru/u/2452449-studiya-razrabotki-saitov-traff
Сервисы, которыми пользуемся мы: хостинг Beget — https://beget.com/p1898855
