Вы потратили день на написание полезной статьи, опубликовали её на сайте, но через неделю, месяц или даже два её всё ещё нет в поиске. Знакомо? Вы вводите точный заголовок в Google – и находите только свою старую страницу. Ощущение, будто вы кричите в пустоту, а краулер Google просто проходит мимо.
Не волнуйтесь, вы не одни. Проблемы с индексацией новых страниц – одна из самых частых головных болей для владельцев сайтов. Но это не магия и не приговор. Это техническая задача, которую можно решить, если знать, куда смотреть и что проверять.
Шаг 1. Проверьте базовые настройки: не запретили ли вы доступ сами?
Прежде чем винить алгоритмы, убедитесь, что вы не заблокировали дверь собственным ключом. Первое, что делает Googlebot, заходя на сайт – читает файл robots.txt. Одна неверная директива, и он вежливо развернётся и уйдёт, не сканируя ваш новый раздел.
- Откройте ваш файл robots.txt. Убедитесь, что для папки, где лежит новая страница, нет директивы Disallow.
- Проверьте, не стоит ли на самой странице мета-тег noindex или атрибут nofollow в коде. Это прямое указание поисковику: «Не индексируй это».
- Посмотрите на canonical URL (канонический адрес). Бывает, что из-за ошибки в коде или в настройках CMS страница указывает на другую, старую статью как на каноническую. Google видит этот сигнал и думает: «А, это дубликат, его можно не учитывать».
Шаг 2. Помогите роботу найти путь: карта сайта и внутренние ссылки
Представьте, что ваш сайт – огромный склад. Новую страницу – коробку с товаром – вы поставили в самый дальний тёмный угол, куда не ведёт ни один указатель. Краулер Google ходит по ярко освещённым проходам – вашим основным разделам. Если на новую страницу не ведёт ни одна внутренняя перелинковка, шансы, что робот её случайно обнаружит, стремятся к нулю.
Что делать?
- Добавьте ссылку на новую статью из раздела «Последние публикации», боковой колонки или из текстов других, уже проиндексированных статей по смежной теме.
- Обновите файл Sitemap.xml и добавьте в него URL новой страницы. Это явная подсказка для поискового робота.
- Затем зайдите в консоль для веб-мастеров (Google Search Console) и вручную отправьте обновлённую карту сайта или конкретный URL через инструмент «Проверка URL» -> «Запросить индексацию». Это как лично пригласить гостя к нужной двери.
Шаг 3. Убедитесь, что робот смог зайти: технические ошибки и бюджет сканирования
А что если робот дошёл до страницы, но не смог её прочитать? Такое случается чаще, чем кажется.
- Скорость загрузки сайта. Если страница грузится дольше 3-5 секунд, робот может просто не дождаться конца и уйти, оставив работу незавершённой. Это напрямую съедает ваш бюджет сканирования – ограниченное время, которое Googlebot выделяет на обход вашего сайта.
- Серверные ошибки 5xx. В момент визита робота ваш сервер мог «лежать» или возвращать ошибку 500 или 503. В отчёте об индексировании в Search Console такие случаи часто отображаются.
- Проблемы с мобильной версией сайта. Google уже много лет использует мобильного робота для основного сканирования. Если ваша страница некорректно отображается или не работает на смартфонах, это серьёзная преграда для индексации.
Шаг 4. Посмотрите на сайт глазами алгоритма: качество и уникальность
Допустим, технически всё в порядке. Тогда почему Google может сознательно отложить индексацию в долгий ящик?
Главная причина – сомнения в ценности контента. Алгоритмы сегодня оценивают не только текст, но и общее впечатление от страницы.
- Дублированный контент. Вы уверены, что статья действительно уникальна? Возможно, её часть скопирована с другой вашей страницы или даже с чужого сайта. Google быстро вычисляет копии и перестаёт их индексировать.
- Слишком тонкий или низкокачественный контент. Статья из трёх абзацев без деталей, примеров или экспертного мнения вряд ли будет в приоритете у робота.
- Новый сайт и алгоритм Sandbox. Молодые домены часто попадают в «песочницу»: Google наблюдает за ними, но не спешит добавлять все страницы в индекс. Это период проверки на стабильность и регулярность обновлений.
- Глубина страницы. Страницы, до которых нужно кликнуть 4-5 раз от главной, индексируются медленнее. Упростите структуру сайта, сделайте её более плоской.
Шаг 5. Действуйте системно: план для гарантированной индексации
Итак, ваш чек-лист на следующие две недели:
- Проверьте статус URL в Google Search Console. Инструмент «Проверка URL» покажет, видела ли страница роботом, есть ли ошибки и доступна ли она для индексации.
- Изучите логи сервера. Это самый честный источник данных. Вы увидите, заходил ли Googlebot к вам, когда и какие страницы он запрашивал.
- Ускорьте сайт. Каждая секунда, сэкономленная на загрузке, повышает шансы на успешное сканирование.
- Создайте «дорожные указатели». Добавьте внутренние ссылки и убедитесь, что карта сайта актуальна.
- Дайте сигнал извне. Если у вас есть возможность получить одну-две качественные внешние обратные ссылки на новую статью, это станет для Google сильным сигналом к действию.
- Наберитесь терпения. Даже после всех исправлений время ожидания индексации может составлять от нескольких дней до нескольких недель. Регулярно проверяйте, появился ли кэш Google для вашей страницы (команда «cache:ваш_url» в поиске).
Помните, индексация – это не одномоментное событие, а постоянный диалог с поисковым роботом. Ваша задача – сделать этот диалог лёгким и продуктивным. Уберите барьеры, расставьте понятные знаки и создавайте контент, который стоит того, чтобы его нашли. Тогда вопрос «что делать, если Google не видит новые страницы» будет возникать у вас всё реже.