индексирование сайта в гугл

Попытки структурировать сайты в сети были приняты в конце 90-х годов прошлого века. В то время алгоритмы ПС только разрабатывались, поэтому индекс напоминал предметный указатель по ключевым словам, которые находили роботы на проверяемых страницах. Соответственно в ТОП выдачи часто проникали переоптимизированные и абсолютно бесполезные для пользователей сайты. За 20-30 лет развития алгоритмы отбора усложнились. Сегодня роботы индексирование сайта в гугл смотрят не только на попадание контента в тематику, но и на его качество, полезность для людей, доступность сайта с разных устройств, скорость загрузки и многое другое.
Третий способ ускорить индексацию — сообщить поисковому боту о дате последнего изменения страницы. Для получения даты и времени изменения страницы боты используют данные из заголовка ответа сервера lastmod. Сообщить наличие изменений на странице можно с помощью кода ответа not modify.
Владея этой информацией можно оперативно устранять ошибки на сайте для возврата необходимых страниц в индекс поисковой системы Яндекс.
В нем еще раз выбираем интересующий нас домен (в поле «имя»), а в графу «запись» вводим скопированный TXT-ключ. Нажимаем «Добавить запись».
Создать файл карты sitemap.xml и сохранить его в корне сайта. По нему роботы проверяют структуру страниц, а также следят за обновлением контента.
Несмотря на то, что файл robots.txt является только рекомендацией, а не четкой инструкцией для роботов, пренебрегать им не надо. Новые страницы должны быть открыты для сканирования и доступны для роботов.
Если сайт долго не индексируется, нужно проверить в первую очередь, не закрыт ли он от индексации, если все нормально, то вышеописанными методами привлечь поисковых ботов на сайт.

Источник: http://rabotaonlinefree.ru/uskorennaya-indeksaciya-stranic-sajta-metody/