О продвижении сайта в Интернете и о его индексации в поисковых системах Google и Яндекс

январь 2021 г.

Гаэтано Беллей. Нелегкий выбор

Данный материал подготовлен на основе того опыта, который возник у меня при работе над сайтом https://dualium.ru/. Сейчас это небольшой, объемом 99 страниц, статический сайт довольно узкой направленности. Почти весь контент, размещенный на нем является оригинальным. На сайте нет видео (что плохо для посещаемости) и нет рекламы (что хорошо для посетителей).

После публикации сайта в Интернете у меня, как и у многих в подобной ситуации, возникло ощущение, что посещений маловато. Принято считать, что чем больше - тем лучше. Но ведь не любой ценой. А сколько должно быть? Вот как может выглядеть ответ на этот вопрос. Конечно такая оценка очень приблизительна, но все же она позволяет получить некий ориентир.

Если учесть людей в возрасте от 15 до 60 лет, достаточно хорошо владеющих русским языком и имеющих доступ в Интернет, тех, кто интересуется хотя бы чем то кроме хлеба и зрелищ, то можно получить близкое к реальности количество потенциальных посетителей сайтов такого типа. Остается определить, какова среди них доля тех, кто не только интересуется живописью, но и рисует самостоятельно, а также периодически ищет информацию по этой теме в Интернете. У меня получилось максимум 25 посещений сайта в сутки.

Кажется, что мало? Ведь в Интернете все измеряется числами со многими нулями. Действительно, в мире в 2019 году по разным оценкам насчитывалось 1,2-1,7 миллиарда сайтов. При этом трафик на сотне лучших в мире сайтах (0,000007% от общего числа) в среднем составил 74 млн. посещений в день. Да, за одни сутки - 74 млн.

Некоторые вещи легко могут вскружить голову. И все же нельзя отрываться от реальности. Потому что старое исследование 2011 года, проведенное компанией "ИнтерЛабс" показало, что:

    Менее 1% сайтов посещают более 5000 пользователей в день.
    Менее 4% сайтов посещают более 1000 пользователей в день.
    Около 43% сайтов посещает менее 10 человек в день.
    Около 12% сайтов посещает 1 пользователь в день.

Если принять, что Интернет-трафик растет на 10% в год, что похоже на правду, то можно попытаться экстраполировать приведенные выше данные на 2020 год:

    Менее 1% сайтов посещают более 12000 пользователей в день.
    Менее 4% сайтов посещают более 2500 пользователей в день.
    Около 43% сайтов посещает менее 25 человек в день.
    Около 12% сайтов посещает 2 пользователь в день.

Видно, что основная часть достается немногим. Так что попасть в 43% - это тоже неплохой результат.

Для более полного понимания места сайта в глобальной сети очень полезно представлять себе именно свою аудиторию, ту, которой интересны затронутые на нем темы. По большей части небольшие сайты узкой направленности интересны немногим. Поэтому не стоит рассчитывать на сотни и тысячи посещений каждый день. Конечно многое зависит от объема и качества, от регулярности появления новых материалов, а также от тех целей, которые ставились при создании сайта. Но даже "свои" 25 посетителей в сутки еще надо суметь получить. Как это сделать?

Если подумать о том, как посетители попадают на сайт, то становится понятно, что может упростить им этот путь. А значит увеличить количество посещений.

Старое доброе сарафанное радио до сих пор работает. Электронная почта и даже такой древний способ как раздача визитных карточек вполне годятся для привлечения некоторого количества посетителей сайта, особенно если его тематика интересна узкому кругу и эти люди лично знакомы автору.

Довольно часто на сайт приводит ссылка на стороннем ресурсе - сайте, блоге или странице в социальной сети. Честный обмен ссылками по сходной тематике - это хорошая практика. Возможно даже один из лучших способов повышения посещаемости. И, кроме того, это несколько ускоряет индексацию в поисковых системах, а значит увеличивает видимость сайта.

В Интернете существуют сайты-каталоги сайтов. В них можно разместить ссылку на свой ресурс и это тоже сделает его более известным. Есть платные каталоги, а есть и те, которые поддерживаются энтузиастами. При добавлении ссылки некоторые каталоги требуют разместить какой-либо код (что не всегда возможно по тем или иным причинам), а некоторые - нет. Ссылки в каталогах индексируются поисковыми системами, а значит рано или поздно приведут к нам, что сделает сайт чуточку более известным.

И все же чаще для нахождения нужной информации люди используют поисковики, такие как Google, Яндекс или другие, менее известные. Поисковые системы сами, с помощью программ-пауков, ботов обходят сайт за сайтом и заносят в базы ключевую информацию о них. Именно это позволяет искать что-либо по запросу с помощью ключевых слов. Если сайт не проиндексирован, то найти его в поисковых системах не получится. И здесь есть проблема - хотя индексация производится автоматически, очередь до конкретного сайта может дойти через несколько недель и даже месяцев после его появления в Интернете. Поэтому имеет смысл самому сообщить поисковой системе о появлении нового сайта.

Тем, кому не терпится увидеть результат, можно сразу перейти к выводам.

Как происходит индексация на примере Google

Сначала выполняется сканирование страниц сайта. Для сканирования используется программа-робот Googlebot. Она имеет два вида агентов: для имитации посещения с мобильного устройства (вариант Смартфоны) или с компьютера (вариант ПК). Один из этих агентов является Основным и сканирует весь сайт, а другой Дополнительным и может применяться для некоторых страниц. Это позволяет получить больше информации о том, как сайт виден на устройствах разных типов.

Googlebot сканирует страницы сайта и при этом анализирует как текстовый контент, так и медийный (если может его распознать). При сканировании робот переходит по всем ссылкам. Дизайн страниц тоже анализируется, а также запускаются все скрипты, которые имеются на них. Для отображения страниц Googlebot использует браузер Chrome последней версии. Результат индексируется - обрабатывается и сохраняется в индексе Google - базе данных, размещенной на множестве серверов по всему миру.

Сканирование и индексирование - разные процессы. Первое это обход страниц ботом, а второе - добавление страниц в индекс. Поэтому возможна ситуация, когда сканирование уже завершилось, а индексирование еще находится в процессе.

Следует понимать, что на сканирование и индексирование нового контента иногда требуется от несколько дней до несколько недель. Поэтому данные в поиске появляются не сразу. Ускорить сканирование и индексацию не получится, система сама управляет очередью. Хотя пара способов все же есть. Добавление карты сайта, файла sitemap.xml, несколько ускоряет процесс. Также отдельные страницы можно отправить на переиндексацию и это происходит довольно быстро. Подробности - ниже.

Индексирование страниц - процесс динамический. Какие-то страницы сайта могут попадать в индекс, а другие - исключаться из него в соответствии с той логикой, которая заложена в систему. Поэтому не стоит удивляться, если вчера в индексе было 50 страниц, а на следующий день 30 или 70.

Как проверить количество проиндексированных страниц сайта в Google и в Яндекс

Индексы Google и Яндекс никак не связаны между собой. Это разные системы и работать надо с каждой отдельно.

Проверка в Google. Если сайт небольшой, то проще всего посмотреть количество проиндексированных страниц прямо в поисковике. Для этого не потребуются какие-то программы или регистация. Для Google нужно ввести в строке поиска оператор "site:" и URL сайта без префиксов "www", "http://" или "https://". Оператор "site:" работает не только в Google, но и в поисковике Bing. Вот пример:

site:dualium.ru

Если нужно, то можно посмотреть, проиндексирована ли конкретная страница:

site:dualium.ru/oil_art/books.html

Вот как может выглядеть результат.

Проверка в Яндекс производится примерно так же, как и в Google, только оператор называется "host:" и проверять нужно в поисковой строке Яндекс.

host:dualium.ru

В результатах поиска можно увидеть не только количество проиндексированных страниц, но и перейти на них, чтобы убедиться, что это актуальная версия.

Как уже говорилось, данный конкретный сайт состоит из 99 страниц. Если проиндексированы не все страницы, как это имеет место в данном случае, то потребуется понять причину этого, внести исправления и затем выполнить переиндексацию. То же самое желательно сделать и в том случае, если содержимое страниц изменилось. Ниже рассказано как это сделать в Google и в Яндекс. Конечно потребуется административный доступ к сайту для подтверждения прав на него и, кроме того, желательно заранее подготовить карту сайта.

Карта сайта

Это не та карта с названиями разделов, которую мы иногда видим на некоторых сайтах и которая упрощает навигацию. В данном случае имеется в виду служебный файл со списком страниц.

Иметь карту сайта очень желательно, и неважно, насколько он большой и сложный. Карта значительно ускоряет индексацию поисковыми системами любых сайтов, даже совсем небольших. И гарантирует (почти), что будут просканированы все страницы, по крайней мере они не останутся незамеченными. Кроме того, иметь карту сайта признак хорошего тона.

Карта сайта представляет собой файл xml со списком всех страниц и некоторыми директивами. Создать этот файл можно вручную в текстовом редакторе, но проще и быстрее воспользоваться онлайн генераторами карт. Например, https://www.xml-sitemaps.com/. Он позволяет бесплатно создавать карты для сайтов объемом до 500 страниц. Весь процесс занимает несколько минут.

После завершения создания карты сайта надо скачать xml-файл на свой компьютер и затем поместить его в корень сайта. Перед этим можно просмотреть файл карты и, возможно, что-нибудь подправить.

Стоит обратить внимание на тэг priority для каждого адреса страниц сайта. Он может иметь значение от 0 (самый низкий приоритет) до 1 (самый высокий). Это значение определяет относительную частоту индексирования страниц (абсолютную частоту поисковая система выбирает сама). В моем случае вносить изменения не потребовалось, все было в целом разумно.

Кроме того важно, чтобы адреса всех страниц в карте выглядели так же, как их предполагается указывать при дальнейшей работе с поисковыми системами. Здесь возможны два равнозначных варианта: https://dualium.ru/ (без www) и https://www.dualium.ru/ (с www). Если требуется, то адреса страниц в xml-файле надо поправить.

Индексация сайта в Google

Google владеет крупнейшей в Интернете поисковой системой. Поэтому есть смысл начать индексацию с него.

Для управления взаимодействием сайтов со своей поисковой системой Google разработал бесплатный инструмент - Google Search Console (GSC). Для того, чтобы начать работу с Google Search Console, нужно перейти по ссылке https://www.google.ru/webmasters/. И выбрать на этой странице Search Console. Теперь можно авторизоваться - ввести адрес своей электронной почты в сервисе GMail и пароль. Или зарегистрировать аккаунт Google, если его не было. После успешного входа будет предложено выбрать тип ресурса, который будет индексироваться: доменный ресурс либо ресурс с префиксом в URL.

Доменный ресурс. Этот вариант подходит для больших сайтов и порталов. Они могут располагаться, кроме основного домена, на поддоменах и все это будет анализироваться, причем по всем протоколам.

Ресурс с префиксом в URL. В этом случае будут анализироваться конкретный адрес и конкретный протокол. Например, при выборе https://dualium.ru/ Google Search Console будет отслеживать все страницы сайта dualium.ru и только по протоколу https. Этого вполне достаточно для небольших сайтов.

Ничто не мешает задействовать для сайта одновременно оба варианта, но чаще всего это просто не нужно.

Добавляем сайт с полным адресом. Здесь и дальше выбран вариант без www:

https://dualium.ru/

Для того, чтобы индексация началась, требуется подтвердить свое право на управление сайтом. Для этого есть несколько вариантов. Самый простой заключается в том, чтобы скопировать предложенный системой метатег и затем разместить его в индексном файле index.html своего сайта в секции head. Делаем это не закрывая окно Google Search Console и затем нажимаем "Подтвердить".

В случае успешного подтверждения прав произойдет переход в рабочее окно Google Search Console.

Теперь можно добавить карту сайта, которая была заранее помещена в его корень. Это можно сделать в разделе "Файлы (Sitemap)". Потребуется указать адрес карты, например, https://dualium.ru/sitemap.xml и нажать "Отправить". Имеется в виду отправить карту в Google Search Console.

Примерно через сутки можно снова открыть Google Search Console и посмотреть, что там есть интересного и какую пользу из этого можно извлечь. Если какая-то информация уже появилась, то можно начинать осваивать возможности инструмента. В Интернете есть подробные руководства по работе с Google Search Console, поэтому лучше обратиться к ним. Ниже - краткий перечень того, что показалось мне либо интересным и полезным, либо странным.

Слева в окне Google Search Console находится панель инструментов.

Обзор (Overview) позволяет быстро просмотреть основную информацию о сайте - интегральный отчет об индексации и о возникших с сайтом проблемах. Удобно, что здесь можно задать временной интервал вплоть до 16 месяцев. Также имеются фильтры, которые облегчают восприятие информации. Здесь же можно проверить эффективность ключевых запросов. Обзор особенно удобен для больших сайтов так как дает всю картину целиком.

Эффективность (Performance) показывает объем входящего трафика, число показов страниц в поисковой выдаче Google, количество кликов (переходов на сайт из поисковых страниц Google), а также CTR (отношение числа кликов к числу показов в поисковой выдаче). Конечно это не полная информация, а только та, что связана с индексом Google.

Проверка URL (URL Inspection tool) представляет собой строку в верхней части окна, в которую надо ввести адрес той страницы сайта, которую требуется проверить, если возникли проблемы с ее индексацией. Это часто бывает при появлении на сайте новых страниц или изменении старых. Проверка URL позволяет отправить эту страницу в очередь на индексацию не затрагивая весь сайт, что намного быстрее.

Покрытие (Coverage). Здесь можно получить информацию о проблемах с индексированием страниц сайта и рекомендации по их устранению.

Вот несколько распространенных причин возникновения таких проблем:

Страница не может быть просканирована из-за запрета в файле robots.txt или содержит метатег "noindex".
Индексирование заблокировано конфигурационным файлом веб-сервера Apache .htaccess.
Страница обнаружена, но не проиндексирована из-за отсутствия показателей ее ценности.
URL страницы возвращает ошибку 404, т.е. страница недоступна или не существует.

Файлы Sitemap (Sitemap). Здесь можно добавить в систему карту сайта. Об этом инструменте уже было сказано выше.

Удаления. Этот раздел пригодится если потребуется удалить с сайта (и из поиска) устаревшую страницу или раздел. Это временное удаление страницы из индекса Google на срок 6 месяцев. Тут присутствуют две возможности:

Страница не будет показываться в поиске Google, кешированная версия будет удалена.
Адрес страницы останется в поиске Google, но ее кешированная версия будет удалена до тех пор, пока робот заново ее не просканирует.

Основные Интернет показатели и Удобство для мобильных (Mobile Usability).

Первый подраздел на мой взгляд мало полезен. За две недели активной работы с Google Search Console здесь так ничего и не появилось.

На рекомендации второго подраздела тоже полагаться не стоит. Проверить правильность отображения на экранах мобильных устройств гораздо проще и надежнее по-другому, например, с помощью вот этих сервисов: http://www.responsinator.com/ и http://ami.responsivedesign.is/.

Меры, принятые вручную (Manual Actions). Лучше если этот раздел останется пустым. В нем могут появляться сообщения о санкциях, которые применяет к сайту Google, если замечает использование неких нечестных приемов продвижения.

Проблемы безопасности. Этот раздел позволяет сформировать отчет о проблемах с безопасностью сайта, если они есть. Такие сайты Google помечает специальным значком и сообщает пользователю о небезопасности перехода на них. Лучше если этот раздел останется пустым.

Ссылки. Один из самых полезных инструментов. Здесь будут показаны внешние и внутренние ссылки на страницы сайта. Чем больше внешних ссылок, тем лучше, они ускоряют сканирование и индексацию сайта и поднимают его рейтинг в поиске.

Настройки. В этот раздел есть смысл заглянуть хотя бы один раз.

Раздел позволяет изменить или добавить пользователей системы, управлять статусом их прав на сайт, изменить адрес сайта в случае переезда на другой домен и предоставляет некоторую дополнительную информацию.

Если потребуется удалить из списка весь сайт целиком, то следует воспользоваться пунктом "Удалить". При этом из поискового индекса Google сайт не удаляется.

Как уже говорилось, на сканирование и индексирование сайта может потребоваться от несколько дней до несколько недель, особенно если этот сайт новый и не очень популярный. Поэтому при работе с Google Search Console лучше сразу набраться терпения и не ожидать быстрых результатов.

Индексация сайта в Яндекс

Яндекс является крупнейшим поисковиком Рунета и индексация в нем также желательна. Соответствующий сервис Яндекса для управления индексацией сайта и его видимостью в результатах поиска называется Яндекс.Вебмастер. Это бесплатный инструмент. Логика работы с ним примерно такая же, как при использовании Google Search Console, даже окно выглядит очень похоже.

Если на Яндексе есть аккаунт, то можно сразу войти в Яндекс.Вебмастер по адресу https://webmaster.yandex.ru/sites/add/ со своими логином и паролем. В противном случае нужно зарегистрироваться. При этом автоматически будет создан и почтовый ящик, куда будут приходить уведомления.

После входа в Яндекс.Вебмастер можно добавить в систему свой сайт с помощью значка + или кнопки Добавить. Сайтов может быть несколько. В поиске Яндекса сайт будет отображаться так, как он был добавлен - с префиксом www или без него и с указанием протокола. Например, так: https://dualium.ru/.

Для подтверждения прав потребуется добавить метатег так же, как это было в Google Search Console. Если все сделано правильно, то можно начать работу с сайтом в системе Яндекс.Вебмастер. Сообщения типа "Данные появятся в ближайшее время" говорят о том, что процесс сканирования и индексации еще не завершен.

Для ускорения и для большей полноты сканирования и индексации нужно добавить в систему карту сайта. Делается это в разделе Индексирование -> Файлы Sitemaр. После добавления файл Sitemap попадает в очередь на обработку. Робот загрузит его в течение двух недель.

После этого есть смысл проверить структуру сайта. Забегая вперед скажу, что в моем случае она все равно отображалась неправильно несмотря на то, что с момента индексации карты сайта прошло больше двух недель. Причина в том, что разделы, в которых меньше 10 страниц не учитываются. Это по меньшей мере странно.

Примерно через сутки можно снова войти в Яндекс.Вебмастер и проверить, как идет процесс. Если какая-то информация уже появилась, то можно начинать осваивать возможности инструмента. По работе с Яндекс.Вебмастер в Интернете можно найти исчерпывающие руководства. Ниже - краткий перечень того, что привлекло мое внимание.

Раздел Сводка удобен для ежедневного контроля за состоянием сайта. Он содержит основную информацию об ошибках, обходе сайта роботом, об индексировании страниц сайта, техническом состоянии и о статистике по поисковым запросам.

Раздел Качество сайта демонстрирует индекс качества сайта (ИКС). Это не то же самое, что позиция в поиске. Скорее ИКС соответствует такому критерию как удовлетворенность пользователей. Вычисляется Яндексом по своему алгоритму. Поначалу здесь не будет ничего интересного. Обновление будет выполнятся по мере накопления системой данных. У меня так ничего и не появилось.

Диагностика. Этот раздел состоит из двух подразделов: "Диагностика сайта" и "Безопасность и нарушения". В первом появляется информация об ошибках, если Яндекс.Вебмастер обнаруживает их на сайте. А в подразделе безопасности могут быть замечания от Яндекса, некоторые из которых способны вызвать санкции. Считается, что проверка сайта производится каждый день. Раздел Диагностика есть смысл регулярно просматривать.

Раздел Поисковые запросы включает в себя три подраздела: "История запросов", "Последние запросы", "Рекомендованные запросы". Здесь присутствует информация о наиболее популярных запросах для сайта, информация по показам страниц в поисковой выдаче Яндекс и информация по кликам (сколько переходов сделано на сайт из поиска Яндекс). Конечно это не полная информация, а только та, что связана с индексом Яндекс. Также здесь можно посмотреть географию запросов и долю мобильных запросов.

В подразделе "Рекомендованные запросы" можно оправить в Яндекс заявку на получение списка таких запросов, которые более всего отвечают тематике сайта. Никаких рекомендаций я так и не получил. Вместо них появилось сообщение "Для формирования рекомендованных запросов недостаточно данных".

Индексирование. Этот инструмент скорее всего будет использоваться наиболее часто. Он позволяет проанализировать ход сканирования и индексации страниц сайта и выявить возможные проблемы. Здесь имеется двенадцать подразделов.

"Статистика обхода" дает информацию о количестве новых и измененных страниц.

"Страницы в поиске". Здесь собраны данные о том, какие страницы были проиндексированы, а какие удалены из индекса и по какой причине. Особое внимание стоит уделить просмотру "Исключенных страниц". Иконка "Статус" позволяет отфильтровать страницы с одинаковыми причинами исключения. Подробности становятся видны, если щелкнуть мышкой на многоточии после сообщения "Недостаточно качественная..." или другом подобном.

Исключенные из индекса страницы - это такие, которые почти наверняка не попадут в выдачу в поиске. Ниже перечислены некоторые причины такой ситуации и способы их устранения.

Имеются дубликаты страниц на этом же сайте, на его зеркале или на другом (независимом) сайте. Для исправления ситуации нужно настроить на странице ответ 301 (редирект, ссылку), если это копия, или добавить мататег rel=“canonical”, если страница оригинальная. Затем отправить ее на переиндексацию.
Найдены почти одинаковые страницы с перечислениями, например такие, на которых показаны одинаковые товары, отличающиеся только цветом. Или что-то подобное.
Имеются страницы, закрытые для сканирования в файле robots.txt или метатегом noindex. Их надо открыть, если это возможно. Сами файлы robots.txt, sitemap.xml, RSS-ленты не предназначены для индексации и они действительно не должны попадать в индекс. С такими ничего делать не надо.
Файлы изображений не участвуют в текстовом поиске. В этом случае также ничего исправлять не надо.
На страницах очень мало контента или же они вовсе пустые. Рекомендация - поработать над контентом или удалить страницу.
Имеются страницы с некорректным ответом сервера. Если по-простому - при запросе страницы ответ должен быть либо 200 (ОК), либо 301 (редирект), либо 404 (страница не существует).
Страницы со всплывающими окнами, которые не дают прочитать текст и к тому же эти окна невозможно закрыть. В этом случае нужно изменить дизайн страницы.
Страница может быть исключена из поиска просто потому, что ее ключевые слова никто не ищет и на нее никто не ссылается. Это всегда возможно для новых сайтов, особенно для сайтов узкой тематики. Робот может вернуть ее в поиск, если количество запросов этой страницы увеличится. Это типичная дилемма курицы и яйца: если страницу не просматривают, то она не попадает в индекс; если она не присутствует в выдаче поисковой системы, то ее не просматривают. Возможно, что это самая распространенная ситуация при исключении страниц из поиска. Если есть уверенность, что контент имеет ценность, то следует внимательнее отнестись к подбору ключевых слов в метатегах keywords.

"Структура сайта". Казалось бы структура сайта определена его картой. Но Яндекс не учитывает разделы, в которых меньше 10 страниц. Их нужно добавить самостоятельно с помощью кнопки Добавить раздел.

"Все страницы". Здесь можно скачать архив страниц, находящихся в поиске. Архив формируется на основе файла Sitemap.xml и содержит все важные сведения о проиндексированных страницах. Может кому-то и пригодится.

"Проверить статус URL". Здесь можно ввести адрес конкретной страницы для проверки ее доступности.

"Мониторинг важных страниц" позволяет узнать, какие разделы сайта и в каком объеме уже проиндексированы.

"Переобход страниц" можно рассматривать как заявку на сканирование новых страниц или на повторное сканирование ранее размещенных страниц, если в них были сделаны изменения. Система выполнит это и сама через какое-то время, но в некоторых случаях хочется ускорить процесс. Повторное сканирование обычно выполняется в течение суток или даже быстрее. Здесь действует лимит - не больше 30 страниц в сутки для не очень посещаемых сайтов. Для популярных - намного больше. Бесполезно раз за разом отправлять страницы на переиндексацию в неизменном виде. Это ничего не даст.

"Файлы Sitemaр". Этот подраздел служит для добавления файла карты сайта. Если его структура изменилась, то карту нужно сделать заново и добавить в систему. Старую карту лучше удалить.

"Переезд сайта" может потребоваться при смене домена, а также при изменении адреса сайта. Например, вместо http в адресе теперь будет https. Или по каким то причинам было решено добавить в имени префикс www. Переезд может занять до двух недель и потребуется заново ввести в систему карту сайта.

"Скорость обхода" - как часто роботы Яндекс будут проверять сайт. Для небольших сайтов нет смысла менять здесь что либо.

Представление в поиске. В этот раздел есть смысл заглянуть если сайт принадлежит организации.

Раздел Ссылки позволяет увидеть неработающие внутренние или внешние ссылки сайта. Эти шибки нужно исправлять.

Раздел Информация о сайте содержит несколько подразделов.

"Региональность" - здесь можно указать Яндексу информацию о регионе сайта. Для каких-то сайтов, например, магазинов, региональность важна и поэтому ее имеет смысл указать. Для других это не имеет смысла, например, если на них размещен образовательный или научный контент. В подобных случаях лучше выбрать вариант "Нет региона". Если региональность не установлена вообще, то система будет периодически напоминать об этом. Установка или изменение региона вступит в силу после проверки и обновления поисковой базы.

"Оригинальные тексты". Раньше здесь можно было указать страницу с оригинальным материалом, который впервые используется именно на данном сайте. Это могло бы повысить рейтинг страницы. Но теперь такой возможности нет.

"Регистр имени сайта" позволяет изменить написание адреса сайта в результатах поиска, чтобы сделать его более понятным и информативным для пользователей. Например, все только заглавными буквами. Не стоит злоупотреблять такой возможностью.

Подраздел "Товары и цены" может быть полезен для сайтов интернет-магазинов. Здесь можно добавить информацию о магазине и предоставить данные о товарах. Это может улучшить представление сайта в результатах поиска.

Подраздел "Быстрые ссылки" дает возможность задать быстрые ссылки, которые упрощают доступ к важной информации на сайте.

В разделах Турбо-станицы для интернет-магазинов и Турбо-станицы для контентных сайтов можно указать страницы, доступ к которым будет происходить быстрее. Яндекс будет хранить такие страницы на своих серверах и отдавать их самостоятельно, не обращаясь к серверу, на котором размещается сайт.

Раздел Инструменты позволяет проводить некоторые проверки на сайте. Например, подразделы "Анализ robots.txt" и "Анализ файлов Sitemap" помогут убедиться в корректности этих файлов.

В подразделе "Удалить URL" можно удалить из индекса ненужные устаревшие или ошибочно размещенные на сайте страницы. По правилам Яндекса, удалить из поиска можно только те страницы, которые при обращении к их адресу дают ответ сервера с кодом 404, 403 или 410, либо запрещены для индексации через файл robots.txt или метатег noindex.

"Проверка мобильных страниц". Из-за необходимости адаптировать сайт для его просмотра на мобильных устройствах этот подраздел мог бы быть очень полезным. Но иногда проверка выполняется настолько медленно, что теряется весь смысл. Возможно это зависит от нагрузки на систему потому что в другое время проверка проходит быстро. Качество проверки тоже вызывает вопросы. Вот как выглядит здесь главная страница моего сайта несмотря на то, что она оптимизирована для мобильных устройств и это подтверждают проверки на других ресурсах. Проще, быстрее и надежнее оказалось воспользоваться сервисами http://www.responsinator.com/ и http://ami.responsivedesign.is/ или другими подобными.

Плохо также, что рекомендации по улучшению мобильной страницы бывают очень странными. Например, система уверена, что лучше меня знает какой шрифт мне использовать. И в то же время, если посмотреть список исключенных страниц, становится очевидно, что она не понимает, что содержание этих страниц и качественное, и оригинальное. Вот он, искусственный интеллект в действии - тупой и беспощадный.

Иногда возникает еще один вопрос - нужен ли мобильный трафик вообще? Адаптировать сайт под планшеты и смартфоны конечно желательно. Но это потребует дополнительных времени и усилий. С другой стороны, статистика говорит о том, что время, проведенное пользователем мобильного телефона на сайте, в среднем примерно на 57% меньше времени, проведенного на сайте пользователем компьютера. И еще - мобильных пользователей в 70% случаев интересуют сайты для взрослых, азартные игры, еда, животные, здоровье и другие подобные темы. К тому же все бОльшую часть мобильного трафика отвоевывают приложения для смартфонов, предназначенные для обслуживания как раз этой аудитории. В то же время на сайты по науке, искусству и развлечениям в 70% случаях заходят с компьютеров, а на технические - еще больше.

Настройки. Здесь стоит обратить внимание на подразделы "Уведомления" и "Права доступа". Первый позволяет настроить способ и частоту получения уведомлений об изменениях на сайте и в индексе Яндекс, а также о выявленных проблемах. Второй дает возможность делегировать права для работы с сайтом другим людям. Остальное не очень интересно.

Выводы

Наивно было бы думать, что поисковые гиганты позволят кому-либо так запросто вмешиваться в процесс ранжирования контента, да еще и предоставят для этого бесплатные инструменты. Правильнее было бы считать Google Search Console и Яндекс.Вебмастер средствами не для продвижения сайта, а инструментами для анализа его страниц, которые помогают увидеть ошибки и исправить их. Например, меня это заставило наконец сделать адаптивную (для мобильных устройств) версию сайта, поработать над ключевыми словами и описанием страниц и исправить некоторые мелкие, но досадные недочеты. Работа над ошибками совершенно точно положительно влияет на продвижение сайта. Хотя система конечно все равно сама решит насколько улучшенная версия той или иной страницы заслуживает внимания.

Очевидна направленность обеих систем на работу с крупными сайтами, а в случае Яндекс.Вебмастер - с коммерческими. Для небольшого сайта использование этих инструментов может оказаться неоправданным. В том числе и потому, что для работы с ними придется преодолеть ряд трудностей. Например, связанных с освоением этих инструментов и со сложностью для неспециалиста в интерпретации результатов и понимании всех этих графиков и терминов.

Еще один момент связан с тем, что Google Search Console и Яндекс.Вебмастер позволяют увидеть сайт каждый со своей точки зрения. Поэтому те данные, которые они предоставляют можно считать вспомогательными. Это значит, что в первую очередь надо руководствоваться интегральными данными хостера и собственным здравым смыслом.

Оптимизация сайта не ограничивается использованием только Google Search Console и Яндекс.Вебмастер. Существует множество приемов помимо этого. Можно и нужно исправлять ошибки на страницах сайта. Можно подключать счетчики и метрики, можно дотошно исследовать запросы и уточнять список ключевых слов для каждой страницы. Можно сравнивать свой сайт с аналогичными по тематике и объему и использовать то полезное, что в них будет найдено. И таким образом постепенно произвести своеобразную шлифовку, и даже полировку сайта. Все это конечно приносит некоторый результат, по крайней мере так считается. Но это отдельная задача, которая требует времени и усилий. Да и вообще - занятие на любителя. В компаниях все это делают специальные люди за специальную зарплату. А в случае собственного небольшого сайта важно вовремя остановиться. Иначе все это может превратиться в навязчивую идею. Гораздо полезнее потратить силы на создание качественного контента. Конечно не допуская при этом грубых ошибок в структуре и разметке.

Есть еще такое жизненное наблюдение: пользовательская база сайта растет постепенно. Другими словами, сайт должен созреть - его должны заметить не только поисковые системы, но и различные агрегаторы, которых много в Интернете и которые вносят свой вклад в популярность ресурса. Ожидание "созревания" может быть не только пассивным, но и активным. Например, как уже говорилось в самом начале, есть смысл обмениваться ссылками. Также рекомендуется проверять свой сайт с помощью онлайн сервисов на предмет адаптивности, соответствия стандартам Web, на правильность подготовки иллюстраций, на что угодно. Это, не только поможет избавляться от ошибок, но, как ни странно, сделает сайт более известным в Интернете.

Ну и наконец - дает ли взаимодействие с Google Search Console и Яндекс.Вебмастер прирост посещений, и если дает, то какой?

Из 99 страниц в результате были проиндексированы примерно 70%. Другими словами, часть страниц так и осталась с ярлыком "Недостаточно качественная..."

Количество посещений за месяц увеличилось примерно на 30%, хотя открытым пока остается вопрос, насколько стойким будет этот эффект. Правда, сказать, что это увеличение обусловлено только большей полнотой индекса, нельзя. Наверняка некоторое количество посещений было вызвано обменом ссылками. Можно также предположить, что ограничения, связанные с пандемией коронавируса, которые привели к тому, что люди больше времени проводят в Интернете, тоже внесли свой вклад. Наверняка существуют и другие факторы, которые ощутимо влияют на посещаемость.

Возможно для сайтов образовательной и научной направленности поисковым системам все-таки следовало бы использовать другие алгоритмы анализа их ценности.