Как я потерял 10 000 SEO трафика, пытаясь защититься от парсеров и ботов

Попробую раскрыть суть как может помешать продвижению сайта в SEO всякие там блокировщики ботов и парсеры... Я вот себе ставил разные варианты скриптов, да бонусом от них идёт то, что снижается нагрузка на сайт, и она типа может немножко быстрее загружать сайт, но по факту, через время мы получаем просадку по позициям и по видимости в поиске, как Яндекса, так и Google.

Почему противодействие роботу парсеру, это должна быть избирательная затея.

Так вот, перед тем как сделать свою страницу и сделать её под какой-то поисковый запрос ваш конкурент начинать парсить ваш ресурс и все ресурсы которые он находит в топ 10 условно поисковый выдачи того же Яндекс-а. Ну и у более крупных сайтов типа авито, это вообще в полу автоматическом виде происходит для формирования страниц.
На выходе у нашего конкурента либо написалась страница вручную по собранным словам, либо с генерировалось по ключевым словам.
Ну так как мы заблокировали доступ к возможности парсить на сайт, то получается что части слов которых мы использовали на странице её наши конкуренты не будут упоминать у себя на сайтах, это очень плохо для алгоритма поисковиков.

Если вы давно анализировали результаты поисковый выдачи, что вы могли заметить что разнообразия практически нет и все страницы очень сильно похожи друг на друга как будто рерайт.

Ещё вы могли заметить что когда у вас копируют полное содержание вашей страницы, и такой сайт мог даже занимать выше позицию чем у вас.

Я вам может расскажу новость секрет может нет, чтобы попасть в топ один два поисковой выдачи, можно полностью копию сделать страницы которые там уже находятся и вы при определённых моментах сможете занять ближайшую позицию или даже перепрыгнуть источник с которого вы скопировали всё.

Ключевые слова из текста. Особенно эта штука работает хорошо для старых страниц, ну типа мы знаем чем старше страница тем она весомее, особенно если обновлять текстовый контент на странице, то можно ещё легче занимать хорошие позиции, но при условии если у нас поведенческие факторы для данного URL не угроблен.

Так вот стоило нам заблокировать автоматизированных злоумышленников которые типа хотели раздобыть ключевые слова с нашей страницы, то в будущем есть шанс, что мы сами вылетим топа конкурентной выдачи.

Ну и как же не упомянуть дорвеи, которые генерируются на основании сайтов которые уже в топе.

Насчёт сервисов которые делают сбору ключевых слов с текстов конкурентов ну такие есть в открытом доступе даже бесплатные, но они не всегда смогут вам дать какую-то хорошую картину. Есть закрытые сервисы, помню очень много лет назад у Романа Пузата тут закрытый был сервис для тех кто проходил его марафоны... То же самое есть у Антона Маркина тут для тех кто проходит его обучение тот может получить доступ к закрытым механизмом которые собирают все эти данные.

Что делать, если нет возможности снять запрет от скрапинга сайта
В таком сложном случае, нам необходимо чаще самим парсить конкурентов и обновлять контент на наших страницах.

Даже для написания этого поста я парсил условных конкурентов, просто чтобы хотя бы немного расширить свой словарный запас при написании и что я вижу на многих сайтах упоминается «веб-ресурс», «ресурс». Казалось бы, зачем этот бред вставлять, но после того как я провёл некоторые из эксперименты, накидал разных таких слов и страницы начинают расти по видимости.

Хотя исключение может быть, то что мы могли бы блокировать только например User-Agent -ы которые не имеют отношение к сбору ключевых слов такие создать избирательный список User-Agent.

Вот например попробую описать ситуацию в опасности которой оказался... На страничку мы добавили БАД который имел оригинальный состав, это был сомнительная дичь которая выдумалась на коленке какой-то партнёркой... Из разных источников можно было увидеть разный состав этого препарата и при этом рерайтеры могли изменять состав за этим никто не следил... Ну конечно же изменяли состав они ради уникальности текста. Так вот после того как сайт сложнее стало парсить, у всех конкурентов появился совсем другой состав который был идентичен на всех сайтах кроме моего. Несмотря на то что три сайта которые были подо мной и они уже были опубликованы ранее конкурентов, они сформировали уже по уникальному запросу выдачу для поиска. В общем в результате все новые новые сайты которые появлялись и публиковали этот запрос они формировали свои страницы по конкурентам, но не затрагивая мои сайты. Собственно как итог, мои сайты потом вылетали из ранжирования потому что они были уже не в семантике всех новых сайтов которых было очень много.

Кстати если послушать рекомендации от поисковых систем как улучшать свой сайт ну что типа нужно дорабатывать страницы и постоянно улучшайте страницы вашего веб-ресурса. А вы попробуйте взять 10-20 страниц, там 10 с Google и 10 с Яндекса и глазками самостоятельно прочесть их и проанализировать без какого-то автоматизированного софта или без какого-то парсера, это же просто практически невозможно в ручную разобраться.

Многие целенаправленно переживает что ваш контент воруют и публикуют на других сайтах, а я бы на вашем месте не переживал это только помогает вашим сайтом ещё плотнее сидеть в поиске по данным ключевым запросам который имеет отношение к этим ворованным статьям. Вреда от копирования ваших текстов практически никакого нет. Но почему вы спросите конкуренты могут находиться выше в поиске чем ваш сайт, повторюсь потому-что в других моментах вы проседаете. Либо у вас там дубли, либо много некачественных страниц на сайте, либо ещё чего...

Если помните раньше были кейсы и типа цель переписываем текст и делаем его уникальным и странице начинают садиться выше в поиске, то сейчас это полный бред и если вы будете трогать странице такие которые уже в поиске, но вы хотите типа защититься от контента который у вас своровали и будете переписывать. Вы улетите из поиска и возможно даже не вернётесь. Ну типа дорабатывать страница улучшать её нужно, но желательно не трогать уже те страницы, «не трогать» в плане... не убирать тот текст, который уже есть, его нужно дописывать дорабатывать добавлять, а не полностью менять.

Выше, я уже написал вам свою практику и что на что влияет такая оптимизация, как сейчас, устроены статьи, какой процесс наполнения страничек существует, и насколько вредоносной может быть защита вашего URL-адреса от стороннего вмешательства всяких там ботов и парсеров.

Может кто, помнит, совсем недавно слитых данных Яндекса был такой фактор про 200 слов из языка, вот цитата

«Процент вхождения 200 наиболее часто встречающимися словами языка от количества всех слов в тексте. На данный фактор влиять сложнее, но тем не менее он есть.»

Эта отсылка должна закрыть вопрос про переписывание текстов, и решение по выписыванию лучших слов ваших конкурентов.

Ну а тут мы подключим рубрику где ссылаемся на разные другие посты своего блога:
— Вот тут предыдущий пост про то как правильно ссылок на себя проставить.
— Ну и здесь про негативный эффект от кириллических URL на WordPress.
— Интервью с челом этим который нормально так разбирается как прокачать скорость любого сайта.
— А здесь изучал как переходы по тизерным сеткам работают для арбитража трафика.
— Какие-то мысли из 2010-го вот про спам внешними ссылками их влияние.
— Вот можно тут посмотреть как технически выглядит простейший дорвей под забугор.
— А вот это вообще крутое обновление на главной помогало поднимать посещаемость на сайте
— Внимание, если вы устали от взломов вашего сервера ищите хороший хостинг, то этот прям прям рекомендую на опыте.

Теги, которые могут иметь отношение к этой публикации: защитить текстовую информацию, несколько методов, базовые способы, восстановит ваш рейтинг, защищены с помощью вебмастера, поддержка от автора этого блога, комментарии как защищать.

Источник