Как быстро проиндексировать 250к страниц в Google

Эта статья является переводом заметки Давида Кюннена "How to get 250k+ pages indexed by Google", разработчика из Германии, который нашел способ лучшей индексации сайтов, написанных на JavaScript.

При создании проекта Devsnap, Давид был очень наивным. Он использовал Create React App для фронтенда и язык Go с GraphQL для бэкенда. Классический SPA-сайт с клиентским рендерингом.

Давид знал, что гуглу на job-сайте придется индексировать множество страниц, но не переживал, так как известно, что Google обрабатывает JavaScript и, по идее, должен все нормально проиндексировать.

— О нет, я ошибался

David Künnen

Сначала все казалось идет норм. Шаг за шагом Google индексировал странички и сайт получал первый органический трафик. На графике ниже показано количество обрабатываемых поиском страниц сайта.

Количество просканированных страниц в Google

Почему-то индексация проходила очень медленно, Google сканировал примерно по 2 страницы в минуту. Давид думал, что гугл ускорится в ближайшее время, но этого не случилось. Поэтому, нужно было что-то предпринять.

Узнать, что именно было внедрено для индексации сайта...

Источник

Комментарии (26):

seoonly.ru06.01.2019 12:16

скорее всего большую роль карта сайта сыграла

Гармошкин06.01.2019 12:39

Что за софт на скриншотах показывающий индекс ?

М Ситнянский 06.01.2019 12:49
В этом смысле, конечно, СС-овцы мне гораздо более симпатичны. Даа… Надеюсь, немцы еще въедут в Москву на танках, не тогда так хоть сейчас. От медвепутов ебаных может нас освободят вместе с США и НАТО? Хочется в это верить, хочется верить… В общем, реально хочется чтоб родители уехали уже поскорее, а то у меня к ним уже ненависть начинает какая-то просыпаться — вот ненавижу болеющих людей! Просто на дух не переношу! =)
М Ситнянский 06.01.2019 12:50
В честь праздников — беспрецендентный присед на бутылку, дамы и господа, беспрецендентный! =) Прямо на шампанское Corte Viola! Такого еще никогда не было! Не смог устоять. Теперь садиться будет больно еще 2-3 недели, наверное!
Project3306.01.2019 12:50

Неплохой кейс, но так индексировали AJAX-сайты еще 10 лет назад, когда Google вообще тупил с JavaScript

Аноним06.01.2019 13:22

Search Console))

Alexlip06.01.2019 14:52

А как это реализовать на WordPress?

nsk-sergey06.01.2019 15:47

Интересный пост! Я так понимаю, что sitemap играет не малую роль в ускорении индексации сайта. У меня сайт Google уже полгода сканирует, хотя и получил от меня карту сайта... Будем проталкивать)0

Full Stack06.01.2019 15:47

Никак. React App - это библиотека JS для создания высокопроизводительных сайтов. Go с GraphQL использовались в качестве back-end'а. SSR - это демистификация рендеринга на стороне сервера в React. На WP тебе достаточно установить какой-либо плагин, типа All In Seo или Yoast. И тебе данная информация вообще не к чему т. к. ты даже не понял в чем заключался смысл этой статьи:)

Правдоруб06.01.2019 15:47

Тут большие дяди с карьерными самосвалами, а вы всё про свой совочек с папской.

Зал Упко06.01.2019 15:59

Интересная шишня. Жаль только что отдавать готовую статику с выключением у ней JS никак. А так бы это реально ускорило процесс, да. Надо на будущее, отходить в сторону без-js-ности.

Oleksandr06.01.2019 16:12

А это if(isBot()) выглядит как клоакинг. Могут потом за это санкции быть?

Inkok06.01.2019 16:40

Хм.., через robots.txt заблочить доступ ко всем js?

Сосо Павиашвили06.01.2019 18:46

Вот это кейс))))))))))))))) создай сайтмап, да отдавай голый хтмл. А что проблемы будут если этого не делать изначально было непонятно? Мда

Вадя07.01.2019 03:20

а толку от этих страниц? Полюбому там 10 трафа набежало, если не меньше, показал бы он посещаемость лучше с такой мега-индексацией

Вадя07.01.2019 03:20

10 - десять человек, а не тысяч : ) А то новички прочитают и пойдут генерить страницы по 100.000 для гугла в надежде...

Олег08.01.2019 00:33

А мне кейс понравился. Про JavaScript узнать мне было в новинку. Вернее не о нем, а логике Google касательно JavaScript и следствия его работы. Вроде как просто, но никогда об этом не задумывался.

Максим08.01.2019 12:10

Кейс интересный. Вопрос только в том, клоакинг это или нет? Кто знает?

Анатолий08.01.2019 12:10

В Яндексе только так не работает от слова совсем. Мы пробовали загонять spa сайт в индекс Яндекса, но страницы просто выпадали через 3-7 дней. Итог - не делайте на spa сайты.

Артём08.01.2019 14:16

Ну мы же не отдаём пользователю и боту разный контент. Мы отдаём один и тот же контент в разном виде.
Это не клоакинг.

Олег08.01.2019 19:27

Ну не вижу тут повода для переживания. Если бы это был клоакинг, то пользователю отдавалась бы другая версия сайта. А получается что и пользователь и ПС получают тоже самое. Сначала рендерную страницу, а потом дополнительную информацию к странице. Причем это происходит последовательно и контент не отличается. По остальным пунктам - все вроде как в зоне супер-белого SEO =)

Максим08.01.2019 19:27

Он же удаляет все тэги если приходит робот. Т.е. роботу отдаётся один html, а другим другой.

Александр09.01.2019 11:44

решение подойдет для гугла, а тем кто двигается в РФ нет. Там яндекс рулит.
Если сделать так сайт, то трафика с яндекса хрен получишь)
Как показывает статья, проблем меньше будет с индексацией, если роботам скармливать важные части документа в готовом html, а не в динамически подгружаемых блоках...

Владислав12.01.2019 00:54

Странно пишут, что бэк на го, а вапалайзер показывает ноду. И в индексе 150к страниц https://www.google.com/search?q=site:devsnap.io

Алексей Веряскин12.01.2019 00:54

А вот еще вариант для job-сайтов https://developers.google.com/search/apis/indexing-api/v3/quickstart и для стриминговых платформ.

Дмитрий12.01.2019 00:54

У меня два больших проекта на SPA и оба в яндексе индексируются сильно лучше, чем в гугле.
Я боялся, что проблемы будут с яндексом, но первичная базовая грамотная настройка - и проблем нет.
А вот гугл на обоих проектах очень много страниц находит, но не индексирует и более того, постепенно выкидывает из индекса.
Попробуем методу описанную в статье, может поможет остановить этот процесс.

Войдите или зарегистрируйтесь чтобы оставить комментарий