SEO-специалисты на Западе начали масштабную дискуссию по поводу того, может ли URL индексироваться поисковой системой, если страница закрывается robots.txt или noindex (если, конечно, бот не прячет и не искажает свой user-agent, что было бы аналогично использованию анонимайзера). На первый взгляд, ответ один и очевидный. Но не нужно с ним торопиться. Если задать подобный вопрос одновременно нескольким гуру SEO, ответы могут оказаться самыми неожиданными, по мнению Барри Шварца, редактора Search Engine Roudtable. Дело в том, что в поисковой выдаче Google неоднократно встречаются случаи, когда есть ссылки на ресурсы, доступ к страницам которых запрещен для поисковых роботов. Можно ли считать URL проиндексированным или нет? А вот что думают по этому поводу некоторые западные SEO‑специалисты.
Ann Smarty: страница может быть проиндексирована даже в том случае, если робот не заходил на нее. Индексацией называется появление в поисковой выдаче, а под посещением робота подразумевается прохождение через страницу.
Andy Beard: сначала робот посещает страницу, чтобы она была проиндексирована. Переход по ссылке и является индексацией.
В этой дискуссии можно было провести не один час, а, возможно, и день. Хотя специалисты SEO могли и упустить, что этот вопрос (индексация закрытых robots.txt страниц) поднимался Мэттом Каттсом еще в 2009 году. Он тогда отметил, что поисковик не обходит закрытую страницу, если данные о ней присутствуют в каталогах или другие сайты ссылаются на нее. Тогда Google воспринимает ссылку, но саму страницу не индексирует. Однако есть вероятность того, что она может попасть в поисковую выдачу. Если специалисты стремятся к тому, чтобы страница не появилась в SERP, следует применять noindex, сообщает Мэтт.