Как гугл-документы, которые их владельцы считали закрытыми, попали в поисковую выдачу «Яндекса»?

39

В самой компании отсылают к Google, но в истории «Яндекса» были похожие случаи — и их связывали с работой ПО самого российского поисковика.

Главной новостью дня, а,  возможно, и недели стало появление в поиске «Яндекса» тысяч гугл-документов, которые их авторы считали приватными. Поисковик уже убрал документы из выдачи,  но вопрос о том, как они там появились и не может ли это повториться, остался без аргументированного ответа. Мы попробовали разобраться, что произошло.

С чего все началось. Информация о том, что в поисковой выдаче «Яндекса» и Google есть ссылки на документы Google Docs, разошлась после поста в твиттере интернет-паблика MDK. Опубликовавший его основатель паблика Роберто Панчвидзе, по его словам, взял информацию из телеграм-канала «Зинка-резинка». По словам автора канала Зины Маевской, первоисточником был пост в Facebook главы департамента электронной коммерции L’Oreal Михаила Браккера, опубликованный в среду в 19:17. Браккеру об уязвимости рассказали знакомые.

Что попало в открытый доступ. Ссылки на публичные документы Google Docs открыл для поисковиков в 2009 году, напоминает в своем хорошем разборе ситуации «Медуза». Тогда компания разъясняла, что в выдачу могут попасть только те файлы, ссылки на которые опубликованы на публично доступном веб-сайте — и специально отмечала, что документы, для которых пользователь только создал доступную всем ссылку, индексироваться не будут. Мы смогли найти в выдаче «Яндекса» собственные документы, для которых только генерировались, но никогда не публиковались в открытом доступе общедоступные ссылки.

Объяснения «Яндекса» и Google. Сегодня Google в своем русскоязычном блоге пояснил, что выдачу поисковиков может попасть любой документ — если пользователь в настройках пометил его как публичный или опубликовал ссылку в интернете. «Яндекс» лишь заявил, что не индексирует страницы, индексация которых запрещена в файле robots.txt исходного сайта (этот файл регламентирует доступ и права роботов поисковых систем). В файле robots.txt на сайте docs.google.com индексация открытых документов не запрещена. Но заявления обеих компаний никак не объясняют, как документы попали в выдачу «Яндекса» и почему другие поисковики показывали в разы меньше документов.

Вам также может понравиться
Загрузка

Your above the fold CSS (copy the text bellow) :