Мои заметки

@alexabudaev notes

WordPress-блог: Googlebot не может получить доступ к файлам JS и CSS

28.07.2015 | Неважное

С прошлого года Гугл начал учитывать адаптацию сайта под мобильные устройства в ранжировании поисковой выдачи, для чего научил своего бота индексировать и распознавать файлы JavaScript и таблиц стилей CSS.

Мой Вордпресс-блог Budaev.org адаптирован к мобильникам изначально, но Гугл периодически присылал уведомления о том, что сайт не очень хорошо выглядит на экранах мобильных устройств, что было неправдой и в целом не подтверждалось самой же выдачей Гугла, который помечал мои ссылки "Для мобильных".

undefined

Тем не менее, уведомления продолжались, а сервис проверки удобства сайта для мобильных устройств упорно рапортовал о том, что "элементы слишком близко", "горизонтальная прокрутка", "слишком мелкие элементы" и т. д. Сервис выдавал, помимо этого, список из 36 (!) файлов JS и CSS, к которым якобы не мог получить доступ из-за настроек файла robots.txt, в котором папки, содержащие подобного рода файлы, вообще не упоминались.

Сегодня я догадался добавить в robots.txt разрешающие директивы Allow, т. е. явным образом дать доступ к тем самым папкам, и эти директивы тут же решили проблему "отсутствия доступа". В любой документации по файлам robots.txt не говорится о том, что только Allow даёт доступ, а неупоминание Allow такой доступ запрещает. Я слышал, что для запрета доступа вообще-то существует директива Disallow, нет, Google? В любом случае, получается, если у вас WordPress "не даёт доступ" к файлам CSS и JS бедненькому Googlebot'у, дайте ему доступ сами, указав Allow папки /wp-content/ и /wp-includes/.

undefined

В итоге мой robots.txt стал выглядеть вот так:

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-admin/
Disallow: /xmlrpc.php
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /category
Disallow: /author
Disallow: /20*
Disallow: /page
Disallow: /type

User-agent: Googlebot
Allow: /wp-includes/
Allow: /wp-content/
Disallow: /wp-login.php
Disallow: /wp-admin/
Disallow: /xmlrpc.php
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /category
Disallow: /author
Disallow: /20*
Disallow: /page
Disallow: /type

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-admin/
Disallow: /xmlrpc.php
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /category
Disallow: /author
Disallow: /20*
Disallow: /page
Disallow: /type
Host: budaev.org

Sitemap: http://budaev.org/sitemap.xml
Sitemap: http://budaev.org/sitemap.xml.gz