Мои заметки

@alexabudaev notes

Robots.txt для блога на Эгее

16.02.2016 | Неважное

Бесит, что поисковые системы первым делом подбирают технические ссылки новоиспечённого блога на Эгее. Поэтому после установки очередного такого блога первым делом заливаю в папку с ним файл robots.txt. Вот моя версия его содержимого для любого стандартного Е2-блога:

User-agent: *
Disallow: /tags/*
Disallow: /sign-in
Disallow: /selected
Disallow: /hot
Disallow: /page
Disallow: /@*

Тем, кто ни разу не читал блогов на Эгее, советую посмотреть мой агрегатор.