Файл robots.txt для Nibbleblog
Нигде не нашёл информации о примерном содержимом важного для поисковой оптимизации файла, поэтому создал его сам, исходя из структуры папок последней на сегодняшний день версии Nibbleblog 4.0.3 "Coffee".
Вот его содержимое:
User-agent: *
Disallow: /admin.php
Disallow: /cgi-bin/
Disallow: /plugins/
Disallow: /languages/
Disallow: /tag/
Disallow: /category/
Sitemap: http://notes.budaev.org/sitemap.php
Host: notes.budaev.org
Не забудьте поменять адреса в директивах Host и Sitemap.
Вообще движок настолько простой и понятный, что ошибки в моём файле практически исключены: весь контент хранится в папке /content/, темы с JavaScript-файлами и прочим для визуального отображения сайта - в папке /themes/. Дублировать контент по тегам и рубрикам, как и в случае с WordPress, я считаю, не следует, поэтому /tag/ и /category/ закрыты от индексирования.