Гайд по robots.txt: создаём, настраиваем, проверяем Error 404 — что значит, как найти и исправить ошибку Базовые ошибки юзабилити сайта Предыдущая12
