В вебвизоре обнаружил проблему. Заключается она в том что при анализе robots.txt. выдается следующая ошибка «сервер отвечает редиректом на запрос robots.txt». Делал редирект со всех страниц без "/" на страницы со "/". Выглядит это таким образом в .htaccess
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_URI} !\..{1,10}$
RewriteCond %{REQUEST_URI} !(.*)/$
RewriteRule ^(.*)$ vokrugcvetov.ru/$1/ [L,R=301]
Вероятней всего эта ошибка связана с редиректом. robots.txt. открывается по url www.vokrugcvetov.ru/robots.txt — если ставить слеш на конце, то выдает 404.
Нужно ли добавить что-то в htacess чтобы робот все корректно видел?