Здравствуйте!
Есть такая проблема! Периодически Яндекс.Вебмастер выдает в после индексации страниц сайта какие-то левые, которых никогда на сайте не было.
Типа такого:
/harakteristika/kak-gramotno-zapolnit-anketu-pri-prieme-na-rabotu-obrazets.html
/postanovlenie/nalogovaya-deklaratsiya-2017-skachat-blank.html
/zayavlenie/dopolnitelnoe-soglashenie-k-trudovomu-dogovoru-obrazets-2017.html
с ответом сервера N/a или даже 200.
Таких каталогов на сайте нет. Я не помню чтобы они когда либо там были.
Пробовал удалять эти адреса через webmaster.yandex.ru/tools/del-url/
Для этого пришлось эти каталоги запретить индексировать через файл robots.txt добавляя строки
Disallow: /soglashenie/
Disallow: /harakteristika/
Disallow: /postanovlenie/
Только тогда webmaster.yandex.ru/tools/del-url/ удалил их. Ну по крайней мере выдал мне что он их удалил.
Но почему-то он опять проходит их в индексе выдавая ответ N/a или опять 200.
Обнаружил в файле .htaccess такую конструкцию:
RewriteEngine on
RewriteRule ^credits.php.* — [L]
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_URI} \.(css|jpg|jpeg|gif|png|js)$
Rewriterule (.*) credits.php?id=$1 [L]
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_URI} ^\/doverennost\/.* [OR]
RewriteCond %{REQUEST_URI} ^\/uvolnenie\/.* [OR]
RewriteCond %{REQUEST_URI} ^\/harakteristika\/.* [OR]
RewriteCond %{REQUEST_URI} ^\/rezyume\/.* [OR]
RewriteCond %{REQUEST_URI} ^\/raznoe\/.* [OR]
RewriteCond %{REQUEST_URI} ^\/otzyv\/.* [OR]
RewriteCond %{REQUEST_URI} ^\/prikaz\/.* [OR]
RewriteCond %{REQUEST_URI} ^\/akt\/.* [OR]
RewriteCond %{REQUEST_URI} ^\/zayavlenie\/.* [OR]
RewriteCond %{REQUEST_URI} ^\/jaloba\/.* [OR]
RewriteCond %{REQUEST_URI} ^\/polojenie\/.* [OR]
RewriteCond %{REQUEST_URI} ^\/soglashenie\/.* [OR]
RewriteCond %{REQUEST_URI} ^\/isk\/.* [OR]
RewriteCond %{REQUEST_URI} ^\/pretenziya\/.* [OR]
RewriteCond %{REQUEST_URI} ^\/dokument\/.* [OR]
RewriteCond %{REQUEST_URI} ^\/postanovlenie\/.* [OR]
RewriteCond %{REQUEST_URI} ^\/pismo\/.*
Rewriterule (.*) credits.php?id=$1&%{QUERY_STRING} [L]

RewriteEngine On
RewriteBase /
RewriteRule ^(.*)\.msl$ $1.php [QSA,L]

RewriteEngine on
RewriteCond %{HTTP:HTTPS} !=on [NC]
RewriteRule ^(.*)$ mysite.ru/$1 [R=301,L] (в этой строке я заменил настоящий адрес сайта, в файле написан реальный)
SetEnvIf X-Forwarded-Proto https HTTPS=on

# For full documentation and other suggested options, please see
# svn.modxcms.com/docs/display/MODx096/Friendly+URL+Solutions
# including for unexpected logouts in multi-server/cloud environments

Options +FollowSymlinks
RewriteEngine On
RewriteBase /

# Fix Apache internal dummy connections from breaking [(site_url)] cache
RewriteCond %{HTTP_USER_AGENT} ^.*internal\ dummy\ connection.*$ [NC]
RewriteRule .* — [F,L]

# Rewrite domain.com -> www.domain.com — used with SEO Strict URLs plugin
#RewriteCond %{HTTP_HOST}.
#RewriteCond %{HTTP_HOST} !^example\.com [NC]
#RewriteRule (.*) example.com/$1 [R=301,L]

# Exclude /assets and /manager directories from rewrite rules
RewriteRule ^(manager|assets) — [L]

# For Friendly URLs
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^(.*)$ index.php?q=$1 [L,QSA]

# Reduce server overhead by enabling output compression if supported.
#php_flag zlib.output_compression On
#php_value zlib.output_compression_level 5

php_flag register_globals Off

## EXPIRES CACHING ##
<IfModule mod_expires.c>
ExpiresActive On
ExpiresByType image/jpg «access 1 year»
ExpiresByType image/jpeg «access 1 year»
ExpiresByType image/gif «access 1 year»
ExpiresByType image/png «access 1 year»
ExpiresByType text/css «access 1 month»
ExpiresByType text/html «access 1 month»
ExpiresByType application/pdf «access 1 month»
ExpiresByType text/x-javascript «access 1 month»
ExpiresByType application/x-shockwave-flash «access 1 month»
ExpiresByType image/x-icon «access 1 year»
ExpiresDefault «access 1 month»

## EXPIRES CACHING ##

FileETag MTime Size
<ifmodule mod_expires.c>
<filesmatch "\.(jpg|gif|png|css|js)$">
ExpiresActive on
ExpiresDefault «access plus 1 year»



Как раз с этими папками. Откуда они там не знаю. Похоже сайт взламывали. Они там уже давно, я как-то не обращал на это внимание. Похоже с 2017 года. Помню тогда сайт взламывали, потом чистил и удалял вредоносные ссылки. Но этот файл не правил.
Собственно вопрос. Как правильно их удалить эти ссылки из поиска?
Как сделать так чтобы поисковики выдавали ответ 404 при запросе не существующих страниц?
Просто удалить строки
RewriteCond %{REQUEST_URI} ^\/doverennost\/.* [OR]
RewriteCond %{REQUEST_URI} ^\/uvolnenie\/.* [OR]
RewriteCond %{REQUEST_URI} ^\/harakteristika\/.* [OR]
RewriteCond %{REQUEST_URI} ^\/rezyume\/.* [OR]
RewriteCond %{REQUEST_URI} ^\/raznoe\/.* [OR]
RewriteCond %{REQUEST_URI} ^\/otzyv\/.* [OR]
RewriteCond %{REQUEST_URI} ^\/prikaz\/.* [OR]
RewriteCond %{REQUEST_URI} ^\/akt\/.* [OR]
RewriteCond %{REQUEST_URI} ^\/zayavlenie\/.* [OR]
RewriteCond %{REQUEST_URI} ^\/jaloba\/.* [OR]
RewriteCond %{REQUEST_URI} ^\/polojenie\/.* [OR]
RewriteCond %{REQUEST_URI} ^\/soglashenie\/.* [OR]
RewriteCond %{REQUEST_URI} ^\/isk\/.* [OR]
RewriteCond %{REQUEST_URI} ^\/pretenziya\/.* [OR]
RewriteCond %{REQUEST_URI} ^\/dokument\/.* [OR]
RewriteCond %{REQUEST_URI} ^\/postanovlenie\/.* [OR]
RewriteCond %{REQUEST_URI} ^\/pismo\/.*
или что-то еще удалить и что-то дописать нужно в этот файл.

Сайт на MODx Evolution 1.4.8