Файл robots.txt в зависимости от домена или адреса сайта

В .htaccess необходимо указать, что для https-версии или www версии сайта robots.txt будет называться по другому. Это регулируется  невидимым для посетителей файлом .htaccess!!!

Инструкция:
Для первого сайта сделаем обычный robots.txt и положим его в корневую папку как положено, для второго адреса сайта сделаем фалик с названием robots-https.txt В нем записываются нужные инструкции.

В .htaccess прописывается правило

RewriteEngine on
RewriteCond %{HTTPS} on
RewriteRule ^robots.txt$ robots-https.txt

Данный способ пригодится в случае сайта с поддоменами, или отдельными сайтами на базе одного движка.