Доброго времени суток всем, такой вопрос. Яндекс и гугл индексируют ссылки такого плана https://сайт.ком/tubes/embed/91343fd7356gl2ef0685c22a72f67026/ При переходе по ссылке открывается страница с плеером и с верху написано файл не найден Нужно ли в в robots.txt закрывать директорию /tubes/embed/ ? И подскажите пожалуйста, может есть еще какие может директории в TubesClipOne, которые нужно запретить для индексации?
Закрывайте конечно, смысла нет в эти страницах в индексе. Вобще можно сразу закрыть всю папку с парсером.
