Представьте себе, что на ваших плечах лежит инфраструктура около дюжины проектов, которые написаны на разных языках программирования и имеют свой стек технологий. Некоторые из них совсем свежие и используют самые современные веяния веб-индустрии, а другие – кладезь легаси и устаревшего кода.
У каждого из этих проектов, помимо продового, есть еще 1-3 окружения для тестирования. И вот вам, как DevOps инженеру прилетает следующая задача: нужно для каждого тестового окружения добавить robots.txt файл, который будет запрещать поисковикам индексацию.
Есть несколько способов, как это сделать, но я нашел самый простой и оптимальный.