Независимый специалист Тиболт Векстин (Thiebauld Weksteen) обнаружил, что файл robots.txt может использоваться злоумышленниками для получения доступа к конфиденциальной информации.
Файл robots.txt содержит инструкции, которые определяют, к каким директориям web-сервера способна получать доступ поисковая система. Векстин считает, что, использовав robots.txt, злоумышленники могут узнать, в каких папках системный администратор хранит важную информацию.
По мнению специалиста, robot.txt имеет два существенных недостатка. Первый заключается в том, что robot.txt является инструментом контроля доступа к содержанию сервера, а второй - что к этому содержимому может обращаться только поисковая система, но не пользователь.
Администрация некоторых ресурсов использует robot.txt с целью сокрытия не предназначенной для публичного доступа информации. «Во время тестирования web-приложения на наличие уязвимостей исследователь обычно использует список отображаемых подкаталогов для того, чтобы взломать защиту сервера и найти скрытые каталоги. Таким образом, robot.txt дает злоумышленнику сведения о том, на что стоит обратить внимание в первую очередь», - сообщил Векстин в своем блоге.
