User-agent: *
Disallow: /cgi-bin # блокирует доступ к страницам начинающимся с '/cgi-bin'
Disallow: /tmp # блокирует доступ к страницам начинающимся с '/tmp'
Disallow: /logs # блокирует доступ к страницам начинающимся с '/logs'
Disallow: /htdocs/admin # блокирует доступ к страницам начинающимся с '/'