########## Tous ceux qu'on veut interdire... ##########
# Service payant, windows & IE seulement, affiliés à MSN. Buark.
# Attention, contrairement à ce qu'on pourrait croire en regardant la chaîne
# d'identification du robot, son nom est girafa tout court et pas girafabot.
# En fait ils ne respectent pas la syntaxe du robots.txt!
#
User-agent: girafa
User-agent: girafabot
# Beurk, sales types. Respectent pas le robots.txt en plus.
#
User-agent: NPBot
# Affiliés à AOL. Yeck. En plus leur site ne marche pas sans javascript, et
# ils n'ont même pas de doc sur leur robot.
#
User-agent: NG
User-agent: Exalead
# Mouais bof, un truc pour rendre les entreprises plus efficaces. Ceci dit
# ils ne viennent pas souvent.
# Par contre, contrairement à ce qu'ils indiquent, ils ne respectent pas
# cette ligne!
#
User-agent: http://www.almaden.ibm.com/cs/crawler
# Seules release depuis décembre 2002 pour Windows, pas moyen d'activer
# l'indexation locale sous Linux, d'autres continuent à venir malgré ma
# demande d'indexation locale? Faut pas me prendre pour une imbécile.
#
# User-agent: grub-client
# Respectent pas le robots.txt, mais on les met quand même au cas où ils se
# décideraient à corriger ça.
# Leur robot aspire toutes les pages! En plus ils sont puants et ne se gênent
# pas pour le "faites ce que je dis, pas ce que je fais".
#
User-agent: Art-Online
# Ce site n'appartient pas au merveilleux monde sous contrôle de MSN...
# Voir aussi .
#
User-agent: MSNBOT
User-agent: msnbot
# Ils sont pas clairs, tant pis pour eux.
#
User-agent: Intelliseek
# Une boite qui fait payer pour empêcher le plagiat par les et des étudiants.
#
User-agent: turnitinbot
# http://www.relevare.com/ est une page vide (javascript, flash), leur
# robot ne s'identifie qu'avec cette adresse mail sans URL => dégage.
User-agent: Bumblebee@relevare.com
# C'est mal documenté et ça ressemble à des spammeurs => poubelle.
# Ils lisent bien le robots.txt mais ne respectent pas l'interdiction!
#
User-agent: QuepasaCreep
User-agent: quepasa
# Pourquoi je les laisserais prendre mes ressources si eux font payer pour
# en obtenir le résultat?
#
User-agent: Moreoverbot
# Pourri, marche pas sans javascript, a l'air payant, la page d'explication
# sur le robot indiquée dans le User-Agent n'existe pas...
#
User-agent: Krugle
# Règle d'interdiction générale.
Disallow: /
########## Règles générales ##########
# A la fin parce qu'on s'arrête au premier qui matche.
# Protège du piège les robots qui se comportent bien.
User-agent: *
Disallow: /informatique/trousansfond/glue/