Eksempel 1:
"Kun vennerne"
Denne robots.txt fil er meget almindeligt brugt, Den tillader alt trafik fra nogle navngivne af Googles robotter, og nogle andre robotter som opfattes som positive, men ingen trafik fra andre robotter.
Filen tillader de navngivne robotter at hente hvad de vil fra websitet. Hvis man ønsker denne adfærd ved robotterne, så anbefaler vi at man tilføjer et sitemap, hvis man har et. Vi anbefaler også det anvendte crawl-delay. Yahoo!, Bing og Yandex kan nogle gange hente så mange af dine sider, at serverhastigheden lider under det. Heldigvis adlyder de alle "crawl-delay", som ikke er en officiel standard, og derfor ikke virker på alle robotter. Du kan let lave disse rettelser ved at benytte sig af en "robots.txt generator".
Eksempel 5:
"Wordpress"
Denne robots.txt fil er meget almindeligt brugt af wordpress websites ,faktisk er 10% af de robots.txt filer vi har hentet wordpress med præcis denne fil.. Allow direktivet er ikke officiel standard, og nogle sites understøtter det.
Eksempel 6:
"Joomla"
Denne robots.txt fil er meget almindeligt brugt af Joomla websites. Allow direktivet er ikke officiel standard, og nogle sites understøtter det.
Eksempler på robots.txt filer
Se hvad danske webmastere bruger
Vi anbefaler faktisk IKKE at man bruger eksemplerne på denne side, selvom en meget stor del af danske websites bruger præcis disse filer, hvis de overhovedet har en robots.txt fil.
Vi anbefaler at man bruger lidt tid til at sætte sig ind i hvad filen robots.txt kan, at man derefter beslutter hvad man vil, og at man så bruger en "robots.txt generator" til at lave filen. Generatoren stiller dig nogle simple spørgsmål, og der udfra lave en robots.txt fil selv. I august forventer vi at have en "robots.txt generator" her på sitet, Den generer en robots.txt der lever op til dine ønsker og behov. udfra simple spørgsmål, og tips om hvad andre danskere gør. Det kan næsten ikke være nemmere. Indtil vores er klar, kan du finde links til nogle udenlandske på linkssiden.
For det første bør du tage stilling til om alle robotter skal behandles ens? Google står for hovedparten af den trfik danske webmastere får via klik, så den bør man efter vores opfattelse ikke blokere. Omvendt kan man sige at den kinisiske søgemaskine Baidu næppe leverer relevandt trafik til de fleste danske websites. Så den kan man overveje at blokkere. I en "robots.txt generator" Får du vejledning i hvilke robotter du mest skal overveje at lade ind, og hvilke du skal overveje at blokke. (vi har sat krydserne for dig - så det er kun, hvis du er uenig at du skal flytte krydserne.
Herefter skal du overveje om du vil have et "Crawl-delay". Dette er ikke en officiel standard, men hvis ens server ikke er den allerhurtigste, kan den nogen gange blive ekstremt alngsom eller i værste fald gå ned. Yahoo!, Bing og Yandex kan nogle gange hente så mange af dine sider så hurtigt, at serverhastigheden lider under det. Heldigvis adlyder de alle "crawl-delay" Da crawl-delay ikke er en officiel standard, virker det ikke på alle robotter.
Det er også en god ide at lægge et link til sit sitemap i robots.txt. Dette er ikke en officiel standard, men google bruger det f.eks. Så det er en god måde at sikre at de vigtigste sider bliverindexeret. Det kan være lidt langhåret at lave et sitemap, da formatet skal være xml heldigvis vindes der websites, der kan lave dem for dig. F.eks xml-sitemaps.com som gratis laver et sitemap på op til 500 sider, uden du skal gøre andet end at fortælle domænenavnet.
Slutteligt skal du tage stilling til om der er mapper eller filer, du gerne vil have robotterne springer over. Bemærk at ondsindede robotter (f.eks hacker-bots kan bruge informationen modsat. Hvorfor det er smartere at beskytte filerne på andre måder.
Efter du har gjort dig lidt overvejelser om ovenstående, så kan du benytte vores "Robots.txt" generator (indtil den er færdiglavet linker siden til denne Udenlandske robots.txt generator - der er rimelig god, men som ikke tager højde for danske forhold, og ikke kommer med tips.
Robots.txt filen du downloader eller laver selv, skal være i almindeligt txt format, den skal ligge helt ude i roden på serveren (der hvor man typisk har filen index.htm index.html index.shtml eller lignende.
Eksempel 8:
"Fjendelisten"
Denne robots.txt fil er forholdsvis almindeligt brugt.
Filen beder alle robotter på listen om at holde sig væk fra hele websitet.
Eksempel 2:
"Hold dig væk"
Denne robots.txt fil er meget almindeligt brugt, og den mest restriktive man kan lave. Ca 2% af de robots.txt filer vi har hentet var denne. Hvilket overrasker os.
Filen beder alle robotter om at holde sig væk fra hele websitet. Dette er kun relevandt, hvis man ikke ønsker sin side indekseret i f. eks Google. Hvis du rent faktisk ønsker at blokkere alle robotter, bør du være opmærksom på at kun "artige robotter" adlyder filen, så du bør overveje at blokkere på anden vis. Det er ikke inden for rammerne af dette website at beskrive, men du kan læse om en enkelt type ondsindede robotter på Ondsindede robotter
Eksempel 3:
"Kom bare"
Denne robots.txt fil er meget almindeligt brugt, 1% af alle de robots.txt filer vi hentede med succes var præcis denne. Det er den mindst restriktive man kan lave.
Filen tillader alle robotter at hente hvad de vil fra websitet. Faktisk har denne præcis samme effekt på robotterne, som hvis man ikke har en robots.txt fil. Hvorfor så have denne fil? Jo ganske simpelt får man en masse fejllinier i sine logfiler, hvis man ikke hr den. Denne fil for at man slipper for disse fejllinier. Hvis man ønsker denne adfærd ved robotterne, så anbefaler vi at man tilføjer crawl delay og hvis man har et, da også sitemap. Du kan let lave disse rettelser ved at benytte dig af en "robots.txt generator".
Eksempel 4:
"Kun Google"
Denne robots.txt fil er meget almindeligt brugt, Den tillader alt trafik fra nogle navngivne af Googles robotter, men ingen trafik fra andre robotter.
Filen tillader de navngivne robotter at hente hvad de vil fra websitet. Hvis man ønsker denne adfærd ved robotterne, så anbefaler vi at man tilføjer et sitemap, hvis man har et. Det er ikke vores oplevelse at crawl delay er nødvendigt, hvis man kun lukker google ind. Du kan let lave disse rettelser ved at benytte sig af vores robots.txt generator.