Hvad er RobotBot?

RobotBot er www.robots.dk s robot til at hente filen robots.txt fra (overvejende danske) webservere. Vi bruger disse filer til at danne et samlet billede over, hvilke robotter, som danske webmastere opfatter som "ondartede" og blokkerer. Måden man frabeder sig at robotter henter hjemmesider er nemlig ved at blokere dem i robots.txt

Vores idé er at hvis mange webmastere blokerer samme robot, så er det formentlig fordi den er ondartet. Denne information kan vi bruge til at lave en liste over "ondartede" robotter, og den kan vi gøre tilgængelig for alle webmastere, således at det bliver lettere for alle webmastere at blokere de "onde robotter".

Vores tidshorisont er: 1/12-2020 -> 31-12-2020 indsamlede vi data og hentde filer fra 500.000 danske servere.
5/1-2021 De mest basale resultater blev tilgængelige for alle via hjemmesiden www.robots.dk
25/1-2021 - ? Vi arbejder på at lave en generator der bygger på danske erfaringer og eksempler.
Fordelen for dig som webmaster er at du vil kunne få en liste over robotter som du skal overveje at blokere.

I første omgang gennemgår vi en liste på domænenavne vi allerede kender, senere vil det blive muligt at tilføje domæner til listen over hvad der skal gennemgås.
Som udgangspunkt besøger RobotBot ikke hvert domæne mere end én gang om året, dog gælder dette kun, hvis RobotBot finder, hvad den søger, hvis du ikke har en robots.txt, kan RobotBot godt prøve at hente den flere gange. Dog aldrig så hurtigt at det belaster din server.  Generelt bør RobotBot kun downloade én kopi af siden ad gangen.

Bloker RobotBots adgang til indhold på dit websted

Vores robot henter kun robots.txt så egentlig er der ingen grund til at blokkere den, men det er naturligvis muligt. Hvis du i filen robots.txt blokkerer for RobotBot så vil den blive fjernet fra listen over domæner vi besøger i fremtiden. Så vil den kun blive hentet, hvis domænet igen tilføjes. Det er dog generelt en dårlig ide at have hemmeligt indhold i robots.txt idet den kan læses af alle.

Her er et eksempel på en robots.txt der stopper vores robot:

-----------------------------------------------
User-agent: RobotBot
Disallow: /
----------------------------------------------

Her er et eksempel på en robots.txt der stopper alle "artige" robotter (inkl RobotBot):
-----------------------------------------------
User-agent: *
Disallow: /
----------------------------------------------

Når du har oprettet din robots.txt-fil,  opdager RobotBot først dine ændringer, næste gang den henter siden. Hvis du synes det er for sent, vil du her på siden i nær fremtid kunne fjerne dit domæne fra listen over domæner der benyttes.
Hvis RobotBot stadig gennemgår indhold, som du har blokeret i robots.txt, skal du kontrollere, om robots.txt er placeret korrekt. Den skal ligge i øverste mappeniveau på serveren (f.eks., www.mitdomæne.dk/robots.txt). Hvis filen placeres i en undermappe, fungerer den ikke.
Hvis du bare vil forhindre fejlmeddelelsen "filen blev ikke fundet" i din webserverlogfil, kan du oprette en tom fil med navnet robots.txt.

Problemer med spammere og andre brugeragenter
De IP-adresser, som RobotBot bruger er 87.57.241.43 , 90.184.133.190 og 128.0.73.62 (2011- ophørt), adressen ændrer sig fra tid til anden, hvilket vil afspejles på denne side. Den bedste måde at identificere besøg af RobotBot på er ved at bruge ovenstående IP-adresse. Idet brugeragenten (RobotBot) let kan efterlignes af ondartede robotter udgive sig for at være RobotBot. Hvis du ser denne useragent på andre IP-adresser end ovenstående, er det ikke vores robot! Du kan se at en robot, der får adgang til din server, ikke er RobotBot ved at foretage et omvendt DNS-opslag af IP-adressen.

RobotBot og alle andre hæderlige søgemaskinerobotter vil respektere anvisningerne i robots.txt, men nogle uvelkomne gæster og spammere vil ikke respektere filen.

Læs iøvrigt Googles glimrende side om robotter:
Googles robotside

Hvis du vil os noget kan du bruge kontaktformularen.
Vi glæder os til at kunne servicere dig med gode forslag til din robots.txt fil.