På vore sider er data fra 540.811 danske domæner gjort tilgængelig for dig, der som dansk webmaster gerne vil have hjælp til din "robots.txt" fil.
Hvis du intet ved om filen, anbefaler vi at du besøger siden "Grundlæggende". Hvis du bare vil i gang, så gå direkte til siden "Eksempler".
Klik her for info om dette site.
Velkommen til Robots.dk
Dette er Robots.dk, Et gratis website der udvikles af Breum Data Aps med tips og tricks samt egne ressourcer om robots.txt filen
Robots.txt eksempler
Vi har samlet information fra lidt over 500.000 domæner for at give dig insigt i hvordan andre webmastere arbejder med deres robots.txt fil. De fleste websites har ikke en robots.txt fil. De hyppigste eksempler finder du på denne side med vores kommentarer.
Slemme robotter
Ikke alle robotter overholder reglerne. Dem der ikke gør kalder vi "ondartede robotter". Det kan f.eks være at de ikke adlyder robots.txt filen, eller endnu værre misbruger den. Nogle robotter udviser endda hackeradfærd. Vi viser nogle af disse, og kommer senere på året med anbefalinger til hvordan man kæmper mod dem, men det er ikke det primære fokus for denne side.
Gode links
Der er andre ressourcer om emnet. Her linker vi til dem vi finder bedst, både på engelsk og dansk.