Velkommen til Robots.dk

Dette er Robots.dk, Et gratis website der udvikles af Breum Data Aps med tips og tricks samt egne ressourcer om robots.txt filen

Robots.txt eksempler

Vi har samlet information fra over 100.000 domæner for at give dig insigt i hvordan andre webmastere arbejder med deres robots.txt fil. De hyppigste eksempler finder du på denne side med vores kommentarer.

Slemme robotter

Ikke alle robotter overholder reglerne. Dem der ikke gør kalder vi "ondartede robotter". Det kan f.eks være at de ikke adlyder robots.txt filen, eller endnu værre misbruger den. Nogle robotter udviser endda hackeradfærd. Vi viser nogle ef disse, og kommer med anbefalinger til hvordan man kæmper mod dem.

Gode links

Der er andre ressourcer om emnet. Her linker vi til dem vi finder bedst, både på engelsk og dansk.