L'arxiu robots.txt

És un simple arxiu de text que conté indicacions, no són d'obligat compliment, perquè siguin seguides pels robots, també coneguts com a 'spam' o 'crawlers ", que els cercadors utilitzen per recórrer la WWW i indexar.

Permet:

  • Discriminar a determinats robots: no tots són de cercadors web, i pot interessar bloquejar a algun maliciós.

  • invisibilitzar determinades àrees de la nostra web: podem impedir que els cercadors indexin tot contingut que es trobi localitzat en determinats directoris del servidor (o bé arxius en concret), sense que això suposi haver de esborrar-los.



Es col·loca en el directori arrel de la web

tags: robots

cdnet

faq

  Títol Tema
2440 Entendre els dominis dominis i allotjament
2441 Qui és el propietari d'un domini? dominis i allotjament
2442 Què són els DNS? dominis i allotjament
2443 Què vol dir domini aparcat? dominis i allotjament
2528 Comprar online de forma segura compra online
2728 Seguretat de les contrassenyes correu
2923 Les set regles d'or d'un domini dominis i allotjament
4206 Què són: Pop, Imap i Smtp correu
5236 L'arxiu robots.txt