L'arxiu robots.txt
És un simple arxiu de text que conté indicacions, no són d'obligat compliment, perquè siguin seguides pels robots, també coneguts com a 'spam' o 'crawlers ", que els cercadors utilitzen per recórrer la WWW i indexar.Permet:
- Discriminar a determinats robots: no tots són de cercadors web, i pot interessar bloquejar a algun maliciós.
- invisibilitzar determinades àrees de la nostra web: podem impedir que els cercadors indexin tot contingut que es trobi localitzat en determinats directoris del servidor (o bé arxius en concret), sense que això suposi haver de esborrar-los.
Es col·loca en el directori arrel de la web
tags: robots
Ho vols compartir?

Títol | Tema | |
---|---|---|
7862 | Tipus de certificats SSL | |
5236 | L'arxiu robots.txt | |
4206 | Què són: Pop, Imap i Smtp | correu |
2923 | Les set regles d'or d'un domini | dominis i allotjament |
2728 | Seguretat de les contrassenyes | correu |
2528 | Comprar online de forma segura | compra online |
2444 | Com canviar l'allotjament d'una web? | dominis i allotjament |
2443 | Què vol dir domini aparcat? | dominis i allotjament |
2442 | Què són els DNS? | dominis i allotjament |
2441 | Qui és el propietari d'un domini? | dominis i allotjament |
2440 | Entendre els dominis | dominis i allotjament |