L'arxiu robots.txt
És un simple arxiu de text que conté indicacions, no són d'obligat compliment, perquè siguin seguides pels robots, també coneguts com a 'spam' o 'crawlers ", que els cercadors utilitzen per recórrer la WWW i indexar.Permet:
- Discriminar a determinats robots: no tots són de cercadors web, i pot interessar bloquejar a algun maliciós.
- invisibilitzar determinades àrees de la nostra web: podem impedir que els cercadors indexin tot contingut que es trobi localitzat en determinats directoris del servidor (o bé arxius en concret), sense que això suposi haver de esborrar-los.
Es col·loca en el directori arrel de la web
tags: robots
Ho vols compartir?
| Títol | Tema | |
|---|---|---|
| 7862 | Tipus de certificats SSL | |
| 5236 | L'arxiu robots.txt | |
| 4206 | Què són: Pop, Imap i Smtp | correu |
| 2923 | Les set regles d'or d'un domini | dominis i allotjament |
| 2728 | Seguretat de les contrassenyes | correu |
| 2528 | Comprar online de forma segura | compra online |
| 2444 | Com canviar l'allotjament d'una web? | dominis i allotjament |
| 2443 | Què vol dir domini aparcat? | dominis i allotjament |
| 2442 | Què són els DNS? | dominis i allotjament |
| 2441 | Qui és el propietari d'un domini? | dominis i allotjament |
| 2440 | Entendre els dominis | dominis i allotjament |