Il file robots.txt

A cosa serve

Il file robots.txt non è altro che un semplice file di testo che, caricato nella root di un sito internet, impedisce agli spider dei vari motori di ricerca di indicizzarne determinate cartelle o file.

Questo file di testo, che possiamo creare con qualsiasi editor di testi, deve seguire alcune specifiche ("Robots Exclusion Standard") per funzionare correttamente.
Purtroppo non tutti gli spider seguono le direttive del "Robots Exclusion Standard" e quindi alcuni di loro andranno comunque ad indicizzare tutti i file presenti nel nostro sito.

Ma vediamo come creare un file robots.txt.

Il contenuto del file robots.txt dove avere la seguente sintassi:

Andiamo ad analizzarlo nello specifico:

• User-agent: NOME_SPIDER - Va sostituito NOME_SPIDER con il nome dello spider del motore di ricerca che intendiamo limitare (* se vogliamo indicare tutti gli spider).
  All'interno del file robots.txt possono essere specificati più motori di ricerca ai quali applicare delle limitazioni.
  Ecco la lista completa degli spider usati dai motori di ricerca per indicizzare il Web.
• Disallow: FILE_CARTELLA - Va sostituito FILE_CARTELLA con il percorso del file o della cartella che non intendiamo far leggere dallo spider indicato in "User-agent:".
  

Una volta creato, il file robots.txt va posizionarto nella root del sito in modo che sia raggiungibile con il seguente indirizzo: http://www.miosito.it/robots.txt

Di seguito ecco 2 esempi di file robots.txt.

In questo esempio lo spider "googlebot" non potrà indicizzare il contenuto delle cartelle /tmp/ e /document/private/ e del file /debug.php

In questo esempio tutti gli spider non potranno indicizzare nessuna cartella del sito perchè è stata bloccata la root del sito (/).