E' fondamentale sapere come il Robots.txt File Allow Spidering funziona se non vogliamo avere brutte sorprese.
Disallowing l'accesso al sito agli spiders, ossia non permettere l'accesso ai robots che visitano il tuo sito, puo' essere l'autogol piu' grave! Questo si puo' verificare utilizzando un file robots sbagliato o fatto male. Esempio:
User-agent: *
Disallow:
Questo e' il codice corretto se si desidera che gli spiders e bots siano in grado di accedere a tutte le pagine cartelle e file del nostro sito web. Ma se utilizzeremo questo esempio:
User-agent: *
Disallow: /
Staremo negando l'accesso agli spiders, insomma gli daremo ordine di ignorare l'intero sito web. Una volta che daremo quest'ordine, reindicizzarlo sara' un problema non indifferente. Internet cresce rapidamente, ed anche Google (che era il piu' veloce per indicizzare i siti) e' divenuto particolarmente lento e strano da quando c'e' stato l'aggiornamento dell'algoritimo chiamato "Bigdaddy update".
Google e' molto sensibile ai files robots.txt non validi. Se il tuo file robots.txt e' scritto in maniera errata, questo puo' portare alla parziale o completa esclusione dai risultati di ricerca. Ti raccomando di leggere attentamente il "Web Robots FAQ" e validare il tuo file robots.txt se vuoi evitare complicazioni non proprio gradite.
La migliore maniera per fare un valido default robots.txt e' questa:
User-agent: *
Disallow:
Questo file definisce che cosa permettiamo ai bots di indicizzare e che cosa non permettiamo loro di indicizzare, essere a conoscenza di questo aspetto ci fa rendere conto ancora di piu' della necessita' di usare solo URLs statici invece che dinamici.
Quando i tuoi URLs non hanno parametri dinamici nelle query string, sara' molto piu' facile controllarli per mezzo del file robots.txt su una base di pagina per pagina. Se il tuo sito invece usa URLs dinamici, l'alternativa e' quella del "mod_rewrite" per renderli statici.
E' necessario inserire questo file sulla cartella root del tuo server, in poche parole nella stessa cartella dove si trova il tuo file index, questo e' un dettaglio ma senza questo dettaglio sara' veramnente molto difficile che il nostro sito venga indicizzato, allora ricordiamoci che non appena carichiamo il nostro sito sul server di caricare immediatamente il nostro robots.txt file per non avere problemi.
Iscriviti Alla Newsletter Sui Motori Di Ricerca
Presentazione Video:
Come Essere In Testa Sui Motori Di Ricerca -- >>>
Analisi Gratuita Del Tuo Sito, Senza impegno per la tua azienda!
Visita I Seguenti Siti: