Ciao Simona, allora andiamo con ordine…
Fare crawling significa fare una scansione del proprio sito web. Fare una scansione significa fondamentalmente “seguire un percorso”.
Nel mondo della SEO il crawling è il processo che seguono i motori di ricerca per raccogliere le informazioni sui siti web.
Google infatti invia costantemente i cosiddetti “spider” o “bots” per scoprire quali siti web contengono le informazioni più rilevanti relative a determinate parole chiave. Monitorano inoltre se ci sono delle pagine nuove o se ci sono degli aggiornamenti alle pagine più vecchie ecc.
La scansione avviene in 3 passaggi:
- In primo luogo, il bot di ricerca arriva su una pagina (una qualsiasi) del tuo sito web. E da lì comincia a scansionare tutte le altre pagine collegate. Questo, come ricordava Ada, è uno dei motivi per cui creiamo le sitemap, in quanto contengono tutti i link del nostro sito e i bot di Google possono utilizzarli per guardare più rapidamente e in profondità il nostro sito web.
- Poi indicizza tutte le parole e tutti contenuti del sito.
- Infine visita i link (indirizzi web o URL) che si trovano nel tuo sito
Quando lo spider non trova una pagina, questa verrà eliminata dall’indice. Tuttavia, alcune pagine verranno nuovamente scansionate dagli spider per verificare che la pagina sia effettivamente offline.
La prima cosa che uno spider dovrebbe fare quando visita il tuo sito web è cercare un file chiamato “robots.txt”. Questo file contiene le istruzioni per lo spider relative a quali parti del sito web indicizzare e quali parti ignorare.
L’unico modo per controllare ciò che lo spider vede sul tuo sito è utilizzando un file robots.txt.
I motori di ricerca hanno due funzioni principali: eseguire la scansione delle pagine (il crawling), creando un indice, e di fornire agli utenti che effettuano delle ricerche una classifica dei siti web che hanno valutato come i più rilevanti in base a quella ricerca.
Il Crawling è quindi un’azione che effettuano i motori, non possiamo farla noi, al massimo possiamo facilitarla.
Il Crawling è il processo attraverso cui gli spider dei motori di ricerca arrivano sul tuo sito web e raccolgono informazioni. I bots di Google prendono le informazioni dal tuo sito web e determinano ciò di cui parla il tuo sito.
Certo che è importante per la SEO, per questo è bene costruire una buona sitemap, per facilitare la raccolta di informazioni da parte dei motori ;).