Come indicizzare un sito su Google

Scopri come indicizzare un sito tenendo presente che l’indicizzazione è un processo spontaneo dei motori di ricerca ed è forse più difficile non farsi indicizzare che essere indicizzati. Comprendi il ruolo di controllo che il consulente SEO svolge nel processo di indicizzazione e la differenza tra indicizzazione e posizionamento.

Prima di continuare la lettura, per una migliore comprensione, è consigliabile leggere gli articoli “Come funziona un motore di ricerca?” e “Come funziona Google: Scansione, Indicizzazione e Posizionamento” proprio per avere una visione più ampia sull’argomento.

Cos’è l’indicizzazione SEO?

Ritengo che sia corretto parlare di indicizzazione SEO quando si ha consapevolezza che:

1. Indicizzazione: è un processo effettuato dai motori di ricerca in cui una risorsa viene associata a determinate parole chiave e inserita in un indice.
2. SEO: è il consulente che deve fare in modo che l’indicizzazione delle risorse avvenga correttamente. Una corretta indicizzazione pone le basi e favorisce il posizionamento su Google di un sito web per parole chiave strategiche.

Parlare di indicizzazione SEO su Google come sinonimo di posizionamento non è corretto, poiché l’indicizzazione di una risorsa mette quest’ultima nella condizione di essere posizionata.

Il posizionamento riguarda invece la fase di ranking dei motori di ricerca, dove gli algoritmi stabiliscono l’ordine in cui presentare le risorse indicizzate per una determinata parola o frase.

Perché è più difficile non essere indicizzati su Google

Lo scopo di Google come di ogni altro motore di ricerca è quello di scansionare quante più risorse possibile ed inserire le informazioni contenute nelle risorse nel proprio archivio.

Quindi Google attraverso i suoi spider chiamati con una semplificazione GoogleBot, tenderanno ad indicizzare qualsiasi risorsa trovino sul web durante le proprie perlustrazioni.

Se vuoi conoscere quante pagine del tuo sito sono indicizzate su Google bisogna utilizzare l’operatore:

site:https://www.valentinomea.it

Questo operatore elenca tutte le pagine di un dominio che Google ha nel proprio indice, in questo esempio del mio dominio.

Come indicizzare un sito sui Motori di Ricerca

L’indicizzazione di un sito sui motori di ricerca può essere guidata mediante una serie di direttive tra cui:

• Index: comunica allo spider di inserire la risorsa nel proprio indice;
• Noindex: comunica allo spider di non inserire la risorsa nel proprio indice;
• Follow: comunica allo spider di scansionare i link presenti nella risorsa analizzato;
• Nofollow: comunica allo spider di non scansionare i link presenti nella risorsa analizzato.

Queste direttive possono essere fornite dal webmaster o dal consulente SEO, tramite:

1. Meta Name Robots
2. Intestazione X-Robots-Tag
3. Unavailable_after
4. File Robots.txt

Nota bene: Ci sono ulteriori direttive che possono essere inserite nel meta robots o come intestazione X-Robots-Tag, a tale scopo vi rimando alla guida ufficiale dove potrete approfondire l’argomento.

Il Meta Name Robots

E’ un meta tag che fornisce indicazioni agli spider sulla risorsa analizzata. Al suo interno è possibile indicare principalmente le seguenti direttive: index, noindex, follow, nofollow.

La sua sintassi è la seguente:

< meta name="nome robot" content="direttive" />

Intestazione http X-Robots-Tag

Come detto per il meta robots, anche l’intestazione X-Robots-Tag può contenere le direttive: index, noindex, follow, nofollow.

Questa intestazione http viene percepita prima dagli spider rispetto al meta robots, poiché viene verificata in fase di crawling.

Per maggiori informazioni vi rimando alla documentazione ufficiale.

Unavailable_after

Unavailable_after è un meta tag che permette di assegnare una scadenza alla risorsa, la quale viene applicata a partire dalla data indicata.

< meta name="googlebot" content="unavailable_after: 01-Sep-2015 12:00:00 EST" >

oppure all’interno dell’intestazione HTTP:

X-Robots-Tag: unavailable_after: 1 Sep 2015 12:00:00 GMT

In questo esempio, in entrambi i casi indico al motore di ricerca che dal 01 Settembre 2015 la risorsa non deve essere più indicizzata.

File Robots.txt

Nonostante il file robots.txt abbia il compito di regolare il crawling delle risorse di un sito (indicando agli spider quali sezioni devono scansionare o meno) e non la loro indicizzazione, è possibile inserire al suo interno la direttiva noindex che, sebbene non ufficiale, comporta comunque la mancata indicizzazione delle risorse.

La sintassi da inserire nel file robots.txt è la seguente:

User-Agent: *
Noindex: /

Tecniche di indicizzazione SEO

Vi sono numerose tecniche per velocizzare il processo di indicizzazione che utilizzano i SEO Specialist. Le principali tecniche di indicizzazione SEO sono:

1. Sitemap.xml
2. Visualizza come Google, Add URL di Google e Submit URLs di Bing
3. Link ipertestuali

Indicizzazione tramite Sitemap.xml

Inviare la sitemap in formato xml ai motori di ricerca significa riversare le URL da indicizzare direttamente nel loro database, agevolando così il lavoro di discovery.

E’ possibile somministrare la propria sitemap a Google registrando il proprio sito in Google Search Console oppure a Bing registrando il proprio sito in Bing Webmaster Tool.

Un best practice per favorire la corretta indicizzazione del sito è inserire un riferimento alla sitemap.xml nel file robots.txt.

Sintassi della sitemap.xml:

< ?xml version="1.0" encoding="UTF-8"? >
< urlsetxmlns="http://www.sitemaps.org/schemas/sitemap/0.9" >
< url >
< loc >https://www.valentinomea.it/come-indicizzare-un-sito/< / loc >
< lastmod >2015-09-01< / lastmod >
< changefreq >monthly< / changefreq >
< priority >0.8< / priority >
< / url >
< / urlset >

Per maggiori informazioni vi rimando all’articolo Come Creare una Sitemap xml per Google.

Visualizza come Google, Add URL di Google e Submit URLs di Bing

Queste 3 funzioni permettono di suggerire velocemente a Google e Bing l’indicizzazione delle URL, forzando i tempi della scansione e accelerando il processo di indicizzazione.

Visualizza come Google: raggiungibile da Google Search Console nel menu Scansione, è possibile tramite questa interfaccia visualizzare il contenuto di un URL del nostro sito così come la vede Google (cliccando sul pulsante “Recupera” o “Recupera e Visualizza”) e suggerire l’aggiunta della medesima URL all’indice.

Add URL di Google: anche con questa funzione disponibile all’indirizzo https://www.google.com/webmasters/tools/submit-url è possibile aggiungere la URL desiderata al database di Google ed invogliarne la scansione e l’indicizzazione.

Submit URLs di Bing: strumento disponibile previa registrazione a Bing Webmaster Tools, permette di aggiungere al database di Bing le URL del proprio sito web con un limite di 10 per giorno con un massimo di 50 URL per mese.

Indicizzazione tramite link ipertestuali

I link ipertestuali sono la tecnica di indicizzazione più veloce. GoogleBot e gli altri spider durante le perlustrazioni del web quando trovano link a nuovi URL abitualmente tendono a scansionarli col fine di indicizzarli.

Per tale ragione questa risulta essere la tecnica più naturale per far indicizzare una nuova risorsa ai motori di ricerca.

Come indicizzare un sito con tecniche Black Hat SEO

Mentre le tecniche di indicizzazione SEO elencate precedentemente sono tecniche lecite per favorire l’indicizzazione di un sito internet, vi sono ulteriori tecniche poco ortodosse che utilizzano i SEO Black Hat al fine di velocizzare l’indicizzazione di una nuova risorsa.

Queste tecniche che rientrano nell’ambito Black Hat SEO, riguardano l’utilizzo di software che inviano automaticamente la URL da indicizzare a migliaia di siti di whois, siti di statistiche ed agli stessi motori di ricerca, generando link in entrata che accelerano il processo di scansione e la conseguente indicizzazione.

Alcuni software utilizzati per velocizzare l’indicizzazione sono:

• Instant Link Indexer
• Indexification
• Linklicious
• Express Indexer
• Nuclear Link Indexer

Consiglio questi software solo a chi è consapevole del loro utilizzo e sicuramente ne sconsiglio l’utilizzo a neofiti e ad aspiranti SEO. Questi software sono dannosi per i siti web e li espongono a penalizzazioni algoritimiche e manuali.

Conclusioni

Ora che hai molte informazioni su come indicizzare un sito su Google e sugli altri motori di ricerca, potrai essere più consapevole su cosa far indicizzare e cosa non far indicizzare del tuo sito web.

Se il tuo sito non è correttamente indicizzato è consigliabile prendere in considerazione i servizi SEO professionali per evitare di perdere traffico potenziale e vendite.

Se hai dubbi, domande, suggerimenti e perplessità sull’indicizzazione SEO non esitare ad utilizzare i commenti.