Usando la piattaforma “Strumenti per i webmaster” di Google potrebbe sorgere un errore di Sintassi non comprensibile e quindi “non riconoscibile” nell’area relativa all’invio del file robots.txt (usato per abilitare o meno la scansione di pagine da parte del Bot di un motore di ricerca). Solitamente tale errore viene visualizzato indicando un punto interrogativo davanti alla definizione di “User Agent”, in questo modo : ?User-agent: * pur non essendoci il punto interrogativo nel file originale.
Il problema sta nella codifica di tale file che si è usata per salvarlo. Di base Windows salva un file di testo (appunto con estensione .txt) in codifica UTF-8, mentre Google ha bisogno della codifica ANSI. Basta quindi semplicemente riaprire il file che genera l’errore e salvarlo con la codifica corretta (ANSI appunto) scegliendola nell’apposita casella vicino al pulsante di salvataggio del file. Non resta che rieseguire l’upload del file robots.txt, attendere il nuovo scaricamento da parte di Google (ci vorrà qualche ora), ed il gioco è fatto.
