Come impostare il file robots.txt su wordpress
Anni fa ho rimosso un bel pò di link interni da questo blog ho dovuto dare un occhiata al mio robots.txt che consentiva l’accesso totale a tutto il sito ai crawler di google. Controllando con google webmaster tool avevo una marea di 404 impedendo ai crawler di raggiungere i link rimossi si risistema tutto. Non è un metodo molto bello perchè google si ricorda comunque di quei links bisognerebbe rimuoverli manualmente sempre da google web master tool. Qua di seguito vi riporto alcuni esempi su come impostare il file robots.txt su wordpress, ovviamente il file robots esiste per tutti i siti web.