Sitemap XML și robots.txt: ce fac și cum le verifici

Sitemap XML și robots.txt sunt două fișiere mici, aflate la rădăcina site-ului, care ghidează roboții motoarelor de căutare: primul le arată ce pagini merită citite, al doilea le spune ce zone nu trebuie parcurse. Multe site-uri mici le au generate automat de platformă, dar prea puțini proprietari se uită vreodată la ce conțin.

Merită să le verifici o dată, pentru că o linie greșită într-unul dintre ele poate face ca pagini importante să nu apară în rezultate săptămâni la rând. Dacă abia pornești cu optimizarea, ghidul de SEO pentru începători explică unde se încadrează aceste fișiere în ansamblu.

Ce este un sitemap XML?

Sitemap-ul XML este un fișier care enumeră adresele paginilor pe care vrei să le descopere și să le indexeze motoarele de căutare, uneori împreună cu data ultimei modificări. Nu garantează că paginile vor apărea în rezultate, dar ajută roboții să le găsească, mai ales dacă sunt puțin legate din restul site-ului.

Pe un site mic, bine legat intern, sitemap-ul contează mai puțin decât pe unul cu mii de pagini. Rămâne totuși util pentru paginile noi sau pentru cele ascunse în spatele mai multor clickuri. De obicei îl găsești la adrese ca domeniultau.ro/sitemap.xml sau domeniultau.ro/sitemap_index.xml.

Ce ar trebui să conțină

În sitemap intră doar paginile pe care ți-ai dori să le vezi în rezultate: pagina principală, serviciile, categoriile, articolele. Lasă afară paginile de mulțumire, rezultatele căutării interne, paginile de coș și orice adresă cu parametri care duce la același conținut.

Fiecare adresă din fișier ar trebui să se deschidă normal, fără redirecționare și fără eroare. Un sitemap plin de adrese care redirecționează sau dau 404 transmite semnale proaste despre grija cu care e întreținut site-ul.

Ce face fișierul robots.txt?

Fișierul robots.txt este un document text care spune roboților ce secțiuni ale site-ului au voie să le parcurgă și care nu. Se află mereu la domeniultau.ro/robots.txt și respectă o sintaxă foarte simplă.

Un exemplu tipic are patru linii:

• User-agent: * (regulile se aplică tuturor roboților)
• Disallow: /cos/ și Disallow: /cont/ (folderele care nu se parcurg)
• Sitemap: adresa-completa-a-fisierului-sitemap.xml (cu adresa întreagă a site-ului) (locul unde se află lista paginilor)

Prima spune cui se adresează regulile (asteriscul înseamnă „toți roboții”), următoarele două interzic anumite foldere, iar ultima indică locul sitemap-ului. Faptul că poți trece adresa sitemap-ului în robots.txt este una dintre legăturile practice dintre cele două fișiere.

Atenție: robots.txt nu este un instrument de securitate. Orice om poate citi fișierul, iar o pagină blocată acolo poate totuși apărea în rezultate dacă alte site-uri trimit linkuri spre ea. Pentru conținut privat folosești autentificare, nu robots.txt.

Care este diferența dintre cele două?

Sitemap-ul invită, robots.txt oprește; unul sugerează ce să citească roboții, celălalt le limitează accesul. Tabelul de mai jos le compară pe criteriile care contează.

Diferența din ultima linie a tabelului este cea care face necesară verificarea. O adresă listată în sitemap și blocată simultan în robots.txt creează o contradicție: roboții primesc invitația și interdicția în același timp.

Cum verifici că funcționează corect?

Verificarea se face în trei pași și durează sub un sfert de oră.

1. Deschide în browser domeniultau.ro/robots.txt și citește regulile. Dacă vezi o linie Disallow: / pe una singură, sub User-agent: *, tot site-ul este blocat.
2. Deschide sitemap-ul și parcurge câteva adrese la întâmplare. Fiecare ar trebui să încarce o pagină reală, fără eroare.
3. Trimite sitemap-ul în Google Search Console, la secțiunea de sitemap-uri, și urmărește starea: „Reușit” și numărul de pagini descoperite.

Dacă Search Console arată adrese „descoperite, dar neindexate”, nu înseamnă automat o eroare tehnică. Poate fi vorba de pagini cu conținut subțire sau foarte asemănătoare între ele, caz în care ajută ordinea pe care o pui în conținut mai mult decât orice setare de fișier.

Greșelile care apar cel mai des

Cele mai multe probleme vin din setări lăsate din faza de construire a site-ului. Iată cele pe care le întâlnești des:

• opțiunea „descurajează motoarele de căutare să indexeze acest site” rămâne bifată în WordPress după lansare;
• robots.txt blochează folderele cu imagini sau cu fișiere de stil, iar roboții nu mai pot randa corect paginile;
• sitemap-ul listează versiuni vechi ale adreselor, cu http în loc de https sau cu și fără www;
• fișierul include pagini cu eticheta noindex, ceea ce trimite semnale contradictorii;
• după un redesign, sitemap-ul vechi rămâne pe server și conține adrese care nu mai există.

Dacă îți muți site-ul sau schimbi structura de adrese, actualizează sitemap-ul în aceeași zi și verifică redirecționările pentru adresele vechi.

Cât de des revezi aceste fișiere?

Pe un site care se schimbă rar, o verificare la câteva luni este suficientă. Dacă folosești un plugin sau un sistem care generează sitemap-ul automat, el se actualizează singur la fiecare pagină nouă, iar tu verifici doar dacă lista rămâne curată.

Reia verificarea după orice schimbare mare: mutare pe alt domeniu, schimbarea platformei, adăugarea unui magazin online, ștergerea unei secțiuni. Un magazin are nevoie de reguli speciale pentru filtre și pagini de coș, iar SEO pentru magazinul online dă detalii despre ce se indexează și ce nu. Paginile de destinație făcute doar pentru reclame, despre care vezi mai multe în articolul despre paginile de destinație, de obicei nu intră în sitemap și se pot exclude și prin robots.txt sau noindex.

Pe aceeași temă, citește și Conținut duplicat și pagina canonică: ce faci cu copiile.