Generator robots.txt

Creează rapid un fișier robots.txt corect pentru site-ul tău.

Utilizări luna aceasta: 0 / 8. Creează un cont gratuit pentru limită mai mare.

robots.txt e un fișier text aflat în rădăcina site-ului, prin care spui roboților de căutare ce au voie să acceseze. E simplu de scris și extrem de ușor de greșit: o singură linie pusă prost poate scoate din Google secțiuni întregi, fără niciun avertisment.

Generatorul de mai sus produce un fișier corect. Mai jos ai ce înseamnă fiecare directivă și capcana care apare cel mai des.

Cum funcționează

Fișierul e format din grupuri de reguli. Fiecare grup începe cu robotul vizat și continuă cu ce îi permiți sau îi interzici:

User-agent: *
Disallow: /admin
Disallow: /cos-cumparaturi
Allow: /admin/public

Sitemap: https://exemplu.ro/sitemap.xml

User-agent — pentru cine sunt regulile. * înseamnă toți roboții; poți avea grupuri separate pentru Googlebot, Bingbot, GPTBot și alții.
Disallow — ce nu se accesează.
Allow — excepție într-o zonă blocată.
Sitemap — adresa completă a sitemap-ului. Se pune o singură dată, la final, și se aplică tuturor.

Fișierul trebuie să fie accesibil la https://domeniul-tau.ro/robots.txt, cu cod 200 și tip text simplu.

Formula de calcul

Regula de potrivire e după prefix. Asta e sursa celei mai frecvente greșeli:

Disallow: /cont

blochează:  /cont
            /contact          ← nedorit
            /contabilitate    ← nedorit
            /continut/...     ← nedorit

Varianta corectă, dacă vrei să blochezi doar zona de cont:

Disallow: /cont$
Disallow: /cont/

$ marchează sfârșitul adresei, iar /cont/ acoperă doar subpaginile reale. Poți folosi și * ca metacaracter:

Disallow: /*?sort=
Disallow: /*.pdf$

Exemple concrete

Site de prezentare sau blog:

User-agent: *
Disallow: /admin
Disallow: /cauta
Allow: /

Sitemap: https://exemplu.ro/sitemap.xml

Magazin online — blochezi zonele tranzacționale și combinațiile de filtre, care altfel consumă bugetul de crawl:

User-agent: *
Disallow: /cos
Disallow: /checkout
Disallow: /cont/
Disallow: /cautare
Disallow: /*?sort=
Disallow: /*?filtru=

Sitemap: https://exemplu.ro/sitemap.xml

Site în dezvoltare — blochezi tot, dar ține minte că nu e o măsură de securitate:

User-agent: *
Disallow: /

Când îl folosești

Lansezi un site și ai nevoie de un robots.txt corect din prima zi.
Un magazin generează mii de URL-uri din filtre și vrei să nu fie accesate la nesfârșit.
Muți site-ul din staging în producție — momentul în care se uită cel mai des un Disallow: / rămas.
Vrei să declari sitemap-ul pentru toate motoarele de căutare, dintr-un singur loc.
Decizi accesul roboților de AI (GPTBot, ClaudeBot, PerplexityBot) la conținutul tău.

Greșeli frecvente

Confuzia dintre Disallow și noindex. Disallow înseamnă „nu accesa", nu „nu indexa". O pagină blocată în robots.txt poate apărea totuși în rezultate, fără descriere, dacă are linkuri către ea. Mai grav: dacă o blochezi, Google nu poate citi eticheta noindex din pagină. Ca să scoți o pagină din index, lasă accesul liber și pune noindex.
Disallow: / rămas de la staging. Scoate tot site-ul din Google. Verifică-l după fiecare lansare.
Blocarea CSS și JavaScript. Google randează paginile; fără aceste fișiere, vede altceva decât utilizatorii.
Folosirea robots.txt ca măsură de securitate. Fișierul e public și poate fi citit de oricine — practic e o hartă a zonelor pe care vrei să le ascunzi.
Adresă relativă la Sitemap. Trebuie să fie URL complet, cu https și domeniu.

Întrebări frecvente

Care e diferența dintre Disallow și noindex?

Disallow împiedică accesarea paginii, noindex împiedică indexarea ei. Dacă blochezi o pagină în robots.txt, Google nu poate citi eticheta noindex din ea, deci pagina poate rămâne în index. Pentru scoaterea din index, lasă accesul și pune noindex.

De ce a dispărut o secțiune întreagă din Google după ce am editat robots.txt?

Cel mai probabil din cauza potrivirii după prefix. O linie precum „Disallow: /cont" blochează și /contact, și /contabilitate. Folosește „Disallow: /cont$" și „Disallow: /cont/".

Unde se pune fișierul?

În rădăcina domeniului, accesibil la https://domeniul-tau.ro/robots.txt. Într-un subdirector nu are efect.

Pot bloca roboții de inteligență artificială?

Da, prin grupuri dedicate pentru user-agenți precum GPTBot, ClaudeBot sau PerplexityBot. Respectarea regulilor ține însă de bunăvoința fiecărui robot.

Robots.txt protejează paginile private?

Nu. Fișierul e public și oricine îl poate citi. Pentru conținut privat folosești autentificare, nu robots.txt.

Conținut actualizat la 24 septembrie 2026.

Distribuie