ΓΛΩΣΣΑΡΙ
Τι είναι το Robots.txt;
Το robots.txt είναι ένα αρχείο κειμένου στη ρίζα ενός site (π.χ. example.gr/robots.txt) που λέει στα crawlers ποια μέρη του site επιτρέπεται να επισκεφτούν. Χρησιμοποιείται επίσης για να δηλωθεί η θέση του sitemap. Δεν αφαιρεί σελίδες από τη Google, απλώς ελέγχει την ανίχνευση.
Του Ζαννέτου Γεωργίου · Ενημερώθηκε 8 Οκτωβρίου 2026
Γιατί έχει σημασία
Ένα σωστό robots.txt βοηθά τα crawlers να μη σπαταλούν χρόνο σε σελίδες χωρίς αξία, όπως αναζητήσεις, καλάθι ή διαχείριση. Ένα λάθος, αντίθετα, μπορεί να εμποδίσει τη Google ή τα AI crawlers να δουν ολόκληρο το site.
Πώς λειτουργεί
- User-agent: για ποιο crawler ισχύει ο κανόνας, π.χ. Googlebot ή GPTBot.
- Disallow / Allow: ποια μονοπάτια απαγορεύονται ή επιτρέπονται.
- Sitemap: η διεύθυνση του sitemap.
- AI crawlers: μπορείτε να επιτρέψετε ή να αποκλείσετε ξεχωριστά crawlers όπως GPTBot, ClaudeBot ή PerplexityBot.
Παράδειγμα
Ένα e-shop μπλοκάρει στο robots.txt τα μονοπάτια /cart και /checkout, ώστε τα crawlers να επικεντρώνονται στις σελίδες προϊόντων και κατηγοριών.
Συχνά λάθη
- Disallow: / σε όλο το site, συχνά ξεχασμένο από την περίοδο ανάπτυξης.
- Μπλοκάρισμα των αρχείων CSS και JavaScript που χρειάζεται η Google για να δει σωστά τη σελίδα.
- Χρήση του robots.txt για να «κρυφτεί» μια σελίδα, αντί για noindex.
- Αποκλεισμός των AI crawlers χωρίς να έχει αποφασιστεί συνειδητά.
Πώς το ελέγχετε
Ανοίξτε τη διεύθυνση /robots.txt του site σας και ελέγξτε τους κανόνες. Στο Search Console υπάρχει αναφορά για το robots.txt και για σελίδες που έχουν μπλοκαριστεί από αυτό.
Θέλετε βοήθεια στην πράξη;
Ζητήστε δωρεάν αξιολόγηση και θα σας πούμε τι αξίζει να διορθωθεί πρώτο στη δική σας επιχείρηση.
Δωρεάν Αξιολόγηση