A obots.txt fájl fontos szerepet játszik abban, hogy a keresőrobotok mely URL-eket térképezhetik fel egy webhelyen. Egy hibásan megadott tiltás miatt akár értékes oldalak is kimaradhatnak a feltérképezésből. A SEO4YOU ingyenes robots.txt ellenőrzőjével gyorsan megvizsgálhatod, elérhető-e a fájl, milyen HTTP-választ ad, és milyen alapvető szabályokat tartalmaz.
Az eszköz használatához nincs szükség regisztrációra: add meg a vizsgált weboldal címét, és nézd át a kapott eredményeket. Az automatikus ellenőrzés tájékoztató jellegű; a konkrét URL-ekre vonatkozó szabályok értelmezése további vizsgálatot igényelhet.
Mi az a robots.txt fájl?
A robots.txt egy egyszerű szöveges fájl, amely rendszerint a webhely gyökérkönyvtárában, a https://pelda.hu/robots.txt címen érhető el. A fájlban a webhely tulajdonosa útmutatást adhat a szabályokat tiszteletben tartó keresőrobotok számára arról, hogy mely URL-útvonalakat látogathatják meg.
Fontos különbség, hogy a robots.txt a feltérképezést szabályozza, nem az indexelést. Egy letiltott URL bizonyos esetekben úgy is megjelenhet a keresési találatok között, hogy a Google nem tölthette le annak tartalmát. Ha egy oldal keresőből való kizárása a cél, a megfelelően alkalmazott noindex utasítás vagy a hozzáférés korlátozása lehet célravezető.
Hogyan működik a robots.txt ellenőrző?
Írd be a weboldal teljes címét, például https://pelda.hu, majd kattints a Robots.txt ellenőrzése gombra. Az eszköz lekéri a megadott domain gyökerében lévő robots.txt fájlt, és megjeleníti a HTTP-státuszkódot, a dokumentum méretét, valamint a fontosabb utasítások előfordulását.
A találati felületen láthatod a User-agent, az Allow, a Disallow és a Sitemap sorok számát. A rendszer egyszerű figyelmeztetéseket is adhat, például ha teljes tiltásra utaló szabályt talál. A fájl szövege külön is megnyitható, így manuálisan ellenőrizheted a részleteket.
Az ellenőrzés a robots.txt fájlra összpontosít: nem szimulálja minden keresőrobot teljes szabályértelmezését, és nem állapítja meg automatikusan minden aloldal feltérképezhetőségét.
A robots.txt legfontosabb utasításai
User-agent – melyik robotra vonatkoznak a szabályok?
A User-agent megadja, mely keresőrobotnak szól az adott szabálycsoport. A User-agent: * általános csoportot jelöl, míg például a User-agent: Googlebot kifejezetten a Google webes keresőrobotjára utal. Az egyes robotok szabálykezelése eltérhet, ezért az utasításokat mindig a megfelelő keresőmotor dokumentációjával együtt érdemes vizsgálni.
Disallow – a feltérképezés korlátozása
A Disallow segítségével adott útvonalak feltérképezése tiltható. Például a Disallow: /privat/ szabály az érintett robot számára a /privat/ útvonal alatti címekre vonatkozhat. A Disallow: / különösen érzékeny beállítás, mert a vonatkozó robotcsoport számára az egész webhely feltérképezését kizárhatja.
Allow – kivételek megadása
Az Allow bizonyos útvonalak engedélyezésére használható. Segítségével egy általános tiltás mellett is kijelölhetők olyan címek, amelyeket a megfelelő robot feltérképezhet. A Google szabályértelmezésében a pontosabban illeszkedő szabály elsőbbséget élvez, ezért a sorok puszta száma nem elegendő a tényleges hozzáférés megállapításához.
Sitemap – az XML-oldaltérkép helye
A Sitemap sor egy XML-oldaltérkép címére mutathat. Ez segíthet a keresőknek fontos URL-ek felfedezésében. A robots.txt fájl azonban Sitemap sor nélkül is lehet teljesen megfelelő, mert az oldaltérképet például a Google Search Console-ban is megadhatod.
Milyen robots.txt hibákra érdemes figyelni?
Az egyik leggyakoribb probléma, amikor egy fejlesztői környezethez készült tiltás véletlenül az éles weboldalon marad. Ilyenkor a Disallow: / szabály olyan robotcsoportban szerepelhet, amelynek valójában hozzáférést kellene biztosítani.
Szintén figyelmet érdemel a hibás elérhetőség. A 404-es válasz önmagában nem feltétlenül probléma: a Google ilyen esetben jellemzően úgy kezeli a helyzetet, mintha nem lenne érvényes robots.txt korlátozás. Az 5xx szerverhibák viszont átmenetileg akadályozhatják a feltérképezést.
Érdemes ellenőrizni az elgépeléseket, a rosszul csoportosított User-agent utasításokat, valamint azt is, hogy egy fontos CSS-, JavaScript- vagy tartalmi útvonal nem lett-e indokolatlanul kizárva. A robots.txt nem alkalmas bizalmas fájlok védelmére: az ilyen tartalmakat jogosultságkezeléssel kell védeni.
Robots.txt ellenőrzés WordPress-weboldalaknál
WordPress esetén a robots.txt tartalma származhat tényleges, szerveren lévő fájlból vagy a WordPress által dinamikusan előállított válaszból. SEO-bővítmények és tárhelyszintű szabályok is hatással lehetnek arra, mi jelenik meg a nyilvános címen.
Ha módosítást végzel, mindig a látogatók és robotok számára ténylegesen elérhető /robots.txt címet ellenőrizd, ne csak egy adminfelületen megjelenő szerkesztőmezőt. Fontos továbbá, hogy a WordPress olvasási beállításaiban szereplő keresőmotor-elrettentési lehetőség más indexelési jelekkel is járhat; ezeket ne keverd össze a robots.txt szabályaival.
Gyakori kérdések a robots.txt fájlról
Kötelező minden weboldalon robots.txt fájlt használni?
Nem. Sok webhely robots.txt fájl nélkül is feltérképezhető. A fájl akkor hasznos, ha bizonyos URL-útvonalak lekérését tudatosan szeretnéd szabályozni, vagy oldaltérképet szeretnél jelezni.
A Disallow utasítás eltávolítja az oldalt a Google-ből?
Nem feltétlenül. A Disallow a feltérképezést korlátozza; az URL hivatkozások alapján a találatok között továbbra is megjelenhet. Indexelés kizárásához más megoldás szükséges.
Miért nem találja az ellenőrző a robots.txt fájlt?
Lehet, hogy a fájl nem létezik, a szerver hibát ad, vagy a webhely biztonsági rendszere korlátozza az automatikus lekéréseket. Vizsgáld meg közvetlenül a /robots.txt címet a böngésződben is.
Ha az eszköz nem jelez hibát, minden URL-em feltérképezhető?
Nem. Az alapellenőrzés nem helyettesíti a konkrét URL és keresőrobot szerinti szabályvizsgálatot, illetve a HTTP-hozzáférés, a canonical és indexelési beállítások elemzését.
Milyen gyakran érdemes ellenőrizni a fájlt?
Weboldalindítás, költözés, SEO-bővítmény csere, jelentős szerkezeti módosítás és váratlan keresőforgalom-csökkenés után mindenképpen ajánlott. Egyébként a rendszeres technikai felülvizsgálat részeként érdemes ránézni.
Ellenőrizd a weboldaladat, és előzd meg a feltérképezési hibákat
A robots.txt egyetlen apró beállítása is lényeges különbséget jelenthet a keresőrobotok számára. Használd a SEO4YOU ingyenes robots.txt ellenőrzőjét az első áttekintéshez. Ha összetettebb hibákat tapasztalsz, vagy biztosra szeretnél menni egy költözés vagy weboldalmegújítás során, kérj technikai SEO-elemzést a SEO4YOU csapatától.
