A obots.txt fájl fontos szerepet játszik abban, hogy a keresőrobotok mely URL-eket térképezhetik fel egy webhelyen. Egy hibásan megadott tiltás miatt akár értékes oldalak is kimaradhatnak a feltérképezésből. A SEO4YOU ingyenes robots.txt ellenőrzőjével gyorsan megvizsgálhatod, elérhető-e a fájl, milyen HTTP-választ ad, és milyen alapvető szabályokat tartalmaz.

Az eszköz használatához nincs szükség regisztrációra: add meg a vizsgált weboldal címét, és nézd át a kapott eredményeket. Az automatikus ellenőrzés tájékoztató jellegű; a konkrét URL-ekre vonatkozó szabályok értelmezése további vizsgálatot igényelhet.

Add meg a webhely címét. A vizsgálat a domain gyökerében található /robots.txt fájlt kéri le.

Mi az a robots.txt fájl?

A robots.txt egy egyszerű szöveges fájl, amely rendszerint a webhely gyökérkönyvtárában, a https://pelda.hu/robots.txt címen érhető el. A fájlban a webhely tulajdonosa útmutatást adhat a szabályokat tiszteletben tartó keresőrobotok számára arról, hogy mely URL-útvonalakat látogathatják meg.

Robots.txt ellenőrző – Ingyenes SEO eszköz

Fontos különbség, hogy a robots.txt a feltérképezést szabályozza, nem az indexelést. Egy letiltott URL bizonyos esetekben úgy is megjelenhet a keresési találatok között, hogy a Google nem tölthette le annak tartalmát. Ha egy oldal keresőből való kizárása a cél, a megfelelően alkalmazott noindex utasítás vagy a hozzáférés korlátozása lehet célravezető.

Hogyan működik a robots.txt ellenőrző?

Írd be a weboldal teljes címét, például https://pelda.hu, majd kattints a Robots.txt ellenőrzése gombra. Az eszköz lekéri a megadott domain gyökerében lévő robots.txt fájlt, és megjeleníti a HTTP-státuszkódot, a dokumentum méretét, valamint a fontosabb utasítások előfordulását.

A találati felületen láthatod a User-agent, az Allow, a Disallow és a Sitemap sorok számát. A rendszer egyszerű figyelmeztetéseket is adhat, például ha teljes tiltásra utaló szabályt talál. A fájl szövege külön is megnyitható, így manuálisan ellenőrizheted a részleteket.

Az ellenőrzés a robots.txt fájlra összpontosít: nem szimulálja minden keresőrobot teljes szabályértelmezését, és nem állapítja meg automatikusan minden aloldal feltérképezhetőségét.

A robots.txt legfontosabb utasításai

User-agent – melyik robotra vonatkoznak a szabályok?

A User-agent megadja, mely keresőrobotnak szól az adott szabálycsoport. A User-agent: * általános csoportot jelöl, míg például a User-agent: Googlebot kifejezetten a Google webes keresőrobotjára utal. Az egyes robotok szabálykezelése eltérhet, ezért az utasításokat mindig a megfelelő keresőmotor dokumentációjával együtt érdemes vizsgálni.

Disallow – a feltérképezés korlátozása

A Disallow segítségével adott útvonalak feltérképezése tiltható. Például a Disallow: /privat/ szabály az érintett robot számára a /privat/ útvonal alatti címekre vonatkozhat. A Disallow: / különösen érzékeny beállítás, mert a vonatkozó robotcsoport számára az egész webhely feltérképezését kizárhatja.

Allow – kivételek megadása

Az Allow bizonyos útvonalak engedélyezésére használható. Segítségével egy általános tiltás mellett is kijelölhetők olyan címek, amelyeket a megfelelő robot feltérképezhet. A Google szabályértelmezésében a pontosabban illeszkedő szabály elsőbbséget élvez, ezért a sorok puszta száma nem elegendő a tényleges hozzáférés megállapításához.

Sitemap – az XML-oldaltérkép helye

A Sitemap sor egy XML-oldaltérkép címére mutathat. Ez segíthet a keresőknek fontos URL-ek felfedezésében. A robots.txt fájl azonban Sitemap sor nélkül is lehet teljesen megfelelő, mert az oldaltérképet például a Google Search Console-ban is megadhatod.

Milyen robots.txt hibákra érdemes figyelni?

Az egyik leggyakoribb probléma, amikor egy fejlesztői környezethez készült tiltás véletlenül az éles weboldalon marad. Ilyenkor a Disallow: / szabály olyan robotcsoportban szerepelhet, amelynek valójában hozzáférést kellene biztosítani.

Szintén figyelmet érdemel a hibás elérhetőség. A 404-es válasz önmagában nem feltétlenül probléma: a Google ilyen esetben jellemzően úgy kezeli a helyzetet, mintha nem lenne érvényes robots.txt korlátozás. Az 5xx szerverhibák viszont átmenetileg akadályozhatják a feltérképezést.

Érdemes ellenőrizni az elgépeléseket, a rosszul csoportosított User-agent utasításokat, valamint azt is, hogy egy fontos CSS-, JavaScript- vagy tartalmi útvonal nem lett-e indokolatlanul kizárva. A robots.txt nem alkalmas bizalmas fájlok védelmére: az ilyen tartalmakat jogosultságkezeléssel kell védeni.

Robots.txt ellenőrzés WordPress-weboldalaknál

WordPress esetén a robots.txt tartalma származhat tényleges, szerveren lévő fájlból vagy a WordPress által dinamikusan előállított válaszból. SEO-bővítmények és tárhelyszintű szabályok is hatással lehetnek arra, mi jelenik meg a nyilvános címen.

Ha módosítást végzel, mindig a látogatók és robotok számára ténylegesen elérhető /robots.txt címet ellenőrizd, ne csak egy adminfelületen megjelenő szerkesztőmezőt. Fontos továbbá, hogy a WordPress olvasási beállításaiban szereplő keresőmotor-elrettentési lehetőség más indexelési jelekkel is járhat; ezeket ne keverd össze a robots.txt szabályaival.

Gyakori kérdések a robots.txt fájlról

Kötelező minden weboldalon robots.txt fájlt használni?

Nem. Sok webhely robots.txt fájl nélkül is feltérképezhető. A fájl akkor hasznos, ha bizonyos URL-útvonalak lekérését tudatosan szeretnéd szabályozni, vagy oldaltérképet szeretnél jelezni.

A Disallow utasítás eltávolítja az oldalt a Google-ből?

Nem feltétlenül. A Disallow a feltérképezést korlátozza; az URL hivatkozások alapján a találatok között továbbra is megjelenhet. Indexelés kizárásához más megoldás szükséges.

Miért nem találja az ellenőrző a robots.txt fájlt?

Lehet, hogy a fájl nem létezik, a szerver hibát ad, vagy a webhely biztonsági rendszere korlátozza az automatikus lekéréseket. Vizsgáld meg közvetlenül a /robots.txt címet a böngésződben is.

Ha az eszköz nem jelez hibát, minden URL-em feltérképezhető?

Nem. Az alapellenőrzés nem helyettesíti a konkrét URL és keresőrobot szerinti szabályvizsgálatot, illetve a HTTP-hozzáférés, a canonical és indexelési beállítások elemzését.

Milyen gyakran érdemes ellenőrizni a fájlt?

Weboldalindítás, költözés, SEO-bővítmény csere, jelentős szerkezeti módosítás és váratlan keresőforgalom-csökkenés után mindenképpen ajánlott. Egyébként a rendszeres technikai felülvizsgálat részeként érdemes ránézni.

Ellenőrizd a weboldaladat, és előzd meg a feltérképezési hibákat

A robots.txt egyetlen apró beállítása is lényeges különbséget jelenthet a keresőrobotok számára. Használd a SEO4YOU ingyenes robots.txt ellenőrzőjét az első áttekintéshez. Ha összetettebb hibákat tapasztalsz, vagy biztosra szeretnél menni egy költözés vagy weboldalmegújítás során, kérj technikai SEO-elemzést a SEO4YOU csapatától.