Hogyan használhatjuk helyesen a robots.txt-t?

2019.07.21. alhconsulting.hu

A robots.txt egy olyan fájl, amit a weboldalad gyökérkönyvtárában lehet fellelni. Arra jó, hogy a keresőmotorok számára világossá tegye az üzenetet: mely fájlokat és aloldalakat keresse fel a honlapon és melyeket ne? (X)

Pontosítsuk kicsit a robots.txt-t

A robots.txt fájl egyfajta kommunikációs eszköz a keresőmotorok és a weboldalakat fejlesztő szakemberek között. Egy honlapnak egyetlen robots.txt fájlja van, ami a weboldal gyökérkönyvtárában érhető el. A weboldalkészítésben jártas szakemberek tudják, hogy az esetek döntő többségében létre kell hozni egy ilyen fájlt, de például a WordPress automatikusan elkészíti nekünk. Ez alapján dől el egy keresés alkalmával, hogy mely oldalakat, fájlokat érdemes átnéznie a keresőmotornak és melyeket nem.

Lényegében azért lesz szükség a robots.txt fájlra, hogy ezzel akadályozzuk meg például a felesleges duplikátumok feltérképezését, indexelését. Emellett a segítségével kiszűrhetjük a felhasználók találati listájából a számukra érdektelen aloldalakat, például a kampány landingeket. Használatával szükség esetén elrejthető akár az egész weboldal a keresőmotorok szeme elől.

Milyen szerep jut a robots.txt-nek a SEO-ban?

A keresőoptimalizálás terén azért van szükség a robots.txt fájlra, mert ez pontosítja a keresőmotoroknak azt, hogy mi található meg az adott honlapon. Van olyan része is egy weboldalnak, amit nem szívesen hoznak nyilvánosságra, mert például értékes üzleti információt rejt.

A Google erősen korlátozza az alacsony értékű URL-ek feltérképezését, így rossz robots.txt fájl esetén elképzelhető, hogy nem is fog rangsorolódni vagy csak nagyon hátul. A webmesterek ilyenkor taktikáznak, például a sávszélességen spórolnak azzal, hogy nem engedik indexelni mondjuk a nagyméretű képeket, amik a weboldalon találhatók.

Milyen hibát lehet elkövetni a robots.txt fájl esetében?

Ahogy növekszik egy weboldal, egyre követhetetlenebb lesz a robots.txt fájl is, megnő a hibázási lehetőség. A konkurencia általában ennél a pontnál okozza a legnagyobb bajt, hiszen elég csak a gyökérfájlt megnézni ahhoz, hogy tudják, hogy hol érdemes kutakodniuk, ha egy adott információt keresnének meg a weboldalunkon.

Ahhoz, hogy helyesen használjuk a robots.txt fájlt, pontosan meg kell értenünk a működését, használatát. Fontos, hogy ne alkalmazzuk egyszerre a noindex-et és a robots.txt disallow-t. Kiemelt figyelmet kell fordítani arra, hogy ne forduljon elő elgépelés, emellett pedig nem szabad a robots.txt-t duplikált tartalmak kezelésére használni, elvégre erre léteznek más, jobb megoldások.

Fontos tudni, hogy bár eddig néhányan - egyébként szabálytalanul - használtak noindex és nofollow parancsot a robots.txt-n belül, ezt a Google szeptembertől egyáltalán nem fogja elfogadni. Így tehát ha szeretnénk, hogy a Google megfelelőnek találja a robots.txt fájlunkat, mindenképp ellenőrizzük, hogy nem alkalmazunk-e hibás elemeket és szükség esetén végezzük el a javítást.

  • kapcsolódó anyagok
PR