A Google nem tudja beolvasni a webhelytérképet

A robots.txt letiltotta az indexelést

Google search console webhelytérkép letiltás
A webhelytérkép beolvasását letiltja a robots.txt

Nem lennék meglepve, ha a közeljövőben sokan találkoznának ezzel a problémával, hogy a robots.txt letiltotta az oldal feltérképezését vagy a webhelytérkép nem tartalmaz URL-t. A keresőből való eltűnés egyértelmű jelei mellett az alábbiakat tapasztalhatjuk a Google SearchConsolban:

  • Megszaporodnak az érvényes figyelmeztetések
  • A beküldött URL jelölése „noindex” hiba trendje megemelkedik
  • A webhelytérkép beolvasása sikertelen
  • A webhelytérkép nem olvasható
  • A mobilos használhatóság menüpontban az érvényes oldalak száma meredeken esik.

Krekkel, hackelt oldal

A weboldal indexből való kipottyanása rendkívül komoly probléma, a SEO-s vagy a webmester elsősorban valamilyen büntetésre gondol, különösen akkor, ha egy optimalizált oldalról van szó. Van azonban egy speciális eset mely (mint utóbb kiderült) a hackelés, krekkelés elleni védelemmel van kapcsolatban.

Az én esetemben a kliens weboldalát, az elavult PHP, WordPress és pluginek miatt megtámadta egy féreg. Ezt első ránézésre hackertámadásnak gondolják a webmesterek, de lényegében egy kártékony vírusról van szó, mely teleszórta linkekkel az oldalt és létrehozott egy rakás fals aloldalt, melyet hihetetlen gyorsasággal indexelt a Google.

Weboldal védelem, de okosan

A feltört / megtámadott oldalt a készítők meglepően szakszerűtlen módon próbálták megvédeni. Az alapvetőnek tűnő WordFence helyett egy rakás egyéb plugint telepítettek:

  • All in One WP Security
  • Hide My WP
  • IP Geo Block
  • Login Wall
  • User Activity Log.

Mivel az egyedi sablon miatt a WP frissítését a készítő nem vállalta, emellett a Wisual Bakery egy régebbi verziója van az oldalon, nem vettem a bátorságot ezen alkalmazások törlésére, kikapcsolására.

First mobile index

Az indexelési hiba okának kiderítésében az okozta a nehézséget, hogy jelentkezése előtt semmilyen változtatás nem történt az oldalon, mégis egyik napról a másikra azt az üzenetet kezdte küldeni a Google, hogy a robots.txt kitiltotta a feltérképezést. Az oldal indexelt, de a webhelytérkép olvashatatlan.
A szakemberek nagy része azt tanácsolta, hogy alkalmazzak jobb sitemap.xml készítőt, és javítsam a robots.txt-t.

Mondanom sem kell, hogy én is ezzel kezdtem a megoldást.

(Közben sikerült elérhetetlenné tennem a weboldalt, a telepítő könyvtár címének átírásával.)

A hiba okára a http request teszt elemzésekor derült fény.

A hiba jelentkezésének időpontja pedig összefügg azzal, hogy a Google szeptembertől a mobil indexálást helyezte előtérbe. Az oldal az asztali indexelést engedélyezte, csak az okostelefonos indexet tiltotta le, ezért jelent meg a probléma az adott időpontban.

A reqbin.com oldalon elemezve az oldalt egy „X-Frame-Options” sort találtam a Header-ben. Miután kikapcsoltam a All in One WP Security és IP Geo Block plugineket – utóbbi egyébként is marhaság – ez a sor eltűnt és a Googgle már dalolva indexálta az oldalt.

Összefoglalva

Ha a weboldal azért esik ki az indexből, mert a Google SearcConsole-ban a beküldött webhelytérkép (sitemap.xml) olvshatatlan és/vagy a robots.txt letiltja, akkor az említett fájlok ellenőrzése után érdemes az összes plugint kikapcsolni és így ellenőrizni a webhelytérkép feldolgozhatóságát, ezután a plugineket egyenként visszakapcsolva kiszűrni a hibás alkalmazást.

blog, WordPress, , , , ,

Vélemény, hozzászólás?

Az email címet nem tesszük közzé. A kötelező mezőket * karakterrel jelöltük