Neulich habe ich durch Zufall entdeckt, dass ich eine Menge Verweise von einer Seite namens Semalt erhalte.  Massenhaft Zugriffe von diesem Crawler verfälschen natürlich jede Statistik und nerven einfach. Aber den Semalt Crawler kann man stoppen.

Crawler von Semalt

Was ist der Semalt-Crawler und was will er erreichen

Der Absender des Semalt Crawlers, semalt.com, ist ein Unternehmen mit Sitz in der Ukraine. Geschäftsfeld dieses Unternehmens ist angeblich ein Tool, mit dem man SEO-Analyse von Webseiten betreiben und Website gegeneinander messen kann. Hört sich recht friedlich an, aber man kann davon ausgehen, dass hier auch durchaus andere Interessen im Vordergrund stehen.

Anzeige:
Unzählige Websiten sind aktuell von Semalt betroffen. Oft werden diese Seiten sogar täglich heimgesucht. Das hat zur Folge, dass die Crawler somit in den Statistiken der Seiten (Referrers / Verweise) sichtbar sind und so die Besucher dieser Statistiken auf ihr Produkt aufmerksam machen. Leider verfälschen sie wie bereits erwähnt die Seitenstatistiken teilweise massiv.

Diese Vorgehensweise von semalt.com kann euphemistisch betrachtet auch als Guerilla-Marketing angesehen werden. Im Endeffekt sind Semalt Crawler nichts anderes als nervige Spam.

Wie dem auch sei, scheint die Marketing-Strategie zu funktionieren, da mehr und mehr User tatsächlich an den Dienstleistungen interessiert zu sein scheinen. Zumindest wenn man den Twitter-Meldungen Glauben schenken darf.

Dies geschieht natürlich gegen Entgelt. Semalt.com scheint seit Dezember 2013 aktiv zu sein und nimmt auch seit April bei vielen meiner Kunden immer mehr Einfluss auf deren Webseiten.

Ähnliche Muster sind auch bei kambasoft.com zu finden. Sucht man nach Kambasoft.com kommt man auf eine leere Seite. Sehr suspekt.

Problematik der Besuche von semalt.com

Durch das Auftreten des Semalt-Crawlers wird die Webseiten-Statistik manipuliert. Das allerdings ist nicht gefährlich, sondern nur ärgerlich. Der durch den Crawler aufkommende Traffic, der nur ab und an mal vorkommt, stellt für den Server kein Problem dar.

Gerade in den letzten Wochen häufen sich die Meldungen über die ärgerlichen Verfälschungen durch semalt.com.

Semalt Ärger bei Twitter

Was kann man tun?

Option 1

Man kann mit .htaccess Dateien die Besuche von ungeliebten Domains sperren, wenn die Datei dann auf einem Apache-Server hinterlegt wird.

Ein aktuelles .htaccess Skript stammt von einem britischen SEO-Spezialisten. Dieses Skript gewährleistet, dass der Semalt-Crawler von semalt.com  keine Chance hat, die Webseite zu besuchen. Allerdings ist es ratsam, dieses Skript regelmäßig zu aktualisieren, da davon ausgegangen werden muss, dass Semalt immer mehr Domains betreiben wird und somit durch die Hintertür wieder Zugriff bekommt.

Bildschirmfoto 2014-08-26 um 13.09.54

Statt der Installation des .htaccess Skripts kann man alternativ auch den von semalt.com stammenden Traffic einfach wieder zurückschicken.

Option 2

Nabble, eine niederländische Webagentur, hat über GitHub ein PHP-Skript zur Verfügung gestellt, dass ebenfalls in der Lage ist, einen Besuch der semalt Crawler und anderer unliebsamer Besucher zu unterbinden.

Option 3

Auch Google hat mittlerweile herausgefunden, dass sogenannte Bots im Internet Manipulationen an Webseiten vornehmen. Aus diesem Grund hat Google via Google Analytics die Möglichkeit geschaffen, diese Crawler herauszufiltern.

Option 4

Wenn man weder das PHP-Skript noch die .htaccess Datei nutzen kann, so hat man die Möglichkeit, Google Analytics mit JavaScript zu kombinieren und diesen Code anzupassen. Dieses neue Skript lässt sich unter http://skysteve.com/dev/2014/05/10/ignoring_semalt.html generieren.

Absolutes No-Go

Semalt.com behauptet zwar, dass eine URL von einem Semalt-Crawler entfernen kann, allerdings sollte man dieses Angebot bzw. diese Behauptung mit Vorsicht genießen. Denn selbst wenn diese Aussage zutreffend ist, kann nicht eindeutig geklärt werden, ob man dieser Firma auch trauen kann, oder?

Bildquelle: © igor – Fotolia.com

Bei der Auswahl eines SEO & Web Dienstleisters oder einer Online-Marketing Agentur oder Online-PR-Services, achten Sie zumindest auf diese Auszeichnungen:

PartnerBadge-Horizontal
SEO 2015

Mehr aus dem Blog

  • Linkbuilding bei GigantenLinkbuilding bei Giganten und worauf Sie achten müssen! Diese Frage beschäftigt Webmaster, Hobby-Homepagebetreiber und Blogbetreiber gleichermaßen. Die Krux besteht darin, dass es für kleinere Websites keine allgemeingültige Antwort gibt und, […]
  • guter ContentGoogle hat keine Ahnung was guter Content ist Das Märchen vom guten Content Hinweis: Der Artikel erschien in der Form bereits am 6. Juli 2014 erstmals. Hat sich viel geändert? Updates sind markiert! Seit Mitte 2011 verbreitet u.a. […]
  • Wie wird das SEO Jahr 2014?SEO 2014 User Experience und Trends für Websites und Shops 2014 Neigt sich das Jahr dem Ende entgegen, heißt es für die einen zurückzublicken. Für die anderen gilt jedoch, nach vorne zu blicken, […]
Hol dir jetzt den Oplayo Newsletter

Hol dir jetzt den Oplayo Newsletter

Als Dankeschön erhälst du unser SEO E-Book gratis als Einstieg für dein erfolgreiches Online-Marketing!

Ihre Anmeldung war erfolgreich - viel Spass mit unserem Newsletter!

Pin It on Pinterest