Referrer Spam in Google Analytics bekämpfen

Referrer Spam in Google Analytics: Nicht draufklicken!

|

26. March 2015

 | 

Referrer Spam ist ein wachsendes Problem in Google Analytics. Auch bekannt als Referrer Bombing, ist Referrer Spam eine Technik, die die Methode der Datenerhebung von Google Analytics ausnutzt, um falschen Traffic von Spam Webseiten in Ihre Verweiszugriffe (Referrals) Reports einzuschleusen. Dieser Blog Post führt Sie durch die empfohlenen Schritte, um Referrer Spam aus Ihren Google Analytics Reports zu entfernen.

Bevor wir weiterfahren, sollten Sie die erste Regel bezüglich Referrer Spam beachten: Nicht draufklicken! Das Besuchen von diesen Webseiten kann weitere Angriffe auf Ihre Webseite nach sich ziehen oder schadhafte Software (Malware) auf Ihrem Computer installieren. Googeln Sie nach merkwürdigen Domains, die Ihnen in den Verweiszugriffe Reports auffallen, anstatt sie direkt zu besuchen.

1. Erstellen Sie eine gefilterte Datenansicht, die den echten Traffic ausweist.

In einem ersten Schritt erstellen Sie einen Filter, der die meisten sogenannten "Ghost Referrers" eliminieren, welche Spamdaten direkt an Google Analytics senden ohne Ihre Webseite besucht zu haben. Danach erstellen Sie einen zweiten Filter, um Spambots auszuschliessen, die durch den ersten Filter kommen.

  1. Erstellen Sie eine neue Datenansicht (View). Sie sollten stets eine Datenansicht in Ihrem Account vorhalten, die keine Filter enthält. Gefilterte Daten können nicht wiederhergestellt werden: Wenn Sie Filter einmal anwenden, sind die ausgeschlossenen Daten für immer verloren.

Neue View in Google Analytics

  1. Erstellen Sie einen Hostname Filter. Dieser Filter sollte die folgenden Einstellungen aufweisen:
  • Filtertyp: Benutzerdefiniert (Custom)
  • Einschliessen (Include)
  • Filterfeld: Hostname
  • Filtermuster: Nutzen Sie hier einen regulären Ausdruck (regular expression) der alle Domains beschreibt, die Sie tracken. Vergessen Sie dabei keine Drittanbieter für den Zahlungsprozess, Einkaufswarenkorb oder andere Domains, die Sie tracken.

 

Hostname filter in Google Analytics

 

  1. Erstellen Sie einen Filter für die Kampagnenquelle. Dieser Filter sollte die folgenden Einstellungen haben:
  • Filtertyp: Benutzerdefiniert (Custom)
  • Ausschliessen (Exclude)
  • Filterfeld: Kampagnenquelle (Campaign Source)
  • Filtermuster: .*(semalt\.com|darodar\.com|buttons\-for\-website\.com| social\-buttons\.com|7makemoneyonline\.com|blackhatworth\.com|priceg\.com|o\-o\-6\-o\-o\.com|megamozg\.ru)

Create a campaign source filter in Google Analytics Admin

Fügen Sie weitere Spam URLs in das Filtermuster ein, die in Ihren Reports erscheinen (für Hilfe bezüglich regulärer Ausdrücke besuchen die entsprechende Seite des Google support).

Das Filtern der Daten funktioniert erst ab dem Zeitpunkt der Erstellung, alte Daten können also nicht nachträglich gefiltert werden. Wir empfehlen deshalb, auch ein Segment zu erstellen, um alte Trafficdaten bereinigen zu können. Dies wird im nächsten Schritt gezeigt.

2. Segment anlegen, das nur Nicht-Spam Traffic zeigt.

Das Erstellen eines "Nicht-Spam" Segments ermöglicht Ihnen Ihre Google Analytics Reports ohne Verzerrung durch Referrer Spam zu sehen. Um ein neues Segment anzulegen, klicken Sie in irgendeinem Report in Google Analytics auf '+ Segment hinzufügen'(Add Segment), dann '+ Neues Segment' (New Segment). Für das Segment sollten Sie die folgenden Einstellungen vornehmen:

  • Erweitert: Bedingungen (Advanced: Conditions)
  • Filter Sitzungen Einschliessen (Filter Sessions Include): Hostname stimmt mit regulärem Ausdruck überein (Hostname matches regex): Fügen Sie hier denselben Ausdruck ein, den Sie zuvor für den Hostname Filter angewendet haben.
  • Klicken Sie auf '+ Filter hinzufügen' (Add Filter)
  • Filter Sitzungen Ausschliessen (Filter Sessions Exclude): Quelle stimmt mit regulärem Ausdruck überein (Source matches regex): Hier sollten Sie denselben Ausdruck verwenden, wie beim Kampagnenquelle-Filter.

Create an advanced segment in Google Analytics reports

3. Aktualisieren Sie den Kampagnenquelle-Filter und das "Nicht Spam" Segment mit neuen Spam Verweisen, die Sie entdecken.

Obwohl dies manuelles Aktualisieren erfordert, ist es sehr effektiv.

4. Nutzen Sie die "Bots Herausfiltern" Funktion in Google Analytics.

Aktivieren Sie unter Verwalten > Einstellungen der Datenansicht (Admin > View Settings) die Funktion "Alle Treffer von bekannten Bots und Spidern ausschliessen" (Exclude all hits from known bots and spiders). Google Analytics filtert danach Bots heraus, die bereits bekannt sind.

Google Analytics bot filtering option

Dies ist nicht der einzige Weg um mit Spam Verweisen umzugehen. Eine Alternative von Lunametrics ist das Nutzen von Cookies um eine benutzerdefinierte Dimension von Universal Analytics zu bestimmen und dann nur Sitzungen einzuschliessen, die Daten in dieser benutzerdefinierte Dimension aufweisen.  

Der hier beschriebene Weg ist ein erprobter Prozess, der komfortabel über das Interface von Google Analytics implementiert werden kann.

In der folgenden Liste haben wir bekannte Spam URLs zusammengetragen. Waren Sie bereits Opfer von Referrer Spam? Wie sind Sie damit umgegangen? Teilen Sie uns jegliche Spam URLs über die Kommentarfunktion mit, die wir in die Liste aufnehmen sollten!

Bekannte Spam Domains: (Nicht anklicken!)

semalt.com

social-buttons.com

buttons-for-website.com

o-o-6-o-o.com

blackhatworth.com

megamozg.ru

darodar.com

humanorightswatch.org

hulfingtonpost.com

priceg.com

makemoneyonline.com

bestwebsiteawards.com

iloveitaly.com

Kommentare

Ich habe im Internet nach "referrer spam blacklist" gesucht und bin dabei auf github gestoßen. https://github.com/piwik/referrer-spam-blacklist

Anhand der dort vorliegenden spammers.txt habe ich mir ein kleines PHP Script geschrieben, was mir die spammers.txt via cronjob stündlich aktualisiert und wenn die md5 checksummen nicht übereinstimmen, dann bekomme ich eine E-Mail, damit ich meinen Filter aktualisieren kann.

Aktuell resultiert daraus folgender Google Analytics Filter für mich:
.*(0n-line\.tv|100dollars-seo\.com|12masterov\.com|1pamm\.ru|4webmasters\.org|5forex\.ru|7makemoneyonline\.com|acads\.net|adcash\.com|adspart\.com|adventureparkcostarica\.com|adviceforum\.info|affordablewebsitesandmobileapps\.com|afora\.ru|akuhni\.by|allknow\.info|allnews\.md|allwomen\.info|alpharma\.net|altermix\.ua|amt-k\.ru|anal-acrobats\.hol\.es|anapa-inns\.ru|android-style\.com|anticrawler\.org|arendakvartir\.kz|arkkivoltti\.net|artparquet\.ru|aruplighting\.com|autovideobroadcast\.com|aviva-limoux\.com|azartclub\.org|baixar-musicas-gratis\.com|baladur\.ru|balitouroffice\.com|bard-real\.com\.ua|bestmobilityscooterstoday\.com|best-seo-offer\.com|best-seo-solution\.com|bestwebsitesawards\.com|bif-ru\.info|biglistofwebsites\.com|billiard-classic\.com\.ua|bizru\.info|blackhatworth\.com|bluerobot\.info|blue-square\.biz|bmw\.afora\.ru|brakehawk\.com|break-the-chains\.com|brk-rti\.ru|brothers-smaller\.ru|budmavtomatika\.com\.ua|buttons-for-website\.com|buttons-for-your-website\.com|buy-cheap-online\.info|buy-forum\.ru|cardiosport\.com\.ua|cartechnic\.ru|cenokos\.ru|cenoval\.ru|cezartabac\.ro|chinese-amezon\.com|cityadspix\.com|ci\.ua|civilwartheater\.com|coderstate\.com|codysbbq\.com|conciergegroup\.org|connectikastudio\.com|cubook\.supernew\.org|customsua\.com\.ua|dailyrank\.net|darodar\.com|delfin-aqua\.com\.ua|demenageur\.com|descargar-musica-gratis\.net|detskie-konstruktory\.ru|dipstar\.org|djekxa\.ru|dojki-hd\.com|domination\.ml|doska-vsem\.ru|dostavka-v-krym\.com|drupa\.com|dvr\.biz\.ua|e-buyeasy\.com|ecomp3\.ru|econom\.co|edakgfvwql\.ru|egovaleo\.it|ekto\.ee|e-kwiaciarz\.pl|elmifarhangi\.com|erot\.co|escort-russian\.com|este-line\.com\.ua|euromasterclass\.ru|europages\.com\.ru|eurosamodelki\.ru|event-tracking\.com|fbdownloader\.com|floating-share-buttons\.com|forex-procto\.ru|forsex\.info|forum20\.smailik\.org|forum69\.info|free-floating-buttons\.com|free-share-buttons\.com|free-social-buttons\.com|freewhatsappload\.com|fsalas\.com|generalporn\.org|germes-trans\.com|get-free-social-traffic\.com|get-free-traffic-now\.com|ghazel\.ru|girlporn\.ru|gkvector\.ru|glavprofit\.ru|gobongo\.info|goodprotein\.ru|googlsucks\.com|guardlink\.org|handicapvantoday\.com|hongfanji\.com|howopen\.ru|howtostopreferralspam\.eu|hulfingtonpost\.com|humanorightswatch\.org|hundejo\.com|hvd-store\.com|ico\.re|igru-xbox\.net|iloveitaly\.ro|iloveitaly\.ru|ilovevitaly\.co|ilovevitaly\.com|ilovevitaly\.info|ilovevitaly\.org|ilovevitaly\.ru|iminent\.com|imperiafilm\.ru|investpamm\.ru|iskalko\.ru|ispaniya-costa-blanca\.ru|it-max\.com\.ua|jjbabskoe\.ru|kabbalah-red-bracelets\.com|kambasoft\.com|kazrent\.com|kino-fun\.ru|kino-key\.info|kinopolet\.net|knigonosha\.net|konkursov\.net|laxdrills\.com|littleberry\.ru|livefixer\.com|luxup\.ru|makemoneyonline\.com|manualterap\.roleforum\.ru|maridan\.com\.ua|masterseek\.com|mebelcomplekt\.ru|mebeldekor\.com\.ua|med-zdorovie\.com\.ua|minegam\.com|mini\.7zap\.com|mirobuvi\.com\.ua|mirtorrent\.net|mobilemedia\.md|moyakuhnia\.ru|msk\.afora\.ru|muscle-factory\.com\.ua|myftpupload\.com|niki-mlt\.ru|novosti-hi-tech\.ru|online-hit\.info|onlywoman\.org|o-o-6-o-o\.com|o-o-6-o-o\.ru|o-o-8-o-o\.ru|ooo-olni\.ru|ozas\.net|palvira\.com\.ua|petrovka-online\.com|photokitchendesign\.com|pornhub-forum\.ga|pornhub-forum\.uni\.me|pornhub-ru\.com|pornoforadult\.com|portnoff\.od\.ua|pozdravleniya-c\.ru|priceg\.com|pricheski-video\.com|producm\.ru|prodvigator\.ua|prointer\.net\.ua|promoforum\.ru|psa48\.ru|qualitymarketzone\.com|qwesa\.ru|ranksonic\.info|ranksonic\.org|rapidgator-porn\.ga|rcb101\.ru|research\.ifmo\.ru|resellerclub\.com|reversing\.cc|rightenergysolutions\.com\.au|rospromtest\.ru|sady-urala\.ru|sanjosestartups\.com|savetubevideo\.com|screentoolkit\.com|search-error\.com|semalt\.com|semaltmedia\.com|seoanalyses\.com|seoexperimenty\.ru|seopub\.net|seo-smm\.kz|sexyali\.com|sexyteens\.hol\.es|sharebutton\.net|sharebutton\.to|shop\.xz618\.com|sibecoprom\.ru|simple-share-buttons\.com|siteripz\.net|sledstvie-veli\.net|slftsdybbg\.ru|slkrm\.ru|soaksoak\.ru|social-buttons\.com|socialseet\.ru|sohoindia\.net|solnplast\.ru|sosdepotdebilan\.com|spb\.afora\.ru|spravka130\.ru|steame\.ru|success-seo\.com|superiends\.org|taihouse\.ru|tattooha\.com|tedxrj\.com|theguardlan\.com|tomck\.com|toyota\.7zap\.com|traffic2money\.com|trafficmonetize\.org|trafficmonetizer\.org|trion\.od\.ua|uasb\.ru|uzungil\.com|videos-for-your-business\.com|video--production\.com|video-woman\.com|viel\.su|viktoria-center\.ru|vodaodessa\.com|vodkoved\.ru|webmaster-traffic\.com|webmonetizer\.net|websites-reviews\.com|websocial\.me|wmasterlead\.com|ykecwqlixx\.ru|youporn-forum\.ga|youporn-forum\.uni\.me|youporn-ru\.com|zastroyka\.org|грузоподъемные-машины\.рф|наркомания\.лечениенаркомании\.com|непереводимая\.рф|профмонтаж-врн\.рф|снятьдомвсевастополе\.рф|холодныйобзвон\.рф).*

Hallo Sabrina,
Vielen Dank! Aber Ihr Filter hat einen Fehler: Die "\" sollten vor dem "." stehen.  Zum Beispiel:
 
simple-share-buttons\.com|social-buttons\.com...
Hallo Jens,
Ja, die Domains dürfen durch | getrennen werden. Zum Beispiel:
.*(domain1\.com|domain2\.com|domain3\.com).*

Hallo,
wie genau gebe ich mehrere domains beim ersten Filter für den Traffic ein. Durch eine | getrennt?

Hallo,
Wir schließen aktuell die folgenden Kampagnenquellen aus:
simple-share-buttons.\com|social-buttons.\com|buttons-for-website.\com|hulfingtonpost.\com|www.Get-Free-Traffic-Now.\com|best-seo-solution.\com|site3.free-share-buttons.\com|best-seo-offer.\com|buttons-for-your-website.\com|buy-cheap-online.\info|googlsucks.\com|anal-acrobats.hol.\es|www.event-tracking.\com|free-share-buttons.\com|site4.free-share-buttons.\com|buy-cheap-online.\info|site2.free-share-buttons.\com|domination.\ml|guardlink.\org|site6.free-share-buttons.\com|site5.free-share-buttons.\com|gestor.clickon.\com.\br|buttons-for-your-website.\com|clickon.\com.\br|websites-reviews.\com|guardlink.\org|sanjosestartups.\com|ilovevitaly.\com|darodar.\com
Vielleicht kann jemand damit seine Filter verbessern bzw. würde ich mich natürlich freuen, noch weitere Hinweise zu erhalten!
Liebe Grüße aus Wien

Hallo Erik,

die eigene Domain sollte im Hostname Filter enthalten sein, um einige der "Ghost Referrers" zu eliminieren, die die Seite gar nicht erst besuchen. Diese “Geister-Besucher” machen sich oft nicht die Mühe, den Hostnamen auf deine Domain zu ändern, um falsche Daten an Google Analytics senden. Dies sagt dir, dass dieser Traffic nicht von deiner Webseite stammt. Ausführliche Informationen zu dem Thema findest du hier: http://viget.com/advance/removing-referral-spam-from-google-analytics Diese Methode eliminiert jedoch nicht die raffinierteren Spambots - darum stellt Referrer Spam so ein schwieriges Problem dar, für welches wir den Einsatz mehrerer Filter empfehlen.

Warum genau muss beim Filter immer zuerst die eigene Domain (Hostname) eingeschlossen werden? Was genau wird damit bewirkt?

Kommentar hinzufügen