google+ Profile und Accounts liegen offen

Wir haben schon vor einigen Wochen mal die sitemaps von google unter die Lupe genommen und dabei einige äusserst interessante Dinge “gefunden”. Wir haben lange überlegt das überhaupt öffentlich zu machen, bzw. darüber nachgedacht, was man mit den Daten tun könnte. INFOGRAFIKEN war natürlich die erste Idee. Wir haben darüber auf der Campixx mit einigen Leuten gesprochen (Heiner Du erinnerst Dich sicher!). Deshalb nachfolgend einige Zahlen, die unsere Crawler zusammengetragen haben. Zur Info am Rande: wir haben nichts gehackt, oder sind sonstwie in Systeme eingedrungen! Die Daten liegen nach wie vor offen rum. In google´s eigener Sitemap, ALLE!

Wie wir drauf gekommen sind? OK, here we go: es macht ja durchaus Sinn ab und an mal über den Tellerrand zu schauen, um zu analysieren was andere vll. anders und vor allem besser machen. Im Zuge dessen haben wir uns die robots.txt von google angeschaut und dort das hier gefunden: Sitemap: http://www.gstatic.com/s2/sitemaps/profiles-sitemap.xml . Wenn man sich diese .xml mal näher anschaut findet man dort Verweise auf viele .txt-Dateien, in denen dann die exakten URLs der Profile und Accounts liegen.

Na wenn da das SEO- und Programmiererherz nicht höher schlägt? Also fix nen Crawler gebaut und alle Daten abgegrast. Am Ende des Tages waren dann sage und schreibe knapp über 106 Millionen Datensätze in der DB. Und da google netterweise auch noch das Datum über die sitemaps mitliefert, haben wir unser Krabbeltierchen natürlich darauf getrimmt, nach Updates Ausschau zu halten. Zeitliche Verläufe in Infografiken machen sich einfach immer gut! und siehe da, mehr oder weniger regelmäßig updated google den Datenbestand auch. Wir haben die ersten Daten am 13.12.2011 analysiert und 4 Wochen später am 13.01. war wieder ein Update der sitemaps. und etwa 8 Wochen später am 16.03. das letzte Mal.

hier könnt Ihr die Daten einsehen: google plus Auswertung Tool (sorry für die Ladezeit, konnten wir auf die Schnelle nicht optimieren, aber ich denke 5 Sekunden ist noch im Rahmen)

Wir haben lange hin und her überlegt, ob wir unsere Auswertung öffnen sollen! Aber damit klar wird, was google da offen legt hat das Team sich dafür eingesetzt: bittesehr, unsere google+ Profilsuchmaschine auf Basis frei zugänglicher Daten, google erlaubt es einem robot bzw Crawler wie unserem mit einem deutlichen ALLOW: http://www.gstatic.com/robots.txt ;-)

Danke an Amit Agarwal, der gestern Abend einen Artikel genau dazu geschrieben hat und seo-united.de, die heute morgen auch schon darüber gebloggt haben! Daraufhin haben wir beschlossen das auch öffentlich zu machen! Er spekuliert und rechnet grob durch, was da an Daten “rumliegt”, wir haben das Tool dazu gebaut! Man kann jetzt natürlich noch weiter gehen und genaue Daten ziehen, über öffentliche Profile und nicht öffentliche. Und die öffentlichen kann man problemlos crawlen und scrapen. Selbst wenn nur 10% aller User ein offenes Profil haben sollten, ist die Datenmenge schon sehr nah an “repräsentativ”. Man könnte also einfach mal analysieren, wie die grundsätzliche Genderverteilung ist, oder wo die Ballungsräume der Plus-Nutzer liegen, oder wie viele Plusser in NYC weiblich sind, oder oder oder…..

Alles in allem eine hochinteressante Sache, mit der man tolle Analysen fahren kann, aber auch viele böse Dinge anstellen könnte. Deshalb bin ich mir nicht so sicher, ob sich google mit der kompletten Offenlegung einen Gefallen tut und als google+-Nutzer wirft das sicher Fragen auf. Andererseits werden die google+-Profil-URLs ja aber auch indixiert und sind auch so einsehbar! Mit der Abfrage: site:plus.google.com inurl:about sieht man aber deutlich, dass die Seiten nicht alle indexiert sind. Was meint Ihr dazu? Wie findet Ihr das Tool?