Da habe ich ja nochmal Glück gehabt, dass ich keinen Führerschein habe, nicht mehr alleine lebe und im Moment kein Fleisch essen darf, sonst bräuchten wir noch mehr als 1.2 Planeten.

Die New York Times hat den ersten AOL-User aus den von AOL veröffentlichten Suchanfragen identifiziert. User 4417749 ist Thelma Arnold aus Lilburn, Georgia.

Zu befürchten hat sie aber nichts. Sie hat nach nichts gesucht, das man nicht auch so erraten könnte oder weiß, wenn man sie kennt und auch nach nichts, dass ihre Person besonders interessant macht.

Ich habe ein Spam bekommen, das mich dazu auffordert, mich in der "größten deutschsprachigen Kontaktdatenbank" nach Frauen umzusehen, die genau das gleiche suchen, wie ich.

Also suchen diese Frauen folgerichtig dann Frauen, die genau das gleiche suchen wie ich, nämlich Frauen, die Frauen suchen, die...

Folglich kann ich auf dieser Webseite nur Lesben suchen. Sehr nützlich. Nicht.

Während AOL sich selbst über den letzten Faux Pas aufregt und sich dafür entschuldigt und ich außerdem ganz sicher weiß, welchen Online-Speicherplatz ich nie benutzen werde, deutet sich nach meinen ersten Untersuchungen der veröffentlichten Daten an, dass nicht alles so schlimm ist, wie es in vielen Blogs derzeit beschrieen wird.

So tauchen in den gesamten Daten weniger als zehn unterschiedliche Kreditkartennummern auf. Diese zu sperren dürfte für die Herausgeber eine Selbstverständlichkeit sein, aber damit ist das Thema dann auch erledigt.

Auch die oft erwähnten Sozialversicherungsnummern entpuppen sich als verhältnismäßig unkritisch. Es ist zwar nicht, wie bei Kreditkarten, möglich, diese automatisch zu erkennen, da es keine Prüfsumme gibt (fast jede 9-stellige Zahl kann eine US-amerikanische Sozialversicherungsnummer sein), so dass ich natürlich auch keine absolute Anzahl angeben kann. Gleichzeitig bedeutet das aber auch, dass niemand mit bösem Willen diese Nummern mit wenig Aufwand herausfinden kann. Es tauchen zwar Suchanfragen auf, die explizit nach einer Sozialversicherungsnummer suchen und bei denen dies offensichtlich aus der Anfrage hervor geht - aber die kann ich an den Fingern meiner Hände abzählen.

Auch die Betrachtung der Profile und gesammelten Suchanfragen der zehn am häufigsten auftretenden Benutzer-IDs lässt keinen Schluss auf eine bestimmte Person zu. In fast allen Fällen ist es nicht einmal möglich, auf eine bestimmte Personengruppe zu schließen. So finden sich bei einem dieser Benutzer beispielsweise fast nur Suchen nach Kochrezepten. Informationsgehalt bezüglich der Identität dieses Benutzers = fast Null, abgesehen davon, dass er gerne kocht.

Damit will ich nicht sagen, dass AOL mit der Veröffentlichung nicht schlecht gehandelt hätte. Datenschutz ist Datenschutz und die Verantwortlichen sollten entsprechend bestraft werden, vor allem, weil ich ja durchaus von der selben Webseite noch andere, für die Forschung bestimmte Suchdaten herunterladen konnte. Das jetzt bekannt gewordene 2GB-Logfile ist nur das größte davon. Aber für die potentiellen Opfer ist es anscheinend nicht so schlimm, wie oft vermutet.

Da wollte ich also neulich dringend INSERT ... IF EXISTS UPDATE und habe mein MySQL auf diesem Server durch ein neueres getauscht. Dafür gibt es recht ausführliche Anweisungen. In den Anweisungen steht auch der Satz "MySQL generally recommends that you dump and reload your tables from any previous version to upgrade to 5.0". Den habe ich leider übersehen. Eigentlich sollte das in großen roten Buchstaben ganz oben stehen.

Das erste, das nicht mehr ging, waren die MySQL-eigenen Tabellen, sprich auch die mit den Zugangsdaten, so dass ich erstmal gar nicht mehr auf die Datenbank zugreifen konnte. An der Stelle habe ich mir überlegt, ob ich einfach das Vollbackup einspielen soll, mich aber doch dagegen entschieden. Backup einspielen ist verhältnismäßig langweilig. Man tippt ein paar Befehle und dann läuft alles wieder. Nein, jetzt wo das MySQL so schön verhunzt war, wollte ich das lieber zu Fuß machen.

Also zurück zu den nicht funktionierenden User-Tabellen. Hätte ich mal besser auf die Ausgabe von mysql_upgrade geachtet. Das Problem lies sich teilweise mit einem manuellen Aufruf von mysql_fix_privilege_tables beheben. Danach waren die Tabellen zwar lesbar, aber die Passworthashes abgeschnitten. Gut, mysqld --skip-grant-tables lässt ja auch Zugriff ohne Passwort zu, also erstmal so die MySQL-Datenbank gefixt und dann wieder normal hochgefahren. Läuft.

An dieser Stelle habe ich gelernt, dass MySQL 5 Zeichensätze kann. Man kann in der Konfigurationsdatei einen Default einstellen. Da ich UTF-8-Daten in der Datenbank habe, habe ich also UTF-8 eingestellt. Okay, MySQL mag meine UTF-8-Daten auch, denkt aber jetzt, dass die CHAR- und VARCHAR-Spalten alle nur noch ungefähr ein Drittel so lang sind wie sie eigentlich waren, weil Unicode mehr Platz braucht als Latin1. An dieser Stelle habe ich mir überlegt, ob ich einfach das Backup einspielen soll... aber wieder mit dem selben Schluss. Schließlich war die hauptsächlich davon betroffene Datenbank die von Serendipity, der Blog-Software, die ich verwende - und da wollte ich schon lange mal die Spalte für die Absender-IP-Adresse bei Kommentaren breiter machen, weil IPv6-Adressen immer abgeschnitten wurden. Also Serendipity was dieses Problem angeht gefixt und es läuft wieder.

Heute sagt mir Sibylle dann, dass bei einigen älteren Einträgen in meinem Blog Teile abgeschnitten sind. Da der Text der Einträge in TEXT-Spalten steht, sollte er aber nicht von dem eben beschriebenen Problem betroffen sein, denn TEXT-Spalten haben eine maximale Größe, die weit über das heraus geht, was der typische männliche Computerfreak an Meinungen äußert. Da ich absolut keine Lust hatte, den ganzen Text nochmal zu tippen, habe ich mir an dieser Stelle gefragt, ob ich nicht einfach nur das Vollbackup einspielen soll, mich dann aber doch dagegen entschieden und es mit dem binlog probiert. Das binlog ist bei MySQL ein Logfile, in dem alle Statements auftauchen, die jemals ausgeführt wurden. Komplett mit Timestamp und allem, was man so braucht. Auslesen kann man sie mit dem Tool mysqlbinlog. Also ich ein mysqlbinlog -dserendipity /var/lib/mysql/*-bin* | grep 'INSERT INTO .blog_entries' und festgestellt, dass im Binlog überraschenderweise der komplette Inhalt vorhanden war.

Also habe ich die Ausgabe von mysqlbinlog benutzt, um die Tabelle mit den Einträgen wieder aufzufüllen. Gut, jetzt war schon mal wieder mehr Text im Blog. Aber immer noch nicht alles. Komisch, denn mysqlbinlog kennt den vollständigen Inhalt. Jetzt komme ich auch dazu, warum es mich überrascht hat, dass überhaupt der Inhalt im Binlog zu finden war. Das Binlog ist nämlich erst ab MySQL 5 das hauptsächliche Logfile-Format. Irgendwie hatte ich auf diesem Rechner versäumt, es vorher schon zu aktivieren. Offenbar wurde es dann während dem Upgrade aus den alten Logfiles oder aus purer Magie erzeugt. Kurz gesagt, entweder gibt es da Differenzen zwischen MySQL 4 und MySQL 5 bezüglich UTF-8 oder MySQL 5 ist merkwürdig, denn die Blog-Einträge endeten immer an Stellen vor sehr seltsam aussehenden Zeichenfolgen. Jetzt weiß ich ja, dass UTF-8 auch seltsam aussieht. Irgendwann ist mir dann aufgefallen, dass die seltsamen Zeichenfolgen nach den Abbruchstellen ganz andere sind als die seltsamen Zeichenfolgen vor diesen Stellen, auch wenn sie für das selbe Zeichen stehen. Tatsächlich waren da, inmitten von völlig korrektem UTF-8-Text, auch Sequenzen eingestreut, die kein UTF-8 waren und an denen sich MySQL offenbar verschluckt.

Nachdem ich diese aus der Ausgabe von mysqlbinlog per Suchen-Ersetzen in richtiges UTF-8 ersetzt habe und den Rest per Hand korrigiert habe, scheinen die Probleme, was Serendipity angeht, jetzt wohl auch behoben zu sein. Das nächste Mal nehme ich aber vielleicht doch lieber das Backup, das ich ja mittlerweile auch recht zuverlässig zuhause spiegeln kann und nicht erst von einem FTP ziehen und entschlüsseln muss...

Das neue Motto von AOL könnte einfach nur "oh shit" lauten. Während Google vor Gericht gegen die amerikanische Regierung erkämpft, keinerlei Suchanfragen herausgeben zu müssen, macht AOL das freiwillig und stellt ein 460 MB großes Archiv mit Suchanfragen von ausgewählten 658.000 Benutzern (herzlichen Glückwunsch!) der englischsprachigen AOL-Suche zwischen März und Mai 2006 ins Netz, mit der Bitte, bei Gebrauch die Herren G. Pass, A. Chowdhury und C. Torgeson mit ihrer Arbeit "A Picture of Search" zu zitieren. Diese Herren dürften sich mit der Aktion allerdings jetzt relativ unbeliebt gemacht haben. Während AOL den Download inzwischen vom Netz genommen hat, gibt es bei Google Cache noch eine Sicherheitskopie der Webseite (oh, the irony). Die Daten selbst sind dort nicht mehr erhältlich, aber wie das mit dem Internet so ist: Überall sonst schon.

Die 500.000 unfreiwilligen Teilnehmer sind übrigens anonymisiert. Bei AOL bedeutet das, jeder ist durch eine eindeutig zugeordnete Zahl ersetzt worden. Wenn ich mal Zeit habe, suche ich mir die Leute raus, die sich selbst gesucht haben.

Obwohl AOL die Daten vom Netz genommen hat, ist das selbe kräftig damit beschäftigt, sie zu analysieren. So gibt es offenbar unter den Benutzern von AOL durchaus Leute mit unlauteren Motiven, die nach Dingen suchen wie "how to kill your wife". Das klingt interessant, da guck ich auch mal rein.

$ zcat ∗gz | wc -l
36389577 (Anzahl der Zeilen insgesamt)

$ zcat ∗gz | grep -ci "child porn"
827 (Anzahl der Zeilen mit dem exakten Suchbegriff)

$ zcat ∗gz | grep -ci "dog sex"
935 (Offenbar ist das Tabu hier nicht so stark verwurzelt)

Ich dachte mir schon immer, dass es Leute gibt, die nach ihrer Kreditkartennummer suchen, um festzustellen, ob sie im Internet zu finden ist:

$ zcat ∗gz | perl cc-validate.pl
+++ 37XXXXXXXXXX014 American Express (Ich anonymisier das besser mal, will ja nicht wie AOL enden.)
+++ 471XXXXXXX292 Visa
... snip ...
+++ 544XXXXXXXXXX235 MasterCard
+++ 510XXXXXXXXXX691 MasterCard
... snip ...
+++ 601XXXXXXXXX226 Discover/Novus
... snip ...

Herausfinden wollen, ob die eigene Kreditkartennummer im Netz steht und diese dann von AOL ins Netz gestellt bekommen: Priceless.

Insgesamt finde ich 30 Visa-Nummern, 4 mal die MasterCard, 3 mal American Express und 2 mal Discover/Novus.

Nett ist auch, dass die angeklickten URLs auch enthalten sind. Richtig cool dagegen ist aber, dass einige Leute offenbar aus Versehen nach URLs suchen. Da sind zwar dann alle Sonderzeichen sorgfältig entfernt, aber man hat ja Zeit. Zum Abschluss noch ein paar Leute, die E-Mails kopieren oder an der falschen Stelle eingeben:

$ zcat ∗gz | grep -i "^[0-9]∗.dear .∗ this"
1118834 dear workerbee you have requested to reset your password on frugal's forums
because you have forgotten your password. if you did not request this please ignore it. it 
will expire and become useless in 24 hours time.to reset your password please visit th   2006-03-23 03:43:53
... snip ...
10237534        dear johnny wooten this email was sent automatically by the paypal server 
and is part of the change password request process. this is done for your protection --- only 
you the recipient of this email can take the next step in the password change process.    2006-04-07 
... snip ...
181017  dear gary house this email was sent automatically by ebay in response to your
 request to recover your password. this is done for your protection; only you the recipient 
of this email can take the next step in the password recover process.to reset your pa  2006-04-23 22:08:11
... snip ...
1409307 dear rebbitzen aronovitch i am somewhat confused about ms. adams. her 
father became very ill and had to be hospitalized. this cut into any plans for us to see 
each other as his condition was serious to the point that her entire family came in to see       2006-05-01 17:08:29
... snip ...

Weitere Artikel zum Thema: Greg Sadetsky, Techcrunch, Adam D'Angelo, pl0g.de.

Update: Während AOL sich an mehreren Stellen öffentlich entschuldigt, gibt es hier immer noch ganz ähnliche Daten, wenn auch in sehr viel geringerem Umfang und besser anonymisiert.

SPON schreibt, dass laut EU-Sozialkommissar Vladimir Spidla Firmen Raucher aus einem Bewerbungsverfahren ausschließen dürfen, ohne dabei gegen das EU-Antidiskriminierungsgesetz zu verstoßen. Für mich eigentlich keine große Überraschung, schließlich darf man Säufern auch kündigen. Offenbar hat sich diese Meinung aber noch nicht überall verbreitet. Naja, wie sagte noch ein gewisser François-Marie Arouet: "Le sens commun est fort rare." Diese Form des Zitates ist übrigens auch nicht so commun, Voltaire wird offenbar wahnsinnig gerne auf englisch zitiert. Common sense is not so common. Klingt auch nicht schlecht.