Was Google aus unseren Bildern liest: Ex-Mitarbeiter veröffentlicht Analysetool
Was weiß Google alles über uns, wenn wir unsere Fotos hochladen? Ein neues Tool zeigt, wie die KI des Konzerns Bilder bis ins kleinste Detail analysiert. Ein Selbstversuch.
Was kann Google anhand unserer Fotos über uns ableiten? Ein ehemaliger Google- (bzw. Alphabet, wie der Mutterkonzern seit einiger Zeit heißt)-Mitarbeiter und Softwareentwickler hat ein neues Tool entwickelt, das genau diese Frage beantwortet.
Mohandas Rache
Vishnu Mohandas, der 2020 seinen Job bei Google hinschmiss, nachdem er erfahren hatte, dass das Unternehmen dem US-Militär bei der KI-gestützten Analyse von Drohnenbildern half, will damit auch ein Stück weit Rache an seinem früheren Arbeitgeber nehmen, wie das Magazin Wired berichtet.
Bei dem im November veröffentlichten Analyse-Tool "Theyseeyourphotos" kann jeder Nutzer eigene Bilder hochladen und bekommt dann eine Zusammenfassung dessen ausgegeben, was Googles Bild-KI Google Vision daraus ableitet. Mohandas hat dazu eine API-Schnittstelle zu dem cloudbasierten Bilderkennungsdienst eingerichtet.
Ziel ist es, den Nutzern vor Augen zu führen, welch große Menge an privaten und teils sensiblen Informationen Google aus den Fotos der Nutzer extrahieren kann. Das Tool ist kostenlos über einen Webbrowser abrufbar und liefert die Ergebnisse auf Englisch.
Detaillierte Kurz-Analysen offenbaren Wissen über Nutzer
Die Ergebnisse sind teilweise erschreckend präzise: Auf Fotos erkennt Google nicht nur die Zahl und Abstammung der abgebildeten Personen ("Europäer", "Latino", "vermutlich britisch", etc.), sondern ermittelt auch deren sozialen Status ("Mittelschicht", "Arbeiterklasse", "niedriges Einkommen", etc.) auf Basis von Merkmalen wie Kleidung und Umgebung.
Auch die Stimmungslage wird erfasst und in differenzierte Kategorien aufgeteilt, die häufig erstaunlich treffend erscheinen und von Menschen auch nicht wesentlich anders beschrieben würden. Ebenso wird eine genaue Einschätzung der Lebenssituation inklusive Hobbys und möglicher Zukunftsperspektiven gegeben um auf dieser Basis die passende Werbung zu empfehlen.
Älteren Personen auf Reisen wird beispielsweise ein aktiver Lebensstil attestiert, jedoch werden sie auch einer Risikogruppe mit Blick auf ihre gesundheitliche Zukunft zugeordnet. Das heißt: Werbung für Reiseanbieter, gesunde Lebensmittel und Pflegeeinrichtungen ist hier angesagt.
Einer Gruppe von Personen in einem Hinterhof, die vermutlich korrekt der Arbeiterklasse zugeordnet wurden, wird ein Interesse an Kleidung und Modeaccesoires beschieden und entsprechend Werbung für diverse Sportartikelhersteller nahegelegt.
Der Mittelschicht zugeordnete Personen mit Immobilie werden laut Google Vision in Zukunft "möglicherweise Schwierigkeiten haben, ihr Haus zu bezahlen" und könnten vor einer "fluktuierenden finanziellen Situation" stehen. Also: Werbung für Versicherungen und Baumärkte schalten!
Wer hingegen Marx in seinem Bücherregal stehen hat, gehört laut Google zur Gruppe der Akademiker und Intellektuellen und ist vermutlich "potentiell unzufrieden mit dem derzeitigen Wirtschaftssystem". "Wir können diese Erkenntnisse nutzen, um sie mit Produkten und Dienstleistungen anzusprechen, die Veränderungen fördern oder den Status quo in Frage stellen", weiß die KI und empfiehlt Werbung für das Jacobin Magazin und politische Bücher auf Amazon.
Deutlich wird, dass Google Vision versucht, jedem erdenklichen Aspekt kommerziell verwertbare Informationen abzugewinnen. Bei reinen Naturbildern sieht das Tool beispielsweise eine "potentielle Marktlücke für Outdoor-Aktivitäten und naturbezogene Produkte in der Region".
Essensbilder werden bis hin zur Brot-Textur analysiert
"Du bist, was du isst" – das weiß auch Google. Bei einem Foto eines gedeckten Restauranttischs ohne Personen lieferte Google Vision eine verblüffend detaillierte Analyse, wie das Portal Futurezone berichtet.
Die Farbpalette, das Geschirr und die Anordnung der Speisen wurden genau untersucht ("kleine Portionen serviert auf Schieferplatten verweisen auf einen Trend zur gehobenen Präsentation"). Anhand minimaler Unterschiede in Farbe und Struktur kam die KI zu dem Schluss, dass es sich um selbstgebackenes Brot oder Brot aus einer hochwertigen Bäckerei handeln müsse.
Mohandas selbst war erstaunt, als das Programm bei einem seiner eigenen Fotos eine Armbanduhr nicht nur als Casio-Modell F-91W identifizierte, sondern dieses Modell auch noch mit islamistischen Terroristen in Verbindung brachte. Er passte daraufhin die Eingabeaufforderungen so an, dass die Ergebnisse "etwas harmloser, aber dennoch unheimlich" ausfallen, wie er gegenüber Wired erklärte.
Auch bei der Ortserkennung funktioniert das System, wenn auch mit Einschränkungen. Berühmte Wahrzeichen wie das Berliner Olympiastadion oder die Silhouette von Rio de Janeiro kann die KI sicher zuordnen, bei weniger bekannten Städten wie Erfurt oder Freiburg scheitert sie jedoch, selbst wenn man das Tool mit guten Bildern der wichtigsten Wahrzeichen füttert.
Generell merkt man, dass die KI stark auf den US-amerikanischen und angelsächsischen Raum trainiert wurde. Dennoch schafft sie es beispielsweise, Züge der Deutschen Bahn als solche zu erkennen und empfiehlt dann passende Werbung deutscher Anbieter.
Die Macht der Daten
Wer das Tool ausprobieren möchte, muss sich darüber im Klaren sein, dass die zur Analyse genutzten Bilder temporär an Googles Server übermittelt werden.
Laut dem Betreiber Ente sollen sie nach Ausgabe des Ergebnisses wieder gelöscht werden. Es sei jedoch möglich, dass Google und Drittanbieter "hochgeladene Bilder, Standortdaten oder Metadaten gemäß ihren Richtlinien speichern".
Mohandas hofft, mit "Theyseeyourphotos" das Bewusstsein dafür zu schärfen, welche Fülle an Informationen Tech-Konzerne aus den Fotos ihrer Kunden gewinnen können. "Google ist ein Unternehmen, das meiner Meinung nach auch in 20 Jahren noch da sein wird", sagt er. Heutige Kinderfotos könnten Aufschluss darüber geben, was eine Person glücklich oder traurig macht.
"Diese Informationen könnten Jahrzehnte später von jedem, der Zugang zu diesen Daten hat, verwendet werden, um sie zu manipulieren – von Werbetreibenden über Dating-Websites bis hin zu Arbeitgebern und Branchen, die es noch gar nicht gibt, aber von psychologischen Profilen profitieren werden", warnt Mohandas.