Wir haben die Zeitung gelesen, die Timnit Gebru aus Google verdrängt hat. Hier ist, was es sagt.

Der Star-Ethikforscher des Unternehmens hob die Risiken großer Sprachmodelle hervor, die für das Geschäft von Google von entscheidender Bedeutung sind.



4. Dezember 2020 Timnit Gebru

mit freundlicher Genehmigung von Timnit Gebru

Am Abend des Mittwochs, dem 2. Dezember, gab Timnit Gebru, der Co-Leiter des ethischen KI-Teams von Google, bekannt über Twitter dass die Firma sie gezwungen hatte.





Gebru, eine weithin angesehene Führungspersönlichkeit in der KI-Ethikforschung, ist als Co-Autorin bekannt ein bahnbrechendes Papier Dies zeigte, dass die Gesichtserkennung bei der Identifizierung von Frauen und Farbigen weniger genau ist, was bedeutet, dass ihre Verwendung dazu führen kann, dass sie diskriminiert werden. Sie war auch Mitbegründerin der Black in AI-Affinitätsgruppe und setzt sich für Vielfalt in der Tech-Branche ein . Das Team, das sie bei Google aufgebaut hat, ist eines der vielfältigsten im Bereich KI und umfasst selbst viele führende Experten. Kollegen auf diesem Gebiet beneideten es um seine kritische Arbeit, die oft die etablierten KI-Praktiken in Frage stellte.

ZU Reihe von Tweets , durchgesickerte E-Mails , und Medienartikel zeigte, dass Gebrus Ausstieg der Höhepunkt eines Konflikts über ein anderes Papier war, an dem sie mitverfasst war. Jeff Dean, der Leiter von Google AI, sagte Kollegen in einer internen E-Mail (die er seitdem hat online stellen ), dass die Zeitung unsere Kriterien zur Veröffentlichung nicht erfüllte und dass Gebru gesagt hatte, sie würde zurücktreten, wenn Google nicht eine Reihe von Bedingungen erfülle, die es nicht erfüllen wollte. Gebru hat das getwittert Sie hatte darum gebeten, nach ihrer Rückkehr aus dem Urlaub einen letzten Termin für ihre Anstellung auszuhandeln. Sie wurde vor ihrer Rückkehr von ihrem geschäftlichen E-Mail-Konto getrennt.

Online argumentieren viele andere führende Persönlichkeiten auf dem Gebiet der KI-Ethik, dass das Unternehmen sie wegen der unbequemen Wahrheiten, die sie über einen Kernbereich seiner Forschung – und vielleicht über sein Endergebnis – aufdeckte, hinausgedrängt habe. Mehr als 1.400 Google-Mitarbeiter und 1.900 weitere Unterstützer haben es ebenfalls getan einen Protestbrief unterschrieben .



Viele Details der genauen Abfolge der Ereignisse, die zu Gebrus Abreise geführt haben, sind noch nicht klar; Sowohl sie als auch Google haben es abgelehnt, über ihre Beiträge in den sozialen Medien hinaus zu kommentieren. Aber MIT Technology Review erhielt eine Kopie der Forschungsarbeit von einer der Co-Autoren, Emily M. Bender, einer Professorin für Computerlinguistik an der University of Washington. Obwohl Bender uns gebeten hat, das Papier selbst nicht zu veröffentlichen, weil die Autoren nicht wollten, dass ein so früher Entwurf online verbreitet wird, gibt es einen Einblick in die Fragen, die Gebru und ihre Kollegen zur KI aufgeworfen haben und die Google beunruhigen könnten.

Über die Gefahren stochastischer Papageien: Können Sprachmodelle zu groß sein? legt die Risiken großer Sprachmodelle dar – KIs, die mit erstaunlichen Mengen an Textdaten trainiert wurden. Diese sind gewachsen zunehmend populär -und immer größer – in den letzten drei Jahren. Unter den richtigen Bedingungen sind sie jetzt außerordentlich gut darin, scheinbar überzeugende, aussagekräftige neue Texte zu produzieren – und manchmal auch darin, Bedeutung aus der Sprache abzuschätzen. Aber, so heißt es in der Einleitung des Papiers, wir fragen uns, ob die potenziellen Risiken, die mit ihrer Entwicklung verbunden sind, und Strategien zur Minderung dieser Risiken ausreichend berücksichtigt wurden.

Das Papier

Das Papier, das auf der Arbeit anderer Forscher aufbaut, präsentiert die Geschichte der Verarbeitung natürlicher Sprache, einen Überblick über vier Hauptrisiken großer Sprachmodelle und Vorschläge für weitere Forschung. Da der Konflikt mit Google über den Risiken zu liegen scheint, haben wir uns darauf konzentriert, diese hier zusammenzufassen.

Umwelt- und Finanzkosten

Das Training großer KI-Modelle verbraucht viel Rechenleistung des Computers und damit viel Strom. Gebru und ihre Co-Autoren verweisen auf eine Arbeit von Emma Strubell und ihren Mitarbeitern aus dem Jahr 2019 die CO2-Emissionen und die finanziellen Kosten von großen Sprachmodellen. Es stellte sich heraus, dass ihr Energieverbrauch und ihre CO2-Bilanz seit 2017 explodiert sind, da die Modelle mit immer mehr Daten gefüttert wurden.



Strubells Studie ergab, dass das Trainieren eines Sprachmodells mit einer bestimmten Art von Neural Architecture Search (NAS)-Methode das Äquivalent von 626.155 Pfund (284 Tonnen) Kohlendioxid erzeugt hätte – etwa die Lebensdauer von fünf durchschnittlichen amerikanischen Autos. Training einer Version von Googles Sprachmodell BERT, das die Grundlage bildet die Suchmaschine des Unternehmens , verursachte nach Strubells Schätzung 1.438 Pfund CO2-Äquivalent – ​​fast so viel wie ein Hin- und Rückflug zwischen New York City und San Francisco. Diese Zahlen sollten als Mindestwerte angesehen werden, die Kosten für das einmalige Training eines Modells. In der Praxis werden Modelle während der Forschung und Entwicklung mehrfach an- und nachtrainiert.

Gebrus Entwurfspapier weist darauf hin, dass die bloßen Ressourcen, die für den Aufbau und die Aufrechterhaltung solch großer KI-Modelle erforderlich sind, dazu führen, dass sie wohlhabenden Organisationen zugute kommen, während der Klimawandel marginalisierte Gemeinschaften am härtesten trifft. Es sei höchste Zeit für Forscher, Energieeffizienz und Kosten zu priorisieren, um negative Umweltauswirkungen und ungerechten Zugang zu Ressourcen zu reduzieren, schreiben sie.

Riesige Daten, unergründliche Modelle

Große Sprachmodelle werden auch mit exponentiell ansteigenden Textmengen trainiert. Das bedeutet, dass Forscher versucht haben, alle Daten, die sie können, aus dem Internet zu sammeln, sodass das Risiko besteht, dass rassistische, sexistische und anderweitig beleidigende Sprache in den Trainingsdaten landet.

Ein KI-Modell, das gelehrt wird, rassistische Sprache als normal anzusehen, ist offensichtlich schlecht. Die Forscher weisen jedoch auf ein paar subtilere Probleme hin. Einer ist, dass Sprachverschiebungen eine wichtige Rolle bei sozialem Wandel spielen; die Bewegungen MeToo und Black Lives Matter beispielsweise haben versucht, ein neues antisexistisches und antirassistisches Vokabular zu etablieren. Ein KI-Modell, das auf weiten Teilen des Internets trainiert wird, ist nicht auf die Nuancen dieses Vokabulars eingestellt und wird keine Sprache produzieren oder interpretieren, die diesen neuen kulturellen Normen entspricht.

Es wird auch nicht die Sprache und die Normen von Ländern und Völkern erfassen, die weniger Zugang zum Internet und damit einen geringeren sprachlichen Fußabdruck im Internet haben. Das Ergebnis ist, dass die von KI generierte Sprache homogenisiert wird und die Praktiken der reichsten Länder und Gemeinschaften widerspiegelt.

Da die Trainingsdatensätze so groß sind, ist es außerdem schwierig, sie auf diese eingebetteten Verzerrungen zu überprüfen. Eine Methodik, die sich auf Datensätze stützt, die zu groß sind, um sie zu dokumentieren, ist daher von Natur aus riskant, schlussfolgern die Forscher. Während die Dokumentation eine mögliche Rechenschaftspflicht ermöglicht, [...] verewigen undokumentierte Trainingsdaten den Schaden ohne Rückgriff.

Opportunitätskosten recherchieren

Als dritte Herausforderung fassen die Forscher das Risiko fehlgeleiteter Forschungsanstrengungen zusammen. Obwohl die meisten KI-Forscher anerkennen, dass große Sprachmodelle eigentlich nicht verstehe Sprache und sind einfach ausgezeichnet manipulieren Damit kann Big Tech Geld mit Modellen verdienen, die Sprache genauer manipulieren, also investiert es weiter in sie. Dieser Forschungsaufwand bringt Opportunitätskosten mit sich, schreiben Gebru und ihre Kollegen. Es wird nicht so viel Aufwand betrieben, an KI-Modellen zu arbeiten, die möglicherweise Verständnis erzielen oder mit kleineren, sorgfältiger kuratierten Datensätzen gute Ergebnisse erzielen (und damit auch weniger Energie verbrauchen).

Illusionen der Bedeutung

Das letzte Problem mit großen Sprachmodellen, sagen die Forscher, ist, dass es einfach ist, sie zu verwenden, um Menschen zu täuschen, weil sie so gut darin sind, echte menschliche Sprache nachzuahmen. Es gab einige hochkarätige Fälle, wie z College-Student der KI-generierte Selbsthilfe- und Produktivitätsratschläge in einem Blog veröffentlichte, der viral wurde.

Die Gefahren liegen auf der Hand: KI-Modelle könnten beispielsweise dazu verwendet werden, Fehlinformationen über eine Wahl oder die Covid-19-Pandemie zu generieren. Sie können auch versehentlich schief gehen, wenn sie für die maschinelle Übersetzung verwendet werden. Die Forscher nennen ein Beispiel: 2017 Facebook falsch übersetzt der Post eines Palästinensers, der auf Arabisch „Guten Morgen“ sagte, als sie auf Hebräisch angegriffen wurden, was zu seiner Verhaftung führte.

Warum es wichtig ist

Das Papier von Gebru und Bender hat sechs Co-Autoren, von denen vier Google-Forscher sind. Bender bat darum, ihre Namen aus Angst vor Konsequenzen nicht preiszugeben. (Bender hingegen ist eine ordentliche Professorin: Ich denke, das unterstreicht den Wert der akademischen Freiheit, sagt sie.)

Das Ziel des Papiers, sagt Bender, war es, eine Bestandsaufnahme der Landschaft der aktuellen Forschung zur Verarbeitung natürlicher Sprache zu machen. Wir arbeiten in einem Maßstab, in dem die Leute, die die Dinge bauen, die Daten nicht wirklich in den Griff bekommen können, sagte sie. Und weil die Vorteile so offensichtlich sind, ist es besonders wichtig, einen Schritt zurückzutreten und uns zu fragen, was die möglichen Nachteile sind. … Wie können wir davon profitieren und gleichzeitig das Risiko mindern?

Wie lange würde es dauern, um zum nächsten Stern zu kommen?

In seiner internen E-Mail sagte Dean, der KI-Chef von Google, dass ein Grund dafür, dass das Papier nicht unseren Maßstäben entsprach, darin bestand, dass es zu viele relevante Forschungsergebnisse ignorierte. Insbesondere sagte er, dass neuere Arbeiten darüber, wie große Sprachmodelle energieeffizienter gemacht und Probleme mit Voreingenommenheit gemildert werden können, nicht erwähnt wurden.

Die sechs Mitarbeiter schöpften jedoch aus einem breiten wissenschaftlichen Spektrum. Die Zitationsliste des Papiers ist mit 128 Referenzen bemerkenswert lang. Es ist die Art von Arbeit, die kein einzelner oder gar ein Autorenpaar leisten kann, sagte Bender. Diese Zusammenarbeit war wirklich erforderlich.

Die Version des Artikels, die wir gesehen haben, bezieht sich auch auf mehrere Forschungsanstrengungen zur Reduzierung der Größe und der Rechenkosten großer Sprachmodelle und zur Messung der eingebetteten Verzerrung von Modellen. Er argumentiert jedoch, dass diese Bemühungen nicht ausreichten. Ich bin sehr offen dafür, zu sehen, welche anderen Referenzen wir einbeziehen sollten, sagte Bender.

Nicolas Le Roux, später Google-KI-Forscher im Büro in Montreal auf Twitter vermerkt dass die Begründung in Deans E-Mail ungewöhnlich war. Meine Eingaben seien immer auf die Offenlegung von sensiblem Material geprüft worden, nie auf die Qualität der Literaturrecherche, sagte er.

Deans E-Mail besagt auch, dass Gebru und ihre Kollegen Google AI nur einen Tag für eine interne Überprüfung des Papiers gaben, bevor sie es bei einer Konferenz zur Veröffentlichung einreichten. Er schrieb, dass es unser Ziel sei, es mit Peer-Review-Zeitschriften in Bezug auf die Strenge und Nachdenklichkeit bei der Überprüfung von Forschungsergebnissen vor der Veröffentlichung aufzunehmen.

Bender bemerkte, dass die Konferenz das Papier dennoch einem umfangreichen Überprüfungsprozess unterziehen würde: Stipendien seien immer ein Gespräch und immer eine laufende Arbeit, sagte sie.

Andere, darunter William Fitzgerald, ein ehemaliger PR-Manager von Google, haben dies getan weiter in Zweifel ziehen auf Deans Anspruch.

Google leistete Pionierarbeit bei einem Großteil der Grundlagenforschung, die seitdem zu der jüngsten Explosion großer Sprachmodelle geführt hat. Google AI war der erste, der das erfand Transformer-Sprachmodell im Jahr 2017, das als Grundlage für das spätere Modell BERT des Unternehmens sowie GPT-2 und GPT-3 von OpenAI dient. Wie oben erwähnt, unterstützt BERT jetzt auch die Google-Suche, die Cash-Cow des Unternehmens.

Bender befürchtet, dass die Maßnahmen von Google einen abschreckenden Effekt auf die zukünftige KI-Ethikforschung haben könnten. Viele der Top-Experten für KI-Ethik arbeiten bei großen Technologieunternehmen, weil dort das Geld ist. Das sei in vielerlei Hinsicht von Vorteil gewesen, sagt sie. Aber am Ende haben wir ein Ökosystem, das vielleicht nicht die allerbesten Anreize für den Fortschritt der Wissenschaft für die Welt hat.

Update (7. Dezember): Zusätzliche Details wurden hinzugefügt, um die Umweltkosten großer Sprachmodelle zu verdeutlichen.

verbergen

Tatsächliche Technologien

Kategorie

Unkategorisiert

Technologie

Biotechnologie

Technologierichtlinie

Klimawandel

Mensch Und Technik

Silicon Valley

Computer

Mit News Magazine

Künstliche Intelligenz

Platz

Intelligente Städte

Blockchain

Reportage

Alumni-Profil

Alumni-Verbindung

Mit News Feature

1865

Meine Sicht

77 Mass Avenue

Treffen Sie Den Autor

Profile In Großzügigkeit

Auf Dem Campus Gesehen

Alumni-Briefe

Nachrichten

Wahl 2020

Mit Index

Unter Der Kuppel

Feuerwehrschlauch

Unendliche Geschichten

Pandemie-Technologieprojekt

Vom Präsidenten

Titelstory

Fotogallerie

Empfohlen