Google und Akamai: Kult der Geheimhaltung vs. Königreich der Offenheit

Dieser Zahl sollte man nie trauen, sagte Martin Farach-Colton, Professor für Informatik an der Rutgers University, vor etwas mehr als einem Jahr. Die Leute machen eine große Sache daraus, und es ist nicht wahr.

Farach-Colton hielt einen öffentlichen Vortrag über sein zweijähriges Sabbatical bei Google. Die Nummer, die er herabsetzte, stand in der Mitte seiner PowerPoint-Folie:
  • 150 Millionen Anfragen/Tag

Auf der nächsten Folie gab es noch ein paar Nummern:

  • 1.000 Anfragen/Sek. (Spitze)
  • 10.000+ Server
  • Mehr als 4 Tera-Ops/Sek. zu Tageshöchstwerten
  • Index: 3 Milliarden Webseiten
  • 4 Milliarden Dokumente insgesamt
  • 4+ Petabyte Festplattenspeicher

Ein paar Leute im Publikum begannen zu kichern: Die Google-Zahlen stimmten nicht.



Ich habe selbst angefangen, die Zahlen zu laufen. Mal sehen: 4 Tera-Ops/s bedeuten 4.000 Milliarden Operationen pro Sekunde; ein Top-of-the-line-Server kann vielleicht zwei Milliarden Operationen pro Sekunde ausführen, also vielleicht 2.000 Server – nicht 10.000. Vier Petabyte sind 4 x 1015 Byte Speicher; Verteilen Sie das auf 10.000 Server und Sie haben 400 Gigabyte pro Server, was wiederum falsch erscheint, da Farach-Colton zuvor gesagt hatte, dass Google zwei 80-Gigabyte-Festplatten in jeden Server einbaut.

Und dann gibt es da noch das Problem von 150 Millionen Abfragen pro Tag. Wenn das System eine Spitzenlast von 1.000 Abfragen pro Sekunde verarbeitet, entspricht dies einer Spitzenrate von 86,4 Millionen Abfragen pro Tag – oder vielleicht 40 Millionen Abfragen pro Tag, wenn Sie davon ausgehen, dass das System nur die Hälfte seiner Zeit mit Spitzenauslastung verbringt. Egal, wie Sie die Mathematik ankurbeln, die Statistiken von Google sind nicht in sich konsistent.

Diese Zahlen seien alle wahnsinnig niedrig, fuhr Farach-Colton fort. Google meldet immer viel, viel niedrigere Zahlen als wahr.

Immer wenn jemand von Google eine neue Präsentation zusammenstelle, so erklärte er, überprüfe die PR-Abteilung das Gespräch und hacke die Zahlen zusammen. Ursprünglich, sagte er, sei auf der Folie mit den Zahlen angegeben, dass 1.000 Abfragen/Sek. die Mindestrate und nicht die Spitze seien. Wir haben über 10.000 Server. Das ist plus vieles.

So wie die Suchmaschine von Google sofort und scheinbar mühelos mit einer Antwort auf jede von Ihnen gestellte Anfrage zurückkehrt und die wahre Schwierigkeit der Aufgabe vor den Benutzern verbirgt, möchte das Unternehmen auch, dass seine Konkurrenten über die Schwierigkeit des Problems im Dunkeln bleiben. Wenn Google schließlich veröffentlichen würde, wie viele Seiten es indiziert hat und wie viele Computer es in seinen Rechenzentren auf der ganzen Welt hat, würden Suchkonkurrenten wie Yahoo!, Teoma und Mooter wissen, wie viel Kapital sie aufbringen müssten, um eine Hoffnung, den König von der Spitze des Hügels zu vertreiben.

Google hatte es manchmal schwer, seine Geschichte gerade zu halten. Als Vizepräsident für Engineering Urs Hoelzle im November 2002 an der University of Washington über Googles Linux-Cluster sprach, wiederholte er diese Zahl von 1.000 Anfragen pro Sekunde – aber er sagte, dass die Maßnahme am 25. Dezember um 2:00 Uhr getroffen wurde , 2001. Sein Punkt, der für jeden im Raum offensichtlich ist, ist, dass Google selbst im November 2002 weit mehr als 1.000 Abfragen pro Sekunde durchführte - wie viele mehr, konnte jedoch niemand erraten.

Die Fakten können durchsickern. Letztes Thanksgiving berichtete die New York Times, dass Google die 100.000-Server-Marke überschritten habe. Wenn das stimmt, bedeutet dies, dass Google das vielleicht größte Computernetz der Welt betreibt. Die einfache Tatsache, dass sie Rechenzentren dieser Größe bauen und betreiben können, ist erstaunlich, sagt Peter Christy, Mitbegründer der NetsEdge Research Group, einem Marktforschungs- und Strategieunternehmen im Silicon Valley. Christy, die seit mehr als 30 Jahren in der Branche tätig ist, ist erstaunt über die Größe der Systeme von Google und die Kompetenz des Unternehmens, sie zu betreiben. Ich glaube nicht, dass jemand in der Nähe ist.

Diese Fähigkeit, unglaublich dichte Cluster aufzubauen und zu betreiben, ist wie alles andere das Erfolgsgeheimnis von Google. Und der Grund, erklärt Marissa Mayer, Director of Consumer Web Products des Unternehmens, hat mit der Art und Weise zu tun, wie Google in Stanford begann.

Anstatt sich ein paar schnelle Computer zu besorgen und sie auf Hochtouren zu bringen, erklärte Mayer bei einer Recruiting-Veranstaltung am MIT, mussten sich die Gründer Sergey Brin und Larry Page mit Überlieferungen aus der Informatikabteilung von Stanford begnügen. Sie gingen zur Laderampe, um zu sehen, wer neue Computer bekam, und fragten dann, ob sie die alten, veralteten Maschinen haben könnten, die durch die neuen ersetzt wurden. Daher waren Brin und Page von Anfang an gezwungen, verteilte Algorithmen zu entwickeln, die auf einem Netzwerk nicht sehr zuverlässiger Maschinen liefen.

Heute ist diese Philosophie in der DNA des Unternehmens verankert. Google kauft die billigsten Computer, die es finden kann, und packt sie in Racks und Racks in seinen sechs (oder mehr) Rechenzentren. PCs sind einigermaßen zuverlässig, aber wenn man tausend davon hat, wird jeden Tag einer ausfallen, sagte Hölzle. Wenn Sie also nur 10 Prozent mehr kaufen können, ist es immer noch billiger, als eine zuverlässigere Maschine zu kaufen.

Bei Google zu arbeiten, sagte mir kürzlich ein Ingenieur, ist das nächste, was Sie erreichen können, um unbegrenzte Rechenleistung zur Verfügung zu haben.

Das Königreich der Offenheit

Es gibt ein anderes Unternehmen, das die Kunst perfektioniert hat, eine riesige Anzahl von Computern mit einem vergleichsweise kleinen Personal zu betreiben. Diese Firma ist Akamai.

Akamai ist heute kein Begriff mehr, aber es schaffte es auf die Titelseiten, als das Unternehmen im November 1999 mit dem damals vierterfolgreichsten Börsengang der Geschichte an die Börse ging. Die Aktien von Akamai stiegen in die Höhe und machten ihre Gründer zu Milliardären. In den folgenden Jahren erlebte Akamai jedoch schwere Zeiten. Es war nicht nur der Dotcom-Absturz, der zu erheblichen Entlassungen und der Aufgabe des kalifornischen Büros des Unternehmens führte: Akamais Mitbegründer und Chief Technology Officer Danny Lewin befand sich am 11. World Trade Center. Die Moral des Unternehmens war am Boden zerstört.

Das Netzwerk von Akamai arbeitet auf der gleichen Komplexitätsskala wie das von Google. Obwohl Akamai nur über 14.000 Computer verfügt, befinden sich diese Server an 2.500 verschiedenen Standorten auf der ganzen Welt. Die Server werden von Unternehmen wie CNN und Microsoft verwendet, um Webseiten bereitzustellen. So wie die Server von Google heute von praktisch jedem im Internet verwendet werden, so sind es auch die von Akamai.

Aufgrund ihrer Größe mussten sowohl Akamai als auch Google Tools und Techniken entwickeln, um diese Maschinen zu verwalten, Leistungsprobleme zu beheben und Fehler zu behandeln. Dies ist keine Software, die ein Unternehmen von der Stange kaufen kann – sie erfordert eine mühsame Eigenentwicklung. Tatsächlich ist Software einer der wichtigsten Wettbewerbsvorteile von Akamai.

Ja, einige andere Organisationen betreiben auch große Computercluster. Sowohl das Ames Research Center der NASA als auch Virginia Tech haben große Cluster, die sich dem wissenschaftlichen Rechnen widmen. Es gibt jedoch wesentliche Unterschiede zwischen diesen Systemen und den Clustern, die sowohl von Google als auch von Akamai erstellt wurden. Die wissenschaftlichen Systeme befinden sich an einem einzigen Ort, nicht über die ganze Welt verteilt. Sie sind im Allgemeinen nicht direkt dem Internet ausgesetzt. Und vielleicht am wichtigsten ist, dass die wissenschaftlichen Systeme nicht jeden Tag Hunderte Millionen Internetnutzer mit einem Standarddienst versorgen: Google und Akamai müssen eine 100-prozentige Verfügbarkeit gewährleisten. Es ist einfach, 10.000 Computer zu kaufen – alles, was Sie brauchen, ist Bargeld. Es ist viel schwieriger, diese Computer als einen einzigen Dienst zusammenzuarbeiten, der Millionen gleichzeitiger Benutzer unterstützt.

Um fair zu sein, es gibt wichtige Unterschiede zwischen Google und Akamai – Unterschiede, die sicherstellen, dass Google in absehbarer Zeit weder in das Geschäft von Akamai einbricht noch Akamai in das Geschäft von Google einsteigt. Beide Unternehmen haben eine Infrastruktur für den Betrieb massiv paralleler Systeme entwickelt, aber die Anwendungen, die sie auf diesen Systemen ausführen, sind unterschiedlich. Die Hauptanwendung von Google ist eine Suchmaschine. Im Gegensatz dazu hat Akamai ein System zum Bereitstellen von Webseiten, Streaming-Medien und einer Vielzahl anderer Standard-Internetprotokolle entwickelt.

Ein weiterer wichtiger Unterschied, sagt Christy, sei, dass es Akamai sehr schwer gefallen sei, ein klares Geschäftsmodell zu entwickeln, das funktioniert, während Google unglaublich erfolgreich war. Akamai hat daher begonnen, nach neuen Wegen zu suchen, um Dienste zu verkaufen, die nur ein riesiges verteiltes Netzwerk liefern kann. Das Unternehmen kämpft um Rentabilität und sucht aggressiv nach neuen Möglichkeiten für seine Technologie. Dies könnte der Grund dafür sein, dass Akamai im Gegensatz zu Google bereit war, für diesen Artikel interviewt zu werden.

Wir begannen mit einfachen Bit-Delivery-Objekten, Fotos, Bannern und Anzeigen, sagt Tom Leighton, leitender Wissenschaftler von Akamai. Wir machen es vor Ort. Mach schnell. Machen Sie es zuverlässig. Machen Sie die Websites besser.

Jetzt entwickelt Akamai Techniken, mit denen Kunden ihre Anwendungen direkt auf den verteilten Servern des Unternehmens ausführen können. Laut Leighton haben 25 der größten Kunden von Akamai dies getan. Das System kann plötzliche Überspannungen verarbeiten und ist daher ideal für Fälle geeignet, in denen die Nachfrage nicht vorhersehbar ist.

Laut Leighton wurde das Netzwerk von Akamai beispielsweise verwendet, um einen von Logitech gesponserten Tastatur-Werbewettbewerb abzuwickeln. Logitech dachte, dass sein Wettbewerb populär sein könnte, und erstellte eine ausgeklügelte Reihe von Regeln, die sicherstellten, dass nur so viele Tastaturen an jeden Staat und innerhalb eines bestimmten Zeitraums vergeben würden. Aber Logitech hat grob unterschätzt, wie viele Leute sich für den Wettbewerb anmelden würden. In der Vergangenheit haben solche Unterschätzungen viel beachtete Internet-Events wie den Victoria's Secret-Webcast zum Absturz gebracht, Millionen von Web-Surfern frustriert und das Unternehmen in Verlegenheit gebracht. Diesmal jedoch nicht: Der Contest von Logitech lief im Akamai-Netzwerk reibungslos.

Logitech hätte natürlich versuchen können, das System selbst zu bauen. Es hätte einen Server entwickeln und testen können, der 100 gleichzeitige Benutzer verwalten kann. Dieser Server könnte .000 kosten. Dann hätte Logitech 20 dieser Server für 100.000 US-Dollar kaufen und in ein Rechenzentrum stellen können. Aber ein einzelnes Rechenzentrum könnte überlastet sein, daher kann es sinnvoller sein, 10 davon in einem Rechenzentrum an der Ostküste und 10 in einem anderen Rechenzentrum an der Westküste unterzubringen. Dennoch konnte dieses System nur 2.000 gleichzeitige Benutzer verwalten: Es könnte besser sein, 100 Server zu einem Gesamtpreis von 500.000 US-Dollar zu kaufen und sie in 10 verschiedenen Rechenzentren zu platzieren. Aber selbst wenn sie dies getan hätten, hätten die Ingenieure von Logitech nicht wissen können, ob das System zum Testzeitpunkt tatsächlich funktioniert hätte - und sie hätten viel Geld in die Entwicklung investiert, die nicht funktionierte wurden nach der Veranstaltung benötigt.

Und Wettbewerbe sind nicht das Einzige, was im Netzwerk von Akamai durchgeführt werden kann. Praktisch jedes Programm, das in der Programmiersprache Java geschrieben ist, kann auf der Infrastruktur des Unternehmens ausgeführt werden. Das System kann Hypothekenanträge, Kataloge und elektronische Warenkörbe verarbeiten. Akamai betreibt sogar das Backend für Apples 99-Cent-Musikdienst iTunes.

Vielleicht weil Akamai so stolz auf das von ihm entwickelte System ist, ist das Unternehmen sehr offen in Bezug auf die technischen Details des Netzwerks. Das Netzwerkbetriebszentrum in Cambridge, MA, verfügt über eine Glaswand, auf der Besucher einen großen Bildschirm mit Statistiken sehen können. Als ich das Unternehmen im Januar besuchte, sagte der Bildschirm, dass Akamai 591.763 Hits pro Sekunde bereitstellt, mit 14.372 CPUs online, 14.563 Gigahertz Gesamtverarbeitungsleistung und 650 Terabyte Gesamtspeicher. Am 14. April war die Zahl auf eine Spitzenrate von 900.000 Zugriffen pro Sekunde und 43,71 Milliarden zugestellten Anfragen innerhalb von 24 Stunden gestiegen. (Akamai gab die Anzahl der CPUs online nicht bekannt, da diese Zahl Teil seines vierteljährlichen Ergebnisberichts ist, der am 28. April veröffentlicht wird. Aber es hat sich nicht viel geändert, sagte mir der Sprecher des Unternehmens.)

Post und Waage

Mit Blick auf die Zukunft sind einige Geschäftsmöglichkeiten sowohl für Google als auch für Akamai offensichtlich attraktiv. Zum Beispiel könnten beide Unternehmen ihre Erfahrung beim Aufbau großer verteilter Cluster nutzen, um ein massives Backup-System für kleine Unternehmen und Heim-PC-Benutzer zu erstellen. Oder sie könnten die Verwaltung von Heim-PCs übernehmen und sie in intelligente Terminals verwandeln, auf denen Anwendungen auf Remote-Servern ausgeführt werden. Dies würde PC-Benutzern die Plackerei ersparen, ihre eigenen Maschinen zu verwalten, neue Anwendungen zu installieren und Antiviren-Programme auf dem neuesten Stand zu halten.

Und dann ist da noch E-Mail. Bereits am 1. April kündigte Google mit einer unorthodoxen Pressemitteilung an, in das Consumer-E-Mail-Geschäft einzusteigen: Suche ist die Nummer zwei der Online-Aktivitäten – E-Mail ist die Nummer eins: „Heck, Yeah“, sagen die Google-Gründer.

Seitdem hat Google für das angekündigte Design seines Gmail-Angebots (Google Mail) viel Aufmerksamkeit erhalten. Der kostenlose Service verspricht Verbrauchern ein Gigabyte Mail-Speicher (mehr als das Hundertfache der von anderen Webmail-Anbietern angebotenen Speicher), eine erstaunliche Suche in Mail-Archiven und das Versprechen, dass Verbraucher nie wieder eine E-Mail-Nachricht löschen müssen. Anfangs dachten viele Leute, die Ankündigung sei ein Aprilscherz - ein Gigabyte pro Benutzer schien einfach zu viel Speicherplatz zu sein. Da aber die überwiegende Mehrheit der Nutzer nicht so viel Speicherplatz verbrauchen wird, sagt Googles Versprechen wirklich, dass Google neue Festplatten schneller kaufen kann, als die Nutzer des Internets sie füllen können. [ Anmerkung des Herausgebers: Der Vorschlag von Google, Gmail durch die Einblendung von Werbung zu finanzieren, die auf dem Inhalt der E-Mails der Nutzer basiert, wurde von einer Vielzahl von Datenschutzaktivisten heftig kritisiert. Anfang dieses Monats verbreiteten eine Reihe von Datenschutzaktivisten einen Brief, in dem Google aufgefordert wurde, Gmail nicht zu starten, bis diese Datenschutzprobleme gelöst waren. Simson Garfinkel hat diesen Brief als Unterstützer unterzeichnet, nachdem dieser Artikel geschrieben wurde, aber vor seiner Veröffentlichung.]

Die Infrastruktur von Google scheint für die Bereitstellung eines Dienstes wie Gmail gut geeignet zu sein. Im vergangenen Sommer veröffentlichte Google ein technisches Papier namens The Google File System (GFS), das anscheinend die zugrunde liegende Technologie ist, die von Google entwickelt wurde, um die Hochgeschwindigkeitsreplikation und den Zugriff auf Daten in seinen Clustern zu ermöglichen. Mit GFS könnte die E-Mail jedes Benutzers zwischen mehreren verschiedenen Google-Clustern repliziert werden; Wenn sich Benutzer bei Gmail anmelden, könnte ihr Webbrowser automatisch zum nächstgelegenen Cluster geleitet werden, der eine Kopie ihrer Nachrichten enthält.

Es ist schwer, diese Technologie richtig zu machen – und genau die Art von System, die Akamai in den letzten sechs Jahren entwickelt hat. Tatsächlich gibt es im Prinzip keinen Grund, warum Akamai nicht ein ähnlich umfangreiches E-Mail-System relativ einfach auf seinen eigenen Servern bereitstellen könnte. Kein Grund, außer der Firmenphilosophie.

Leighton glaubt nicht, dass Akamai in ein Geschäft einsteigen würde, bei dem das Unternehmen direkt mit Endbenutzern zusammenarbeiten muss. Wahrscheinlicher, sagt er, würde Akamai die Infrastruktur einem anderen Unternehmen zur Verfügung stellen, das in der Lage wäre, die Abrechnung, den Kundensupport und das Marketing für Endbenutzer zu übernehmen. Unser Fokus liegt auf dem Verkauf in das Unternehmen, sagt er.

George Hamilton, Analyst bei der Yankee Group, der sich mit Enterprise Computing und Networking befasst, stimmt dem zu. Hamilton hält die Idee, dass Google mit Akamai konkurriert, für weit hergeholt. Aber Google könnte Akamai einstellen, um den Technologiebedarf von Google zu ergänzen, sagt er.

Dennoch scheint eine solche Partnerschaft unwahrscheinlich – zumindest an der Oberfläche. Google könnte Akamai kaufen, so wie das Unternehmen Pyra Labs im Februar 2003 kaufte, um das persönliche Web-Publishing-System Blogger von Pyra zu erwerben. Aber Akamai scheint mit seiner Kultur der Offenheit nicht gut zu den geheimnisvollen Googles zu passen. Hinzu kommt, dass laut dem Akamai-Quartalsbericht vom November 2003 20 Prozent des Umsatzes von Akamai direkt von Microsoft stammen. Die Rivalität von Google mit Microsoft bei der Internetsuche (und jetzt auch bei E-Mail) wurde in der Presse ausführlich kommentiert; Es ist unwahrscheinlich, dass das Unternehmen so eng mit einem so engen Microsoft-Partner zusammenarbeiten möchte.

Ted Schadler, Vizepräsident des Marktforschungsunternehmens Forrester, sagt, dass es möglich sei, sich einen Wettbewerb der beiden Unternehmen vorzustellen, da sie beide dieselbe Chance im massiven, verteilten Computing verfolgen. In diesem Sinne haben sie die gleiche Vision. Sie müssen viel von der gleichen Technologie aufbauen, weil sie nicht existiert. Sie müssen viele der gleichen Lektionen lernen und viele der gleichen Technologien und Geschäftsmodelle entwickeln.

Schädler sagt, Akamai und Google seien beides Beispiele für das, was er programmierbare Internet-Geschäftskanäle nennt. Bei diesen Kanälen handelt es sich um Unternehmen, die eine große Infrastruktur anbieten, die Hunderten von Millionen Benutzern im Handumdrehen hochwertige Dienste im Internet anbieten kann. Google und Akamai sind solche Unternehmen, aber auch Amazon.com, eBay und sogar Yahoo!. Sie alle sind Dienste, die Dienste zur Grundlage von Geschäftsaktivitäten ermöglichen, die sicher skaliert werden können, sagt Schädler.

Wenn ich ein Wettmann wäre, fügt Schädler hinzu, würde ich sagen, dass Google viel mehr daran interessiert ist, den Kunden zu bedienen und Akamai mehr daran interessiert ist, die Infrastruktur bereitzustellen – es ist der Einzelhandel gegenüber dem Großhandel. Es wird viele, viele dieser einzelhandelsorientierten Dienstleistungen geben.

Wenn das stimmt, könnte Google plötzlich mit einem Unternehmen konkurrieren, das wie Google selbst aus dem Nichts zu kommen schien. Außer dieses Mal müsste dieses Unternehmen keinen der Tricks herausfinden, um die riesige Infrastruktur selbst zu betreiben.

erster Rover auf dem Mars

Und das erklärt, warum Google so geheimnisvoll ist.

verbergen

Tatsächliche Technologien

Kategorie

Unkategorisiert

Technologie

Biotechnologie

Technologierichtlinie

Klimawandel

Mensch Und Technik

Silicon Valley

Computer

Mit News Magazine

Künstliche Intelligenz

Platz

Intelligente Städte

Blockchain

Reportage

Alumni-Profil

Alumni-Verbindung

Mit News Feature

1865

Meine Sicht

77 Mass Avenue

Treffen Sie Den Autor

Profile In Großzügigkeit

Auf Dem Campus Gesehen

Lerne Den Autor Kennen

Alumni-Briefe

Nicht Kategorisiert

77 Massenallee

Rechnen

Tech-Richtlinie

Lernen Sie Den Autor Kennen

Nachrichten

Wahl 2020

Mit Index

Unter Der Kuppel

Feuerwehrschlauch

Unendliche Geschichten

Pandemie-Technologieprojekt

Vom Präsidenten

Titelstory

Fotogallerie

Empfohlen