Blog

May 13, 2023

Meta setzt mit benutzerdefinierten Chips stark auf KI

Bei einer virtuellen Veranstaltung heute Morgen hat Meta den Vorhang für seine Bemühungen gelüftet

Bei einer virtuellen Veranstaltung heute Morgen enthüllte Meta seine Bemühungen zur Entwicklung einer internen Infrastruktur für KI-Workloads, einschließlich generativer KI, wie sie den kürzlich eingeführten Tools für Anzeigendesign und -erstellung zugrunde liegt.

Es war ein Versuch, die Stärke von Meta zu demonstrieren, das in der Vergangenheit nur langsam KI-freundliche Hardwaresysteme einführte – was seine Fähigkeit beeinträchtigte, mit Konkurrenten wie Google und Microsoft mitzuhalten.

"„Der Aufbau unserer eigenen [Hardware-]Fähigkeiten gibt uns die Kontrolle auf jeder Ebene des Stacks, vom Rechenzentrumsdesign bis hin zu Trainings-Frameworks“, sagte Alexis Bjorlin, VP of Infrastructure bei Meta, gegenüber TechCrunch. „Dieses Maß an vertikaler Integration ist erforderlich, um die Grenzen von zu verschieben.“ KI-Forschung im großen Maßstab.“

In den letzten zehn Jahren hat Meta Milliarden von Dollar ausgegeben, um Top-Datenwissenschaftler zu rekrutieren und neue Arten von KI zu entwickeln, einschließlich KI, die jetzt die Discovery-Engines, Moderationsfilter und Anzeigenempfehlungen antreibt, die in seinen Apps und Diensten zu finden sind. Doch das Unternehmen hatte Schwierigkeiten, viele seiner ehrgeizigeren Innovationen in der KI-Forschung in Produkte umzusetzen, insbesondere im Bereich der generativen KI.

Bis 2022 führte Meta seine KI-Arbeitslasten größtenteils mit einer Kombination aus CPUs aus – die für diese Art von Aufgaben tendenziell weniger effizient sind als GPUs – und einem benutzerdefinierten Chip, der zur Beschleunigung von KI-Algorithmen entwickelt wurde. Meta kündigte eine groß angelegte Einführung des maßgeschneiderten Chips an, die für 2022 geplant war, und bestellte stattdessen Nvidia-GPUs im Wert von mehreren Milliarden Dollar, was eine umfassende Neugestaltung mehrerer seiner Rechenzentren erforderte.

Um die Wende herbeizuführen, plante Meta, mit der Entwicklung eines ehrgeizigeren internen Chips zu beginnen, der 2025 auf den Markt kommen soll und in der Lage ist, KI-Modelle sowohl zu trainieren als auch auszuführen. Und das war das Hauptthema der heutigen Präsentation.

Meta nennt den neuen Chip Meta Training and Inference Accelerator, kurz MTIA, und beschreibt ihn als Teil einer „Familie“ von Chips zur Beschleunigung von KI-Trainings- und Inferenz-Workloads. („Inferencing“ bezieht sich auf die Ausführung eines trainierten Modells.) Der MTIA ist ein ASIC, eine Art Chip, der verschiedene Schaltkreise auf einer Platine vereint und so programmiert werden kann, dass er eine oder mehrere Aufgaben parallel ausführt.

Ein KI-Chip-Meta, der speziell für KI-Workloads entwickelt wurde.Bildnachweis:Meta

„Um bei unseren wichtigen Workloads ein höheres Maß an Effizienz und Leistung zu erzielen, brauchten wir eine maßgeschneiderte Lösung, die gemeinsam mit dem Modell, dem Software-Stack und der Systemhardware entwickelt wurde“, fuhr Bjorlin fort. „Dies bietet unseren Benutzern ein besseres Erlebnis bei einer Vielzahl von Diensten.“

Benutzerdefinierte KI-Chips sind bei den Big-Tech-Playern immer beliebter. Google hat einen Prozessor namens TPU (kurz für „Tensor Processing Unit“) entwickelt, um große generative KI-Systeme wie PaLM-2 und Imagen zu trainieren. Amazon bietet AWS-Kunden proprietäre Chips sowohl für das Training (Trainium) als auch für die Inferenzierung (Inferentia) an. Berichten zufolge arbeitet Microsoft mit AMD an der Entwicklung eines hauseigenen KI-Chips namens Athena.

Meta gibt an, im Jahr 2020 die erste Generation des MTIA – MTIA v1 – entwickelt zu haben, die auf einem 7-Nanometer-Prozess basiert. Es kann über die internen 128 MB Speicher hinaus auf bis zu 128 GB skaliert werden, und in einem von Meta entwickelten Benchmark-Test – der natürlich mit Vorsicht zu genießen ist – behauptet Meta, dass der MTIA „geringe Komplexität“ handhabte „ und „mittlere Komplexität“ KI-Modelle effizienter als eine GPU.

In den Speicher- und Netzwerkbereichen des Chips muss noch Arbeit geleistet werden, sagt Meta, die mit zunehmender Größe der KI-Modelle zu Engpässen führen und eine Aufteilung der Arbeitslast auf mehrere Chips erfordern. (Es ist kein Zufall, dass Meta kürzlich ein in Oslo ansässiges Team zum Aufbau von KI-Netzwerktechnologie beim britischen Chip-Einhorn Graphcore übernommen hat.) Und vorerst liegt der Schwerpunkt des MTIA ausschließlich auf Inferenz – und nicht auf Training – für „Empfehlungs-Workloads“ in der gesamten Meta-App-Familie.

Aber Meta betonte, dass der MTIA, den er weiter verfeinert, die Effizienz des Unternehmens in Bezug auf die Leistung pro Watt bei der Ausführung von Empfehlungs-Workloads „erheblich“ steigert – was es Meta wiederum ermöglicht, „besser“ und „modernster“ (angeblich) zu laufen. KI-Workloads.

Vielleicht wird Meta eines Tages den Großteil seiner KI-Arbeitslasten auf MTIA-Banken verlagern. Doch vorerst verlässt sich das soziale Netzwerk auf die GPUs in seinem forschungsorientierten Supercomputer, dem Research SuperCluster (RSC).

Das erstmals im Januar 2022 vorgestellte RSC – zusammengestellt in Zusammenarbeit mit Penguin Computing, Nvidia und Pure Storage – hat seinen Aufbau in der zweiten Phase abgeschlossen. Meta sagt, dass es jetzt insgesamt 2.000 Nvidia DGX A100-Systeme mit 16.000 Nvidia A100-GPUs enthält.

Warum also einen eigenen Supercomputer bauen? Nun, zum einen gibt es Gruppenzwang. Vor einigen Jahren hat Microsoft große Anstrengungen unternommen, um seinen KI-Supercomputer in Zusammenarbeit mit OpenAI zu entwickeln, und kürzlich angekündigt, mit Nvidia zusammenzuarbeiten, um einen neuen KI-Supercomputer in der Azure-Cloud zu bauen. An anderer Stelle hat Google seinen eigenen KI-fokussierten Supercomputer angepriesen, der über 26.000 Nvidia H100-GPUs verfügt – und damit den von Meta übertrifft.

Metas Supercomputer für die KI-Forschung.Bildnachweis:Meta

Meta sagt jedoch, dass das RSC nicht nur mit den Jones-Familien mithalten kann, sondern auch den Vorteil bietet, dass es seinen Forschern ermöglicht, Modelle anhand realer Beispiele aus den Produktionssystemen von Meta zu trainieren. Das ist anders als bei der bisherigen KI-Infrastruktur des Unternehmens, die nur Open-Source- und öffentlich verfügbare Datensätze nutzte.

„Der RSC-KI-Supercomputer wird verwendet, um die Grenzen der KI-Forschung in mehreren Bereichen zu erweitern, einschließlich der generativen KI“, sagte ein Meta-Sprecher. „Es geht wirklich um die Produktivität der KI-Forschung. Wir wollten KI-Forschern eine hochmoderne Infrastruktur zur Verfügung stellen, damit sie Modelle entwickeln und ihnen eine Trainingsplattform zur Weiterentwicklung der KI zur Verfügung stellen können.“

Auf dem Höhepunkt kann der RSC eine Rechenleistung von fast 5 Exaflops erreichen, was ihn nach Angaben des Unternehmens zu den schnellsten der Welt macht. (Um das nicht zu beeindrucken, ist es erwähnenswert, dass einige Experten die Exaflops-Leistungsmetrik mit Vorsicht betrachten und dass der RSC vielen der schnellsten Supercomputer der Welt weit überlegen ist.)

Meta sagt, dass es den RSC verwendet hat, um LLaMA zu trainieren, ein gequältes Akronym für „Large Language Model Meta AI“ – ein großes Sprachmodell, das das Unternehmen Anfang des Jahres als „Gated Release“ an Forscher weitergegeben hat (und das anschließend in verschiedenen Quellen durchgesickert ist). Internet-Communities). Das größte LLaMA-Modell wurde laut Meta auf 2.048 A100-GPUs trainiert, was 21 Tage dauerte.

„Der Aufbau unserer eigenen Supercomputing-Fähigkeiten gibt uns die Kontrolle auf jeder Ebene des Stacks, vom Rechenzentrumsdesign bis hin zu Trainings-Frameworks“, fügte der Sprecher hinzu. „RSC wird den KI-Forschern von Meta dabei helfen, neue und bessere KI-Modelle zu entwickeln, die aus Billionen von Beispielen lernen, in Hunderten verschiedener Sprachen arbeiten, Texte, Bilder und Videos nahtlos zusammen analysieren, neue Augmented-Reality-Tools entwickeln und vieles mehr.“

Neben MTIA entwickelt Meta einen weiteren Chip zur Bewältigung bestimmter Arten von Computer-Workloads, wie das Unternehmen auf der heutigen Veranstaltung bekannt gab. Der als Meta Scalable Video Processor (MSVP) bezeichnete Chip ist Metas erste selbst entwickelte ASIC-Lösung, die für die Verarbeitungsanforderungen von Video-on-Demand und Live-Streaming konzipiert ist.

Wie sich die Leser vielleicht erinnern, begann Meta vor Jahren mit der Entwicklung benutzerdefinierter serverseitiger Videochips und kündigte 2019 einen ASIC für Videotranskodierungs- und Inferenzarbeiten an. Dies ist das Ergebnis einiger dieser Bemühungen sowie ein erneuter Drang nach einem Wettbewerbsvorteil in der Branche Bereich Live-Video speziell.

„Allein auf Facebook verbringen die Leute 50 % ihrer Zeit damit, sich Videos in der App anzusehen“, schrieben die technischen Leiter von Meta, Harikrishna Reddy und Yunqing Chen, in einem heute Morgen gemeinsam veröffentlichten Blogbeitrag. „Um die große Vielfalt an Geräten auf der ganzen Welt (mobile Geräte, Laptops, Fernseher usw.) bedienen zu können, werden beispielsweise auf Facebook oder Instagram hochgeladene Videos in mehrere Bitströme mit unterschiedlichen Kodierungsformaten, Auflösungen und Qualitäten transkodiert … MSVP ist programmierbar und skalierbar und kann so konfiguriert werden, dass es sowohl die für VOD erforderliche hochwertige Transkodierung als auch die für Live-Streaming erforderlichen geringen Latenzzeiten und schnelleren Verarbeitungszeiten effizient unterstützt.“

Der benutzerdefinierte Chip von Meta wurde entwickelt, um Video-Workloads wie Streaming und Transkodierung zu beschleunigen.Bildnachweis:Meta

Meta sagt, sein Plan bestehe darin, den Großteil seiner „stabilen und ausgereiften“ Videoverarbeitungs-Workloads irgendwann auf das MSVP auszulagern und die Software-Videokodierung nur für Workloads zu verwenden, die spezifische Anpassungen und „deutlich“ höhere Qualität erfordern. Laut Meta wird weiterhin an der Verbesserung der Videoqualität mit MSVP mithilfe von Vorverarbeitungsmethoden wie Smart Denoising und Bildverbesserung sowie Nachbearbeitungsmethoden wie Artefaktentfernung und Superauflösung gearbeitet.

„In Zukunft wird MSVP es uns ermöglichen, noch mehr der wichtigsten Anwendungsfälle und Bedürfnisse von Meta zu unterstützen, einschließlich Kurzvideos – und so eine effiziente Bereitstellung generativer KI, AR/VR und anderer Metaverse-Inhalte ermöglichen“, sagten Reddy und Chen.

Wenn es in den heutigen Hardware-Ankündigungen einen roten Faden gibt, dann ist es der, dass Meta verzweifelt versucht, das Tempo zu erhöhen, wenn es um KI geht, insbesondere um generative KI.

So viel war vorher telegrafiert worden. Im Februar kündigte CEO Mark Zuckerberg – der Berichten zufolge die Erhöhung der Rechenkapazität von Meta für KI zu seiner obersten Priorität gemacht hat – ein neues hochrangiges generatives KI-Team an, um, in seinen Worten, die Forschung und Entwicklung des Unternehmens „aufzuladen“. Auch CTO Andrew Bosworth sagte kürzlich, dass generative KI der Bereich sei, in dem er und Zuckerberg die meiste Zeit verbrachten. Und Chefwissenschaftler Yann LeCun sagte, dass Meta plant, generative KI-Tools einzusetzen, um Gegenstände in der virtuellen Realität zu erstellen.

„Wir erforschen Chat-Erlebnisse in WhatsApp und Messenger, visuelle Erstellungstools für Beiträge auf Facebook und Instagram und Anzeigen sowie im Laufe der Zeit auch Video- und multimodale Erlebnisse“, sagte Zuckerberg während Metas Q1-Gewinnaufruf im April. „Ich gehe davon aus, dass diese Tools für jeden von Nutzen sein werden, vom normalen Menschen über Kreative bis hin zu Unternehmen. Ich gehe beispielsweise davon aus, dass großes Interesse an KI-Agenten für Geschäftsnachrichten und Kundensupport entstehen wird, sobald wir diese Erfahrung gemacht haben. Mit der Zeit wird dies der Fall sein.“ wird sich auch auf unsere Arbeit am Metaversum erstrecken, wo Menschen viel einfacher in der Lage sein werden, Avatare, Objekte, Welten und Code zu erstellen, um sie alle miteinander zu verbinden.“

Zum Teil verspürt Meta den zunehmenden Druck seitens der Anleger, die befürchten, dass das Unternehmen nicht schnell genug agiert, um den (potenziell großen) Markt für generative KI zu erobern. Es gibt – noch – keine Antwort auf Chatbots wie Bard, Bing Chat oder ChatGPT. Auch bei der Bilderzeugung, einem weiteren Schlüsselsegment, das ein explosionsartiges Wachstum verzeichnet, wurden keine großen Fortschritte erzielt.

Wenn die Vorhersagen stimmen, könnte der gesamte adressierbare Markt für generative KI-Software 150 Milliarden US-Dollar betragen. Goldman Sachs prognostiziert, dass das BIP um 7 % steigen wird.

Schon ein kleiner Teil davon könnte die Milliardenverluste von Meta durch Investitionen in „Metaverse“-Technologien wie Augmented-Reality-Headsets, Meeting-Software und VR-Spielplätze wie Horizon Worlds wettmachen. Reality Labs, die Abteilung von Meta, die für Augmented-Reality-Technologie verantwortlich ist, meldete im letzten Quartal einen Nettoverlust von 4 Milliarden US-Dollar, und das Unternehmen sagte während seiner Telefonkonferenz zum ersten Quartal, dass es erwarte, dass „die Betriebsverluste im Jahr 2023 im Jahresvergleich steigen werden“.