- Google udvikler "TorchTPU" for at gøre deres AI-chips fuldt kompatible med PyTorch og lette migrering fra Nvidia GPU'er.
- Sigtet er at gøre TPU'er til et mainstream-alternativ i skyen og on-premises, hvilket reducerer afhængigheden af Nvidias CUDA-økosystem.
- Google samarbejder tæt med Meta, der er ansvarlig for PyTorch, og overvejer open-sourcing-dele af stakken for at fremskynde implementeringen.
- Stærkere PyTorch-understøttelse kan reducere omkostninger og tekniske barrierer for virksomheder, der ønsker at diversificere deres AI-infrastruktur.
Google omformer stille og roligt sin strategi i kapløbet om kunstig intelligens-databehandlingEfter flere år med at fokusere på deres egne mærker internt, lægger virksomheden nu stor vægt på at få deres AI-chips til at fungere problemfrit med PyTorch, open source-værktøjssættet, der er blevet standardvalget for de fleste AI-udviklere verden over.
Kernen i dette skift er et projekt, der internt er kendt som "TorchTPU", en indsats designet til at lukke kløften mellem, hvordan Googles hardware er bygget, og hvordan kunderne rent faktisk bygger deres AI-systemer. Ved at opgradere PyTorch-understøttelse til førsteklasses status på sine Tensor Processing Units (TPU'er) ønsker Google at reducere kæmpe fordel, som Nvidia har bygget gennem sit CUDA-softwareøkosystem.
Google forvandler TPU'er til en seriøs rival for Nvidia GPU'er
Googles TPU'er har længe været præsenteret som Højtydende chips skræddersyet til AI-arbejdsbelastninger, men de har ikke matchet den allestedsnærværende udbredelse af Nvidias GPU'er. En vigtig årsag er, at Nvidia brugte år på at sikre, at PyTorch kører exceptionelt godt på deres hardware, mens Google primært fokuserede på sine egne værktøjer og interne arbejdsgange.
Inden for Alphabet er TPU'er blevet en kritisk vækstmotor for Google CloudAt sælge adgang til disse chips via sin cloudplatform er nu en central del af, hvordan Google sigter mod at bevise over for investorer, at deres AI-investeringer kan omsættes til håndgribelige indtægter, ikke blot forskningsprestige eller eksperimentelle produkter.
Hardware alene vinder dog ikke udviklere over. Virksomheder, der ser på TPU'er, har gentagne gange fortalt Google, at Softwarekompatibilitet har været et knudepunktTeams, der har en stærk standardisering på PyTorch, ønsker ikke at omstrukturere deres kode eller omskole personale bare for at prøve en ny chip.
Det er her, TorchTPU kommer ind i billedet. Initiativet har til formål at få TPU'er til at føle sig, set fra et udviklerperspektiv, lige så ligetil at bruge med PyTorch som Nvidia GPU'er er i dagMålet er, at eksisterende PyTorch-modeller og pipelines kan flyttes over med minimale ændringer, så omkostningerne og risikoen ved at eksperimentere med TPU'er falder kraftigt.
En talsperson for Google Cloud har undgået at dykke ned i tekniske detaljer, men bekræftede, at det overordnede mål er at give kunderne langt større fleksibilitet i, hvordan de kører AI-arbejdsbelastninger, uanset hvilket hardware de vælger nedenunder.
Hvad TorchTPU virkelig ændrer for PyTorch-udviklere
PyTorch, oprindeligt skabt og promoveret af Meta, er blevet de facto standardramme til opbygning af moderne AI-systemerDe fleste ingeniører i Silicon Valley og andre steder håndkoder ikke kerner til Nvidia-, AMD- eller Google-chips; i stedet bruger de PyTorch og lignende frameworks, der leverer lag af præbyggede komponenter og træningsværktøjer.
Siden udgivelsen i 2016 har PyTorchs vækst været tæt knyttet til CUDA og de omkringliggende biblioteker, den softwarepakke, som mange Wall Street-analytikere anser for at være Nvidias vigtigste strategiske aktiv. Nvidias ingeniører har investeret kraftigt i at sikre, at PyTorch kører med maksimal effektivitet på deres GPU'er, hvilket gør parringen til standardvalget til træning og implementering af storskala AI-modeller.
Google brugte derimod årevis på at støtte Jax, et andet softwareframework, der især er foretrukket inden for dets egne forsknings- og produktteams. TPU'er var afhængige af et compilerlag kaldet XLA at køre Jax-baseret kode effektivt, og en stor del af Googles interne AI-softwarestak og ydeevneoptimeringer blev bygget omkring den kombination.
Resultatet er, at der er opstået en voksende uoverensstemmelse mellem hvordan Google selv bruger sine chips og hvordan de fleste eksterne kunder foretrækker at arbejde. Mange virksomheder har næsten udelukkende standardiseret sig på PyTorch, hvilket betyder, at overgangen til TPU'er typisk indebar et banebrydende skift i værktøjer, kode og udviklerfærdigheder.
Med TorchTPU forsøger Google at fjerne den friktion. Projektet sigter mod at levere Fuldstændig PyTorch-understøttelse på TPU'er, så virksomheder kan fortsætte med at stole på velkendte biblioteker, træningsløkker og implementeringsmønstre, mens de kun ændrer det underliggende hardwaremål. Dette kan reducere både den tekniske indsats og læringskurven kraftigt for teams, der ønsker at evaluere TPU-ydeevne eller omkostningsfordele.
Flere ressourcer, open source og en dybere forpligtelse
Ifølge personer med kendskab til initiativet er TorchTPU ikke bare endnu et sideeksperiment. I modsætning til nogle tidligere forsøg på at få PyTorch til at køre på TPU'er har Google nu tildelt mere organisatorisk opmærksomhed, budget og strategisk betydning til denne indsats og behandler den som en central søjle i dens AI-infrastrukturkøreplan snarere end et nichekompatibilitetsprojekt.
Et af de mest bemærkelsesværdige elementer, der er under overvejelse, er Open-sourcing-dele af softwarestakken bag TorchTPU. Ved at frigive nøglekomponenter til fællesskabet håber Google at fremskynde implementeringen, tiltrække eksterne bidragydere og opbygge tillid blandt store kunder, der ønsker gennemsigtighed og langsigtet stabilitet i deres AI-platforme.
Denne mere åbne holdning skal også berolige virksomheder, der har set TPU-understøttelse som for tæt knyttet til Googles interne måde at gøre tingene på. At give eksterne udviklere mulighed for at inspicere, udvide og fejlfinde TorchTPU-komponenterne kan gøre det TPU'er føles mindre som en proprietær ø og mere som en førsteklasses borger i det bredere PyTorch-økosystem.
For virksomheder har dette en praktisk betydning. Hvis TorchTPU lykkes, kan det i høj grad sænk migreringsomkostningerne fra Nvidia GPU'er til Google TPU'er, hvilket gør det mere muligt at diversificere computerinfrastrukturen uden at skulle påbegynde en flerårig softwareomskrivning.
Kunder har gentagne gange fortalt Google, at det historiske krav om at skifte til Jax var en stor afskrækkelse. PyTorch dominerer allerede blandt AI-udviklere, og i hurtigt skiftende markeder er få organisationer villige til at sætte produktkøreplaner på pause, mens deres teams omstrukturering omkring en ny ramme bare for at få adgang til alternativ hardware.
Fra intern hardware til et bredt virksomhedstilbud
I lang tid beholdt Alphabet det meste af sin TPU-kapacitet til intern brug i Google, der driver søgning, oversættelse, anbefalingssystemer og tidlig AI-forskning. Denne holdning begyndte at ændre sig i 2022, da cloud computing-afdelingen fik større autoritet over, hvordan TPU'er blev produceret og solgt.
Siden da har tilgængeligheden af TPU'er gennem Google Cloud er steget markantI takt med at virksomheders interesse for AI er steget, har Google positioneret sine chips som en måde, hvorpå kunderne kan udnytte avanceret databehandling uden at skulle administrere deres egne tæt koblede GPU-klynger.
For nylig er Google gået et skridt videre ved at salg af TPU'er direkte til implementering i kundernes egne datacentre, ikke kun gennem sin offentlige cloud. Dette skift giver større organisationer med strenge lovgivningsmæssige krav eller latenskrav mulighed for at integrere TPU'er i deres lokale infrastruktur, samtidig med at de drager fordel af Googles hardwareplan.
Denne udvidelse ændrer også Googles interne prioriteter. Virksomheden har brug for TPU-kapacitet både for at køre sine egne AI-produkter—fra Gemini-chatbotten til AI-drevne søgefunktioner — og til at betjene eksterne Google Cloud-kunder, herunder højprofilerede AI-firmaer som Anthropic, der er afhængige af lejet TPU-kapacitet.
For at koordinere alt dette har Google styrket lederskabet inden for AI-infrastruktur: veteranchef Amin Vahdat blev udnævnt til chef for AI-infrastruktur og rapporterer nu direkte til administrerende direktør Sundar PichaiDen rapporteringslinje understreger, hvor central hardware- og softwarestakken er blevet for Googles bredere AI-ambitioner.
Samarbejde med Meta for at styrke PyTorch på TPU'er
Google forfølger ikke TorchTPU alene. Ifølge personer med kendskab til forhandlingerne arbejder virksomheden tæt sammen med Meta, skaberen og forvalteren af PyTorch, for at fremskynde støtten til TPU'er og tilpasse sig tekniske retninger, der gavner begge partnere.
Drøftelserne mellem virksomhederne omfatter aftaler, der ville give Meta adgang til mere TPU-kapacitetTidligere forslag indeholdt angiveligt dette som administrerede tjenester: Google ville implementere sine chips i miljøer, hvor Meta kunne køre sin egen software og modeller, hvor Google håndterede en stor del af den operationelle omkostninger.
For Meta er det strategisk vigtigt at få PyTorch til at køre effektivt på tværs af en bredere vifte af hardware. Virksomheden har et klart incitament til at reducere inferensomkostninger og diversificere væk fra en eksklusiv afhængighed af Nvidia GPU'er, både for at sænke sine egne udgifter og for at styrke sin forhandlingsposition i forhandlingerne om fremtidige chipkøb.
Ved at samarbejde med Google kan Meta hjælpe med at sikre, at PyTorch forbliver hardwareuafhængig og bredt optimeret, i stedet for at blive set som tæt bundet til en enkelt leverandørs økosystem. Det styrker til gengæld PyTorchs status som en fællesskabsstandard og holder frameworket attraktivt for både forskere og virksomheder.
Meta har indtil videre afvist at kommentere offentligt på disse specifikke arrangementer, men Interessesammenligningen er tydeligSociale medie- og AI-giganten ønsker muligheder ud over Nvidia, mens Google ønsker, at PyTorch skal føles indbygget på sine TPU'er, så flere kunder er villige til at prøve dem.
Udnytter Nvidias CUDA-fordel
Nvidias dominans inden for AI handler ikke kun om at levere kraftfulde GPU'er. Gennem mange år har virksomheden opbygget en omfattende softwarestak – forankret af – der er dybt integreret i frameworks som PyTorch. Denne kombination af hardware og software er blevet standard trænings- og inferensplatformen for banebrydende AI-modeller.
På grund af den tætte integration ser mange organisationer Det er risikabelt og dyrt at flytte væk fra NvidiaKodebaser, arbejdsgange og medarbejderekspertise er alle indstillet til CUDA, hvilket får alternative chips til at ligne en potentiel kilde til gnidning, selvom de på papiret lover bedre priser eller ydeevne.
Googles TorchTPU-indsats er et direkte forsøg på at udhule den fordel. Hvis PyTorch kan køre på TPU'er med et lignende niveau af lethed og ydeevnejustering som på Nvidia GPU'er, vil virksomheder få fordele. et troværdigt alternativ til store AI-arbejdsbyrderI et marked, hvor efterspørgslen efter AI-beregninger eksploderer, og udbudsbegrænsninger er almindelige, kan det være meget attraktivt at have en anden seriøs mulighed.
Samtidig signalerer Googles beslutning om at overveje open-sourcing-nøgledele af TorchTPU-stakken en anden tilgang end Nvidias mere vertikalt integrerede stil. Ved at dele mere af den underliggende software sigter Google mod at opbygge tillid blandt udviklere, der værdsætter gennemsigtighed og portabilitet.
Intet af dette garanterer, at TPU'er vil erstatte GPU'er, men det ændrer kalkuluset. I stedet for at vælge mellem Nvidias modne økosystem og et alternativ, der kræver en komplet værktøjsmigrering, kunne kunderne overveje... ydeevne, omkostninger og tilgængelighed mens man opholder sig i det velkendte PyTorch-miljø.
På tværs af cloud- og lokale implementeringer kan dette skift gøre det lettere for organisationer at bland og match hardwareudbydere over tid, i stedet for som standard at låse deres AI-køreplaner til en enkelt leverandør.
I takt med at Google uddyber sit engagement i PyTorch gennem TorchTPU, øger virksomheders adgang til TPU'er og strammer samarbejdet med Meta, konkurrencepræget landskab omkring AI-infrastruktur bliver mere flydende. Nvidias føring, bygget på mange års hardware- og CUDA-integration, er stadig betydelig, men kunderne ser nu mere realistiske veje til at diversificere, hvor deres AI-arbejdsbelastninger kører, og hvor meget de betaler for den underliggende beregning.
