Armato di una infusione di 640 milioni di dollari, Groq pensa di poter sfidare una delle aziende più preziose del mondo con un chip appositamente costruito progettato da zero. per l’IA
Di Richard Nieva, Forbes Staff
Il primo accenno di Jonathan Ross che qualcosa non andava è tornato a febbraio mentre stava parlando con una serie di membri del Parlamento norvegese e dirigenti tecnologici a Oslo. Ross, il 42enne CEO della startup di chip AI Groq, era nel bel mezzo di una demo che sperava avrebbe vitalizzato l’azienda languiente: un chatbot AI in grado di rispondere alle domande quasi istantaneamente, più velocemente di quanto un essere umano possa leggere. Ma, per qualche motivo, era leggermente in ritardo. Ha innervosito Ross, che stava lanciando un data center europeo alimentato da Groq che avrebbe mostrato i chip specializzati responsabili di quelle risposte superveloci. “Ho continuato a controllare i numeri”, ricorda. “La gente non sapeva perché ero così distratto”.
Il colpevole era un afflusso di nuovi utenti. Un giorno prima dell’incontro di Oslo di Ross, un tweet virale di uno sviluppatore entusiasta entusiasta di “un motore di risposta AI fulmineo” ha inviato tonnellate di nuovo traffico alla demo online, piegando i server dell’azienda. Era un problema, ma buono da avere.
Quando ha fondato Groq otto anni fa, l’idea di Ross era di progettare chip di intelligenza artificiale esplicitamente per ciò che è noto nel settore come “inferenza”: la parte dell’intelligenza artificiale che imita il ragionamento umano applicando ciò che ha imparato a nuove situazioni. È ciò che consente al tuo smartphone di identificare il tuo cane come un Corgi in una foto mai vista prima, o un generatore di immagini per immaginare Papa Francesco in un cappotto Balenciaga. È molto diverso dall’altra modalità computazionale dell’IA: addestrare i modelli massicci per cominciare.
Ma fino a quando OpenAI ha rilasciato ChatGPT alla fine del 2022, scatenando una frenesia globale dell’IA, la domanda di inferenza superveloce era limitata e l’azienda stava zoppicando. “Groq è quasi morto molte volte”, dice Ross dall’interno del laboratorio di semiconduttori della startup a San Jose, in California, ricordando un punto basso nel 2019 in cui la startup era a un mese dall’esaurimento dei soldi. “Abbiamo iniziato Groq forse un po’ presto”.
Ma ora, con la domanda di potenza computazionale per costruire e gestire modelli di intelligenza artificiale così intensa che sta contribuendo a una carenza globale di elettricità, il momento di Groq è apparentemente arrivato, sia come potenziale generatore di rumore che come obiettivo di acquisizione per i giganti dei chip legacy. Lunedì, la società ha detto in esclusiva a Forbes di aver raccolto un mostruoso giro di serie D di 640 milioni di dollari, lanciandolo a una valutazione di 2,8 miliardi di dollari, rispetto agli 1,1 miliardi di dollari del 2021. Il round, guidato da BlackRock Private Equity Partners, include anche Cisco Investments e il Samsung Catalyst Fund, un braccio di venture del gigante dell’elettronica che si concentra sull’infrastruttura e sull’intelligenza artificiale.
“Groq è quasi morto molte volte”.Jonathan Ross, CEO, Groq
La necessità di potenza di calcolo è così insaziabile che ha aumentato la capitalizzazione di mercato di Nvidia a 3 trilioni di dollari con un fatturato del 2023 di 60,9 miliardi di dollari. Groq è ancora piccolo al confronto, con vendite del 2023 a partire da 3,4 milioni di dollari e una perdita netta di 88,3 milioni di dollari, secondo i documenti finanziari visualizzati da Forbes. Ma mentre l’interesse aumenta nei suoi chip, la società ha previsto un aumento di 100 milioni di dollari di vendite forse ottimistiche quest’anno, dicono le fonti, anche se dubitavano che l’azienda sarebbe stata in grado di raggiungere quell’obiettivo. Groq ha rifiutato di commentare quelle cifre.
Con il mercato dei chip AI che dovrebbe raggiungere 1,1 trilioni di dollari entro il 2027, Ross vede l’opportunità di accaparrsi una fetta della sconcertante quota dell’80% di Nvidia concentrandosi sull’inferenza. Quel mercato dovrebbe valere circa 39 miliardi di dollari quest’anno, stimati a 60,7 miliardi di dollari nei prossimi quattro anni, secondo la società di ricerca IDC. “Compute è il nuovo petrolio”, dice Ross.
Gli sfidanti come Groq sono rialzisti perché i chip di Nvidia non sono stati originariamente concepiti per l’IA. Quando il CEO Jensen Huang ha debuttato le sue unità di elaborazione grafica (GPU) nel 1999, erano state progettate per eseguire videogiochi ad alta intensità grafica. È stato il caso che siano stati i chip più adatti per addestrare l’IA. Ma Groq e una nuova ondata di startup di chip di nuova generazione, tra cui Cerebras (valutazione di 4 miliardi di dollari) e SambaNova (valutazione di 5,1 miliardi di dollari), vedono un’apertura. “Nessuno che ha iniziato con un foglio di carta pulito ha scelto di fare una GPU per questo tipo di lavoro”, afferma Andrew Feldman, CEO di Cerebras.
Non sono solo le startup che cercano di detronizzare Nvidia. Sia Amazon che Microsoft stanno costruendo i propri chip di intelligenza artificiale. Ma i chip di Groq, chiamati Language Processing Units (LPU), sono così veloci che l’azienda pensa di avere una possibilità di combattere. In un pitch deck agli investitori, l’azienda li pubblicizza come quattro volte più veloci, cinque volte più economici e tre volte più efficienti dal punto di vista energetico rispetto alle GPU di Nvidia quando vengono utilizzate per inferenza. Nvidia ha rifiutato di commentare l’affermazione.
“Le loro velocità di inferenza sono chiaramente dimostrativamente migliori di qualsiasi altra cosa sul mercato”, afferma Aemish Shah, cofondatore di General Global Capital, che ha investito in più cicli di finanziamento Groq.
Groq ha iniziato a vendere i suoi chip due anni fa e da allora ha aggiunto clienti come Argonne National Labs, una struttura di ricerca federale con origini nel Progetto Manhattan, che ha usato i chip Groq per studiare la fusione nucleare, il tipo di energia che alimenta il sole. Aramco Digital, il braccio tecnologico della compagnia petrolifera saudita, ha anche firmato una partnership per utilizzare i chip Groq.
A marzo, Groq ha lanciato GroqCloud, dove gli sviluppatori possono noleggiare l’accesso ai suoi chip senza acquistarli a titolo definitivo. Per attirare gli sviluppatori, Groq ha offerto l’accesso gratuito: nel suo primo mese, 70.000 iscritti. Ora ce ne sono 350.000 e si contano. Il 30 giugno, la società ha attivato i pagamenti e ha appena assunto Stuart Pann, un ex dirigente Intel e ora COO di Groq, per aumentare rapidamente le entrate e le operazioni. Pann è ottimista sulla crescita: più di un quarto dei ticket dei clienti GroqCloud sono richieste di pagare per una maggiore potenza di calcolo.
“Il chip Groq va davvero per la giugulare”, dice il capo scienziato di Meta Yann LeCun, ex professore di informatica di Ross alla NYU che è recentemente entrato a far parte di Groq come consulente tecnico. Alla fine del mese scorso, il CEO Mark Zuckerberg ha annunciato che Groq sarebbe stata una società che fornisce chip per eseguire l’inferenza per il nuovo modello Llama 3.1 di Meta, definendo la startup “innovatori”.
Ross si è fatto i denti a Google, dove ha lavorato nel team che ha creato i semiconduttori “unità di elaborazione tensoriale” dell’azienda, che sono ottimizzati per l’apprendimento automatico. Ha lasciato nel 2016 per avviare Groq, insieme al collega ingegnere di Google Doug Wightman, che è stato il primo CEO dell’azienda. Quell’anno, Groq ha raccolto un round di 10 milioni di dollari guidato dal fondo VC Social Capital. Ma da lì, trovare nuovi investitori è stato difficile. Il cofondatore di Groq Wightman se n’è andato pochi anni dopo e non ha risposto alle richieste di intervista.
Ci sono ancora molti naysser. Un venture capitalist che ha passato il round di serie D dell’azienda ha caratterizzato l’approccio di Groq come “nuovo”, ma non pensava che la sua proprietà intellettuale fosse difendibile a lungo termine. Mitesh Agrawal, capo del cloud per la startup di infrastrutture AI da 1,5 miliardi di dollari Lambda, afferma che la sua azienda non ha intenzione di offrire Groq o altri chip specializzati nel suo cloud. “È molto difficile pensare al di là di Nvidia in questo momento”, dice. Altri mettono in discussione l’efficienza in termini di costi dei chip di Groq su larga scala.
Ross sa che è una salita. “È un po’ come se fossimo il rookie dell’anno”, dice. “Non siamo ancora vicini a Nvidia. Quindi tutti gli occhi sono su di noi. Ed è come, cosa farai dopo?”