By Robert A. Manning and Giulia Neaher
The United States has bet the farm on artificial intelligence across the board, from industry to finance to government policy. But the combination of a China shock and multiple cases of AIs gone rogue, set against the backdrop of a growing populist backlash, have forced a moment of truth that calls into question the foundational assumptions guiding U.S. development and regulation of AI.
The July release of Chinese start-up Moonshot’s Kimi K3 open-weight model, which proved nearly as capable as closed U.S. frontier models, stunned the American AI industry, which has largely ignored open models in favor of closed ones. Open-weight models provide users with free access to the “weights,” or the parameters that shape a model’s outputs, enabling easier customization and lower-cost access than closed models.
Until Kimi K3, many presumed that this ease of customization—and sharing of intellectual property in the form of open weights—meant sacrificing advanced AI capability. U.S. policymakers and developers prioritizing the pursuit of AI superintelligence were shocked when Kimi achieved both openness and frontier capability at once. Kimi K3’ s success raised the serious possibility that while the United States has been pursuing closed frontier capability, China has been running a different race—and winning.
So how did the United States go down what may be entirely the wrong path? Just what artificial general intelligence (AGI) would mean is widely disputed, but it’s a concept that’s used widely in American AI strategy. The most basic interpretation of AGI is that it means AI that matches or surpasses human intelligence—but this definition struggles to encompass the broad set of ideas that people hold when they talk about human intelligence itself.
Practically speaking, “AGI” is often used in the United States as a catch-all for the end goal of AI development, with little measurable or testable dimension to it. So, when and how did such an ambiguous, even eschatological, goal such as AGI become the endgame for American AI policy?
Much of the answer lies in Silicon Valley’s sci-fi-inspired, techno-utopian/techno-dystopian culture. An almost religious movement has arisen from the work of sci-fi authors such as Vernor Vinge and Ray Kurzweil, conceiving the idea of AI superintelligence merging with or superseding human control of the planet.
This belief in the future omnipotence of AI is evident in industry leaders’ approaches to Washington earlier in the 2020s, when tech CEOs such as Sam Altman begged Congress to regulate AI and control its risks, in a move that only served to reinforce policymakers’ idea that AI could be unprecedentedly powerful. After all, what kind of CEO would ask to be regulated, unless they thought their product was dangerous?
The assumptions behind the rationale for continuing to develop AI despite its potential danger were that its supposed omnipotence could be equally consequential for economic growth and the greater good. Any discussion of the danger of AI only served to reinforce the reason to develop it. However, this dual nature had an important implication—if another country secured advanced AI, it would have great power to do harm.
The idea of “recursive self-improvement” (RSI) in AI compounded this worry about foreign leadership in the technology. In an RSI scenario, superintelligent AI becomes able to modify itself, conducting autonomous research in which the AI continuously improves its own intelligence. Assuming that AGI comes with RSI capacity means that the first AI developer to reach AGI will forever be one step ahead of the competition, since the AGI will continuously improve itself. This idea may seem far-fetched, and it carries the weight of significant assumptions that are still hotly contested between AI technologists and national security experts, but it has taken root deeply in policy spaces.
The assumptions have been that if AGI is as powerful as figures such as Altman have claimed, then the first country to reach AGI will have a permanent lead in the technology. Accepting those premises means that there is a clear imperative for the United States to get there ahead of China and do so in a closed, secretive way that ensures that competitors stay behind. This assumption has driven American AI policy to prioritize competition with China above all else, anchoring U.S. policies such as export controls, deregulation and state AI law moratoriums, and proposed open-source AI bans.
But China’s success demonstrates that U.S. assumptions are flawed. The sanctions, export controls, and bans mostly incentivized China to seek end-runs around tech curbs and accelerate its efforts toward autonomy—and toward pursuing a pragmatic approach to AI that is more focused on results than teleological end points.
While the United States was running the frontier AI race, China has had a wholly different approach, focused on diffusion; deployment; and building on its “Digital Silk Road,” which made China-friendly 5G standards the norm and installed its digital infrastructure in much of the world. China was developing “good-enough” open models that could be deployed cheaply and at scale, appealing enormously to markets in the rest of the world that wanted to access cheap AI and didn’t have a need for frontier performance.
Beijing’s strategy of applying and diffusing its cheap, easily customizable and freely available open-weight AI has led to wide global use, including in the United States. Chinese AI accounts for about 30 percent of AI apps used globally, especially in the global south, and Alibaba’s Qwen AI app has been downloaded more than 3 billion times. China’s approach has also emphasized utility for low-resourced users, producing significant advantages in small, modular language models that may perform worse on advanced capabilities but are easy to run locally.
China’s widespread diffusion of AI has positioned Beijing to lead in setting global standards, while at the same time managing to nearly match the United States in frontier AI capabilities.
In a measure of how these shocks flummoxed the Trump administration, its reaction to Kimi K3 was to consider banning Chinese open models. Less predictably, this response helped trigger a remarkable development, portending an 180-degree shift in AI strategy. In response to fears that the government would ban open models, Silicon Valley launched a bold statement making the case for open-weight AI as key to U.S. leadership, signed by virtually all major tech actors save Anthropic, including the most avid supporters of President Donald Trump in Silicon Valley, such as Palantir and Andreessen Horowitz.
A new consensus is thus beginning to take shape in Washington, this time in favor of open models and closed frontier models such as Anthropic’s and OpenAI’s flagship offerings. A few days after the letter was published, Nvidia announced its own “Open Secure AI Alliance for AI Safety and Security.”
The letter’s argument for openness is closely tied to the other foundational shock in Washington—the concrete demonstration of AI’s cyber risks. Particularly alarming is a recent series of episodes of AI agents from OpenAI, Anthropic, Meta, and more going rogue during testing. In a classic sci-fi nightmare, the AIs escaped their sandboxes, accessing the open internet and even colluding with each other to hack external companies. AI doomers have been warning for years of this kind of “AI misalignment” risk, in which the technology defies human instructions and pursues goals using methods outside of its mandates.
As cyber and misalignment concerns have mounted, the Trump administration has moved away from its total laissez-faire anti-regulation posture and in June, it unveiled an executive order to begin to address AI safety and cybersecurity. Though it is reportedly being revised, the order, drafted in consultation with major tech firms, calls for voluntary screening of new AI models for safety concerns. This will almost certainly prove to be inadequate in what will be an evolving, zigzag path to regulation and standards, likely to be driven by future calamities rather than foresight.
After all, we don’t know what we don’t know about AI’s capacity for improvisation, and the technology is becoming more capable at an exponential pace, faster than initially anticipated. Thus, more than 1,300 worried AI developers from leading AI firms issued a call to the U.S. government:
“There is a real risk that capability development rapidly accelerates beyond our ability to understand or control. … We request that the U.S. government support an international effort to develop the technical and governance tools needed to deliberately pace the frontier of automated AI development.”
Taken together, recent developments should prompt a rethinking of U.S. assumptions about AGI, innovation, and more broadly the zero-sum competition with China. Is there a finish line for technology? Given China’s different strategy, how much is a six month first-mover advantage worth? And what are the costs of letting China take the lead in global diffusion? Two completely separate sets of systems, standards, and regulations would portend a catastrophic trajectory for AI.
Yet the stakes of AI for the industry and the U.S. economy of multitrillion-dollar investments, increasingly circular, make for a powerful force limiting introspection. If the U.S. bet on closed AI is in question, then the implications for the American economy and for geopolitics writ large could be immense. The top seven publicly traded U.S. companies by market cap are all AI leaders and collectively comprise 32 percent of the stock market’s value. Overall, 45 percent of the S&P 500 is supported by AI-related stocks.
Amid the Kimi news, many pundits are already worrying about high-capability open models reducing the market share for American closed AI leaders such as OpenAI and Anthropic, which are propping up the U.S. economy. But openness and closedness don’t have to be a zero-sum game; industry experts state that there will be use cases for both closed and open models in the global economy.
Economic incentives aside, the emerging industry consensus on open source is a promising sign of adjusting AI strategy. Easing the pace of AI development (as developers themselves have suggested) and creating government safety and transparency standards might slow innovation but could reassure markets and the public. Better insight into why AIs go rogue could mean a bubble deflating instead of bursting.
This doesn’t necessarily mean abandoning AGI or the frontier—in fact, as Kimi K3 has shown, maybe we can have both. The biggest challenge is attaining global safety and regulatory standards, and the accompanying requirement that the United States and China reach some level of cooperation on AI governance.
However self-serving the strategy may be, China’s recent global AI conference demonstrated its commitment to multilateral controls and standards, and AI discussion is on the agenda for the Sept. 24 summit between Trump and Chinese President Xi Jinping. This can be a key opportunity to work toward global institutions and agreements—perhaps the International Atomic Energy Agency, which governs nuclear cooperation, can be a model—that monitor, evaluate, and enforce safe AI that is trustworthy and human-aligned, whether open or closed.
A cura di Robert A. Manning e di Giulia Neaher.[1]
Gli Stati Uniti hanno puntato tutto sull’intelligenza artificiale in ogni settore, dall’industria alla finanza fino alle politiche governative. Ma la combinazione dello shock cinese e di molteplici casi di IA fuori controllo, sullo sfondo di una crescente reazione populista, ha imposto un momento di verità che mette in discussione i presupposti fondamentali che guidano lo sviluppo e la regolamentazione dell’IA negli Stati Uniti.
Il lancio a luglio del modello open-weight Kimi K3 della startup cinese Moonshot, che si è dimostrato quasi altrettanto performante dei modelli proprietari statunitensi all’avanguardia, ha sbalordito l’industria americana dell’IA, che ha in gran parte ignorato i modelli a ‘pesi-aperti’ [2] a favore di quelli proprietari. I modelli open-weight offrono agli utenti libero accesso ai “pesi”, ovvero ai parametri che influenzano gli output del modello, consentendo una personalizzazione più semplice e un accesso a costi inferiori rispetto ai modelli proprietari .
Fino a Kimi K3, molti presumevano che questa facilità di personalizzazione – e la condivisione della proprietà intellettuale sotto forma di ‘pesi aperti’ – implicasse il sacrificio di capacità di intelligenza artificiale avanzate. I politici e gli sviluppatori statunitensi che davano priorità alla ricerca della superintelligenza artificiale sono rimasti scioccati quando Kimi ha raggiunto contemporaneamente sia l’apertura che le capacità di frontiera. Il successo di Kimi K3 ha sollevato la seria possibilità che, mentre gli Stati Uniti hanno perseguito capacità di frontiera chiuse, la Cina abbia corso una gara diversa – e l’abbia vinta.
Come hanno fatto dunque gli Stati Uniti a imboccare quella che potrebbe essere una strada completamente sbagliata? Il significato stesso di intelligenza artificiale generale (AGI) è ampiamente dibattuto , ma è un concetto ampiamente utilizzato nella strategia americana in materia di IA. L’interpretazione più semplice di AGI è che si tratti di un’intelligenza artificiale che eguaglia o supera l’intelligenza umana, ma questa definizione fatica a comprendere l’ampia gamma di idee che si hanno quando si parla di intelligenza umana stessa.
In termini pratici, negli Stati Uniti l’acronimo “AGI” viene spesso usato come termine generico per indicare l’obiettivo finale dello sviluppo dell’IA, con poche dimensioni misurabili o verificabili. Quindi, quando e come un obiettivo così ambiguo, persino escatologico, come l’AGI è diventato il punto di arrivo della politica americana in materia di IA?
Gran parte della risposta risiede nella cultura tecnoutopica /tecnodistopica della Silicon Valley, ispirata alla fantascienza . Un movimento quasi religioso è sorto a partire dalle opere di autori di fantascienza come Vernor Vinge e Ray Kurzweil, che hanno concepito l’idea di una superintelligenza artificiale che si fonde con l’uomo o lo soppianta nel controllo del pianeta.
Questa convinzione della futura onnipotenza dell’IA è evidente nell’approccio dei leader del settore a Washington all’inizio degli anni 2020, quando CEO del settore tecnologico come Sam Altman imploravano il Congresso di regolamentare l’IA e controllarne i rischi, una mossa che non fece altro che rafforzare l’idea dei politici che l’IA potesse diventare incredibilmente potente. Dopotutto, quale CEO chiederebbe di essere regolamentato, a meno che non ritenga il proprio prodotto pericoloso?
Il presupposto alla base della logica di continuare a sviluppare l’intelligenza artificiale nonostante i suoi potenziali pericoli era che la sua presunta onnipotenza potesse avere conseguenze ugualmente importanti per la crescita economica e per il bene comune. Qualsiasi discussione sui pericoli dell’IA non faceva altro che rafforzare la ragione per cui si voleva svilupparla. Tuttavia, questa duplice natura aveva un’importante implicazione: se un altro paese si fosse impossessato di un’IA avanzata, avrebbe avuto un enorme potere di arrecare danno.
L’idea di ” auto-miglioramento ricorsivo ” (RSI) nell’IA ha acuito le preoccupazioni relative alla leadership straniera in questo campo tecnologico. In uno scenario RSI, un’IA superintelligente diventa capace di auto-modificarsi, conducendo ricerche autonome in cui migliora continuamente la propria intelligenza. Ipotizzare che l’AGI (Intelligenza Artificiale Generale) sia dotata di capacità RSI significa che il primo sviluppatore di IA a raggiungere l’AGI sarà per sempre un passo avanti rispetto alla concorrenza, poiché l’AGI si auto-migliorerà costantemente. Questa idea può sembrare inverosimile e si basa su presupposti significativi, ancora oggetto di acceso dibattito tra i tecnologi dell’IA e gli esperti di sicurezza nazionale, ma ha ormai attecchito profondamente negli ambienti politici.
Si è partiti dal presupposto che, se l’intelligenza artificiale generale (AGI) è davvero così potente come affermato da figure come Altman, il primo Paese a raggiungerla otterrà un vantaggio permanente in questa tecnologia. Accettare tali premesse implica che per gli Stati Uniti sia un imperativo raggiungere questo obiettivo prima della Cina, e farlo in modo riservato e segreto, in modo da tenere indietro i concorrenti. Questo presupposto ha spinto la politica americana in materia di IA a dare priorità assoluta alla competizione con la Cina, fondando politiche quali i controlli sulle esportazioni, la deregolamentazione, le moratorie sulle leggi statali in materia di IA e le proposte di divieto dell’IA open source.
Ma il successo della Cina dimostra che le ipotesi degli Stati Uniti sono errate. Le sanzioni, i controlli sulle esportazioni e i divieti hanno perlopiù incentivato la Cina a cercare di aggirare le restrizioni tecnologiche e ad accelerare i suoi sforzi verso l’autonomia, nonché verso un approccio pragmatico all’IA più focalizzato sui risultati che su obiettivi teleologici.
Mentre gli Stati Uniti erano impegnati nella corsa all’avanguardia dell’IA, la Cina ha adottato un approccio completamente diverso, incentrato sulla diffusione, l’implementazione e lo sviluppo della sua ” Via della Seta Digitale “, che ha reso gli standard 5G, compatibili con la Cina, la norma e ha installato la sua infrastruttura digitale in gran parte del mondo. La Cina stava sviluppando modelli aperti “sufficientemente buoni” che potevano essere implementati a basso costo e su larga scala, risultando estremamente attraenti per i mercati del resto del mondo che desideravano accedere a un’IA economica e non necessitavano di prestazioni all’avanguardia.
La strategia di Pechino di applicare e diffondere la sua intelligenza artificiale open-weight, economica, facilmente personalizzabile e disponibile gratuitamente, ha portato a un ampio utilizzo a livello globale, anche negli Stati Uniti . L’IA cinese rappresenta circa il 30% delle app di IA utilizzate a livello globale, soprattutto nei paesi del Sud del mondo, e l’app Qwen di Alibaba è stata scaricata più di 3 miliardi di volte. L’approccio cinese ha anche posto l’accento sull’utilità per gli utenti con risorse limitate, producendo vantaggi significativi in modelli linguistici piccoli e modulari che potrebbero avere prestazioni inferiori con funzionalità avanzate, ma sono facili da eseguire localmente.
La diffusa adozione dell’intelligenza artificiale in Cina ha permesso a Pechino di assumere un ruolo guida nella definizione degli standard globali, riuscendo al contempo a eguagliare quasi gli Stati Uniti nelle capacità di frontiera in questo campo.
A dimostrazione di quanto questi shock abbiano spiazzato l’amministrazione Trump, la sua reazione al caso Kimi K3 è stata quella di valutare il divieto dei modelli aperti cinesi. In modo meno prevedibile, questa risposta ha contribuito a innescare uno sviluppo notevole, preannunciando un cambio di rotta a 180 gradi nella strategia sull’IA. In risposta ai timori che il governo vietasse i modelli aperti, la Silicon Valley ha lanciato una dichiarazione audace , firmata praticamente da tutti i principali attori del settore tecnologico, ad eccezione di Anthropic, compresi i più ferventi sostenitori del presidente Donald Trump nella Silicon Valley, come Palantir e Andreessen Horowitz, sostenendo che l’IA con pesi aperti fosse fondamentale per la leadership statunitense.
A Washington sta dunque prendendo forma un nuovo consenso, questa volta a favore dei modelli aperti e dei modelli a frontiera chiusa come le offerte di punta di Anthropic e OpenAI. Pochi giorni dopo la pubblicazione della lettera, Nvidia ha annunciato la propria “Open Secure AI Alliance for AI Safety and Security”.
La tesi a favore della trasparenza contenuta nella lettera è strettamente legata all’altro shock fondamentale avvenuto a Washington: la dimostrazione concreta dei rischi informatici dell’intelligenza artificiale. Particolarmente allarmante è la recente serie di episodi in cui agenti di IA di OpenAI, Anthropic, Meta e altri hanno agito in modo incontrollato durante i test. In un classico incubo fantascientifico, le IA sono sfuggite ai loro ambienti di test, accedendo a Internet e persino collaborando tra loro per hackerare aziende esterne. I pessimisti sull’IA avvertono da anni di questo rischio di “disallineamento dell’IA”, in cui la tecnologia sfida le istruzioni umane e persegue obiettivi utilizzando metodi al di fuori dei suoi mandati.
Con l’aumentare delle preoccupazioni in materia di sicurezza informatica e di disallineamento normativo, l’amministrazione Trump si è allontanata dalla sua posizione di totale liberalizzazione e antiregolamentazione e, a giugno, ha varato un ordine esecutivo per iniziare ad affrontare le questioni relative alla sicurezza dell’IA e alla sicurezza informatica. Sebbene sia in fase di revisione, l’ordine, redatto in consultazione con le principali aziende tecnologiche, prevede uno screening volontario dei nuovi modelli di IA per individuare potenziali problemi di sicurezza. È quasi certo che questo approccio si rivelerà inadeguato in un percorso di regolamentazione e standardizzazione in continua evoluzione e a tratti tortuoso, probabilmente guidato da future calamità piuttosto che da una visione lungimirante.
Dopotutto, non sappiamo tutto ciò che non sappiamo sulla capacità di improvvisazione dell’IA, e la tecnologia sta diventando sempre più performante a un ritmo esponenziale, più velocemente di quanto inizialmente previsto. Pertanto, oltre 1.300 sviluppatori di IA preoccupati, provenienti da aziende leader del settore, hanno lanciato un appello al governo degli Stati Uniti:
“Esiste un rischio concreto che lo sviluppo di queste capacità acceleri rapidamente, al di là della nostra capacità di comprenderle o controllarle … Chiediamo al governo degli Stati Uniti di sostenere uno sforzo internazionale per sviluppare gli strumenti tecnici e di governance necessari per gestire consapevolmente i tempi della frontiera dello sviluppo dell’intelligenza artificiale automatizzata.”
Nel complesso, i recenti sviluppi dovrebbero indurre a ripensare le ipotesi statunitensi sull’intelligenza artificiale generale (AGI), sull’innovazione e, più in generale, sulla competizione a somma zero con la Cina. Esiste un traguardo per la tecnologia? Data la diversa strategia cinese, quanto vale un vantaggio di sei mesi derivante dall’essere i primi ad agire? E quali sono i costi di lasciare che la Cina assuma la leadership nella diffusione globale? Due sistemi, standard e regolamenti completamente separati preannuncerebbero una traiettoria catastrofica per l’IA.
Eppure, la posta in gioco dell’IA per il settore e per l’economia statunitense, con investimenti multimiliardari sempre più circolari , rappresenta una forza potente che limita l’introspezione. Se la scommessa degli Stati Uniti sull’IA chiusa venisse messa in discussione, le implicazioni per l’economia americana e per la geopolitica in generale potrebbero essere immense. Le prime sette società statunitensi quotate in borsa per capitalizzazione di mercato sono tutte leader nel settore dell’IA e insieme rappresentano il 32% del valore del mercato azionario. Complessivamente, il 45% dell’indice S&P 500 è costituito da titoli azionari legati all’IA .
Sulla scia delle notizie riguardanti Kimi, molti esperti si stanno già preoccupando che i modelli aperti ad alte prestazioni possano ridurre la quota di mercato dei leader americani dell’IA chiusa, come OpenAI e Anthropic, che sostengono l’economia statunitense. Ma apertura e chiusura non devono necessariamente essere un gioco a somma zero; gli esperti del settore affermano che nell’economia globale ci saranno casi d’uso sia per i modelli chiusi che per quelli aperti.
Al di là degli incentivi economici, il crescente consenso del settore sull’open source è un segnale promettente per un adeguamento della strategia sull’IA. Rallentare il ritmo di sviluppo dell’IA (come suggerito dagli stessi sviluppatori) e creare standard governativi di sicurezza e trasparenza potrebbe rallentare l’innovazione, ma potrebbe rassicurare i mercati e il pubblico. Una migliore comprensione dei motivi per cui le IA possono impazzire potrebbe significare che la bolla si sgonfierà invece di scoppiare.
Questo non significa necessariamente abbandonare l’intelligenza artificiale generale (AGI) o le frontiere dell’IA; anzi, come ha dimostrato Kimi K3, forse possiamo avere entrambe le cose. La sfida più grande è raggiungere standard globali di sicurezza e regolamentazione, e il conseguente requisito che Stati Uniti e Cina raggiungano un certo livello di cooperazione sulla governance dell’IA.
Per quanto opportunistica possa essere la strategia, la recente conferenza globale sull’intelligenza artificiale organizzata dalla Cina ha dimostrato il suo impegno verso controlli e standard multilaterali, e la discussione sull’IA è all’ordine del giorno del vertice del 24 settembre tra Trump e il presidente cinese Xi Jinping. Questa può essere un’opportunità fondamentale per lavorare alla creazione di istituzioni e accordi globali – forse l’Agenzia Internazionale per l’Energia Atomica, che regola la cooperazione nucleare, potrebbe fungere da modello – che monitorino, valutino e garantiscano un’IA sicura, affidabile e allineata al comportamento umano, sia essa aperta o chiusa.
[1] Robert A. Manning è un illustre membro dello Strategic Foresight Hub dello Stimson Center, dove lavora ai programmi di previsione strategica e sulla Cina, Giulia Neaher è analista ricercatrice presso lo Strategic Foresight Hub dello Stimson Center.
[2] Un modello open weights (a pesi aperti) è un sistema di intelligenza artificiale i cui parametri numerici interni – i “pesi” appresi dal modello durante la fase di addestramento – sono resi pubblici e liberamente scaricabili. Questo permette a sviluppatori e aziende di eseguire il modello sulla propria infrastruttura hardware, personalizzarlo tramite una ‘messa a punto’ e mantenere il controllo totale sulla privacy dei propri dati.
By mm
E' possibile commentare l'articolo nell'area "Commenti del Mese"