CAMBRIDGE – In November 2024, US President Joe Biden and Chinese President Xi Jinping made their first substantive joint statement about the national-security risks posed by AI. Specifically, they noted that both the United States and China believe in “the need to maintain human control over the decision to use nuclear weapons.”
That may sound like diplomatic low-hanging fruit, since it would be hard to find a reasonable person willing to argue that we should hand control over nuclear weapons to AI. But with the Chinese government, there is no such thing as low-hanging fruit, especially on weighty security matters. The Chinese are inherently skeptical of US risk-reduction proposals, and Russia had opposed similar language in multilateral bodies. Because bilateral talks with the US on AI and nuclear security would open daylight between Russia and China, progress on this front was not a foregone conclusion.
In the end, it took more than a year of negotiation to make that simple joint statement happen. Yet simple as it seems, the result was significant, because it demonstrated that the two AI superpowers can engage in constructive risk management even as they compete vigorously for AI leadership.
Moreover, diplomats and experts from our two countries had also met earlier in 2024, in Geneva, for an extended session dedicated to AI risks. It was the first meeting of its kind, and though it didn’t produce any significant results, the very fact that it occurred was an important step, and both sides did manage to identify critical areas of risk that required further work.
Now, as the momentum behind AI development and deployment, both civil and military, gathers pace, the US and China need to build on this foundation by pursuing sustained, senior-level diplomacy on AI risks, even as each strives for the lead in the AI race. They must do so because the risks of AI are real and only growing.
For example, as AI capabilities advance and diffuse, non-state actors like terrorist organizations could leverage them to threaten both the US and China – as well as the rest of the world. Such threats could take many forms, including cyberattacks that paralyze critical infrastructure, novel bioweapons that evade detection or treatment, disinformation campaigns that destabilize governments and societies, and AI-enabled lethal drones that can strike anywhere will little or no notice.
Nor do the risks stop there. As the US and Chinese militaries increase their use of AI – shortening decision loops and altering deterrence frameworks in the process – the risk of AI-powered systems inadvertently triggering a conflict or catastrophic escalation will grow. As AI becomes increasingly central to the global banking system, AI-powered trading could cause a market crash in the absence of adequate firewalling. And looking further ahead, one can imagine a powerful, misaligned AI system (pursuing aims other than what their creators intended) threatening grievous harm to humanity. As the world’s only AI superpowers, the US and China need to engage one another directly to address these and other dangers.
Engagement does not mean that China and the US will stop competing vigorously. This fall, China showed how sharp that competition has become when it issued new, extreme export controls on rare earths that are critical to the production of microchips and other components of AI systems.
As national security adviser during the Biden administration, I worked hard to ensure that the US maintained its lead on AI so that the technology will work for us rather than against us. I saw that the race for leadership in military, intelligence, and commercial applications, and for adoption of American and Chinese AI models and applications by countries around the world, would only continue to heat up.
But it is precisely because of this intense competition that diplomacy is essential, even in this period of heightened tensions. It would be deeply irresponsible for the US and China to race ahead without engaging each other on the risks, or without talking about the immense opportunities that AI presents to address transnational challenges – from the climate crisis to public health.
To be sure, leading thinkers in both countries have participated in “Track 2” diplomatic efforts – talks outside of government, usually involving universities, business leaders, and civil-society groups. Such discussions are valuable, and they should continue. Ultimately, though, there is no substitute for direct government-to-government engagement, even if it is quite modest at first. Nor can engagement wait, given the breathtaking speed of technological advancement and the foreseeable difficulties of reaching diplomatic breakthroughs that are equal to the moment. Managing AI risks is uncharted territory, so progress will be neither swift nor easy. The US and China need to get started.
Many commentators have drawn parallels to nuclear-arms control as it developed over the decades, and that analogy has some merit. Superpowers bear responsibility for managing the risks associated with powerful technologies, and we have successfully discharged that responsibility in the past through arms-control agreements – including at the very height of the Cold War. But AI also presents different challenges, requiring more innovative approaches than arms control.
There are several reasons for this. First, verification is more vexing. Counting missiles and warheads, with their detectable signatures, is one thing; counting algorithms – let alone discerning all the capabilities and applications of a given algorithm – is quite another.
Second, the challenge of dual use presents itself differently in the case of AI. Yes, splitting the atom has both civilian and military uses, but there is a fairly straightforward line between peaceful nuclear power and nuclear weapons, and the International Atomic Energy Agency has a lot of experience policing it. By contrast, the same AI model that can help advance scientific research and generate economic growth can also help deliver terrifying lethal effects. This makes the competitive dynamics between the US and China much harder to manage, and the line between opportunity and risk much harder to discern.
Third, arms-control discussions have focused chiefly on states threatening other states, whereas AI risk involves state-to-state threats but also non-state threats and the risks associated with AI misalignment. This presents different challenges and opportunities for diplomacy.
Fourth, at least in the US, AI development is driven not by the government but by the private sector – and not by one company, but by many competing against each other. That means a wider range of actors must be involved in discussions aimed at mitigating the risks that the technology poses.
Lastly, there is a wide spectrum of views on how fast and how far AI capabilities will go. Some see it as a “normal” technology whose full adoption will take decades, while others argue that a superintelligence explosion is just a few years away. With nuclear weapons, you could get a slightly bigger or smaller detonation, or a faster or more maneuverable delivery vehicle, but you basically knew what you were dealing with. The evolution and impact of AI capabilities is much less clear.
When I served as national security adviser, I worked to make certain that the US government was ready for every scenario along the uncertainty spectrum. Doing so requires an additional level of flexibility, subtlety, and steadiness. The nuclear-arms-control framework did not emerge overnight. It took years to devise the relevant export controls, testing schemas, verification protocols, and guardrails – and it took decades of diplomacy to maintain them. With AI, we are at the opening stages of something similar in ambition, but different in substance and complexity. That makes it all the more important to proceed with risk-reduction efforts immediately.
CAMBRIDGE – Nel novembre 2024, il presidente degli Stati Uniti Joe Biden e il presidente cinese Xi Jinping hanno rilasciato la loro prima dichiarazione congiunta sostanziale sui rischi per la sicurezza nazionale posti dall’intelligenza artificiale. In particolare, hanno osservato che sia gli Stati Uniti che la Cina credono nella “necessità di mantenere il controllo umano sulla decisione di utilizzare armi nucleari”.
Potrebbe sembrare un obiettivo diplomatico a portata di mano, dato che sarebbe difficile trovare una persona ragionevole disposta a sostenere che dovremmo affidare il controllo delle armi nucleari all’IA. Ma con il governo cinese, non esiste un obiettivo a portata di mano, soprattutto su questioni di sicurezza di grande importanza. I cinesi sono intrinsecamente scettici nei confronti delle proposte statunitensi di riduzione del rischio, e la Russia si era opposta a un linguaggio simile in seno agli organismi multilaterali. Poiché i colloqui bilaterali con gli Stati Uniti su IA e sicurezza nucleare avrebbero aperto la strada alla pace tra Russia e Cina, i progressi su questo fronte non erano scontati.
Alla fine, ci è voluto più di un anno di trattative per giungere a quella semplice dichiarazione congiunta. Per quanto semplice possa sembrare, il risultato è stato significativo, perché ha dimostrato che le due superpotenze dell’IA possono impegnarsi in una gestione costruttiva del rischio, pur competendo vigorosamente per la leadership in questo campo.
Inoltre, diplomatici ed esperti dei nostri due Paesi si erano incontrati anche all’inizio del 2024, a Ginevra, per una sessione estesa dedicata ai rischi dell’IA. Si è trattato del primo incontro del suo genere e, sebbene non abbia prodotto risultati significativi, il fatto stesso che si sia svolto ha rappresentato un passo importante, ed entrambe le parti sono riuscite a identificare aree di rischio critiche che richiedevano ulteriori approfondimenti.
Ora, mentre lo slancio verso lo sviluppo e l’implementazione dell’IA, sia civile che militare, si fa sempre più intenso, Stati Uniti e Cina devono costruire su queste basi perseguendo una diplomazia sostenuta e di alto livello sui rischi dell’IA, pur puntando entrambi a conquistare la leadership nella corsa all’IA. Devono farlo perché i rischi dell’IA sono reali e in continua crescita.
Ad esempio, con l’avanzare e la diffusione delle capacità dell’IA, attori non statali come le organizzazioni terroristiche potrebbero sfruttarle per minacciare sia gli Stati Uniti che la Cina, così come il resto del mondo. Tali minacce potrebbero assumere molteplici forme, tra cui attacchi informatici che paralizzano infrastrutture fondamentali, nuove armi biologiche che sfuggono al rilevamento o al trattamento, campagne di disinformazione che destabilizzano governi e società e droni letali basati sull’IA in grado di colpire ovunque, passando inosservati o quasi.
E i rischi non finiscono qui. Con l’aumento dell’uso dell’IA da parte degli eserciti statunitense e cinese – accorciando i cicli decisionali e alterando i sistemi di deterrenza – crescerà il rischio che i sistemi basati sull’IA inneschino inavvertitamente un conflitto o un’escalation catastrofica. Con l’importanza sempre maggiore dell’IA nel sistema bancario globale, il commercio basato sull’IA potrebbe causare un crollo del mercato in assenza di un’adeguata protezione. E guardando al futuro, si può immaginare un sistema di IA potente e disallineato (che persegue obiettivi diversi da quelli previsti dai suoi creatori) che minaccia di causare gravi danni all’umanità. Essendo le uniche superpotenze al mondo in materia di IA, Stati Uniti e Cina devono interagire direttamente per affrontare questi e altri pericoli.
L’impegno non significa che Cina e Stati Uniti smetteranno di competere vigorosamente. Quest’autunno, la Cina ha dimostrato quanto sia diventata agguerrita questa competizione quando ha imposto nuovi e drastici controlli sulle esportazioni di terre rare, fondamentali per la produzione di microchip e altri componenti dei sistemi di intelligenza artificiale.
Come consigliere per la sicurezza nazionale durante l’amministrazione Biden, ho lavorato duramente per garantire che gli Stati Uniti mantenessero la loro leadership nell’intelligenza artificiale, in modo che la tecnologia lavorasse a nostro favore piuttosto che contro di noi. Ho visto che la corsa alla leadership nelle applicazioni militari, di intelligence e commerciali, e per l’adozione di modelli e applicazioni di intelligenza artificiale americani e cinesi da parte di paesi in tutto il mondo, avrebbe continuato a intensificarsi.
Ma è proprio a causa di questa intensa competizione che la diplomazia è essenziale, anche in questo periodo di forti tensioni. Sarebbe profondamente irresponsabile per Stati Uniti e Cina correre avanti senza confrontarsi reciprocamente sui rischi, o senza parlare delle immense opportunità che l’intelligenza artificiale offre per affrontare le sfide transnazionali, dalla crisi climatica alla salute pubblica.
Certamente, pensatori di spicco di entrambi i Paesi hanno partecipato agli sforzi diplomatici del “Track 2” [1], ovvero colloqui al di fuori del governo, che di solito coinvolgono università, leader aziendali e gruppi della società civile. Tali discussioni sono preziose e dovrebbero continuare. In definitiva, però, non c’è sostituto per l’impegno diretto tra governi, anche se inizialmente piuttosto modesto. Né l’impegno può aspettare, data la velocità vertiginosa del progresso tecnologico e le prevedibili difficoltà nel raggiungere progressi diplomatici all’altezza del momento. La gestione dei rischi dell’IA è un territorio inesplorato, quindi i progressi non saranno né rapidi né facili. Stati Uniti e Cina devono iniziare.
Molti commentatori hanno tracciato parallelismi con il controllo degli armamenti nucleari, così come si è sviluppato nel corso dei decenni, e questa analogia ha un certo fondamento. Le superpotenze hanno la responsabilità di gestire i rischi associati a tecnologie potenti, e in passato abbiamo assolto con successo tale responsabilità attraverso accordi sul controllo degli armamenti, anche nel pieno della Guerra Fredda. Ma l’intelligenza artificiale presenta anche sfide diverse, che richiedono approcci più innovativi rispetto al controllo degli armamenti.
Le ragioni sono diverse. Innanzitutto, la verifica è più complicata. Contare missili e testate, con le loro firme rilevabili, è una cosa; contare gli algoritmi – per non parlare di discernere tutte le capacità e le applicazioni di un dato algoritmo – è tutt’altra cosa.
In secondo luogo, la sfida del duplice uso si presenta in modo diverso nel caso dell’IA. Certo, la scissione dell’atomo ha usi sia civili che militari, ma esiste una linea di demarcazione piuttosto netta tra l’energia nucleare pacifica e le armi nucleari, e l’Agenzia Internazionale per l’Energia Atomica ha una vasta esperienza nel controllarla. Al contrario, lo stesso modello di IA che può contribuire a far progredire la ricerca scientifica e generare crescita economica può anche contribuire a produrre effetti letali terrificanti. Questo rende le dinamiche competitive tra Stati Uniti e Cina molto più difficili da gestire e il confine tra opportunità e rischio molto più arduo da discernere.
In terzo luogo, le discussioni sul controllo degli armamenti si sono concentrate principalmente sulle minacce tra stati, mentre il rischio legato all’IA riguarda sia le minacce tra stati, sia quelle non statali, e i rischi associati al disallineamento dell’IA. Ciò presenta sfide e opportunità diverse per la diplomazia.
In quarto luogo, almeno negli Stati Uniti, lo sviluppo dell’IA non è guidato dal governo, ma dal settore privato – e non da una sola azienda, ma da molte aziende in competizione tra loro. Ciò significa che una gamma più ampia di attori deve essere coinvolta nelle discussioni volte a mitigare i rischi che la tecnologia pone.
Infine, c’è un ampio spettro di opinioni su quanto velocemente e fino a che punto arriveranno le capacità dell’IA. Alcuni la considerano una tecnologia “normale” la cui piena adozione richiederà decenni, mentre altri sostengono che l’esplosione di una superintelligenza sia a pochi anni di distanza. Con le armi nucleari, si potrebbe ottenere una detonazione leggermente più grande o più piccola, o un veicolo di lancio più veloce o più manovrabile, ma in pratica si sapeva con cosa si aveva a che fare. L’evoluzione e l’impatto delle capacità dell’IA sono molto meno chiari.
Quando ero consigliere per la sicurezza nazionale, mi impegnavo per garantire che il governo degli Stati Uniti fosse pronto per ogni scenario lungo lo spettro dell’incertezza. Ciò richiede un ulteriore livello di flessibilità, sottigliezza e fermezza. Il quadro normativo per il controllo degli armamenti nucleari non è nato dall’oggi al domani. Ci sono voluti anni per elaborare i relativi controlli sulle esportazioni, schemi di test, protocolli di verifica e barriere di sicurezza, e decenni di diplomazia per mantenerli. Con l’intelligenza artificiale, siamo alle fasi iniziali di qualcosa di simile nell’ambizione, ma diverso nella sostanza e nella complessità. Ciò rende ancora più importante procedere immediatamente con gli sforzi di riduzione del rischio.
[1] Diplomazia (Track Two Diplomacy): In contrapposizione a “Track One” (diplomazia ufficiale), si riferisce a colloqui informali e attività tra attori non governativi (accademici, ONG, esperti) per risolvere conflitti.
By mm
E' possibile commentare l'articolo nell'area "Commenti del Mese"