Project Syndicate » Selezione del Mese

Idiozia Artificiale, di SLAVOJ ŽIŽEK (da Project Syndicate, 23 marzo 2023)


Mar 23, 2023

Artificial Idiocy



LJUBLJANA – There is nothing new about “chatbots” that are capable of maintaining a conversation in natural language, understanding a user’s basic intent, and offering responses based on preset rules and data. But the capacity of such chatbots has been dramatically augmented in recent months, leading to handwringing and panic in many circles.

Much has been said about chatbots auguring the end of the traditional student essay. But an issue that warrants closer attention is how chatbots should respond when human interlocutors use aggressive, sexist, or racist remarks to prompt the bot to present its own foul-mouthed fantasies in return. Should AIs be programmed to answer at the same level as the questions that are being posed?

If we decide that some kind of regulation is in order, we must then determine how far the censorship should go. Will political positions that some cohorts deem “offensive” be prohibited? What about expressions of solidarity with West Bank Palestinians, or the claim that Israel is an apartheid state (which former US President Jimmy Carter once put into the title of a book)? Will these be blocked as “anti-Semitic”?

The problem does not end there. As the artist and writer James Bridle warns, the new AIs are “based on the wholesale appropriation of existing culture,” and the belief that they are “actually knowledgeable or meaningful is actively dangerous.” Hence, we should also be very wary of the new AI image generators. “In their attempt to understand and replicate the entirety of human visual culture,” Bridle observes, “[they] seem to have recreated our darkest fears as well. Perhaps this is just a sign that these systems are very good indeed at aping human consciousness, all the way down to the horror that lurks in the depths of existence: our fears of filth, death, and corruption.”

But just how good are the new AIs at approximating human consciousness? Consider the bar that recently advertised a drink special with the following terms: “Buy one beer for the price of two and receive a second beer absolutely free!” To any human, this is obviously a joke. The classic “buy one, get one” special is reformulated to cancel itself out. It is an expression of cynicism that will be appreciated as comic honesty, all to boost sales. Would a chatbot pick up on any of this?

“Fuck” presents a similar problem. Although it designates something that most people enjoy doing (copulation), it also often acquires a negative valence (“We’re fucked!” “Go fuck yourself!”). Language and reality are messy. Is AI ready to discern such differences?

In his 1805 essay “On the gradual formation of thoughts in the process of speech” (first published posthumously in 1878), the German poet Heinrich von Kleist inverts the common wisdom that one should not open one’s mouth to speak unless one has a clear idea of what to say: “If therefore a thought is expressed in a fuzzy way, then it does not at all follow that this thought was conceived in a confused way. On the contrary, it is quite possible that the ideas that are expressed in the most confusing fashion are the ones that were thought out most clearly.”

The relationship between language and thought is extraordinarily complicated. In a passage from one of Stalin’s speeches from the early 1930s, he proposes radical measures to “detect and fight without mercy even those who oppose collectivization only in their thoughts – yes, I mean this, we should fight even people’s thoughts.” One can safely presume that this passage was not prepared in advance. After getting caught up in the moment, Stalin immediately became aware of what he had just said. But instead of backpedaling, he decided to stick with his hyperbole.

As Jacques Lacan later put it, this was a case of truth emerging by surprise through the act of enunciation. Louis Althusser identified a similar phenomenon in the interplay between prise and surprise. Someone who suddenly grasps (“prise”) an idea will be surprised by what she has accomplished. Again, can any chatbot do this?

The problem is not that chatbots are stupid; it is that they are not “stupid” enough. It is not that they are naive (missing irony and reflexivity); it is that they are not naive enough (missing when naivety is masking perspicacity). The real danger, then, is not that people will mistake a chatbot for a real person; it is that communicating with chatbots will make real persons talk like chatbots – missing all the nuances and ironies, obsessively saying only precisely what one thinks one wants to say.

When I was younger, a friend went to a psychoanalyst for treatment following a traumatic experience. This friend’s idea of what such analysts expect from their patients was a cliché, so he spent his first session delivering fake “free associations” about how he hated his father and wanted him dead. The analyst’s reaction was ingenious: he adopted a naive “pre-Freudian” stance and reproached my friend for not respecting his father (“How can you talk like that about the person who made you what you are?”). This feigned naivety sent a clear message: I don’t buy your fake “associations.” Would a chatbot be able to pick up on this subtext?

Most likely, it would not, because it is like Rowan Williams’s interpretation of Prince Myshkin in Dostoyevsky’s The Idiot. According to the standard reading, Myshkin, “the idiot,” is a saintly, “positively good and beautiful man” who is driven into isolated madness by the harsh brutalities and passions of the real world. But in Williams’s radical re-reading, Myshkin represents the eye of a storm: good and saintly though he may be, he is the one who triggers the havoc and death that he witnesses, owing to his role in the complex network of relationships around him.

It is not just that Myshkin is a naive simpleton. It is that his particular kind of obtuseness leaves him unaware of his disastrous effects on others. He is a flat person who literally talks like a chatbot. His “goodness” lies in the fact that, like a chatbot, he reacts to challenges without irony, offering platitudes bereft of any reflexivity, taking everything literally and relying on a mental auto-complete rather than authentic idea-formation. For this reason, the new chatbots will get along very well with ideologues of all stripes, from today’s “woke” crowd to “MAGA” nationalists who prefer to remain asleep.


Idiozia Artificiale,



LUBIANA – Non c’è niente di nuovo, a proposito dei “robot che conversano”, nel fatto che siano capaci di sostenere una conversazione nel linguaggio naturale, di comprendere le intenzioni più elementari di un utilizzatore e di offrire risposte basate su regole e dati prefissati. Eppure la capacità di tali ‘macchine dialoganti’ è stata enfatizzata in modo spettacolare nei mesi recenti, portando molti ambienti alla disperazione ed al panico.

È stato detto molto sul fatto che tali robot facciano presagire la fine dei tradizionali compiti degli studenti. Ma un tema che giustifica una attenzione più precisa è come essi risponderebbero quando gli interlocutori umani utilizzassero osservazioni aggressive, sessiste o razziste per indurre la macchina ad offrire in cambio le sue proprie sboccate fantasie. Le Intelligenze Artificiali dovrebbero essere programmate per rispondere allo stesso livello alle domande che vengono poste?

Se decidiamo che una regolamentazione di qualche genere sia opportuna, allora dobbiamo determinare fino a che punto dovrebbe spingersi la censura. Le posizioni politiche che alcuni ambienti giudicano “offensive” saranno proibite? Che dire delle espressioni di solidarietà con i palestinesi della Cisgiordania, o dell’argomento che Israele sia uno Stato di apartheid (come il passato Presidente degli Stati Uniti Jimmy Carter una volta inserì nel titolo di un libro)? Queste espressioni sarebbero bloccate come “antisemite”?

Il problema non finirebbe lì. Come mette in guardia l’artista e lo scrittore James Bridle, le nuove Intelligenze Artificiali sono “basate sulla appropriazione totale della cultura esistente” e la convinzione che esse siano “effettivamente informate o consapevoli è concretamente pericolosa”. Quindi, dovremmo anche essere molto diffidenti dei generatori di immagini delle nuove Intelligenze artificiali. “Nel loro tentativo di comprendere e replicare l’intera cultura visiva umana”, osserva Bridle, “[essi] sembrano aver rigenerato anche le nostre più fosche paure. Forse questo è solo un segnale che questi sistemi sono in effetti ottimi nell’imitare la coscienza umana, fino all’estremo limite che si annida nelle aree più remote dell’esistenza: le nostre paure dell’oscenità, della morte e della corruzione”.

Ma quanto sono precisamente buone le nuove Intelligenze artificiali nel somigliare alla coscienza umana? Si consideri quel locale che di recente faceva pubblicità ad una particolare bevanda nei termini seguenti: “Comprate una birra al prezzo di due e riceverete una seconda birra assolutamente gratuita!”. La classica offerta “ne compri uno, ne hai uno” viene riformulata per neutralizzare se stessa. È una espressione di scetticismo che verrà apprezzata al pari di una forma divertente di onestà, il tutto per sostenere le vendite. Un robot dialogante si accorgerà di qualcosa del genere? [1]

Il termine “fuck” presenta un problema simile. Sebbene esso designi qualcosa che la maggioranza delle persone provano piacere nel fare (la copula), esso spesso acquista una valenza negativa (“Siamo fottuti!”, “Va a farti fottere!”). Il linguaggio e la realtà sono sottosopra. L’Intelligenza Artificiale è pronta  discernere tali differenze?

Nel suo saggio del 1805 “Sulla formazione graduale dei pensieri nel processo del linguaggio” (pubblicato la prima volta postumo nel 1878), il poeta tedesco Heinrich con Kleist inverte il senso comune secondo il quale non si dovrebbe aprire la propria bocca se non si ha una idea chiara di cosa dire: “Se di conseguenza un pensiero è espresso in modo nebuloso, allora non ne consegue affatto che questo pensiero sia stato concepito in modo confuso. Al contrario, è abbastanza probabile che le idee che vengono espresse nel modo più confuso siano quelle che sono state pensate più chiaramente”.

La relazione tra linguaggio e pensiero è straordinariamente complicata. In un passaggio di un discorso di Stalin dei primi anni ’30, egli proponeva misure radicali per “individuare e combattere senza pietà anche coloro che si oppongono alla collettivizzazione solo nei loro pensieri – proprio così, io intendo questo, che dovremmo combattere persino i pensieri delle persone”. Si può con certezza ipotizzare che questo passaggio non fosse stato preparato in precedenza. Dopo essersi sul momento imbattuto in esso, Stalin divenne immediatamente consapevole  di quello che aveva appena detto. Ma invece di fare marcia indietro, decise di bloccarsi su quell’iperbole.

Come Lacan successivamente si espresse, questo era un caso di una verità che emerge sorprendentemente attraverso l’atto dell’enunciazione. Louis Althusser identificava un fenomeno simile nella interazione tra ‘presa’ e sorpresa. Qualcuno che all’improvviso afferra un’idea (“la presa”) sarà sorpreso da ciò che ha compiuto. Ancora: può fare questo una qualche ‘macchina dialogante’?

I problema non è che i robot siano stupidi: è che non sono abbastanza “stupidi”. Non è che essi siano ingenui (che manchino di ironia e di riflessività): è che non sono abbastanza ingenui (che difettano quando la ingenuità maschera perspicacia). Il pericolo vero, allora, non è che le persone confondano un robot con una persona reale; è che comunicare con i robot farà parlare le persone reali come se fossero robot – perdendo ogni sfumatura e ironia, dicendo ossessivamente solo proprio quello che uno pensa di voler dire.

Quando ero più giovane, un amico andò da uno psicanalista per un trattamento a seguito di una esperienza traumatica. L’idea di questo amico su ciò che un analista del genere si aspetta dai suoi pazienti era piuttosto banale, cosicché spese la sua prima sessione fornendo false “libere associazioni” su come egli odiasse suo padre e su come desiderasse la sua morte. La reazione dell’analista fu ingegnosa: egli adottò una ingenua posizione “pre-freudiana” e rimbrottò il mio amico per la sua mancanza di rispetto verso il padre (“Come può parlare in questo modo della persona che l’ha messa al mondo?”). Questa finta ingenuità trasmetteva un messaggio chiaro: io non credo ad una virgola delle sue false “associazioni”. Un robot sarebbe capace di accorgersi di questo significato sottointeso?

La cosa più probabile è che non ne sarebbe capace, perché essa è come l’interpretazione di Rowan William del Principe Myskyn ne L’idiota di Dostoevskij. Secondo la lettura tradizionale, Myskyn, “l’idiota”, è un sant’uomo “assolutamente buono e bello” che è spinto in una isolata follia dalle crude brutalità e passioni del mondo reale. Ma nella radicale rilettura di William, Myskyn rappresenta l’occhio di una tempesta: per quanto buono e santo possa essere, è lui che innesca il caos e la morte di cui è testimone, a seguito del suo ruolo nella complicata rete di relazioni che lo circonda.

Non si tratta solo del fatto che Myskyn è un ingenuo sempliciotto. Si tratta del fatto che il suo particolare tipo di ottusità lo lascia inconsapevole dei disastrosi effetti sugli altri. Egli è una persona scialba che letteralmente parla come un robot dialogante. La sua bontà consiste nel fatto che, come un robot, egli reagisce alle sfide senza ironia, offrendo banalità prive di ogni riflessione, prendendo tutto alla lettera e basandosi su un formazione delle idee che si risolve mentalmente in se stessa anziché essere autentica. Per questa ragione, le nuove macchine dialoganti andranno ottimamente d’accordo con gli ideologhi di tutti i generi, dalle odierne folle del ‘super radicalismo’ ai nazionalisti del ‘MAGA’, che preferiscono restare addormentati.







[1] La cosa divertente è che un lettore di questo articolo ha commentato questo passaggio su Project Syndicate dopo aver fatto un tentativo riuscito di porre la stessa domanda a GPT-4, ed ha ottenuto questa precisissima risposta: “Il messaggio potrebbe essere inteso come uno scherzo o una ironia, rivolta a far ridere o sorridere le persone. L’umorismo può contribuire a creare una associazione positiva con la marca della bevanda …”.

Per quanto ŽIŽEK sia fantasioso, non sembra che abbia trovato il robot impreparato!





Commenti dei Lettori (0)

E' possibile commentare l'articolo nell'area "Commenti del Mese"