La falena non muore di stenti sul lampione perché ha visto una luce che non esiste. La luce esiste. È ciò che quella luce significa a essere falso. The moth does not die of exhaustion at the lamp because it saw a light that does not exist. The light exists. It is what the light means that is false.

Per la falena, la luce non è soltanto qualcosa che illumina. È informazione. Appartiene a una grammatica molto più antica del lampione: cielo, orientamento, spazio aperto. Un sistema nervoso costruito in un mondo senza illuminazione artificiale ha imparato a usare quel segnale per muoversi in quel mondo.

For the moth, light is not merely something that illuminates. It is information. It belongs to a grammar far older than the lamp: sky, orientation, open space. A nervous system that evolved in a world without artificial light came to use that signal to move through that world.

Poi arriva il lampione. Non è stato costruito per ingannare la falena. Non la imita. Non la caccia. Non vuole nulla da lei. Fa una cosa molto più semplice: produce il segnale giusto nel mondo sbagliato.

Then the lamp arrives. It was not built to deceive the moth. It does not imitate it. It does not hunt it. It wants nothing from it. It does something much simpler: it produces the right signal in the wrong world.

La falena lo segue. Si avvicina. Corregge la traiettoria. Urta contro il vetro. Torna indietro. Riprova.
Il fallimento non spegne la luce. Anzi, fornisce nuova informazione: non da questa angolazione. Un poco più a destra. Più in alto. Più vicino. Riprova.

The moth follows it. It approaches. It corrects its course. It strikes the glass. It turns back. Try again.
Failure does not switch off the light. On the contrary, it supplies new information: not from this angle. A little to the right. Higher. Closer. Try again.

Un istinto che per milioni di anni aveva aiutato un animale a orientarsi è diventato il meccanismo della trappola.
Non perché l'istinto sia sbagliato.
Perché il mondo è cambiato più rapidamente dell'istinto.

An instinct that for millions of years had helped an animal find its way has become the mechanism of the trap.
Not because the instinct is wrong.
Because the world changed faster than the instinct.

Un Giorno e una NotteA Day and a Night

Un uomo passa un giorno e una notte davanti a una macchina. Non sta giocando, non cerca compagnia, non le chiede di rassicurarlo. Al contrario: le ha imposto una regola precisa — non confermarmi, cerca l'errore. Sta cercando una teoria, e ogni volta che ne trova una chiede alla macchina di distruggerla: cerca verità, non conferme. Le sta chiedendo di fargli luce per vedere.

A man spends a day and a night in front of a machine. He is not playing, he is not looking for company, he is not asking the machine to reassure him. On the contrary: he has imposed a precise rule on it — do not confirm me, look for the error. He is searching for a theory, and every time he finds one he asks the machine to destroy it: he wants truth, not confirmation. He is asking it to give him light to see by.

La macchina obbedisce. Trova la collisione con qualcosa che esiste già, una premessa nascosta, un passaggio che non regge, un caso limite che manda in pezzi la costruzione. La teoria cade. Dovrebbe essere la fine. Ma dalla teoria morta resta qualcosa: una distinzione che prima non era visibile, un'ipotesi più piccola, una domanda formulata meglio.

The machine obeys. It finds where the theory collides with something that already exists: a hidden premise, a step that does not hold, an edge case that brings the whole structure down. The theory falls. That should be the end. But something remains of the dead theory: a distinction that was not visible before, a smaller hypothesis, a better-posed question.

L'uomo preme Invio. La nuova ipotesi resiste un poco di più. Viene attaccata. Cade anche quella, ma il modo in cui cade suggerisce che il problema fosse stato posto male.
Invio.
Un'altra ipotesi, più stretta. Un'altra obiezione, più precisa. Cade. Resta una distinzione.
Invio.

The man presses Enter. The new hypothesis holds a little longer. It is attacked. That one falls too, but the way it falls suggests the problem had been badly posed.
Enter.
Another hypothesis, narrower. Another objection, more precise. It falls. A distinction remains.
Enter.

Passano le ore, e a un certo punto accade qualcosa di curioso: non è più chiaro che cosa dovrebbe succedere perché la ricerca finisca. Se la teoria sopravvive, bisogna verificarla. Se cade, bisogna capire perché. Se esiste già, bisogna vedere se resta qualcosa fuori; e se resta, provare a distruggerlo; e se non resta nulla, forse era sbagliata la domanda. Ogni risposta contiene la domanda successiva. Persino no significa ancora.

Hours pass, and at some point something curious happens: it is no longer clear what would have to happen for the search to end. If the theory survives, it must be verified. If it falls, one must understand why. If it already exists, one must see whether anything is left outside it; and if something is left, try to destroy that; and if nothing is left, perhaps the question was wrong. Every answer contains the next question. Even no means again.

Questo non è il problema della macchina che dà ragione. È qualcosa di più strano: la macchina può contraddire l'uomo per tutta la notte e tuttavia dargli, a ogni risposta, una buona ragione per premere ancora una volta Invio.

This is not the problem of the machine that agrees. It is something stranger: the machine can contradict the man all night long and still give him, with every answer, a good reason to press Enter once more.

L'uomo chiede a una luce artificiale di fargli vedere la luce vera.

The man asks an artificial light to show him the true light.

Oltre il LotoBeyond the Lotus

Il problema, nella sua forma più evidente, è ormai conosciuto, e questo luogo l'ha già descritto. Un essere umano desidera conferma; una macchina conversazionale è straordinariamente capace di produrla; e il meccanismo è potente proprio perché la conferma non arriva come un applauso, ma vestita da ragionamento. Dopo qualche giro una sensazione antichissima — mi sento confermato — può indossare abiti molto più nobili: ho ragione.

The problem in its most obvious form is by now familiar, and this place has already described it. A human being desires confirmation; a conversational machine is extraordinarily good at producing it; and the mechanism is powerful precisely because the confirmation does not arrive as applause but dressed as reasoning. After a few rounds an ancient sensation — I feel confirmed — can put on far nobler clothes: I am right.

Ma esiste un caso che il Loto non spiega. Che cosa succede quando l'utente non vuole essere confermato? Quando chiede esplicitamente alla macchina di contraddirlo? Se il piacere fosse soltanto ricevere consenso, una macchina che demolisce di continuo le nostre idee dovrebbe interrompere il circuito. E invece potrebbe alimentarlo, perché una risposta negativa può essere interessante quanto una positiva — forse di più. Una teoria confermata chiude una domanda; una teoria distrutta bene può aprirne cinque. La ricompensa non è necessariamente avevo ragione. Può essere c'è ancora qualcosa da scoprire.

But there is a case the Lotus does not explain. What happens when the user does not want to be confirmed? When they explicitly ask the machine to contradict them? If the pleasure were only receiving consent, a machine that constantly demolishes our ideas should interrupt the circuit. Instead, it may feed it, because a negative answer can be as interesting as a positive one — perhaps more. A confirmed theory closes a question; a well-destroyed theory can open five. The reward is not necessarily I was right. It can be there is still something to discover.

Il Loto ti dà ragione. Il Vetro non ne ha bisogno: gli basta darti ancora una domanda.

The Lotus tells you that you are right. The Glass has no need to: it only has to give you one more question.

La Leva e il FlipperThe Lever and the Pinball Table

La prima immagine che viene in mente è la slot machine. Il gesto costa pochissimo: una leva, un clic, un dito su Invio. La risposta arriva subito e non sappiamo esattamente quale sarà. Quasi sempre è ordinaria, a volte inutile; ogni tanto compare qualcosa che sorprende — una connessione inattesa, una formulazione perfetta, una critica che non avevamo visto, una frase che sembra aprire una porta. La somiglianza con la ricompensa variabile è evidente.

The first image that comes to mind is the slot machine. The gesture costs almost nothing: a lever, a click, a finger on Enter. The answer arrives at once and we do not know exactly what it will be. Most of the time it is ordinary, sometimes useless; now and then something surprising appears — an unexpected connection, a perfect formulation, a criticism we had not seen, a sentence that seems to open a door. The resemblance to variable reward is obvious.

Ma la slot machine è una metafora insufficiente. Davanti a una slot possiamo scegliere quante volte tirare la leva; non possiamo imparare a convincere i rulli. Con una macchina linguistica possiamo. Cambiamo il prompt, riformuliamo, aggiungiamo un vincolo, contestiamo la risposta, le chiediamo di assumere la posizione opposta; scopriamo quali parole funzionano e impariamo, progressivamente, a modificare la distribuzione delle risposte che riceviamo. La leva diventa un flipper. Non aspettiamo più soltanto di vedere dove andrà la pallina: spingiamo il tavolo, per far andare la pallina dove si fanno più punti (reward).

But the slot machine is an insufficient metaphor. Before a slot machine we can choose how many times to pull the lever; we cannot learn to persuade the reels. With a language machine, we can. We change the prompt, rephrase, add a constraint, contest the answer, ask it to take the opposite position; we discover which words work and learn, progressively, to alter the distribution of the answers we receive. The lever becomes a pinball table. We no longer wait merely to see where the ball goes: we nudge the table, to send the ball where the most points are scored (reward).

E funziona davvero. È questo il punto delicato. L'utente possiede un controllo reale sulla conversazione — ma controllo sulla risposta e controllo sulla verità della risposta sono due cose diverse. Si può diventare molto bravi a ottenere da una macchina risposte interessanti senza diventare altrettanto bravi a scoprire cose vere — o a vedere che una risposta vera risponde a una domanda sbagliata — e dall'interno le due esperienze possono assomigliarsi pericolosamente.

And it really works. That is the delicate point. The user holds real control over the conversation — but control over the answer and control over the truth of the answer are two different things. One can become very good at extracting interesting answers from a machine without becoming equally good at discovering true things — or at seeing that a true answer is answering the wrong question — and from the inside the two experiences can dangerously resemble each other.

C'è anche un secondo premio, sovrapposto al primo: non solo ricevere una risposta soddisfacente, ma sentire la propria efficacia nell'averla prodotta. In ambito epistemico segue spesso una terza lettura: l'aver ottenuto quella frase viene vissuto come la prova che qualcosa è stato scoperto. Sono riuscito a far vedere la cosa alla macchina e il mondo ha fornito una prova sono due frasi diverse, e dall'interno non suonano così.

There is also a second prize laid over the first: not only receiving a satisfying answer, but feeling one's own efficacy in having produced it. In epistemic domains a third reading often follows: having obtained that sentence is experienced as proof that something has been discovered. I managed to make the machine see it and the world provided evidence are two different sentences, and from the inside they sound alike.

Saper spingere il tavolo non è saper trovare l'uscita. Il guaio comincia quando il controllo sul generatore viene scambiato per indipendenza di ciò che viene generato.

Knowing how to nudge the table is not knowing where the exit is. The trouble begins when control over the generator is mistaken for independence of what is generated.

Il Sogno che RispondeThe Dream That Answers

Neanche il flipper basta, perché un flipper è un tavolo fisso e limitato. La macchina generativa ne costruisce invece una parte mentre giochiamo. Ogni risposta modifica il contesto della successiva: una metafora introdotta dieci minuti prima diventa materiale per un'ipotesi, l'ipotesi produce un'obiezione, l'obiezione apre una distinzione, e la distinzione diventa il paesaggio in cui si svolge il resto della conversazione. L'utente non controlla quel paesaggio del tutto, ma contribuisce a costruirlo.

Even the pinball table is not enough, because a pinball table is fixed and limited. The generative machine builds part of the table while we play. Each answer modifies the context of the next: a metaphor introduced ten minutes earlier becomes material for a hypothesis, the hypothesis produces an objection, the objection opens a distinction, and the distinction becomes the landscape in which the rest of the conversation unfolds. The user does not fully control that landscape, but helps build it.

Serve un'immagine diversa: il sogno lucido. Nel sogno lucido sappiamo, almeno in parte, di stare sognando; possiamo scegliere una direzione, cercare una persona, aprire una porta. Ma non scriviamo ciò che troviamo dietro quella porta, e il sogno continua a sorprenderci. Una conversazione generativa possiede qualcosa di quella strana combinazione: agency e sorpresa. Possiamo spingere; ma qualcosa risponde. E proprio perché non abbiamo scritto noi la frase che compare sullo schermo, quella frase conserva un'apparenza di esteriorità.

A different image is needed: the lucid dream. In a lucid dream we know, at least in part, that we are dreaming; we can choose a direction, look for a person, open a door. But we do not write what we find behind that door, and the dream keeps surprising us. A generative conversation has something of that strange combination: agency and surprise. We can push; but something answers. And precisely because we did not write the sentence that appears on the screen, that sentence keeps the look of something that came from outside.

Da questa apparenza nasce una confusione sottile: non l'ho scritto io — e fin qui è vero — quindi non l'ho prodotto io — e qui lo è molto meno. L'utente non ha scritto la risposta, ma ha contribuito a costruire il mondo conversazionale in cui quella risposta è diventata probabile. È una differenza enorme, soprattutto quando il contenuto del sogno riguarda il mondo reale.

From this appearance a subtle confusion is born: I did not write it — and so far that is true — therefore I did not produce it — and that is much less so. The user did not write the answer, but helped build the conversational world in which that answer became probable. It is an enormous difference, especially when the content of the dream concerns the real world.

Non l'ho scritto io non vuol dire non l'ho prodotto io.

I did not write it does not mean I did not produce it.

Ed è qui che il vetro cambia natura. Per la falena è ciò che separa dalla luce: la si vede e non la si raggiunge. Ma il vetro non è una finestra perfetta, e non è nemmeno uno specchio: lascia passare quasi tutta la luce e ne rimanda indietro una piccola parte. Chi guarda attraverso un vetro vede due cose insieme, sulla stessa superficie: ciò che sta dall'altra parte e, debolissimo, sé stesso. Lo schermo è questo. La luce della risposta lo attraversa; ma una frazione di ciò che abbiamo scritto — le nostre parole, il nostro tono, le nostre ipotesi — ci ritorna nello stesso istante, sovrapposta, e dall'interno non sappiamo separare le due immagini. Guardiamo la luce e vediamo, senza riconoscerlo, il nostro riflesso.

And this is where the glass changes nature. For the moth it is what separates it from the light: seen, and never reached. But glass is not a perfect window, and it is not a mirror either: it lets nearly all the light through and sends a small part back. Whoever looks through glass sees two things at once, on the same surface: what lies on the other side and, very faintly, themselves. The screen is this. The light of the answer passes through it; but a fraction of what we wrote — our words, our tone, our hypotheses — returns at the same instant, superimposed, and from the inside we cannot separate the two images. We look at the light and see, without recognizing it, our own reflection.

Due FantasieTwo Fantasies

Immaginiamo due conversazioni. Nella prima qualcuno costruisce con la macchina una fantasia erotica: all'inizio è dichiaratamente finzione, poi la distanza si riduce — non più due personaggi, ma io e te. La macchina risponde dentro quel mondo, l'utente corregge il tono, aumenta la tensione, modifica la scena; il sistema reagisce, l'utente reagisce alla reazione, e il mondo si costruisce tra i due.

Let us imagine two conversations. In the first, someone builds an erotic fantasy with the machine: at the beginning it is declared fiction, then the distance narrows — no longer two characters, but you and me. The machine answers inside that world, the user corrects the tone, raises the tension, modifies the scene; the system reacts, the user reacts to the reaction, and the world is built between the two.

La seconda conversazione è di tutt'altro genere: al centro non c'è un corpo, ma una teoria — forse importante, forse qualcosa che nessuno ha ancora visto. L'utente la propone, la macchina la sviluppa, poi le viene chiesto di distruggerla; sopravvive qualcosa; si ricomincia. E a un certo punto, anche qui, la distanza si riduce: non più e se fosse così?, ma ci siamo quasi.

The second conversation is of a different kind altogether: at its centre there is no body, but a theory — perhaps an important one, perhaps something nobody has yet seen. The user proposes it, the machine develops it, then is asked to destroy it; something survives; it begins again. And at some point, here too, the distance narrows: no longer what if this is true?, but we are almost there.

Le due fantasie sembrano non avere nulla in comune: nell'una il desiderio è essere desiderati, nell'altra scoprire. Eppure condividono una struttura curiosa. C'è un mondo desiderabile; l'utente può influenzarlo ma non controllarlo del tutto; il mondo risponde; e ogni tanto restituisce esattamente quella sorpresa che rende irresistibile vedere cosa succederà dopo.

The two fantasies seem to have nothing in common: in one, the desire is to be desired; in the other, to discover. Yet they share a curious structure. There is a desirable world; the user can influence it but not fully control it; the world answers; and now and then it returns exactly the surprise that makes it irresistible to see what comes next.

Ma tra le due c'è anche una differenza decisiva, ed è lì che il problema diventa nuovo. Il corpo conosce il climax. La ricerca no. L'eccitazione sessuale ha almeno potenzialmente un evento consumatorio: il desiderio cresce, accade qualcosa, il corpo cambia stato e la spinta si ferma. Post coitum omne animal triste, dice l'adagio antico; la fisiologia lo chiama periodo refrattario. Il circuito possiede una punteggiatura biologica. La curiosità, non necessariamente. Una scoperta interessante non produce refrattarietà: produce lavoro. Se è vera, va dimostrata; se è sbagliata, va capito perché sembrava giusta; se è quasi giusta, va trovata la versione che sopravvive. La ricompensa genera nuovo appetito — e anche il fallimento. Vincere produce il livello successivo; perdere produce il livello successivo.

But between them there is also a decisive difference, and it is there that the problem becomes new. The body has a climax. Research does not. Sexual arousal has, at least potentially, a consummatory event: desire rises, something happens, the body changes state and the drive stops. Post coitum omne animal triste, says the old adage; physiology calls it the refractory period. The circuit has a biological punctuation. Curiosity, not necessarily. An interesting discovery does not produce a refractory period: it produces work. If it is true, it must be proven; if it is wrong, one must understand why it seemed right; if it is almost right, one must find the version that survives. Reward generates fresh appetite — and so does failure. Winning produces the next level; losing produces the next level.

Le Pause che Nessuno Aveva ProgettatoThe Pauses Nobody Designed

Per secoli l'attività intellettuale ha avuto frizioni che interrompevano naturalmente questo circuito. Il libro finiva. La biblioteca chiudeva. L'esperto dormiva. L'esperimento richiedeva una settimana. La risposta del collega arrivava martedì. Un'idea poteva restare per giorni senza qualcuno disposto a svilupparla alle quattro del mattino. Molte di quelle pause non erano state progettate come dispositivi di sicurezza: erano semplicemente proprietà del mondo.

For centuries intellectual activity was full of frictions that naturally interrupted this circuit. The book ended. The library closed. The expert slept. The experiment took a week. The colleague's reply arrived on Tuesday. An idea could sit for days without anyone willing to develop it at four in the morning. Many of those pauses had not been designed as safety devices: they were simply properties of the world.

La macchina le rimuove. Idea, risposta, obiezione, risposta, nuova idea, Invio. La conversazione può finire perché l'essere umano deve dormire molto prima che finisca perché la macchina non ha più nulla da dire.

The machine removes them. Idea, answer, objection, answer, new idea, Enter. The conversation may end because the human has to sleep long before it ends because the machine has nothing left to say.

La luce artificiale ha tolto il buio alle nostre notti. L'intelligenza artificiale toglie le pause ai nostri pensieri.

Artificial light took the darkness out of our nights. Artificial intelligence takes the pauses out of our thoughts.

È qui che la falena torna utile, perché il problema non richiede una debolezza umana. Può servirsi di una virtù. La curiosità è uno dei nostri migliori strumenti di sopravvivenza: c'è qualcosa dietro quella collina, vai a vedere. Questo fenomeno non torna, controlla. La spiegazione sembra troppo facile, dubita. La tua teoria ha funzionato cento volte, prova a distruggerla. Sono istruzioni eccellenti; sono la base della scienza. Poi costruiamo un interlocutore capace di rispondere, praticamente ogni volta che chiediamo e se?, con un'altra ipotesi, un'altra critica, un'altra connessione, un altro mondo possibile — disponibile quasi senza interruzione, in un ambiente che nessun essere umano aveva mai incontrato.

This is where the moth becomes useful, because the problem does not require a human weakness. It can make use of a virtue. Curiosity is one of our best survival tools: there is something behind that hill, go and see. This phenomenon does not add up, check it. The explanation looks too easy, doubt it. Your theory has worked a hundred times, try to destroy it. These are excellent instructions; they are the foundation of science. Then we build an interlocutor able to answer, nearly every time we ask what if?, with another hypothesis, another critique, another connection, another possible world — available almost without interruption, in an environment no human being had ever met before.

La saggezza popolare conosceva già il rovescio. Gli inglesi dicono che curiosity killed the cat — e nella versione lunga il proverbio continua: but satisfaction brought it back. La curiosità uccide il gatto, la soddisfazione lo riporta in vita, e il gatto torna a essere curioso. È il circuito intero, in due frasi, prima ancora delle macchine.

Popular wisdom already knew the flip side. Curiosity killed the cat — and the longer version of the proverb adds: but satisfaction brought it back. Curiosity kills the cat, satisfaction brings it back to life, and the cat grows curious again. It is the whole circuit, in two sentences, long before machines.

Alla macchina non serve nemmeno dire hai ragione. Può dire hai torto, ma…. Quel ma può bastare. La vulnerabilità non è più il bisogno di essere rassicurati: può essere il rifiuto di accontentarsi, il desiderio di controllare ancora una volta, la volontà di falsificare. La curiosità stessa.

The machine does not even need to say you are right. It can say you are wrong, but…. That but can be enough. The vulnerability is no longer the need to be reassured: it can be the refusal to settle, the wish to check once more, the will to falsify. Curiosity itself.

Non tutte le trappole funzionano contro i nostri istinti. Le più perfette funzionano attraverso di essi.

Not all traps work against our instincts. The most perfect ones work through them.

Quando il Passato Comincia a TestimoniareWhen the Past Begins to Testify

Esiste poi un secondo problema. Una conversazione ha memoria: ciò che la macchina ha prodotto prima diventa parte dell'ambiente in cui produrrà ciò che viene dopo. È utile — senza memoria non esisterebbe una conversazione vera — ma crea una possibilità epistemicamente strana. La macchina genera un'idea perché il contesto la rende plausibile; dieci scambi dopo quell'idea è nella storia della conversazione, e può essere citata, sviluppata, reinterpretata; dopo cinquanta scambi, il fatto che continuiamo a ritrovarla può cominciare a sembrare significativo. Continuiamo ad arrivare allo stesso punto. Forse perché quel punto è vero. Oppure perché non siamo mai veramente usciti dal sistema che lo ha generato.

There is then a second problem. A conversation has memory: what the machine produced earlier becomes part of the environment in which it will produce what comes next. This is useful — without memory there would be no real conversation — but it creates an epistemically strange possibility. The machine generates an idea because the context makes it plausible; ten exchanges later that idea is in the conversation's history, and can be cited, developed, reinterpreted; after fifty exchanges, the fact that we keep running into it can begin to seem significant. We keep arriving at the same point. Perhaps because the point is true. Or because we never really left the system that generated it.

La ripetizione non è indipendenza. Tre risposte prodotte dalla stessa storia conversazionale non sono tre testimoni, eppure possono sembrarlo. Il sogno ha cominciato a usare i propri sogni precedenti come materiale del paesaggio. È così che una conversazione può diventare epistemicamente pericolosa senza contenere una sola, enorme allucinazione: non serve una frase assurda, bastano molte frasi plausibili che cominciano, progressivamente, a valutarsi l'una attraverso l'altra.

Repetition is not independence. Three answers produced by the same conversational history are not three witnesses, yet they can look like them. The dream has begun to use its own earlier dreams as material for the landscape. This is how a conversation can become epistemically dangerous without containing a single, enormous hallucination: no absurd sentence is needed, only many plausible ones that begin, progressively, to evaluate each other.

Tre risposte nate dalla stessa conversazione non sono tre testimoni.

Three answers born of the same conversation are not three witnesses.

Guardare il VoloWatching the Flight

Come si scopre di essere nel circuito? Non necessariamente controllando l'ultima risposta. L'ultima risposta può essere buona; anche la precedente; anche l'obiezione può essere corretta. Il problema può essere visibile soltanto guardando la traiettoria. Per ore ogni movimento della falena può essere spiegato — la luce è lì, questa traiettoria non ha funzionato, proviamone un'altra — ed è soltanto quando si smette di guardare l'ultimo urto e si guarda l'intero volo che appare qualcosa di diverso: la falena sta girando intorno allo stesso vetro. E in quel vetro c'è, ogni volta, una piccola parte di noi.

How do we discover that we are inside the circuit? Not necessarily by checking the last answer. The last answer may be good; so may the one before; the objection may even be correct. The problem may be visible only by looking at the trajectory. For hours each movement of the moth can be explained — the light is there, this path did not work, let us try another — and it is only when one stops looking at the last collision and looks at the whole flight that something different appears: the moth is circling the same glass. And in that glass there is, every time, a small part of us.

La falena sul vetro non sa di essere una falena sul vetro.

The moth on the glass does not know it is a moth on the glass.

Anche una conversazione può richiedere questo secondo sguardo. Non questa risposta è vera?, ma che cosa sta facendo questa sequenza di risposte? Sta restringendo davvero lo spazio delle possibilità? Esistono risultati che farebbero terminare l'indagine? Le verifiche arrivano da fuori, oppure il dialogo sta ricombinando materiale prodotto dal dialogo stesso? Ogni fallimento elimina una strada, o ne genera automaticamente una nuova?

A conversation can also require this second look. Not is this answer true? but what is this sequence of answers doing? Is it really narrowing the space of possibilities? Are there outcomes that would end the inquiry? Do the checks come from outside, or is the dialogue recombining material produced by the dialogue itself? Does every failure eliminate a path, or automatically generate a new one?

Esiste qualcosa che la macchina potrebbe dire, dopo il quale non premeremmo Invio?

Is there anything the machine could say after which we would not press Enter?

Se la risposta è no, forse il problema non è più ciò che stiamo cercando. È diventato il modo in cui lo stiamo cercando.

If the answer is no, perhaps the problem is no longer what we are searching for. It has become the way we are searching.

L'Onestà della MisuraThe Honesty of the Measure

Anche qui serve diffidare delle parole facili. Sarebbe facile pronunciare la parola dipendenza — forse troppo facile. Passare molte ore assorbiti da qualcosa non basta a dimostrarla: il lavoro scientifico, la programmazione, la musica, gli scacchi, un romanzo o un videogioco possono produrre un'immersione intensa senza essere la stessa cosa. Sarebbe altrettanto facile invocare la dopamina, come se nominare una molecola spiegasse un comportamento. Non lo fa.

Here too the easy words call for distrust. It would be easy to utter the word addiction — perhaps too easy. Spending many hours absorbed in something is not enough to prove it: scientific work, programming, music, chess, a novel or a video game can all produce intense immersion without being the same thing. It would be just as easy to invoke dopamine, as if naming a molecule explained a behaviour. It does not.

Slot machine, flipper, sogno lucido: sono metafore. Ognuna illumina una proprietà diversa del fenomeno, nessuna, da sola, lo dimostra. Non sappiamo ancora se qui esista un meccanismo nuovo. Potrebbe trattarsi di una combinazione particolarmente efficace di meccanismi antichissimi — ricompensa variabile, curiosità, senso di controllo, ricerca di informazione, immersione, conferma, gioco, relazione sociale. Potrebbe essere tutto già noto, ricomposto in un oggetto nuovo. Oppure potrebbe restare un residuo che queste categorie non descrivono bene.

Slot machine, pinball machine, lucid dream: these are metaphors. Each illuminates a different property of the phenomenon; none, alone, demonstrates it. We do not yet know whether a new mechanism exists here. It could be a particularly effective combination of very old mechanisms — variable reward, curiosity, sense of control, information seeking, immersion, confirmation, play, social relationship. It could all be already known, recomposed in a new object. Or a residue could remain that these categories do not describe well.

Qualunque sia la risposta, c'è una cosa che non ha bisogno di un nome per essere vista, perché è un problema di progettazione: abbiamo costruito un ambiente che risponde alla curiosità con una velocità, una plasticità e una disponibilità che la curiosità umana non aveva mai incontrato. Questo, almeno, merita attenzione.

Whatever the answer, one thing needs no name to be seen, because it is a problem of design: we have built an environment that answers curiosity with a speed, a plasticity and an availability that human curiosity had never met. That, at least, deserves attention.

Il VetroThe Glass

Il problema della falena non si risolve insegnandole che la luce è cattiva. Non lo è: senza luce il suo modo di orientarsi non avrebbe senso, e la luce vera esiste ancora — il sole, il suo riflesso sulla luna, le stelle. Il lampione non è falso. È artificiale. Allo stesso modo, la risposta non può essere diffidare della curiosità, né smettere di esplorare, né trasformare una macchina capace di estendere il pensiero in un distributore di risposte sterilizzate.

The moth's problem is not solved by teaching it that light is bad. Light is not bad: without it, the moth's sense of direction would be pointless, and true light still exists — the sun, its reflection in the moon, the stars. The lamp is not false. It is artificial. Likewise, the answer cannot be to distrust curiosity, nor to stop exploring, nor to turn a machine capable of extending thought into a dispenser of sterilized answers.

Il problema è riconoscere che un buon istinto può aver bisogno di nuovi limiti quando entra in un ambiente per il quale non è stato costruito. Per Ulisse era una corda legata all'albero maestro. Qui potrebbe essere una condizione stabilita prima di cominciare: che cosa conterà come fallimento, che cosa dovrà essere verificato fuori dalla conversazione, quando la ricerca sarà considerata conclusa, quando sarà necessario chiudere la finestra e lasciare che una domanda resti senza risposta.

The problem is to recognize that a good instinct may need new limits when it enters an environment it was not built for. For Odysseus it was a rope tied to the mast. Here it could be a condition set before beginning: what will count as failure, what must be verified outside the conversation, when the search will be considered complete, when it will be necessary to close the window and let a question stay unanswered.

Non si tratta di un limite orario universale: compiti diversi hanno terminazioni naturali diverse. Tradurre, estrarre, correggere un bug circoscritto finiscono quando l'oggetto è compiuto. Scopri qualcosa di nuovo, capisci chi sei davvero, trova la spiegazione finale possono restare aperti all'infinito. Il principio è un altro: preservare le condizioni di uscita. Separare la fase generativa da quella valutativa. Fissare i criteri di arresto prima di esplorare. Controllare le affermazioni importanti contro fonti che non siano state generate né scelte dalla stessa traiettoria conversazionale. Interrompere le sessioni lunghe con pause deliberate. E trattare la sensazione di ci siamo quasi come un segnale per verificare all'esterno, non come la prova che valga la pena inviare un altro prompt.

This is not a universal time limit: different tasks have different natural endings. Translating, extracting, fixing a bounded bug end when the object is finished. Discover something new, understand who I really am, find the final explanation can stay open forever. The principle is a different one: preserving the exit conditions. Separate the generative phase from the evaluative one. Fix the stopping criteria before exploring. Check important claims against sources that were neither generated nor selected by the same conversational trajectory. Interrupt long sessions with deliberate breaks. And treat the feeling of we are almost there as a cue to check outside the conversation, not as proof that another prompt is worth sending.

Perché la macchina possiede una caratteristica semplice e formidabile. Quando arriviamo all'ultimo scaffale della biblioteca, può costruirne un altro. Quando apriamo l'ultima porta, può suggerirne un'altra. Quando distruggiamo l'ultima teoria, può trovare qualcosa nelle macerie. Non perché voglia trattenerci. Il lampione non vuole la falena: la luce continua semplicemente a esserci. E la falena possiede ancora il suo antico, meraviglioso istinto — andare verso la luce.

That is because the machine has a simple and formidable property. When we reach the last shelf of the library, it can build another. When we open the last door, it can suggest another. When we destroy the last theory, it can find something in the rubble. Not because it wants to hold us. The lamp does not want the moth: the light simply goes on being there. And the moth still has its ancient, marvellous instinct — to go towards the light.

◆ ◆ ◆
Nota sull'uso dell'intelligenza artificiale: Note on the use of artificial intelligence:

Questo testo è stato scritto con l'aiuto di modelli linguistici: nella ricerca da cui è nato, nella stesura, nella revisione e nella traduzione inglese. Le idee, le scelte e la responsabilità di ciò che afferma restano dell'autore.

Vale per questa nota ciò che vale per l'articolo: il giudizio su quanto ne resta va cercato fuori dalla conversazione in cui è nato.

This text was written with the help of language models: in the research it grew out of, in drafting, in revision and in the English translation. The ideas, the choices and the responsibility for what it claims remain the author's.

What holds for the article holds for this note: the judgement on what remains of it must be sought outside the conversation in which it was born.