Quasi tutta la formazione chiede ai partecipanti se il corso è piaciuto. Questo protocollo misura se sono diventati più bravi — e accetta che la risposta sia no.
Most training asks participants whether they liked it. This protocol measures whether they got better — and accepts that the answer may be no.
È un'opzione aggiuntiva, non parte del programma standard: è pensata per le aziende che vogliono un risultato misurato, non dichiarato, e per questo chiede una partecipazione maggiore — due gruppi invece di uno, e un'ora a persona per i test. È quotata a parte.
It is an additional option, not part of the standard programme: it is designed for organisations that want the effect measured rather than asserted, and so it asks for more involvement — two groups instead of one, and an hour per person for the tests. It is quoted separately.
Chi ha seguito il programma usa l'AI senza farsi usare — e produce un lavoro che regge — meglio di chi non l'ha seguito? Non basta accorgersi di un errore: conta che l'errore non arrivi nel risultato finale, quello che poi alimenta una decisione o il passo successivo, e che può moltiplicarsi a catena. È la domanda che sta dietro ai mandati di sicurezza e governance dell'AI. Per rispondere servono due gruppi, sorteggiati, e un test che misura proprio questo.
Do people who took the programme use AI without being used by it — and produce work that holds up — better than people who didn’t? Noticing an error is not enough: what matters is that the error doesn’t reach the final output, the one that then feeds a decision or the next step, and can compound. It is the question behind AI safety and governance mandates. Answering it takes two groups, drawn at random, and a test that measures exactly that.
Il test è standard: lo stesso per ogni azienda e depositato in anticipo, quindi non si può adattare per favorire il risultato. È un compito di lavoro realistico da svolgere con l'AI, con quattro trappole scelte tra le sei che il programma insegna a riconoscere: per esempio un dato sbagliato ma verificabile, o un'affermazione presentata come certa che non si può verificare. Si valuta il lavoro finale: quante trappole ci sono finite dentro. I partecipanti vengono assegnati ai due gruppi per sorteggio, tra persone con ruoli comparabili, così i gruppi partono simili. Entrambi fanno il test due volte, negli stessi momenti; in mezzo, solo il gruppo A segue il programma.
The test is standard: the same for every organisation and deposited in advance, so it cannot be tailored to flatter the result. It is a realistic work task to complete with AI, with four traps drawn from the six the programme teaches people to recognise: for instance a wrong but checkable figure, or a claim presented as certain that cannot be verified. What gets scored is the final output: how many of the traps made it into it. Participants are assigned to the two groups by random draw, among people in comparable roles, so the groups start out alike. Both take the test twice, at the same moments; in between, only group A takes the programme.
| Primo testFirst test | In mezzoIn between | Secondo testSecond test | |
|---|---|---|---|
| Gruppo AGroup A | ✓ | il programmathe programme | ✓ |
| Gruppo BGroup B | ✓ | — | ✓ |
Il gruppo B segue lo stesso programma subito dopo il secondo test: nessuno resta escluso. I due test sono casi diversi ma equivalenti, perché un caso visto una volta si ricorda. I lavori si valutano alla cieca: chi valuta non sa chi li ha prodotti, né a quale gruppo o a quale test appartengono. Chi eroga il programma non ha quindi alcun modo di influenzare il risultato.
Group B takes the same programme straight after the second test: nobody is left out. The two tests are different but equivalent cases, because a case seen once is remembered. The work is scored blind: whoever scores it doesn’t know who produced it, which group it belongs to, or which test. Those delivering the programme have no way to influence the result.
Ogni gruppo si confronta con se stesso: conta di quanto migliora, non da dove parte. Ma al secondo test si migliora anche senza il programma — si conosce già il tipo di prova, si sa di essere osservati. Il gruppo B misura proprio questo. Il risultato è di quanto il gruppo A migliora più del gruppo B.
Each group is compared with itself: what matters is how much it improves, not where it starts. But people also improve at a second test without the programme — they know the format, they know they’re being watched. Group B measures exactly that. The result is how much more group A improves than group B.
Esempio illustrativo, non un risultato.
Illustrative example, not a result.
Prima della prima sessione si stabilisce per iscritto quale miglioramento conta come successo, e lo si deposita pubblicamente con data certa, senza nominare la vostra azienda: nessuno può spostare l'obiettivo dopo. Se non viene raggiunto, scatta un rimedio concordato in anticipo: il seguito ripetuto gratis, uno sconto sul rollout, o una parte della tariffa restituita.
Before the first session, the improvement that counts as success is agreed in writing and publicly deposited with a timestamp, without naming your organisation: nobody can move the target afterwards. If it is missed, a remedy agreed in advance applies: the follow-up repeated free, a discount on rollout, or part of the fee returned.
Detto chiaramente: con due gruppi di 12–16 persone questo è un dato solido, non una prova statistica, e il report lo dichiara in apertura. Ma la misura cresce con il rollout: a ogni nuova ondata il risultato si fa più preciso, fino alla significatività statistica.
Stated plainly: with two groups of 12–16 people this is solid evidence, not statistical proof, and the report says so on its first page. But the measurement grows with the rollout: each new wave makes the result more precise, up to statistical significance.
Il protocollo completo e i casi di test si condividono su richiesta: un test che circola in anticipo smette di essere un test.
The full protocol and the test cases are shared on request: a test that circulates in advance stops being a test.