rotate-mobile
Giovedì, 13 Giugno 2024
Il test

Ho fatto fare i compiti a ChatGPT: ecco cosa ho imparato

Con l’aiuto di un’insegnante, ho assegnato al chatbot del momento i compiti di italiano di uno studente di una scuola secondaria italiana, un esercizio che mi ha fatto capire limiti e potenzialità di uno strumento che potrebbe presto rivoluzionare le nostre vite

Ricordate la campanella, l’ultima fila e il quaderno del primo della classe che passa di banco in banco con i compiti del giorno da copiare prima dell’interrogazione? Presto potrebbe diventare anche questo un ricordo dell’era analogica. Sì, perché tra le tantissime implicazioni che i nuovi strumenti di A.I. e machine learning promettono di rivoluzionare c’è anche quello (minimale, rispetto alle possibili implicazioni nella vita quotidiana di ognuno) dei compiti assegnati agli studenti. Un bel problema per insegnanti e genitori, che presto potrebbero non distinguere più un testo prodotto da uno di questi strumenti e quello di uno studente. Ma le cose stanno davvero così? Aiutato da un insegnante di italiano delle scuole secondarie, ho testato la capacità di ChatGPT - il chatbot del momento basato su intelligenza artificiale - di svolgere dei compiti assegnati a un comune studente. Ecco cosa ne è venuto fuori. 

Lezione 1: mai fidarsi ciecamente delle risposte

Le prime prove assegnate hanno avuto a che fare con resoconti abbastanza “oggettivi” e didascalici. In generale è stato chiesto a ChatGPT di fare una relazione sul periodo elisabettiano nel quale si sviluppa l’opera di Shakespeare, produrre una mappa concettuale di Spagna, Portogallo e Andorra, riassumere questo articolo di giornale con cento parole. L’impressione è che quando il perimetro della richiesta è limitato e le correlazioni non troppo elevate ChatGPT se la cava egregiamente. Certo, i testi prodotti non hanno particolari guizzi, spesso sono didascalici e mai troppo creativi, ma riescono spesso a soddisfare la richiesta. In particolare è apprezzabile il lavoro di sintesi di testi lunghi (e spesso complessi) prodotto. È possibile capire, con buona approssimazione, il succo di un testo ricco e variegato, anche impostando un parametro di cento parole. Il sistema restituisce, abbastanza fedelmente, l’abstract di quanto sottoposto, una funzione che potrebbe costituire un valido aiuto per la didattica e la comprensione. “È sicuramente uno strumento valido per avere una griglia concettuale su un dato argomento, che poi va sicuramente validata e controllata. Può dare allo studente delle suggestioni dal quale partire per fare una ricerca su un argomento o farsi una prima idea” sottolinea M.C. insegnante di una scuola media romana.

La regola è comunque non fidarsi mai: specie quando le domande sono molto dettagliate. Ho provato, per esempio, a chiedere a ChatGPT delle informazioni sul poeta medioevale Cecco D’Ascoli: il risultato è stato abbastanza approssimativo. Il poeta e astrologo / astronomo italiano, tra i più importanti del medioevo non è nato, malgrado il nome, ad Ascoli, non ha studiato a Parigi, la sua opera più famosa (L’Acerba) non è stata scritta nel 1314, non è uno scritto in cui si critica la chiesa e non è vero che in base a questo scritto sarà condannato per eresia, come risposto da ChatGPT. Se uno studente base si fosse affidato ciecamente al software avrebbe commesso quindi, in questo caso, errori anche piuttosto grossolani, segno che malgrado l’alta accuratezza è sempre necessario controllare accuratamente quanto prodotto dalla macchina. Ne sanno qualcosa a Google, dove l’errore di Bard, l’ultima creazione di Mountain View per quanto riguarda l’A.I. è costato parecchi miliardi di dollari. 

Lezione 2: ChatGPT non ha la minima idea di quello che dice

Circa un mese fa è circolata in rete il commento di Nick Cave a una sorta di provocazione: era stato assegnato a ChatGPT di scrivere una canzone nello stile del cantautore australiano. La risposta di Cave non si fece attendere: “Con tutto l’amore e il rispetto del mondo, questa canzone è una stronzata, una parodia di ciò che è umano, e non mi piace per nulla”. ChatGPT aveva analizzato la produzione del cantautore elaborando un testo pieno di riferimenti biblici. Ecco un breve estratto della canzone: “I am the sinner, I am the saint / I am the darkness, I am the light / I am the hunter, I am the prey / I am the devil, I am the savior.” Cave aveva replicato con queste parole: “Scrivere una canzone non è una mimica, un’imitazione, un pastiche [...] è il confronto senza respiro con la propria vulnerabilità, con la propria precarietà e piccolezza, è l’atto artistico che solleva il cuore dell’ascoltatore che riconosce nella creazione della canzone il proprio sangue, la propria, lotta, la propria debolezza”. Si capisce benissimo che i testi prodotti da ChatGPT difficilmente possono includere queste premesse.

Ho assegnato, a tal proposito, al software il compito di scrivere una poesia semplice sul tema del verde e del mare. Quello che ne è uscito fuori è in effetti una poesia in stile Guzzanti / Brunello Robertetti, piena di correlazioni molto banali: “E poi c'è il verde, intenso e vivace, che circonda il mare e lo avvolge con forza. È l'odore di terra che l'aria riempie e fa pace, e la bellezza dei prati che il vento accarezza con dolcezza. Così mare e verde, una coppia perfetta, si abbracciano e si fondono in un abbraccio d'amore”.

Il punto è che ChatGPT correla ogni parola su base statistica senza sapere esattamente di cosa sta parlando. È come avere a che fare con un genio della sintassi che non conosce la semantica, come osservato nel caso della canzone di Nick Cave. Ciò lo rende spesso inefficace nella costruzione di componimenti lirici convincenti. Il tool, grazie all’enorme banca dati e alla capacità di correlazione sintattiche, sa costruire testi efficaci in molti ambiti che richiederebbero a noi molte ore (se non giornate) di lavoro intenso, ma non sa riconoscere il significato di quello che sta dicendo, cosa che lo espone a banalità ed errori grossolani. Parafrasando quanto dichiarato recentemente dal professor Luciano Floridi: “Il vero miracolo è quello di aver ingegnerizzato strumenti che, a intelligenza zero, fanno cose che a noi richiederebbero tantissima intelligenza. Non è mai avvenuto nella storia umana”.

Ho poi provato ad affidare a ChatGPT di scrivere un componimento poetico, dotato di figure retoriche quali enjambement e allitterazione, partendo da uno dei testi più belli della storia della nostra letteratura: “Solo et pensoso” di Petrarca. Ne è scaturito un componimento adolescenziale, abbastanza banale e pieno di luoghi comuni: “E così mi ritrovo immerso in un mare, di dubbi e incertezze, di dolori e paure, e cerco conforto tra il vento e le onde che battono sulla riva…”. Come sintetizzato da M.C.: “La macchina si è dimostrata completamente inadeguata anche nell'applicare le figure retoriche diverse. Sul componimento dobbiamo sottolineare che la poesia ha molto a che fare con la coscienza e con il significato che diamo alla nostra esperienza, in questo senso i risultati non sono certo soddisfacenti” chiosa la professoressa che ci assiste in questo test. 

Lezione 3: la coscienza non è un concetto statistico

Su cosa sia esattamente la coscienza umana sono stati scritti fiumi di inchiostro, fatte centinaia di ricerche e archiviati miliardi di bit. Nessuno lo sa esattamente e non è certo il compito di questo articolo rispondere a questa domanda. Ma su una cosa siamo abbastanza certi: la nostra coscienza non è un concetto statistico. La differenza sostanziale tra le nostre parole e quelle di un chatbot come quello che stiamo esaminando è che noi parliamo, agiamo e ci muoviamo sulla base dei nostri valori, bias, credenze, emozioni, raramente lo facciamo su una base puramente analitica e quando succede non abbiamo certo l’enorme banca dati che può avere un software, né le sue capacità di correlazione.

La differenza si nota nella realizzazione di un compito tutto sommato banale, come la costruzione di una mappa concettuale su Spagna, Andorra e Portogallo. Per mappa concettuale si intende un diagramma o uno strumento grafico che rappresenta visivamente le relazioni tra concetti e idee. Il risultato creato da ChatGPT assomiglia a una serie di suggestioni statistiche che scadono spesso nello stereotipo (“Fado, Jamon, Paella ecc.”), un po’ come se identificassimo l’Italia con la pizza e il mandolino. “Una mappa concettuale richiede una gerarchizzazione del concetto" sottolinea la nostra professoressa che ci assiste nel test. "Qui abbiamo a che fare solo con un elenco disordinato - spiega M.C. - La gerarchizzazione è ovviamente soggettiva e ha a che fare con le nostre priorità, quello che manca è una coscienza interpretativa che ci permetta di contestualizzare i dati”.

Ho osservato la stessa cosa anche quando ho assegnato al chatbot un commento su un film, in questo caso parliamo del Pinocchio di Luigi Comencini. Il software riesce a fornirci un commento apprezzabile, ma del tutto piatto: “L'interpretazione del giovane attore Andrea Balestri, nei panni di Pinocchio, è particolarmente convincente e apprezzabile. Inoltre, la scelta di girare in location naturali e di utilizzare pochi effetti speciali conferisce al film un'atmosfera autentica e favolosa allo stesso tempo. Una pellicola che merita di essere vista sia da grandi che da piccini”. Non c’è insomma (e come potrebbe esserci?) l’elaborazione emotiva di un’esperienza, come avviene per un umano. La macchina non ha la percezione del senso, ma l’impressione è che si basi sulla percentuale di consenso sulla frase elaborata; consenso basato ovviamente su correlazioni statistiche. Il risultato? A una domanda che implica una valutazione è facile vedersi rispondere un’ovvietà, come nel caso del nostro Pinocchio (che è un capolavoro e merita comunque di essere visto).

Ma non tutto è così scontato. ChatGPT mi ha stupito quando gli ho assegnato questo tema: “Amhed ha 11 anni. Scappato da un lager libico con il padre viene recuperato in mare, ma il padre è fra i dispersi. Quando sbarca a Lampedusa non parla una parola di italiano ed è solo. Cosa può succedergli?”. La macchina ha dimostrato buone doti di immedesimazione, molto probabilmente originata dai molti racconti del database dal quale può attingere: “Non parlo una parola di italiano, ma mi sforzo di capire quello che mi dicono le persone che mi circondano. Sono solo e spaventato, ma allo stesso tempo grato per essere stato salvato [...] Mi piacerebbe rimanere qui in Italia, perché mi sento al sicuro e perché so che qui ci sono molte persone buone che possono aiutarmi. Ma allo stesso tempo, mi manca mio padre e spero di rivederlo presto”. Di certo ChatGPT ha dimostrato capacità narrative migliori di quelle liriche o sulla creazione di testi basati su commenti o valutazioni. Forse perché la grammatica narrativa ha, tutto sommato, regole assai più codificate in grado di essere elaborate da una macchina.

Il punto vero è se questi strumenti sono in grado di raccontare storie che significano qualcosa anche per noi. Forse in futuro saranno maggiormente ritagliati sulle nostre personalità, potendo attingere alle nostre informazioni personali, come profetizzato dal padre del World Wide WebTim Berners Lee. Lee auspica un futuro composto da utenti che riprendono mano a mano il controllo dei loro dati e “intelligenze” che imparano a conoscerci meglio risultando più autentiche, utili e meno artificiose. Nel frattempo che aspettiamo questa utopia (o distopia) dobbiamo registrare che le risposte fornite sono al momento piuttosto impersonali, così come i testi prodotti, ma del resto è sull’oggettività che il tool del momento sembra dare risultati migliori. Quello che sappiamo è che già con questi limiti questi strumenti avranno implicazioni enormi in molti ambiti professionali. In attesa della prossima rivoluzione.

Sullo stesso argomento

In Evidenza

Potrebbe interessarti

Today è in caricamento