L’intelligenza artificiale può davvero riassumere documenti complessi? Scopri i risultati del test di ASIC

Intelligenza Artificiale e Riassunto di Documenti: Un’Analisi Critica

L’intelligenza artificiale (IA) generativa, nonostante l’entusiasmo crescente, continua a mostrare limiti significativi, soprattutto nel riassumere documenti complessi. Un recente test sponsorizzato dalla Australian Securities and Investment Commission (ASIC) e realizzato da Amazon Web Services ha dimostrato che i riassunti dei documenti confezionati dall’IA risultano di qualità inferiore rispetto a quelli redatti dagli esseri umani. Questo esito solleva interrogativi sull’efficacia dell’IA in ambienti aziendali e governativi, dove accuratezza e affidabilità sono cruciali.

Strumento Poco Affidabile: Il Caso del Modello Llama2-70B

Il test effettuato per ASIC ha mostrato che l’intelligenza artificiale generativa non riesce ancora a eguagliare l’efficienza umana in compiti complessi come il riassumere documenti. Usando il modello Llama2-70B, uno degli algoritmi open source più avanzati creati da Meta e dotati di 70 miliardi di parametri, il test ha tentato di stabilire l’utilità dell’IA nella costruzione di riassunti di documenti istituzionali. I risultati ottenuti sono stati significativamente deludenti. Il modello di IA ha raggiunto un punteggio aggregato del 47%, nettamente inferiore all’81% ottenuto dai riassunti delle staffe umane dell’ASIC. *Questo risultato mette in evidenza l’inabilità dell’intelligenza artificiale nel comprendere pienamente e riassumere con chiarezza documenti densi di sfumature e dettagli intricati.

Uno dei maggiori problemi verificati è stato l’incapacità dell’IA di fornire riferimenti precisi, come i numeri di pagina, essenziali per contestualizzare le informazioni. Sebbene tale carenza potrebbe teoricamente essere risolta con incrementi tecnici, il test ha evidenziato un problema più profondo: l’IA incontra serie difficoltà nel cogliere il contesto e le sfumature presenti nei documenti. I riassunti ottenuti dall’IA tendevano a essere vaghi, verbosi e a includere dettagli superflui, carenze che non solo riducono l’utilità del lavoro prodotto, ma richiederebbero ulteriori interventi di verifica e correzione da parte di figure umane, annullando così i presunti benefici in termini di risparmio di tempo e costi.

Blind Test e Differenze Qualitative

Il rapporto evidenzia inoltre i risultati di un blind test: cinque valutatori indipendenti hanno valutato due riassunti differenti, senza conoscere la loro origine (umano o IA). Tre su cinque hanno rilevato che alcuni riassunti erano stati prodotti da un’IA, dimostrando una palese differenza qualitativa tra i due testi. L’esperimento ribadisce che, nonostante i progressi derivanti dalla tecnologia, l’intelligenza artificiale generativa resta inadatta a sostituire l’uomo in operazioni che richiedono comprensione, analisi e una sintesi dettagliata. I risultati alimentano poi dubbi significativi sull’appropriato uso dell’IA in ambito aziendale e governativo, dove precisione e affidabilità restano parametri chiave.

Soluzioni Alternative: Lumi AI Robot e Altri Strumenti

Nonostante i problemi riscontrati, l’interesse per l’utilizzo dell’intelligenza artificiale per riassumere file PDF continua a crescere in modo esponenziale. Lumi AI Robot di PDFelement presenta un metodo semplice, efficiente e affidabile per sintetizzare i PDF. Questa funzione AI ha integrato l’abilità di ChatGPT nella piattaforma PDFelement, creando possibilità di riassumere, tradurre, spiegare, riscrivere, correggere e chattare su file PDF senza dover avviare una scheda del sito web. Tuttavia, anche Lumi AI Robot presenta delle limitazioni, come la necessità di una versione specifica del software e la probabilità di errori nei riassunti generati.

Altri strumenti come IntelliPPT, Scholarcy e Summarize-Me forniscono opzioni alternative per sintetizzare documenti PDF tramite l’uso dell’intelligenza artificiale. IntelliPPT, ad esempio, usa potenti algoritmi per scansionare il testo, identificare le informazioni principali e produrre un riassunto sintetico e dettagliato. Scholarcy, invece, è particolarmente utile a chi lavora in ambito accademico, offrendo riassunti chiari e compatti di grandi quantità di informazioni. Summarize-Me applica sofisticati algoritmi di intelligenza artificiale per esaminare il contenuto e creare riassunti rilevanti, anche per documenti di elevata complessità.

Bias Cognitivi e Discriminazione

I sistemi di machine learning imparano dai vasti insiemi di dati disponibili. Ma cosa succede se tali dati sono permeati da pregiudizi storici o sociali? L’algoritmo li assimilerà e li riprodurrà. Se, ad esempio, un sistema di IA per la selezione del personale viene formato su dati storici in cui le posizioni di leadership sono principalmente ricoperte da uomini, potrebbe mostrare una preferenza verso candidati maschi. Programmatori e sviluppatori possono, involontariamente, introdurre le loro bias nella progettazione e realizzazione degli algoritmi. Questi fattori possono influenzare qualsiasi dimensione del pensiero umano, della cultura, della vita quotidiana o della natura.

Tali elementi possono riguardare qualunque aspetto del pensiero, della società, della vita o della natura. Pertanto, sebbene le decisioni automatizzate rappresentino una delle opportunità più promettenti dell’IA, sono allo stesso tempo tra le più difficili e inesplorate.*

Bullet Executive Summary

In breve, l’impiego dei sistemi di intelligenza artificiale nei processi umani può portare a miglioramenti significativi in termini di efficienza, precisione e accuratezza. Tuttavia, è essenziale predisporre le adeguate precauzioni per prevenire e gestire i rischi di discriminazione e bias cognitivi che possono accompagnare l’uso degli algoritmi. Solo un’armoniosa combinazione di cultura e norme può garantire un impiego più giusto e discriminatamente consapevole dell’intelligenza artificiale.

L’intelligenza artificiale supervisionata è un metodo in cui l’algoritmo viene addestrato su un dataset etichettato, permettendo di apprendere e migliorare le proprie capacità nel tempo. Questo approccio è utile per compiti specifici come il riassunto di documenti, ma richiede un’accurata selezione e preparazione dei dati di addestramento.

Il deep learning, una sottocategoria del machine learning, utilizza reti neurali organizzate su più livelli per processare informazioni in maniera evoluta, senza necessità di dati strutturati o dell’intervento umano. Questo metodo ha la potenzialità di migliorare significativamente le capacità di riassunto dell’IA, ma richiede elevate risorse computazionali e un’attenta gestione dei dati per evitare bias e discriminazioni.

In definitiva, l’obiettivo principale deve rimanere quello di scongiurare il rischio di una visione univocamente dominante del mondo, favorendo, per converso, una prospettiva plurale e libera, scevra da modelli stereotipati e deformazioni, rappresentante le culture, i valori e le identità che animano il mondo.