Un test condotto per conto della Securities and Investments Commission australiana ha rivelato che l’IA attuale ottiene risultati inferiori agli esseri umani nel riassumere documenti.
L’esperimento, che è stato svolto utilizzando il modello open source Llama2-70B di Meta, ha confrontato i riassunti generati da IA con quelli elaborati da dieci membri dello staff ASIC. I risultati hanno mostrato che i riassunti umani erano significativamente superiori, ottenendo un punteggio dell’81% rispetto al 47% dell’IA. I riassunti basati su IA hanno spesso mancato di enfasi e contesto, generando informazioni errate o irrilevanti e aumentando il carico di lavoro per la verifica dei fatti.
Nonostante le limitazioni attuali, il rapporto suggerisce che l’IA potrebbe migliorare in futuro, ma sottolinea l’importanza del contributo umano nel compito di analisi critica delle informazioni.
Leggi l’articolo completo: AI worse than humans in every way at summarising information, government trial finds su crikey.com.au.
Immagine generata tramite DALL-E 3.
