Nell’era dell’intelligenza artificiale, ci troviamo di fronte a un interessante paradosso: dopo decenni in cui i programmatori hanno scritto codice per creare modelli AI, ora è l’AI stessa a scrivere codice. Ma quanto è bravo un generatore di codice AI rispetto a un programmatore umano? Un recente studio pubblicato su IEEE Transactions on Software Engineering (link a fine articolo) ha cercato di rispondere a questa domanda, valutando le prestazioni di ChatGPT di OpenAI in termini di funzionalità, complessità e sicurezza del codice prodotto.
I risultati dello studio mostrano che le capacità di ChatGPT nella generazione di codice funzionale variano enormemente, con tassi di successo che oscillano tra lo 0,66% e l’89%, a seconda della difficoltà del compito, del linguaggio di programmazione e di altri fattori.
In alcuni casi, l’AI è stata in grado di produrre codice migliore degli umani, generando soluzioni con tempi di esecuzione e utilizzo di memoria inferiori rispetto al 50% delle soluzioni umane per gli stessi problemi su LeetCode. Tuttavia, l’analisi ha anche rivelato alcune preoccupazioni in termini di sicurezza nel codice generato dall’AI.
Un aspetto interessante emerso dallo studio è la differenza di prestazioni di ChatGPT tra i problemi di programmazione presenti su LeetCode prima e dopo il 2021. L’AI ha mostrato risultati nettamente migliori sui problemi più vecchi, con un calo significativo delle prestazioni sui problemi più recenti.
Secondo Yutian Tang, uno dei ricercatori coinvolti nello studio, questo fenomeno potrebbe essere spiegato dal fatto che ChatGPT ha una maggiore familiarità con i problemi presenti nel suo dataset di addestramento, che si ferma al 2021. Ciò evidenzia una limitazione fondamentale dell’AI: la mancanza di capacità di pensiero critico e l’impossibilità di affrontare efficacemente problemi mai incontrati prima.
Lo studio suggerisce che, nonostante le sue capacità impressionanti, ChatGPT non è ancora pronto per sostituire completamente i programmatori umani. Gli sviluppatori che utilizzano ChatGPT dovrebbero essere consapevoli delle sue limitazioni e fornire informazioni aggiuntive per aiutare l’AI a comprendere meglio i problemi e evitare vulnerabilità.
Leggi qui lo studio esposto nell’articolo
