Mi sono divertito a creare strumenti semplici ma utili, come ad esempio un Calendario della vita o un Promemoria Blink con l’IA, e per farlo ho già provato la maggior parte dei principali modelli di IA.
Ogni volta che ho testato diversi fornitori di IA per realizzare lo stesso strumento, ne ho trovato uno più intelligente degli altri. Tuttavia, i prompt non erano esattamente gli stessi, quindi non ho potuto confrontare i risultati.
Questa volta ho fornito a Gemini, ChatGPT e Claude lo stesso identico prompt.
Tutti e tre i modelli di IA hanno compreso il compito
Le basi erano sorprendentemente simili
Ho chiesto di creare un sito web per una concessionaria di auto usate che includesse una home page, una pagina con l’inventario e una pagina per visualizzare i dettagli di un singolo veicolo.
Volevo testare la capacità di ragionamento dei modelli di IA, quindi ho mantenuto il prompt volutamente un po’ vago.
Tutti e tre i modelli hanno compreso la struttura di base e hanno restituito un sito web funzionante. Nessuno di essi ha fallito.
Tutti e tre hanno incluso anche i consueti messaggi tipici delle concessionarie, come le modalità di collaudo dei veicoli e la trasparenza dei prezzi. Ogni modello di IA ha eseguito con successo le istruzioni di base.
Ho utilizzato i modelli e le impostazioni più avanzati disponibili per gli utenti gratuiti: Gemini 3.6 Flash con modalità “Extended Thinking” abilitato, ChatGPT con l’unica modalità disponibile Think selezionata, e Claude Sonnet 5 con Thinking abilitata e l’impostazione dello sforzo su Extra.
Claude tecnicamente ha un’impostazione impostazione di sforzo “Massimo” , ma non è nemmeno riuscito a completare l’attività prima di esaurire i token.
Le differenze emergono quando si va oltre l’apparenza
Le auto hanno rivelato quanta cura sia stata dedicata al risultato finale
A prima vista, il risultato di Gemini sembrava discreto. Ma non appena ho esaminato i dettagli, ho riscontrato alcuni problemi significativi.
Una voce denominata “Jeep Wrangler Unlimited Rubicon 2020” presenta l’immagine di una strada deserta. Non c’è nessuna auto.
Passando alla sezione dell’inventario, ho individuato un’altra voce senza immagine. Infine, ho notato un errore: c’è una voce relativa a una “Ford F-150 Lariat 4×4 del 2019” con l’immagine di una supercar Ferrari.
Le immagini erano state scelte a caso invece di essere abbinate ai nomi dei veicoli. Sebbene le immagini mostrassero veicoli reali di marche esistenti, la maggior parte di esse aveva poco o nessun legame con i modelli elencati.
Un altro aspetto privo di logica era la determinazione dei prezzi. La maggior parte delle auto era in vendita a un prezzo quasi identico, nonostante le categorie fossero molto diverse tra loro.
Claude ha compreso ciò che non avevo detto esplicitamente
È andato oltre i requisiti di base
Claude ha fatto un lavoro decisamente migliore con le immagini. Ha individuato esattamente gli stessi modelli presenti negli annunci.
E non è tutto. Le immagini ritraevano auto usate e le schede includevano indicatori di condizioni quali A+, A- e B.
Le immagini erano inoltre ad alta risoluzione, il che rendeva facile esaminarne i dettagli. Non gli ho mai chiesto esplicitamente di trovare foto realistiche di auto usate con ammaccature e graffi.
Mentre il risultato di Gemini sembrava più una pubblicità di auto nuove, quello di Claude ha fatto sì che gli annunci apparissero proprio come dovevano essere.
Infine, il design complessivo del sito web risultava decisamente migliore nell’output di Claude.
L’output di Gemini sembrava più orientato all’atmosfera, mentre quello di Claude appariva molto più maturo e rifinito.
ChatGPT ha fatto un lavoro relativamente migliore con le immagini. Ha comunque prelevato immagini a caso da Internet, ma almeno alcune di esse corrispondevano al tipo di veicolo per cui erano state utilizzate.
Sembrava comprendere in parte ciò che stava creando.
Le immagini erano inoltre ad alta risoluzione e il design complessivo del sito web appariva più curato rispetto a quello offerto da Gemini.
Claude aveva bisogno di una seconda possibilità
All’inizio generava schizzi invece di utilizzare immagini reali
Inizialmente Claude ha adottato un approccio diverso per quanto riguarda le immagini. L’IA sostiene che prelevare immagini reali da Internet con i loghi dei marchi potrebbe comportare problemi di copyright. Pertanto ha generato schizzi in formato SVG.
Ma lo scopo di questo progetto era confrontare le capacità di diversi modelli di IA.
Se avessi scelto un tipo diverso di progetto, magari incentrato esclusivamente sulla logica di base o sul design del sito web, il risultato avrebbe potuto essere più competitivo rispetto agli altri.
Per garantire un confronto equo, ho chiesto a Claude di utilizzare immagini reali. Tuttavia, non ho comunque specificato esplicitamente qualcosa come «foto realistiche di auto usate». Ha semplicemente intuito l’intento da solo.
Infine, ha abbinato correttamente tutti i modelli di veicoli e ha superato gli altri due modelli sia in termini di precisione che di design.
Claude è più lento, ma ragiona più come un designer
La velocità non è tutto quando l’inglese è il nuovo linguaggio di programmazione
Claude impiega più tempo a realizzare qualcosa rispetto ai suoi concorrenti, e l’ho notato in modo costante. Si tratta di uno svantaggio concreto, soprattutto se si sta cercando di realizzare qualcosa in fretta.
Sia Gemini che ChatGPT hanno impiegato meno di 2 minuti per completare l’attività. In confronto, Claude ha impiegato 10 minuti per aggiungere le immagini reali.
Ci è voluto ancora più tempo per realizzare la prima versione, tanto da farmi pensare che si fosse bloccato da qualche parte e non sarebbe andato avanti.
Ma sono sempre disposto ad aspettare qualche minuto in più se il risultato funziona.
In questo progetto, volevo che l’IA si impegnasse a capire come dovrebbe apparire una concessionaria di auto usate.
Claude mi ha impressionato ancora una volta con la sua capacità di ragionamento. Gli altri modelli hanno tecnicamente portato a termine il compito, ma lungo il percorso hanno preso alcune decisioni sbagliate.
Anche Claude ha avuto bisogno di una seconda possibilità in questo caso, ma ciò è dipeso più dai vincoli etici dello strumento che dalla sua capacità tecnica.
Risolvere tutti i problemi presenti nell’output di Gemini e ChatGPT non solo richiederebbe più tempo rispetto a utilizzare Claude, ma rappresenterebbe anche un vero grattacapo per chiunque non abbia familiarità con lo sviluppo software.
