E se potessi avere una conversazione AI sul tuo telefono senza inviare un solo messaggio su Internet?
L’ho provato ed è stato sorprendentemente rassicurante. Ho scaricato un modello linguistico, ho messo il telefono in modalità aereo e ho iniziato a chattare. Non era necessaria alcuna elaborazione cloud o connessione Internet. L’intelligenza artificiale funzionava proprio lì, sul mio telefono.
Viene fornito con alcuni compromessi, ma con un’intelligenza artificiale che funziona completamente non in linea e mantiene la conversazione sul tuo dispositivo è più utile di quanto mi aspettassi.
Ho inserito un modello AI sul mio telefono
Mettere alla prova l’intelligenza artificiale locale
Android offre diversi modi per eseguire un LLM locale. La chat MLC è un’ottima opzione se desideri utilizzare l’hardware del telefono supportato per un’inferenza più rapida.
Google AI Edge Gallery adotta un approccio diverso, offrendo modelli e funzionalità on-device di Google come funzionalità di immagini e audio.
Puoi anche provare opzioni avanzate, come Maid, LM Playground o eseguire Ollama tramite Termux se non ti dispiace una configurazione più tecnica.
Ho scelto PocketPal AI perché volevo qualcosa di semplice che mi permettesse di scegliere il modello.
L’app è open source, con il suo codice disponibile pubblicamente su GitHub. Per la maggior parte, tuttavia, il modo più semplice per installarlo è tramite Google Play Store.
PocketPal supporta i modelli GGUF di Hugging Face, quindi puoi scegliere modelli come Gemma, Qwen e Phi e mantenere quello che desideri sul tuo telefono.
Come ho configurato PocketPal sul mio telefono
Far funzionare il mio primo modello locale
Un LLM locale non è come installare un’app Android. I modelli possono occupare spazio di archiviazione significativo e richiedere memoria sufficiente per il caricamento e l’esecuzione. PocketPal consiglia almeno 6 GB di RAM per i modelli più piccoli e 8 GB o più per quelli più grandi.
I telefoni più recenti con più RAM e chip più veloci sono più adatti all’esecuzione locale di modelli IA.
Dopo aver installato PocketPal, tocca Scarica il modello nella schermata iniziale. Vedrai i modelli disponibili, insieme a dettagli come dimensioni, conteggio dei parametri e capacità.
Tocca un modello per visualizzare ulteriori informazioni e tocca Scaricamento per salvarlo sul telefono. Dopo il download, tocca Carico sulla scheda per caricarla in memoria e iniziare a chattare.
Ho scelto Gemma 3 1B, l’ho scaricato e ho cliccato Carico quando era pronto.
Per aggiungere altri modelli, ho aperto il file menù di hamburgertoccato Modellie ho utilizzato l’opzione per aggiungere un modello. PocketPal ti offre alcuni modi per farlo: Aggiungi da Abbracciare la faccia, Aggiungi modello localeO Aggiungi modello remoto.
Le mie conversazioni sono rimaste sul telefono
Potevo chattare anche quando ero offline
Dopo aver scaricato Gemma 3 1B, ho potuto iniziare a chattare con PocketPal. Le risposte sono state notevolmente più lente di quelle a cui sono abituato con l’intelligenza artificiale basata su cloud, ma questo era anche il compromesso che mi aspettavo eseguendo il modello sul mio telefono.
PocketPal utilizza llama.cpp per eseguire i modelli GGUF localmente, utilizzando la CPU, la GPU o l’hardware NPU supportato disponibili nel telefono.
Dalla schermata della chat, potrei toccare il file icona della freccia nella casella di testo e passare da un modello all’altro.
Lo stesso menu ti dà accesso ai Pals, che sono personalità AI preconfigurate. Potrei passare a Pip, un assistente generico progettato per essere eseguito localmente, o provare Lookie, che è un Pal più insolito in grado di analizzare i video dalla fotocamera del telefono.
Lookie è progettato per l’analisi video in tempo reale sul dispositivo. Tuttavia, le sue prestazioni dipendono dal modello e dal telefono che stai utilizzando.
PocketPal ti consente anche di aggiungere voci, quindi non sei limitato a digitare e leggere le risposte. Le sue opzioni vocali includono Kitten, Kokoro, Supertonic e le voci di sistema del tuo telefono.
Perché vale la pena usare l’IA offline?
Un’intelligenza artificiale più lenta può comunque essere utile
Per me l’attrattiva più grande è la privacy. Alcune conversazioni vengono mantenute meglio sul telefono e, con un modello locale, i miei suggerimenti e risposte non lasciano il dispositivo per l’elaborazione.
L’altro vantaggio è diventato evidente quando ho interrotto la connessione. Una volta che il modello è al telefono, posso usarlo in volo, in un posto con scarsa ricezione o quando non voglio connettermi a un servizio cloud.
C’è anche qualcosa di attraente nell’avere un modello che controllo. Posso scaricare diversi modelli GGUF, tenerli sul mio dispositivo e passare da uno all’altro. Non devo dipendere dal modello offerto da un servizio AI cloud.
Tuttavia, so che sto rinunciando ad alcune cose. Le risposte sul mio telefono erano più lente. Un piccolo modello locale non può competere con i modelli cloud più grandi in ogni attività.
Il più grande svantaggio di tenere tutto offline è che l’intelligenza artificiale è tagliata fuori dal mondo esterno. Il mio modello locale non poteva dirmi cosa stava succedendo al telegiornale di oggi, cercare una notizia dell’ultima ora o rispondere a domande che dipendevano dalle informazioni attuali.
Il mio telefono non ha bisogno del cloud per ogni chat AI
L’esecuzione di un LLM sul mio telefono non sostituirà Gemelli o ChatGPT. Le sue risposte erano più lente, il modello più piccolo non era altrettanto capace ed essendo completamente offline significava che non poteva dirmi nulla sugli eventi attuali.
Tuttavia, avrei potuto conversare senza inviare tali istruzioni a un server e avrei potuto continuare a utilizzarlo anche quando il mio telefono non aveva una connessione Internet.
Ora che so quanto sia facile eseguire un file Modello di intelligenza artificiale a livello locale, sono più interessato a sperimentare cos’altro può gestire il mio telefono.
