AI self-hosted: cos’è e come funziona

La self hosted AI è un’intelligenza artificiale che gira su hardware che controlli tu: un server nel tuo CED, una macchina in un data center scelto da te o, nel caso più semplice, il tuo computer. Il modello, i documenti che gli fai leggere e le risposte che produce restano lì, senza passare dai server di OpenAI, Google o Anthropic.

Conviene quando i dati non possono uscire dall’azienda e i volumi sono alti e prevedibili. Se cerchi un ChatGPT che costi meno, lascia perdere: il risparmio sul canone se lo mangiano le ore di chi deve tenere il sistema in piedi.

In breve

• Modello, dati e log restano su macchine tue, o comunque scelte e governate da te.
• Servono un modello a pesi aperti, un motore di inference come Ollama o vLLM e qualcosa che lo colleghi alle persone o ai software dell’azienda.
• Un modello da 8 miliardi di parametri gira su un buon portatile.
• Il costo vero lo scopri con un pilota di 90 giorni, contando anche le ore dei tecnici, che sono la voce più cara.
• Per un’azienda italiana il guadagno più concreto è sul GDPR, più che sul conto economico.

Cos’è la self hosted AI

Con self hosted AI si intende un sistema di intelligenza artificiale generativa installato e gestito su risorse proprie, invece che comprato come servizio. Quando scrivi a ChatGPT il testo viaggia fino ai server di OpenAI, viene elaborato lì e, secondo le condizioni del servizio, può restare nei loro archivi. Con un sistema self-hosted il percorso si ferma dentro il tuo perimetro.

Due espressioni girano quasi come sinonimi e conviene tenerle distinte. “AI in locale” di solito indica un modello che gira sul tuo PC o sul tuo Mac, per uso personale (nelle community lo chiamano local LLM): lo installi, lo apri, ci chatti. “AI self-hosted” o “AI on premise” indica invece un servizio condiviso su un server, usato da più persone o da più software dell’azienda, con utenze, permessi e registri delle attività. La tecnologia è la stessa. Cambiano la scala e, soprattutto, le responsabilità.

“Vorrei ChatGPT in casa” non è un progetto: è un desiderio. Il progetto comincia quando scrivi per farci cosa, perché non installi “l’intelligenza artificiale” in astratto ma un modello preciso, con la sua licenza, la sua dimensione e i suoi limiti. Se ti serve un ripasso sulle famiglie di sistemi, trovi una guida sui tipi di intelligenza artificiale; qui parliamo solo dei large language models, quelli che scrivono, riassumono, estraggono dati dai documenti e rispondono a domande.

Come funziona uno stack AI self-hosted

Pensa a una catena con tre anelli. Il modello contiene quello che “sa”, il motore lo fa girare sull’hardware, l’interfaccia lo mette in mano alle persone o ai software. Basta un anello debole e la catena tira poco: è per questo che tanti esperimenti montati in un pomeriggio finiscono abbandonati dopo una settimana.

Il modello a pesi aperti

Il modello è un file, spesso di diversi gigabyte, con dentro i pesi della rete neurale. Puoi scaricarlo e farlo girare solo se il produttore li ha pubblicati, e in quel caso si parla di modelli a pesi aperti (open weight). Le famiglie più usate oggi sono Llama di Meta, Qwen di Alibaba, Gemma di Google, Mistral e gpt-oss di OpenAI.

Ogni famiglia esce in più taglie, misurate in miliardi di parametri, e di solito più parametri vogliono dire risposte migliori e più memoria occupata. Le versioni “quantizzate” comprimono i pesi abbassando la precisione dei numeri, così stanno in meno memoria e la qualità cala poco, spesso in modo accettabile. Nella libreria di Ollama, per esempio, Qwen3 da 8 miliardi pesa 5,2 GB, la versione da 32 miliardi 20 GB e quella da 235 miliardi 142 GB.

Il motore di inference: Ollama, LM Studio, llama.cpp, vLLM

Il motore di inference carica il modello in memoria e genera il testo. Quale scegliere dipende da chi lo userà.

Ollama è il più semplice per cominciare: scrivi ollama run seguito dal nome del modello, lui lo scarica e lo avvia. Ha licenza MIT e, come spiega la sua documentazione sulla compatibilità, supporta un sottoinsieme delle API di OpenAI, per cui molti software nati per ChatGPT funzionano cambiando solo l’indirizzo. LM Studio è un’applicazione per Windows, macOS e Linux, comoda per provare i modelli con un’interfaccia grafica; dalla versione 0.4 il suo nucleo può girare anche come servizio su un server, senza interfaccia. Sotto entrambi c’è llama.cpp, la libreria che usa direttamente chi vuole mettere le mani su ogni parametro.

vLLM è un’altra storia. È il motore da produzione, quello che regge tante richieste in parallelo sulla stessa GPU, e lo ritrovi nelle installazioni aziendali dove decine di persone lavorano insieme. Il mio consiglio: prova i modelli con Ollama o LM Studio, e passa a vLLM solo quando il caso d’uso ha dimostrato di reggere.

Interfaccia e integrazioni: Open WebUI, API, n8n

Un modello senza interfaccia lo usano solo i tecnici. Open WebUI è l’interfaccia più diffusa, assomiglia a ChatGPT, si collega a Ollama o a vLLM e gestisce utenze, gruppi e cronologia delle chat; puoi anche caricare documenti e fargli domande sopra. Per i processi aziendali però serve un’integrazione, e qui entra n8n, lo strumento di automazione con cui si costruiscono workflow del tipo “arriva una mail, estrai i dati dall’allegato, scrivi nel gestionale”.

Quando i documenti sono tanti si aggiunge un database vettoriale come Qdrant, che permette al modello di cercare nei tuoi archivi prima di rispondere: è la tecnica chiamata RAG. Se poi vuoi che il sistema agisca, oltre a rispondere, entri nel mondo degli agenti, di cui ho parlato nella guida ai tool per creare agenti AI. Chi cerca un self-hosted AI agent capace di lavorare su server e servizi di solito guarda a una agent platform come OpenClaw, che fa passare ogni azione da strumenti autorizzati invece di dare al modello accesso libero al sistema.

Come si installa in pratica

In un’azienda l’installazione tipica è una macchina virtuale Linux, quasi sempre Ubuntu Server, con i driver della GPU, i servizi in container Docker, un reverse proxy davanti che gestisce HTTPS e accessi, e un disco separato per modelli, documenti e database. Il deployment della prima versione si fa anche in un pomeriggio.

Chi ha più sedi prepara un template della macchina già configurata e lo clona. Chi vuole poter rifare tutto da zero scrive l’installazione con Ansible o con uno script di avvio, e ti consiglio di farlo anche se il server è uno solo: il giorno in cui un aggiornamento dei driver blocca tutto, rimetti in piedi la macchina in un’ora invece che in due giorni.

Nei primi giorni i problemi sono quasi sempre due. Il contesto si riempie: i documenti lunghi non entrano nella memoria del modello e le risposte ignorano metà del testo, e la cura è spezzare i documenti, riassumere prima di chiedere o passare al RAG, molto prima di comprare una GPU più grande. Poi ci sono gli strumenti scritti male. Se il modello chiama una funzione che restituisce dati sporchi, ti risponde con grande sicurezza una cosa sbagliata, quindi ogni strumento va provato da solo, con risultati controllati e registrati, prima di darlo in mano al modello.

Che hardware serve per l’AI in locale

L’hardware si sceglie partendo dal modello. La memoria della GPU, o la RAM unificata dei Mac con chip Apple, deve contenere il file del modello più un margine per il contesto, cioè il testo che il modello tiene “a mente” durante la conversazione. Se non ci sta, il modello gira lo stesso sul processore. Lentissimo.

Come riferimento usa i dati dei produttori. OpenAI dichiara che gpt-oss-20b gira in 16 GB di memoria, mentre la versione da 120 miliardi chiede una singola GPU da 80 GB come una NVIDIA H100. Da qui si ricavano le fasce.

Prima di comprare, due cose. La scheda grafica da gaming va benissimo per le prove, ma un server acceso giorno e notte va scelto guardando consumi e raffreddamento. E le GPU professionali possono arrivare con settimane di ritardo (nel progetto che ti racconto più sotto ne abbiamo aspettate 5), per cui conviene cominciare lo sviluppo su una macchina di test mentre aspetti quella vera.

Self-hosted, cloud o ibrido: il confronto

Le strade sono tre: tutto in casa, tutto in cloud, oppure un sistema ibrido in cui il lavoro di routine gira sul modello locale e solo le richieste difficili vanno a un modello commerciale. Nella mia esperienza l’ibrido è quello che regge meglio nel tempo, perché i dati sensibili restano dentro e, quando serve davvero, hai comunque a disposizione i modelli migliori.

C’è poi una via di mezzo che in molti trascurano, cioè un server GPU noleggiato in un data center europeo e gestito da te. Tecnicamente lo chiameresti cloud privato più che on premise, però i dati stanno su una macchina che controlli e in una giurisdizione che conosci.

Quanto costa davvero

Il costo di una self hosted AI è la somma di hardware o noleggio, energia, ore di manutenzione moltiplicate per il costo orario di chi le fa e costo degli incidenti. Chi guarda solo il prezzo del server sbaglia, e quasi sempre per difetto.

La voce che tutti sottovalutano sono le ore. Gli aggiornamenti di modelli e software escono di continuo (gli upgrades di Ollama e vLLM sono frequenti), e poi ci sono i backup da provare, il monitoraggio, le utenze da gestire, i controlli di qualità ogni volta che cambi modello. Per questo ti consiglio di non stimare a tavolino. Fai un pilota di 90 giorni su un caso d’uso vero e decidi prima che cosa deve dimostrare: quanto tempo deve far risparmiare, quante risposte devono essere corrette su cento, quante ore di tecnici può consumare al massimo.

Il confronto si fa con il servizio cloud equivalente, ai tuoi volumi. Con poche richieste vince il cloud. Con lavori ripetitivi e prevedibili, oltre una certa soglia, il conto si ribalta, e un progetto che abbiamo seguito con Millionaire Consulting mostra bene dove cade quella soglia per un’azienda vera.

Il caso: prequalifica delle richieste d’offerta in un’azienda meccanica

Il cliente è un’azienda emiliana che produce componenti oleodinamici su disegno: 180 dipendenti, circa 42 milioni di fatturato, il 60% di export verso Germania e Austria. Il suo ufficio tecnico commerciale, sei persone, riceveva circa 350 richieste d’offerta al mese, tra disegni, capitolati e condizioni di acquisto in PDF, in tre lingue. Per ognuna un tecnico estraeva a mano materiali, tolleranze, trattamenti e lotti, poi cercava offerte simili fatte in passato. Servivano 45 minuti a richiesta, e chi chiedeva l’offerta aspettava 6,5 giorni lavorativi. Il cloud non era un’opzione: molti disegni erano sotto NDA e due clienti tedeschi dell’automotive vietavano per contratto di passare i dati a terzi.

Abbiamo installato nel suo CED un server con due GPU NVIDIA L40S da 48 GB, 512 GB di RAM e 8 TB di dischi NVMe, per circa 38.000 euro. Ci gira Qwen3 32B servito con vLLM, che estrae i dati e scrive una scheda di prequalifica; il modello è rilasciato con licenza Apache 2.0 e supporta oltre 100 lingue, tedesco compreso. Attorno al modello ci sono Docling, che trasforma i PDF in testo strutturato, Qdrant, che indicizza circa 40.000 documenti di 15 anni di offerte, n8n per il collegamento con l’ERP, Open WebUI come interfaccia per i tecnici e Langfuse per tracciare le risposte e misurarne la qualità. Integrazione e sviluppo sono costati circa 22.000 euro. In tutto 14 settimane: 3 di analisi su un campione di 200 richieste già lavorate, 5 di attesa per l’hardware (intanto sviluppavamo su una macchina di test), 6 di sviluppo e integrazione, 3 di pilota con due soli tecnici prima di aprire il sistema a tutto l’ufficio.

I conti. Circa 60.000 euro di investimento, 10.500 euro l’anno di costi ricorrenti (4.500 di energia e 6.000 di manutenzione e aggiornamento dei modelli). Le circa 190 ore risparmiate ogni mese, a 38 euro l’ora di costo aziendale, valgono circa 7.200 euro al mese, per cui l’investimento si ripaga in 9 o 10 mesi; l’effetto sulle offerte vinte lo stiamo ancora misurando insieme all’azienda.

Quello che racconto sempre, però, è cosa non ha funzionato subito. Sui disegni scansionati male l’estrazione delle tolleranze era inaffidabile, e adesso il sistema scrive “verifica manuale” invece di tirare a indovinare. Per settimane i tecnici hanno ricontrollato tutto da capo (comprensibile, non si fidavano), e il tempo risparmiato è arrivato solo quando abbiamo fissato con loro soglie di confidenza condivise. L’ERP, infine, ci ha chiesto 3 settimane contro la settimana e mezza che avevamo stimato. Se stai pianificando qualcosa di simile, sono i tre ritardi da mettere in conto fin dall’inizio.

Privacy, GDPR e AI Act: cosa cambia

Ospitare un’intelligenza artificiale in proprio è legale, e per molte aziende è il modo più semplice di restare in regola. Con un servizio cloud il fornitore diventa responsabile del trattamento dei dati che gli mandi, e se i server stanno fuori dall’Unione scattano le regole sui trasferimenti verso paesi terzi del GDPR, con contratti, valutazioni e garanzie da documentare. Quando data residency e accessi sono sotto il tuo controllo, gran parte di quella carta sparisce.

Non tutta. Restano l’informativa ai dipendenti se il sistema tratta i loro dati, il registro dei trattamenti e le misure di sicurezza. E resta l’AI Act: dal 2 febbraio 2025 l’articolo 4 sull’alfabetizzazione chiede a chi usa sistemi di intelligenza artificiale di formare il personale che ci lavora, ovunque giri il modello.

Le licenze dei modelli

Poi c’è la licenza del modello, che in pochi leggono. Qwen3, gpt-oss e diversi modelli Mistral usano Apache 2.0, una licenza permissiva che consente l’uso commerciale. Llama di Meta ha una licenza propria: quella di Llama 3.1, per esempio, obbliga a chiedere un permesso a Meta se i tuoi prodotti superano i 700 milioni di utenti attivi al mese. Per una PMI è una soglia lontanissima. La licenza va letta lo stesso, una volta, prima di andare in produzione.

Self-hosted non vuol dire sicuro

Un modello installato in casa è sicuro quanto il server su cui gira. Cambia solo da dove arriva il pericolo: non temi più che il fornitore usi i tuoi dati, ma come in Alien la minaccia sta dentro la nave, cioè un collega che vede documenti che non dovrebbe vedere o un’integrazione configurata male che apre il sistema verso l’esterno. Torna la catena di prima, e l’anello che cede quasi sempre è proprio l’integrazione. Prima di collegare il modello alla posta o al gestionale, controlla questi punti.

1. Le password dei sistemi collegati non devono mai finire nel testo che il modello legge, perché un documento malevolo potrebbe convincerlo a ripeterle.
2. Permessi minimi: se il sistema deve solo leggere l’ERP, la sua utenza non deve poter scrivere.
3. Ogni richiesta e ogni azione vanno registrate, con utente e orario, in log che il modello non può toccare.
4. Il servizio si espone solo sulla rete interna o dietro VPN. Mai direttamente su internet.
5. Gli strumenti che eseguono codice o comandi girano in un ambiente isolato, una sandbox, così se il modello sbaglia o viene ingannato il danno resta chiuso lì dentro.
6. A chat e log si applicano le stesse regole di conservazione e cancellazione degli altri dati personali.

Se in azienda nessuno sa occuparsi di questi controlli, un servizio cloud con un contratto serio è più sicuro di un server fatto in casa e lasciato a sé stesso. Lo dico chiaro perché è l’errore che vedo più spesso.

Quando conviene e quando no

La self hosted AI conviene a chi ha dati che non possono uscire, volumi alti e ripetitivi e qualcuno capace di gestirla. Se te ne mancano due su tre, parti dal cloud.

Pensa a uno studio legale o medico che vuole riassumere fascicoli senza mandarli a terzi, a un’azienda manifatturiera che lavora disegni sotto NDA, a un eCommerce con migliaia di schede prodotto da riscrivere a ogni stagione, dove il costo per richiesta del cloud si accumula in fretta. Per i testi di marketing un modello locale da 30 miliardi di parametri, di solito, basta e avanza, e ne parlo anche nella guida agli strumenti di intelligenza artificiale per scrivere testi.

Non conviene invece a chi usa l’AI ogni tanto, a chi ha bisogno ogni giorno del miglior ragionamento possibile su problemi nuovi, o a chi pensa di installare tutto e dimenticarsene. Sui modelli locali sono meno ottimista di molti appassionati. Sui compiti stretti e ripetitivi lavorano benissimo, ma quando si tratta di ragionare a tutto campo i modelli commerciali di punta restano davanti, e far finta di no porta solo a utenti delusi che tornano di nascosto a ChatGPT. Prima di decidere, chiarisci come usare l’intelligenza artificiale nei tuoi processi, un caso d’uso alla volta.

Molte aziende che incontro, tra l’altro, non hanno bisogno di comprare hardware ma di qualcuno che disegni il flusso. È il lavoro di una AI agency seria, e quando ne valuti una guarda la competenza sui processi prima di quella sulle GPU.

Domande frequenti

Posso installare ChatGPT sul server della mia azienda?

No, ChatGPT gira solo sui server di OpenAI. Puoi però installare gpt-oss, la famiglia di modelli a pesi aperti che OpenAI ha rilasciato con licenza Apache 2.0. Non è ChatGPT, ma per i compiti di tutti i giorni ci va vicino.

Ho un portatile da lavoro normale: posso provare un modello in locale?

Sì, se ha almeno 16 GB di memoria. Installa LM Studio o Ollama, scarica un modello piccolo come Qwen3 da 8 miliardi e fagli riassumere un documento che conosci a memoria: in mezz’ora capisci se la qualità ti basta. Senza scheda grafica dedicata sarà lento, ed è normale.

Funziona anche senza connessione a internet?

Sì. Scaricato il modello, internet serve solo per gli aggiornamenti.

I miei collaboratori si troveranno peggio che con ChatGPT o Claude?

Sulle domande aperte e sui ragionamenti complessi probabilmente sì, e conviene dirglielo prima invece di lasciarglielo scoprire. Su un compito preciso, come estrarre dati da un PDF o classificare richieste, spesso la differenza non si vede. Nella mia esperienza l’adozione funziona quando il sistema locale fa poche cose ben definite e, per tutto il resto, le persone continuano a usare lo strumento cloud approvato dall’azienda.

Da dove partire

Scegli un solo processo, ripetitivo e misurabile, e annota quanto tempo richiede oggi. Poi:

1. prova due o tre modelli su un PC con LM Studio o Ollama, usando 50 documenti veri di quel processo;
2. se la qualità regge, organizza un pilota di 90 giorni con poche persone e soglie di successo fissate in anticipo, e compra l’hardware definitivo solo alla fine.

Il valore di un sistema self-hosted sta quasi tutto nel collegamento con i processi: posta, gestionale, CRM, archivi. È il lavoro che faccio con Millionaire Consulting quando un’azienda vuole automatizzare un flusso senza perdere il controllo dei dati. Se vuoi capire se il tuo caso sta in piedi, parti dalla consulenza di marketing automation e ne parliamo con i tuoi volumi davanti.