Con la pubblicazione di ChatGPT, privati e aziende sono stati indirizzati verso l’utilizzo di AI in cloud.
Tecnologia fino a quel momento impensabile ora alla portata di chiunque, con un click, (quasi) gratis, con la promessa di spalancare il futuro e rivoluzionare il lavoro e non solo quello. Passata l’euforia iniziale, progressivamente le aziende e le pubbliche amministrazioni hanno iniziato a confrontarsi con i risvolti e con le domande scomode relative all’AI in cloud: dove finiscono i nostri dati? Chi controlla le informazioni sensibili e che uso ne fa? Cosa succede quando un documento esce dalla rete aziendale e viene elaborato da una AI in cloud? Dire di sì all’Intelligenza Artificiale commerciale è stato facile. Gestirne i rischi, soprattutto in termini di confidenzialità e sovranità del dato, si è rivelato un incubo operativo per molte organizzazioni.
In Ex Machina abbiamo sempre creduto che la rivoluzione AI, per essere adottata da imprese e PA, dovesse garantire le prerogative di proprietà, confidenzialità, sicurezza e sovranità delle informazioni, quindi essere una tecnologia fruibile on premise, all’interno del perimetro aziendale. È in questo preciso contesto che si inserisce la decisione di rendere disponibile COSMO 42 come framework open source (licenza MIT) per lo sviluppo di soluzioni AI locali. Il framework COSMO 42 è modulare e include diversi strumenti per l’integrazione di tecnologie e modelli mainstream, tra cui Gemma 4, ottimizzata per essere compatibile con schede grafiche che vanno da 4 Gb a 24 Gb di VRAM e quindi in grado di funzionare anche su infrastrutture hardware locali e scalabili, senza investimenti hardware proibitivi.
COSMO 42 è pubblicato con una implementazione di riferimento consistente in una semplice webapp che permette di caricare i propri documenti in formato PDF, DOCX o XLSX e di conversare con questi documenti localmente, in totale sicurezza. Per una precisa scelta architetturale, la webapp non include un sistema di autenticazione nativo: in questo modo si può sperimentare subito lo strumento in locale, verificarne l’efficacia e poi, eventualmente, integrarlo con i sistemi di autenticazione e di gestione degli accessi già presenti in azienda. L’elaborazione visiva, il chunking e l’embedding avvengono sul posto. Dall’azienda non esce un solo bit!
Oltre all’implementazione di riferimento il repo di COSMO 42 include uno strumento aggiuntivo, chiamato Studio, disabilitato di default ma che è pronto per essere utilizzato dai team di sviluppo. Studio è nato per risolvere un’esigenza concreta: testare e confrontare facilmente diversi modelli linguistici mantenendo un’interfaccia utente comune. In Ex Machina utilizziamo quotidianamente Studio come banco di prova per mettere a confronto i modelli e capire quale risponda meglio allo stesso identico input. In questo ambiente di sperimentazione è possibile inserire un prompt, aggiungere allegati e valutare visivamente la risposta del modello in tempo reale, senza passare dalla fase di embedding. L’output può essere analizzato come testo grezzo, in markdown o in formato json, a seconda delle esigenze di integrazione.
COSMO 42 è un framework open source flessibile che la community e le aziende possono adattare a diversi casi d’uso, ma la sua promessa iniziale rimane ferma: l’Intelligenza Artificiale può assistere e migliorare i flussi di lavoro aziendali senza dover fare compromessi sulla sicurezza e la proprietà del dato.
Il codice sorgente, i file di configurazione e la documentazione sono accessibili pubblicamente su GitHub, all’indirizzo ufficiale del progetto di Ex Machina. Siamo interessati a supportare gli sviluppatori e le organizzazioni che utilizzeranno COSMO 42 per costruire la propria AI locale e protetta. Sul sito exmachina.ch trovi i nostri contatti e i percorsi che sviluppiamo insieme alle aziende che vogliono una adozione dellAI on premise.
