Con la pubblicazione di ChatGPT, privati e aziende sono stati indirizzati verso l’utilizzo di AI in cloud.
Tecnologia fino a quel momento impensabile ora alla portata di chiunque, con un click, (quasi) gratis, con la promessa di spalancare il futuro e rivoluzionare il lavoro e non solo quello. Passata l’euforia iniziale, progressivamente le aziende e le pubbliche amministrazioni hanno iniziato a confrontarsi con i risvolti e con le domande scomode relative all’AI in cloud: dove finiscono i nostri dati? Chi controlla le informazioni sensibili e che uso ne fa? Cosa succede quando un documento esce dalla rete aziendale e viene elaborato da una AI in cloud? Dire di sì all’Intelligenza Artificiale commerciale è stato facile. Gestirne i rischi, soprattutto in termini di confidenzialità e sovranità del dato, si è rivelato un incubo operativo per molte organizzazioni.
In Ex Machina abbiamo sempre creduto che la rivoluzione AI, per essere adottata da imprese e PA, dovesse garantire le prerogative di proprietà, confidenzialità, sicurezza e sovranità delle informazioni, quindi essere una tecnologia fruibile on premise, all’interno del perimetro aziendale. È in questo preciso contesto che si inserisce la decisione di rendere disponibile COSMO 42 come starter kit open source (licenza MIT) per lo sviluppo di soluzioni AI locali. Il starter kit COSMO 42 è modulare e include diversi strumenti per l’integrazione di tecnologie e modelli mainstream, tra cui Gemma 4, ottimizzata per essere compatibile con schede grafiche che vanno da 4 Gb a 24 Gb di VRAM e quindi in grado di funzionare anche su infrastrutture hardware locali e scalabili, senza investimenti hardware proibitivi.
COSMO 42 è pubblicato con una implementazione di riferimento consistente in una semplice webapp che permette di caricare i propri documenti in formato PDF, DOCX o XLSX e di conversare con questi documenti localmente, in totale sicurezza. Per una precisa scelta architetturale, la webapp non include un sistema di autenticazione nativo: in questo modo si può sperimentare subito lo strumento in locale, verificarne l’efficacia e poi, eventualmente, integrarlo con i sistemi di autenticazione e di gestione degli accessi già presenti in azienda. L’elaborazione visiva, il chunking e l’embedding avvengono sul posto. Dall’azienda non esce un solo bit!
Oltre all’implementazione di riferimento il repo di COSMO 42 include uno strumento aggiuntivo, chiamato Studio, disabilitato di default ma che è pronto per essere utilizzato dai team di sviluppo. Studio è nato per risolvere un’esigenza concreta: testare e confrontare facilmente diversi modelli linguistici mantenendo un’interfaccia utente comune. In Ex Machina utilizziamo quotidianamente Studio come banco di prova per mettere a confronto i modelli e capire quale risponda meglio allo stesso identico input. In questo ambiente di sperimentazione è possibile inserire un prompt, aggiungere allegati e valutare visivamente la risposta del modello in tempo reale, senza passare dalla fase di embedding. L’output può essere analizzato come testo grezzo, in markdown o in formato json, a seconda delle esigenze di integrazione.
COSMO 42 è uno starter kit open source flessibile che la community e le aziende possono adattare a diversi casi d’uso, ma la sua promessa iniziale rimane ferma: l’Intelligenza Artificiale può assistere e migliorare i flussi di lavoro aziendali senza dover fare compromessi sulla sicurezza e la proprietà del dato.
Il codice sorgente, i file di configurazione e la documentazione sono accessibili pubblicamente su GitHub, all’indirizzo ufficiale del progetto di Ex Machina. Siamo interessati a supportare gli sviluppatori e le organizzazioni che utilizzeranno COSMO 42 per costruire la propria AI locale e protetta. Se vuoi maggiori informazioni vai alla nostra pagina dedicata a Cosmo 42.
