InfoCert è stata tra le prime aziende in Italia a provare Amazon Bedrock, nuovo sistema cloud che, tra le altre cose, permette di sperimentare i nuovi LLM senza compromettere le operazioni. Fabrizio Leoni, Head of Innovation Portfolio di InfoCert, ci ha raccontato l’esperienza e si è detto entusiasta dei risultati.
InfoCert, attore di primo piano nel campo dei servizi di digitalizzazione e dematerializzazione dei processi, è tra le più grandi Certification Authority in Europa. Tra i suoi servizi si contano PEC, firme digitali e gestione documentale - ma anche se soprattutto servizi che servono a garantire la compliance normativa.
I dati possono SBAGLIARE, non dobbiamo fidarci ciecamente - Giuseppe Vaciago
Una situazione che da una parte rende raccomandabile l’uso di moderni sistemi IA - ad esempio per gestire grandi volumi di PEC in entrata, che richiedono una gestione in tempi certi. Dall’altra però le esigenze normative di trustability impongono un rigido controllo dei modelli stessi. In poche parole, spiega Leoni, non ci si può semplicemente affidare al bot perché gli errori e le allucinazioni porterebbero a conseguenze molto gravi - come e peggio di quando Air Canada ha dovuto emettere un rimborso non dovuto, perché il chatbot lo aveva detto a un cliente.
Il problema
Dunque, da una parte sarebbe ideale usare LLM come GPT, Lama o altri. Ma dall’altra bisogna istruire il modello stesso affinché rispetti la realtà, addestrandolo con specifici set di dati (database vettoriali). Si rende necessario un sistema che permetta di usare una tecnologia terza apposta per addestrare il modello.
E tutto va rifatto da zero ogni volta che esce un modello nuovo. Si entra quindi in uno scenario dove è impossibile lavorare on-premise, perché la scalare del sistema non sarebbe gestibile. Ma allo stesso tempo non si può pensare a un sistema di server propri su AWS, perché si rischierebbe di incorrere in costi spropositati.
Eppure per InfoCert (e non solo) è chiara la necessità di passare dai modelli ML (Machine Learning) a quelli LLM. Tale cambiamento permetterebbe,ad esempio, di gestire migliaia di messaggi PEC in modo più efficiente e meno costoso.
La soluzione di Amazon Bedrock
InfoCert serve oltre 150 istituti finanziari e assicurativi in Europa, enti locali e pubblici amministrazioni. Chiaramente un efficientamento dei sistemi porta con sé grandi promesse di risparmio e aumento dell’efficienza.
Amazon Bedrock, parte della suite AWS, è una piattaforma che fornisce accesso a modelli di intelligenza artificiale generativa pre-addestrati, permettendo alle aziende di integrare facilmente queste capacità nei loro sistemi esistenti. In poche parole, chi usa Bedrock può accedere immediatamente ai nuovi LLM quando sono disponibili, con tutta la libertà che serve per fare test e capire se sono utili per le attività dell’azienda.
Secondo Leoni usando gli LLM si ha un tempo di sviluppo di “poche settimane”, mentre con i sistemi ML tradizionali si parla di mesi. Vuol dire che può attivare un nuovo sistema con un cliente in tempi brevissimi, quasi immediatamente dopo che un nuovo sistema LLM è disponibile.
Questo perché, tra le altre cose, Bedrock permette di usare diversi strumenti che rendono possibile l’applicazione di LLM automatizzando anche l’etichettatura dei dati - qualcosa che con i sistemi ML va fatta rigorosamente a mano.
Per Leoni è tratta di "un acceleratore clamoroso" nelle operazioni di InfoCert. Ma allo stesso tempo il modello pay-per-use di Bedrock elimina le barriere all'ingresso, permettendo alle aziende di scalare le loro operazioni senza grandi investimenti iniziali.
Sguardo al futuro
L’incontro con Leoni certifica che il passaggio agli LLM aiuta a rendere più efficienti i prodotti esistenti, ma il dirigente ci ha spiegato anche che le moderne IA sono portatrici di innovazione e potenzialità.
C’è il tema, per esempio, di fare cose nuove con i modelli, come nel caso della Data Augmentation. Sfruttando le risorse di Amazon AWS, è possibile combinare più LLM per generare nuovi dati da quelli esistenti, nel caso non fossero sufficienti. Avrò poi sistemi di controllo e validazione, per generare alla fine migliaia di documenti simili nel contenuto ma diversi nella forma. E li userò per addestrare il modello finale (quello che poi do al cliente).
Tutto ciò semplicemente non sarebbe possibile senza infrastruttura flessibile e potente.