I tuoi modelli AI decidono bene e in modo equo?

In molte istituzioni finanziarie, i modelli di credit scoring incorporano bias non intenzionali attraverso feature proxy: variabili apparentemente neutre che correlano con caratteristiche protette. Un esempio tipico è un tasso di rifiuto significativamente più elevato per candidati extra-UE causato dall'uso del CAP come feature, che diventa un proxy geografico-demografico. Un audit con analisi SHAP (un metodo per spiegare il contributo di ogni feature alle decisioni del modello) rende il meccanismo trasparente e quantificato. È possibile così ripristinare l'equità decisionale rimuovendo o trasformando le feature proxy, mantenendo stabile l'AUC (Area Under the Curve, misura di accuratezza del modello) e producendo la documentazione necessaria per gli obblighi normativi.

Un sistema di selezione automatica dei CV che penalizza i gap lavorativi e privilegia i candidati provenienti da aziende note è un esempio di modello che amplifica bias preesistenti nel mercato del lavoro. Sotto l'EU AI Act (normativa europea sull'intelligenza artificiale), i sistemi di selezione del personale rientrano nella categoria "alto rischio", con requisiti obbligatori di trasparenza, supervisione umana e documentazione. Un audit permette di identificare i gap di compliance specifici e costruire una roadmap di adeguamento che copre la rivisitazione delle feature, l'introduzione di meccanismi di supervisione umana e la produzione della documentazione tecnica richiesta.

Un'azienda assicurativa con premi significativamente più elevati per alcune aree urbane rispetto ad altre, senza una giustificazione attuariale verificabile, è esposta sia a rischi normativi che a degrado progressivo delle performance del modello nel tempo. L'audit identifica le anomalie di pricing attraverso analisi di fairness geografica e demografica, e quantifica il drift di performance (deterioramento dell'accuratezza del modello nel tempo). È possibile così attivare il retraining del modello, implementare drift monitoring automatico che controlla se il modello sta peggiorando nel tempo e produrre la documentazione necessaria per i requisiti dell'IVASS (Istituto per la Vigilanza sulle Assicurazioni), prima che siano i controlli regolatori a rilevare il problema.