Inteligența artificială explicabilă, numită și XAI (explainable artificial intelligence), urmărește să facă inteligibil modul în care un sistem ajunge la rezultate. Pentru o firmă, explicația trebuie să ajute o persoană să verifice o recomandare, să găsească o eroare sau să decidă ce informație mai trebuie analizată. Este o cerință aplicabilă mai multor tipuri de AI, de la modele statistice la sisteme complexe de recomandare.
Explicația trebuie aleasă pentru persoana care o folosește
Un operator de suport are nevoie să înțeleagă de ce un caz a fost prioritizat. Un administrator tehnic poate avea nevoie de variabile, versiuni și calcule pentru a investiga modelul. Același rezultat poate cere două prezentări ale aceleiași dovezi. Interfața trebuie să păstreze legătura dintre explicația accesibilă și informația tehnică pe care se bazează.
NIST descrie patru principii: existența unei explicații, sensul ei pentru destinatar, fidelitatea față de mecanism și respectarea limitelor de cunoaștere ale sistemului. Pentru antreprenor, acestea pot deveni cerințe verificabile în proiect: ce se afișează, cui, din ce date și ce se întâmplă când intrarea depășește domeniul evaluat al aplicației.
Un scor de prioritate explicat pas cu pas
Considerăm un calcul demonstrativ pentru prioritizarea unor cereri de suport. Scorul de bază b este 0,30. În exemplu, x1 reprezintă un serviciu indisponibil și adaugă 0,20, x2 reprezintă apropierea unui termen și adaugă 0,15, iar x3 indică existența unei soluții provizorii și scade 0,05. Suma rezultată este 0,60.
Cum se compune scorul de prioritate
Valorile sunt alese pentru explicație și sunt exprimate în unități convenționale de scor. Rezultatul 0,60 nu înseamnă o probabilitate de 60%. Desenul arată cum se compune un scor aditiv; într-un model real, unitatea rezultatului, calculul contribuțiilor și transformările aplicate trebuie declarate și verificate.
O interfață utilă poate afișa contribuțiile împreună cu datele cererii. Operatorul vede astfel că „termen apropiat” a fost calculat dintr-o dată greșită și poate corecta intrarea. După recalculare se păstrează atât schimbarea informației, cât și versiunea modelului. Explicația devine un instrument de lucru, legat de o acțiune precisă.
Explicație locală și imagine de ansamblu
Explicația locală privește un anumit rezultat: de ce această cerere are acest scor? Explicația globală descrie comportamentul modelului pe un set de cazuri sau felul în care sunt folosite caracteristicile în general. O variabilă importantă în ansamblu poate avea o contribuție redusă pentru un caz concret, în funcție de valorile sale și de model.
| Prezentare | Întrebare | Ce trebuie păstrat |
|---|---|---|
| Locală | De ce acest rezultat? | Cazul, modelul și contribuțiile aferente |
| Globală | Cum se comportă modelul pe ansamblu? | Setul analizat, perioada și metoda |
| Operațională | Ce poate verifica persoana? | Datele consultabile și acțiunile permise |
Un model cu structură interpretabilă poate expune direct componente ale calculului. Modelele aditive, de exemplu, pot separa contribuțiile caracteristicilor, iar unele includ și interacțiuni care trebuie explicate. Pentru alte modele sunt folosite metode de explicare ulterioară. Alegerea se face după întrebarea de verificat și accesul disponibil la sistem.
Explicația leagă rezultatul de dovezi
-
Date și versiune
Identifică intrările folosite, momentul evaluării și versiunea modelului. Păstrează unitățile și transformările relevante.
-
Mecanism
Arată calculul sau metoda de explicare și referința folosită. Verifică dacă prezentarea reflectă sistemul analizat.
-
Interfață pentru rol
Operatorul vede elementele pe care le poate verifica; specialistul poate consulta detaliile necesare investigației.
Ce face SHAP și ce trebuie precizat în raport
SHAP, de la SHapley Additive exPlanations, este o metodă de explicare care atribuie caracteristicilor contribuții la predicția unui model. Explicația depinde de modelul analizat, metoda folosită și referința aleasă pentru comparație. În raport trebuie să fie clar ce ieșire se explică și în ce unități sunt exprimate contribuțiile. În cazul unui clasificator, scorul intern și probabilitatea afișată pot avea reprezentări diferite.
Contribuția la predicție nu este automat efectul unei intervenții asupra afacerii. Dacă istoricul arată că anumite solicitări primesc răspunsuri mai târziu, o explicație poate reflecta asocierea învățată. Stabilirea efectului schimbării unui proces cere o analiză cauzală sau un experiment potrivit. O diagramă de contribuții nu înlocuiește acel design.
Cum verifici fidelitatea unei explicații
Corectitudinea predicției și corectitudinea explicației se evaluează separat. Un rezultat poate fi potrivit, iar explicația afișată să nu reflecte calculul folosit. Pentru scorul demonstrativ, verificarea este directă: suma bazei și a contribuțiilor trebuie să coincidă cu rezultatul. Pentru metodele aproximative, echipa tehnică stabilește testele și domeniul în care explicația reprezintă suficient de bine comportamentul modelului.
Testează și prezentarea cu persoanele care vor lucra efectiv în aplicație. Cere-le să identifice informația care a influențat rezultatul și pasul de verificare necesar. O explicație încărcată cu termeni tehnici poate fi fidelă, dar nepotrivită rolului. O descriere simplificată trebuie să păstreze sensul calculelor, inclusiv diferența dintre o valoare lipsă și o valoare mică.
Pentru fiecare rezultat, leagă explicația de identificatorul acelei evaluări și de versiunea modelului. În cerințele de acceptare, verifică dacă operatorul poate localiza o valoare greșită, o poate trimite spre corectare și poate compara rezultatul recalculat cu cel inițial. Înțelegerea explicației se testează prin aceste acțiuni, nu doar prin impresia că textul este ușor de citit.
Trei întrebări în revizia explicației
-
Este fidelă?
Contribuțiile și motivele afișate provin din mecanismul evaluat. Pentru exemplul aditiv, verifică suma până la scor.
-
Este inteligibilă?
Persoana identifică datele relevante și acțiunea de verificare. Testează prezentarea cu utilizatorii rolului respectiv.
-
Ce întrebare răspunde?
Separă explicarea predicției de efectul unei intervenții. Un motiv predictiv nu devine automat recomandare cauzală.
De ce textul unui chatbot nu este dovada calculului
Un model lingvistic poate redacta o explicație accesibilă pornind de la datele și contribuțiile primite. Pentru audit, aplicația păstrează însă rezultatul mecanismului analizat și intrările efectiv folosite. Dacă modelul lingvistic inventează un motiv plauzibil care nu apare în calcul, acel text trebuie corectat sau respins în fluxul de verificare.
WebHat poate proiecta afișarea explicațiilor, istoricul și drepturile de revizuire în aplicații custom cu integrare AI. Un început potrivit este o recomandare operațională cu date accesibile echipei, precum ordinea cererilor de suport. Proiectul stabilește cine poate corecta datele, cine aprobă schimbarea regulilor și cum se urmărește diferența dintre recomandarea inițială și decizia aplicată.
Întrebări despre AI explicabilă
AI explicabilă este un tip separat de model?
Explicabilitatea este o proprietate urmărită în diferite sisteme. Ea poate fi susținută de structura modelului, de metode suplimentare și de interfața aplicației.
O explicație clară arată că rezultatul este corect?
Claritatea ajută la înțelegere. Corectitudinea rezultatului se verifică pe cazuri evaluate, iar fidelitatea explicației se verifică față de mecanismul folosit.
Putem schimba o variabilă ca să obținem efectul indicat?
O contribuție predictivă descrie modelul. Efectul schimbării în realitate cere analiza mecanismului cauzal și condițiile intervenției propuse.
Ce păstrăm pentru o verificare ulterioară?
Datele de intrare utilizate, momentul analizei, versiunea modelului, metoda explicației, referința și rezultatul. Istoricul trebuie să permită reconstituirea cazului și a deciziei aplicate.
