Hollandiából a mesterséges intelligencia (MI) a szociális szolgáltatások próbapadjává vált. Egy algoritmus kulcsszerepet játszott a gyermekgondozási juttatások botrányában, amely tévesen vádolt meg tízezreket csalással, és végül a kormány lemondásához vezetett. Rotterdamban vizsgálatunk feltárta, hogy létezik egy algoritmus, amely a segélyezetteket ruházatuk és holland nyelvtudásuk alapján rangsorolta, aránytalanul célozva meg a migráns hátterű egyedülálló anyákat.
Ezért amikor Amszterdam — Európa egyik legprogresszívebb városa — 2023-ban közölte, hogy “tisztességes” algoritmust fejleszt a szociális csalások kiszűrésére, azonnal felkeltette az érdeklődésünket.
Öt éven keresztül Amszterdam szociális osztálya egy kockázatos kísérletet folytatott a Felelős MI (Responsible AI) irányelvei szerint: egy technikai és etikai elveken alapuló keretrendszer, amelynek célja a tisztesség, átláthatóság és elszámoltathatóság biztosítása az automatizált rendszerekben. Az akadémikusok, civil szervezetek, multinacionális intézmények és egyre növekvő tanácsadói iparág is népszerűsítette a Felelős MI-t, amely kulcsfontosságú válasznak tűnik az algoritmikus döntéshozatallal kapcsolatos botrányokra.
Mégis, kevés olyan rendszert vizsgáltak függetlenül, amelyet ezen elvek mentén építettek. Évek során Amszterdam több százezer eurót költött, tanácsadókat alkalmazott, konzultált akadémikusokkal, alaposan auditálta a rendszert elfogultság szempontjából, és még a segélyezetteket is meghívta, hogy visszajelzést adjanak a tervezésről.
A város lehetővé tette a Lighthouse számára is, hogy megfigyelje a folyamatot.
Ellenére ennek az erőfeszítésnek a rendszer megbukott. Az MIT Technology Review és a Trouw együttműködésével megpróbáltuk megérteni, miért. Hozzáférést kaptunk a rendszerhez, az alkotóihoz és a kritikusaikhoz.
Az eredmény az egyik első mélyreható vizsgálat egy Felelős MI irányelvei szerint fejlesztett rendszerről — és arról, mi történik, amikor az ígéretek ütköznek a valósággal.
TÖRTÉNETVONALAK
Az MIT Technology Review és a Trouw együtt vizsgáltuk az alapvető kérdést: mit is jelent valójában tisztességesen alkalmazni egy algoritmust?
Korábbi beszámolók, köztük a miénk is, gyakran a legrosszabb forgatókönyveket emelték ki — rosszul tervezett vagy szándékosan diszkriminatív rendszereket. Ezek a jelentések általában kikerülik a nehezebb kérdéseket: mikor, ha egyáltalán, szabad egy ilyen technológiát bevezetni, és hogyan néz ki a valóságban a tisztességes MI.
Amszterdam szorosan követte a Felelős MI irányelveit. A rendszerből eltávolították a korai tesztek által feltárt etnikai elfogultságot, bevonták az akadémikusokat és tanácsadókat, és végül egy magyarázható algoritmus mellett döntöttek a kevésbé átlátható verzió helyett. A város még egy segélyezőkből álló tanácsot is összehívott — azokat az embereket, akiket a rendszer értékelni fog —, akik élesen bírálták a projektet.
Mégis, a valós környezetben a kísérleti rendszer továbbra is mutatta az elfogultság jeleit. Emellett nem volt hatékonyabb, mint az emberi ügyintézők, akiket pótolni kívánt. A növekvő politikai nyomás alatt a tisztviselők végül lezárták a projektet, csendben befejezve egy költséges, többéves kísérletet.
Részletesen bemutatjuk az Amszterdam kísérletéből levont tanulságokat a Felelős MI-rendszer felépítésére, kiemelve a vitákat arról, hogy az ilyen keretrendszerek teljesíthetik-e ígéreteiket — vagy bizonyos MI-alkalmazások alapvetően összeegyeztethetetlenek az emberi jogokkal.
MÓDSZEREK
2023-ban, hónapokkal az eredeti Suspicion Machines vizsgálatunk után, egy újságíró közérdekű adatigénylést nyújtott be Amszterdamnak a szociális csalások felismerésére szolgáló rendszer kódjára és dokumentációjára vonatkozóan.
Ellentétben a korábbi vizsgálatokkal, ahol az ügynökségek hónapokig vagy évekig késleltették vagy akadályozták a hozzáférést, a város mindent azonnal közzétett, és online találkozóra hívott minket. Egyértelművé vált, miért: a város nagy erőfeszítéseket tett egy tisztességes rendszer kialakítására, és hitt abban, hogy sikerült.
Abban az időben a város egy kísérleti projektet készített elő, ahol a modell valós segélyigénylőket értékelt volna. A kísérlet megbukott: a modell elfogult és hatástalan volt.
2024 őszére, majdnem egy évvel a jelentésünk kezdete után, a város teljesen félretette a projektet. Ahhoz, hogy megértsük, hogyan jelentek meg az elfogultságok a modell tréningje, súlyozása és bevezetése során, auditálni kellett volna a rendszert — ám akadályba ütköztünk. Bár a város megosztotta a kódot és a dokumentációt, az európai GDPR megakadályozta, hogy a rendszer tényleges pontszámairól adatot adjanak — ez alapvető információ lett volna az auditáláshoz.
Amit valószínűleg elsőként tettünk: a város távhozzáféréssel működött együtt. Kódot és teszteket küldtünk a tisztviselőknek, akik azokat valós adatokon futtatták, majd összesített eredményeket küldtek vissza. A Lighthouse nyilvánosságra hozta módszertanunkat, valamint a kódot és adatokat a GitHubon.
Hónapokig tartó riportok — interjúkkal tisztviselőkkel, segélyezettekkel és szakértőkkel — lehetővé tették számunkra, hogy rekonstruáljuk a projekt kibontakozását és azt, miért bukott meg végül.