Svédországot gyakran a jóléti állam mintájaként ünneplik. A globális átláthatósági indexek élén szerepel, és magas a közbizalom szintje. Mégis, az ország nyitottságáról alkotott hírnév mögött a Svéd Szociális Biztosítási Ügynökség (Försäkringskassan) csendben nagyszabású kísérleteket folytatott algoritmusokkal, amelyek célja több százezer ellátásban részesülő személy pontozása volt, elvileg a csalás kockázatának előrejelzésére.
Az ügynökségen belüli források, akik a svéd társadalombiztosítási rendszert kezelik, ezeket az algoritmusokat „legjobban őrzött titkuknak” nevezik. Azok, akiket az algoritmus gyanúsnak jelölt – és akik néha megalázó vizsgálatoknak vagy akár ellátások felfüggesztésének vannak kitéve – nem tudják, hogy egy algoritmus választotta ki őket.
2021 októberében szabadság-információs kérelmet nyújtottunk be a Szociális Biztosítási Ügynökséghez, hogy többet tudjunk meg. Azonnal elutasították. A következő három év során több száz e-mailt váltottunk, és több tucat további kérelmet nyújtottunk be, szinte mind elutasítva. Kétszer bírósághoz fordultunk, és fél tucat állami hatósággal konzultáltunk.
Kitartó erőfeszítéssel a Lighthouse Reports és a Svenska Dagbladet hozzájutott egy, Svédország ideiglenes gyermekgondozási támogatására vonatkozó, még nem publikált adatkészlethez. Ez a program a beteg gyermekeket gondozó szülőknek nyújt segítséget. Minden kérelmezőt az ügynökség prediktív algoritmusa gyanúsnak jelölt. Az elemzés feltárta, hogy a csalás-előrejelző rendszer aránytalanul célozta a nőket, migránsokat, alacsony jövedelműeket és a felsőoktatásban nem részesülőket.
Hónapokig tartó riportok – beleértve titkos forrásokkal készített interjúkat – megmutatták, hogy az ügynökség ezeket a rendszereket szinte ellenőrzés nélkül alkalmazta, figyelmeztetések ellenére, akár a szabályozó testületektől, akár saját adatvédelmi tisztviselőjétől.
Módszerek
A Suspicion Machines sorozat több mint nyolc ország jóléti megfigyelő algoritmusait vizsgálta. Svédország váratlanul a legnagyobb kihívást jelentette.
Három év alatt a Lighthouse a svéd szabadság-információs törvényeket széles körben hívta segítségül, műszaki dokumentációt és értékeléseket kért, hasonlóan a Franciaországban, Spanyolországban és Hollandiában korábban megszerzett vizsgálatokhoz.
Az ügynökség elutasításai könyörtelenek voltak. A tisztviselők még az alapvető információk kiadását is megtagadták, azzal érvelve, hogy azok nyilvánosságra hozatala segíthetné a csalókat a lebukás elkerülésében. Nem voltak hajlandóak megerősíteni, hogy az algoritmusok véletlenszerű mintákon lettek-e betanítva, és nem árulták el, hány embert jelöltek meg összességében. Az alapvető csalásra vonatkozó statisztikákat is visszatartották. Egy e-mailben egy magas rangú tisztviselő, mintha elfelejtette volna, hogy egy újságíró CC-zve van, így írt: „reméljük, végeztünk vele!”
Még a már éves jelentésekben publikált adatok kiadását is megtagadták a titoktartásra hivatkozva.
Mégis, erős jelek utaltak komoly problémákra. A svéd Integritási Bizottság 2016-os jelentése „polgári profilalkotásként” jellemezte a gyakorlatot, figyelmeztetve a személyes adatok szélsőséges kockázataira. Egy 2020-as, kivont jegyzet az ügynökség adatvédelmi tisztviselőjétől a rendszer jogszerűségét kérdőjelezte meg.
Az ISF független felügyeleti hatóság 2018-as jelentése további vizsgálati lehetőséget kínált. Egy általa kapott adatkészlet alapján az ISF arra a következtetésre jutott, hogy a szülői ellátásokban a csalás előrejelzésére használt algoritmus nem kezelte egyenlően a kérelmezőket. Az ügynökség elutasította ezeket az eredményeket, megkérdőjelezve az elemzés érvényességét.
Az ISF-jelentés mögötti adatkészlet megszerzésével lehetővé vált a mélyreható elemzés. Több mint 6,000 személyt tartalmazott, akiket 2017-ben jelöltek meg, demográfiai adataikkal együtt. Nyolc tudományos szakértő bevonásával a Lighthouse és a Svenska Dagbladet statisztikai méltányossági teszteket futtatott, amelyek kimutatták, hogy a nők, migránsok, alacsony jövedelműek és az egyetemi végzettséggel nem rendelkezők aránytalanul kerültek jelölésre. A tesztek azt is felfedték, hogy ezek a csoportok nagyobb valószínűséggel kerültek tévesen gyanúsnak minősítésre.
A módszertan, az alapul szolgáló kód és adatok most elérhetők a GitHubon.
Történetszálak
A Lighthouse és a Svenska Dagbladet háromrészes sorozatot készített közös riportok és elemzések alapján.
Az első történet feltárja, hogyan alkalmazta Svédország szociális biztonsági ügynöksége az ipari méretű gépi tanulást, nagyrészt titokban. Elmeséli azoknak a szülőknek a történeteit, akik alapvető szükségleteik finanszírozása nélkül maradtak. A legmagasabb kockázati pontszámúak vizsgálói hatáskörökkel rendelkező hivatalnokokkal találkoznak, akik az ügynökség irodáinak elszigetelt sarkaiban dolgoznak, más alkalmazottak számára elérhetetlen helyeken. Történelmileg diszkriminációnak kitett sérülékeny csoportokat is aránytalanul célozták meg vizsgálatokkal.
Anders Viseth, az ügynökség csalásalgoritmusáért felelős személy, tagadta a visszaélést. Azt állította, hogy a vizsgálatok nem ártalmasak, mivel végső soron egy emberi nyomozó dönt a kimenetről – a késedelmes juttatások és az invazív vizsgálatok ellenére.
A második történet a széleskörű csalás állításait vizsgálja, amely a titoktartás és a mesterséges intelligencia használatának egyik fő indoka. A nyilvánosan hivatkozott csalásbecslések, amelyek a médiában és az éves kiadványokban szerepelnek, bizonytalan feltételezéseken alapulnak. Például az ügynökség csalás-definíciója nem különböztette meg a hibákat a szándékos cselekményektől. Az ügynökség és a svéd bíróságok adatai szerint kevés ügy jut el a tárgyalásig, és még kevesebb eredményez szándékos csalás megállapítását.
Az utolsó történet az ügynökség átláthatatlanságát és felelősség hiányát kritizálja. Virginia Dignum, az <Umeå University> professzora és az ENSZ AI-szakértői csoportjának tagja élesen kritizálta az ügynökség átláthatóság-ellenes hozzáállását. David Nolan, az <Amnesty International> Algorithmic Accountability Lab munkatársa kiemelte, hogy nincs jogorvoslati lehetőség azok számára, akiket profiloznak.
„A rendszer átláthatatlansága miatt a legtöbben nem tudják, hogy a csalásellenőrző algoritmusok őket jelölték meg” – mondta Nolan. „Hogyan vitathat valaki egy döntést, ha nem is tudja, hogy egy automatizált rendszer hozta?”
Visethet, amikor arról kérdezték, hogy az ügynökségnek átláthatóbbnak kellene-e lennie, így válaszolt: „Nem hiszem, hogy szükséges lenne.”