C00lAdamJan 21
Panoptykon

Administracja publiczna w różnych krajach próbuje ułatwiać sobie pracę algorytmami. Robi to np. polski ZUS, jak i francuska Narodowa Kasa Świadczeń Rodzinnych (CNAF).

CNAF korzysta z algorytmu, który typuje i kieruje do kontroli osoby „podejrzane” o nadużywanie prawa do świadczeń. Problem? Działanie algorytmu oparte jest na dyskryminujących kryteriach.

Do kontroli częściej typowane były osoby biedniejsze, z niepełnosprawnością czy prowadzące samodzielnie gospodarstwa domowe.

1/

Jan 21 at 2:30pmWeb
Show threadPanoptykonJan 21

Francuska organizacja La Quadrature du Net od lat domaga się zaprzestania stosowania algorytmu. Dołożyliśmy cegiełkę: wraz z innymi organizacjami broniącymi cyfrowych praw człowieka złożyliśmy opinię przyjaciela sądu.

A co to ma wspólnego z ZUS?
ZUS też korzysta z automatyzacji, np. do przetwarzania wniosków o świadczenie wychowawcze (800+).

Przedstawiciele ZUS chwalą się w mediach, że instytucja korzysta z AI do typowania „lewych” zwolnień lekarskich.

2/

Show threadPanoptykonJan 21

W Panoptykonie próbowaliśmy ustalić, co to znaczy: dowiedzieliśmy się, że „narzędzie analityczne” trenowane było na danych historycznych.
To problem, bo takie algorytmy powielają dawne uprzedzenia. Np. jeśli wcześniej częściej kontrolowano zwolnienia kobiet w ciąży, algorytm będzie je wskazywał częściej także dziś.
Słowem: automatyzacja tak, dyskryminacja – nie!
https://panoptykon.org/algorytmy-do-typowania-naduzyc-cnaf-a-ZUS

3.

Ryzykowne algorytmy do typowania nadużyć. CNAF a polskie realia | Fundacja Panoptykon

Ryzykowne algorytmy do typowania nadużyć. CNAF a polskie realia | Fundacja Panoptykon
Show threadKrzyhuJan 26
@panoptykon Po takich newsach to... Jeśli dane historyczne zawierały więcej kontroli zwolnień kobiet w ciąży to znaczy, że powinien dokładnie wykrywać oszustwa wśród zwolnień kobiet w ciąży. Ale ciągle mówimy o lewych zwolnieniach. I to, że tych danych jest dużo wcale nie oznacza, że ktoś jest dyskryminowany. Wręcz istnieje większa szansa, że nie popełni błędu i nie będzie tak dużo false-positive'ów. Ja podejrzewam, że dyskryminowane będą inne grupy, zwłaszcza z dziwnymi chorobami.
Przy małej ilości danych istnieje duża szansa, że osoby faktycznie chore będą ciągane po komisjach. Bo fundamentalną kwestią jest nie to ile było "dyskryminujących" danych historycznych. Istotne jest ile faktycznie było przekrętów w stosunku do liczebności tej grupy. Wprowadzając "sprawiedliwy" algorytm to grupa, która robi dużo przekrętów łatwiej się ukryje pomiędzy grupami z małą ilością przekrętów i w konsekwencji wykrywalność spadnie a kasa "sprawiedliwie" będzie szła to tych co nie zasłużyli zamiast do potrzebujących.
Ale tak naprawdę, tutaj trzeba znać konstrukcję algorytmu. I raczej walczyłbym o dostęp do danych i algorytmów aby ocenić ich jakość a nie robił srakę bo "dane historyczne są zbiasowane". To nie genAI.