Lekcja 5.3
Uprzedzenia w algorytmach
AI może być niesprawiedliwa — nie dlatego, że chce, ale dlatego, że uczyła się na niesprawiedliwym świecie.
5.3Uprzedzenia w algorytmach
Na poziomie 2 wspomnieliśmy, że AI uczy się z danych razem z ich błędami. Teraz zobaczysz, co to oznacza w praktyce: AI może traktować różne grupy ludzi niesprawiedliwie — nie dlatego, że ktoś tak chciał, ale dlatego, że dane odzwierciedlały niesprawiedliwy świat.
Każdy rozdział zaczyna się prosto. Chcesz więcej? Otwórz Zaawansowany, a w nim Ekspert.
Lustro, które powiększa
AI uczy się z danych od ludzi, a ludzie mają swoje uprzedzenia. Jeśli w danych jakiejś grupy było mało albo była traktowana niesprawiedliwie, AI może to powtórzyć — a nawet wzmocnić.
Na przykład program rozpoznający twarze może gorzej działać dla osób, których zdjęć było w danych mniej.
Wyobraź to sobie tak
„Model uczony na stronniczych danych jest jak lustro, które powiększa to, co już było krzywe w społeczeństwie.”
Stronniczość (bias) w AI to systematyczne różnice w działaniu modelu dla różnych grup. Jej źródła to: niereprezentatywne dane, historyczne uprzedzenia zapisane w etykietach, cechy zastępcze i sposób mierzenia sukcesu.
Uwaga na słowo: w lekcji o neuronie „bias” oznaczał przesunięcie w rachunku. Tutaj to coś zupełnie innego — niesprawiedliwe różnice w wynikach.
- 1Zbierz dane i sprawdź, kogo brakuje
- 2Wytrenuj model
- 3Zmierz błędy osobno dla każdej grupy
- 4Wybierz miarę sprawiedliwości
- 5Popraw dane lub model i monitoruj
Buolamwini i Gebru, Gender Shades (2018): komercyjne klasyfikatory płci myliły się do 34,7% dla kobiet o ciemniejszej karnacji i najwyżej 0,8% dla mężczyzn o jasnej karnacji. Jednym ze źródeł była niedostateczna reprezentacja tych grup w danych.
Obermeyer i in. (Science, 2019) pokazali, że algorytm szpitalny używający kosztów leczenia jako zamiennika potrzeb zdrowotnych zaniżał ryzyko u czarnoskórych pacjentów — bo historycznie wydawano na nich mniej przy tych samych potrzebach.
Usunięcie kolumny nie wystarczy
Można by pomyśleć: wystarczy nie mówić AI, jakiej kto jest płci czy pochodzenia. Ale AI potrafi odgadnąć te informacje z innych wskazówek — adresu, imienia czy szkoły.
Dlatego sprawiedliwość trzeba sprawdzać na wynikach, a nie zakładać z góry.
Model nie musi „wiedzieć” o płci czy pochodzeniu, żeby dyskryminować — wystarczą cechy z nimi skorelowane, czyli cechy zastępcze (proxy). Kod pocztowy może zastępować pochodzenie, a historia zatrudnienia — płeć.
Dlatego ograniczanie biasu to proces: audyt danych, mierzenie wyników osobno dla grup, testy z udziałem zróżnicowanych użytkowników, dokumentacja (karty modeli i karty danych) oraz nadzór człowieka przy decyzjach ważnych dla ludzi.
Częsty błąd
Wystarczy usunąć płeć i pochodzenie z danych, by model był sprawiedliwy.
Jak jest naprawdę
Inne cechy (adres, imię, szkoła) mogą działać jak zamienniki. Sprawiedliwość trzeba mierzyć na wynikach.
Klasycznym przykładem z rekrutacji jest eksperymentalne narzędzie Amazona, porzucone około 2018 roku po wykryciu, że obniżało ocenę CV zawierających słowo „women's” — model nauczył się wzorców z historycznie zdominowanych przez mężczyzn danych.
Audyty sprawiedliwości wymagają danych o przynależności do grup, by w ogóle zmierzyć różnice — co rodzi napięcie z ochroną prywatności. AI Act dopuszcza w ograniczonym zakresie przetwarzanie danych szczególnych kategorii właśnie w celu wykrywania uprzedzeń.
Co to znaczy „sprawiedliwie”?
Sprawiedliwość może znaczyć różne rzeczy: żeby AI myliła się równie często dla wszystkich grup, albo żeby jej oceny były równie wiarygodne dla każdej z nich. Okazuje się, że nie zawsze da się spełnić wszystkie te warunki naraz.
Dlatego wybór, co uznajemy za sprawiedliwe, to decyzja ludzi — nie samej techniki. Pobawisz się tym w widgecie z tej lekcji i w grze „Stronniczy klasyfikator”.
Popularne miary to m.in. równość odsetka błędów fałszywie pozytywnych i fałszywie negatywnych między grupami oraz kalibracja — sytuacja, w której ta sama ocena ryzyka oznacza to samo prawdopodobieństwo w każdej grupie.
Gdy grupy różnią się częstością danego zjawiska, te miary wchodzą ze sobą w konflikt. Trzeba wtedy jawnie zdecydować, który rodzaj błędu jest bardziej szkodliwy w danym zastosowaniu.
Twierdzenia o niemożliwości (Kleinberg, Mullainathan i Raghavan, 2016; Chouldechova, 2017) pokazują, że przy różnych częstościach bazowych nie da się jednocześnie spełnić kalibracji i równości odsetków błędów fałszywie pozytywnych i negatywnych. Wybór miary jest więc decyzją normatywną.
AI Act (art. 10) wymaga, by zbiory danych systemów wysokiego ryzyka były adekwatne, reprezentatywne i badane pod kątem możliwych uprzedzeń; obowiązki dla większości takich systemów stosuje się od 2 sierpnia 2026 roku.
Zapis formalny
FPR_A = FPR_B ∧ kalibracja ⇒ sprzeczność, gdy p_A ≠ p_B
W Laboratorium
W Laboratorium: Stronniczy klasyfikator
W grze „Stronniczy klasyfikator” uczysz model rozpoznawać dojrzałe jabłka. Są dwie odmiany: czerwona, która dojrzewając czerwienieje, i zielona, która pozostaje zielona nawet dojrzała. Suwakiem decydujesz, ile zielonych jabłek trafi do danych treningowych.
Gdy zielonych jest mało, model zaczyna myśleć, że „dojrzałe znaczy czerwone” — i krzywdzi zieloną odmianę. Zwiększ ich udział, a wskaźnik sprawiedliwości wyraźnie wzrośnie.
Każde jabłko opisują dwie liczby: kolor i miękkość. Model uczy się z 200 jabłek treningowych, a sprawdzamy go na osobnych 120 jabłkach — po 60 z każdej odmiany. Dzięki temu widać trafność osobno dla każdej grupy, tak jak radziliśmy w tej lekcji.
Wskaźnik sprawiedliwości mierzy różnicę trafności między odmianami: 100 oznacza, że model jest równie dobry dla obu. To dokładnie mechanizm z badań nad rozpoznawaniem twarzy — grupa słabo reprezentowana w danych dostaje gorszy model.
- 1Ustaw udział zielonych jabłek (0–60%)
- 2Model uczy się na 200 jabłkach
- 3Test na 60 czerwonych i 60 zielonych
- 4Porównaj trafność obu grup
- 5Zatwierdź model
Klasyfikator to model najbliższego centroidu: oblicza średni punkt (kolor, miękkość) dla jabłek dojrzałych i dla niedojrzałych, a nowe jabłko przypisuje do bliższego centroidu w odległości euklidesowej. Gdy dane zdominuje czerwona odmiana, centroid „dojrzałych” ma wysoki kolor, więc dojrzałe zielone jabłka trafiają do niewłaściwej klasy.
Wskaźnik w grze to 100 − 100·|trafność_czerwone − trafność_zielone|, czyli miara równości trafności między grupami. Dane są generowane deterministycznie (stałe ziarno losowania), więc ten sam udział zawsze daje ten sam wynik. Jak pokazują twierdzenia o niemożliwości, w realnych systemach wybór takiej miary to decyzja normatywna.
Zapis formalny
sprawiedliwość = 100 − 100·|acc_czerwone − acc_zielone|
Zapamiętaj
- Bias bierze się z danych i decyzji projektantów.
- Może krzywdzić ludzi w rekrutacji, kredytach i edukacji.
- W UE AI w edukacji to system wysokiego ryzyka.
Kto jest w danych?
zmień skład danych treningowych
skład zbioru treningowego
10 000 próbekA · 98%
B · 79%
Różnica 19 pkt — model krzywdzi mniej reprezentowaną grupę.
Ciekawostka
W badaniu „Gender Shades” Joy Buolamwini odkryła problem, gdy system rozpoznawania twarzy nie wykrywał jej twarzy — dopóki nie założyła białej maski.
W liczbach
34,7%
maksymalny błąd rozpoznawania płci u ciemnoskórych kobiet (vs 0,8% u jasnoskórych mężczyzn)
Źródło: Buolamwini i Gebru, 2018
Ewaluacja · 3 pytania
Sprawdź się
Skąd najczęściej bierze się uprzedzenie AI?
Dokąd dalej
Następny przystanek: Prywatność i bezpieczeństwo
Uprzedzenia w AI biorą się z danych, cech zastępczych i sposobu mierzenia sukcesu. Nie wystarczy usunąć wrażliwych danych — sprawiedliwość trzeba mierzyć i świadomie wybierać jej definicję.
Dane, z których uczy się AI, to często dane o nas. W następnej lekcji zobaczysz, co dzieje się z tym, co wpisujesz do czatu, i jak chronić swoją prywatność oraz prywatność innych.