Sztuczna inteligencja (AI) w ostatnich latach zrewolucjonizowała wiele sektorów gospodarki, a branża finansowa znajduje się w czołówce tych, które najszerzej czerpią z jej potencjału. W bankowości, rozwiązania oparte na AI są powszechnie wykorzystywane do zwiększenia efektywności operacyjnej, zmniejszenia kosztów, lepszej obsługi klienta, a także w obszarach back-office, takich jak wykrywanie oszustw, wsparcie procesów kredytowych czy ocena ryzyka w underwritingu. Dzięki AI procesy stają się bardziej efektywne i precyzyjne, ryzyko błędów maleje, a decyzje oparte na danych podejmowane są szybciej.
Niemniej jednak, wraz ze wspomnianymi korzyściami, pojawiają się także nowe wyzwania i zagrożenia. Jednym z kluczowych ryzyk związanych z zastosowaniem AI w sektorze finansowym jest stronniczość algorytmiczna w ocenie kredytowej AI. W obszarach tak krytycznych jak ocena zdolności kredytowej, gdzie decyzje systemów AI mają realny wpływ na życie ludzi, kwestia ta nabiera szczególnego znaczenia. Bankowość jest sektorem silnie regulowanym, w którym precyzja, zaufanie i bezpieczeństwo odgrywają kluczowe role, co sprawia, że ewentualne ryzyka naruszeń i nadużyć związanych z zastosowaniem nowych technologii generują w tym przypadku znacznie większe obawy niż zazwyczaj.
Powstaje fundamentalne pytanie: jak to możliwe, że algorytmy, postrzegane jako obiektywne narzędzia analityczne, mogą prowadzić do dyskryminujących decyzji? Problem ten nie wynika ze złej woli samej sztucznej inteligencji, lecz jest ściśle związany z procesami jej projektowania, trenowania i wdrażania.
Kluczowe informacje warte zapamiętania – Stronniczość algorytmiczna w ocenie kredytowej AI:
- Systemy sztucznej inteligencji w bankowości, zwłaszcza te używane do oceny zdolności kredytowej, niosą ryzyko dyskryminacji i utrwalania nierówności społecznych poprzez reprodukowanie nieobiektywnych danych treningowych, co podkreśla potrzebę zapewnienia ich sprawiedliwości, przejrzystości i możliwości wyjaśnienia podejmowanych decyzji.
- Unijny AI Act uznaje systemy AI wykorzystywane do oceny zdolności kredytowej lub scoringu kredytowego za wysokiego ryzyka, nakładając na banki stosujące takie rozwiązania rygorystyczne wymogi dotyczące zarządzania danymi, dokumentacji, transparentności, ludzkiego nadzoru, bezpieczeństwa i zarządzania ryzykiem.
- Odpowiedzialne wdrażanie generatywnej sztucznej inteligencji w sektorze finansowym wymaga skoncentrowania się na ludziach – pracownikach, ich potrzebach w zakresie przekwalifikowania i wdrożenia w nowe role, a także na innowacjach, co w dłuższej perspektywie opłaca się bardziej niż wyłącznie redukcja kosztów.
Główne przyczyny stronniczości algorytmicznej AI w ocenie kredytowej
Stronniczość w modelach oceny kredytowej może mieć swoje źródło na kilku etapach cyklu życia algorytmu, od zbierania danych po jego wdrożenie i interpretację.
Stronniczość w danych historycznych
Modele uczenia maszynowego uczą się rozpoznawać wzorce i podejmować decyzje na podstawie danych historycznych, na których są trenowane. Jeśli te dane zawierają niezbalansowane próby względem grup, które były historycznie dyskryminowane lub niedostatecznie reprezentowane (np. ze względu na płeć czy pochodzenie etniczne, co może przejawiać się w niższej liczbie udzielonych kredytów dla kobiet czy mniejszości w przeszłości), model powiela te nierówności.
Algorytm, optymalizując się pod kątem minimalizacji ogólnego błędu prognozy na całym zbiorze danych, może wykazywać gorszą jakość predykcji lub systematyczne błędy (stronniczość) dla populacji o mniejszej liczbie obserwacji w danych treningowych. Dane te odzwierciedlają zatem przeszłe społeczne uprzedzenia i stereotypy, przenosząc je na przyszłe decyzje AI. Kluczowe jest zapewnienie, że systemy AI są projektowane i wdrażane w sposób sprawiedliwy i równy, z uwzględnieniem perspektywy różnorodności i unikania dyskryminacji.
Obciążenie wynikające z procesu zbierania danych
Stronniczość może pojawić się również na etapie zbierania danych, jeśli proces ten jest obciążony systematycznymi błędami lub selekcją obserwacji. Przykładem jest tzw. błąd przeżywalności (survivorship bias), gdzie do analizy trafiają jedynie dane „tych, którym się powiodło” – w kontekście kredytów, mogą to być tylko dane klientów, którym w przeszłości kredytu udzielono.
Modele trenowane na takich niekompletnych zbiorach danych mogą odtwarzać historyczne błędy w selekcji, pomijając potencjalnie dobrych klientów, którzy w przeszłości otrzymali odmowę. Dodatkowo, rosnące wykorzystanie alternatywnych źródeł danych (np. dane z historii przeglądania, dane z urządzeń mobilnych) w celu zwiększenia mocy predykcyjnej modeli rodzi istotne ryzyko.
Wiele z tych zmiennych, choć pozornie neutralnych, może być silnie skorelowanych z atrybutami chronionymi (takimi jak wiek, płeć, stan cywilny czy lokalizacja, która może stanowić zastępstwo dla pochodzenia etnicznego lub statusu społeczno-ekonomicznego). Ich włączenie do modelu może nieświadomie wprowadzać lub wzmacniać stronniczość algorytmiczną.
Niepoprawne przypisanie etykiet obserwacji
Sposób definiowania zmiennej celu, czyli tego, czego model ma się nauczyć przewidywać (np. czy klient jest „dobry” czy „zły”), również ma fundamentalne znaczenie. Definicje te często opierają się na kryteriach ilościowych (np. przekroczenie określonego progu DPD – Days Past Due, czyli liczby dni opóźnienia w spłacie) i jakościowych (np. umieszczenie klienta na liście obserwowanych ze względu na podejrzaną działalność, lub jego branża pracy uznawana za ryzykowną).
Kluczowy problem w kontekście stronniczości pojawia się, gdy dane do treningu modeli pochodzą wyłącznie od klientów, którym historycznie udzielono kredytu. Oznacza to, że potencjalnie „dobrzy” klienci (którzy spłacaliby kredyt terminowo), ale którzy otrzymali negatywną decyzję kredytową w przeszłości (np. ze względu na historyczne uprzedzenia w procesie decyzyjnym), nie są uwzględniani w zbiorze treningowym. Model uczy się zatem na niekompletnym obrazie rzeczywistości, pomijając grupę osób, które mogłyby obalić historyczne, potencjalnie stronnicze, decyzje.
Wysoka korelacja zmiennych egzogenicznych z atrybutami chronionymi
Nawet jeśli wprost wykluczymy z danych treningowych atrybuty chronione (takie jak płeć, rasa, wiek, narodowość), co jest praktyką określaną jako „Fairness through Unawareness” lub „Fairness through Blindness”, nie gwarantuje to wyeliminowania stronniczości. Ryzyko dyskryminacji nadal istnieje, jeśli w modelu pozostają inne zmienne, które są z tymi atrybutami wysoce skorelowane.
Klasycznym przykładem, często cytowanym w kontekście USA, jest kod pocztowy, który w wielu regionach silnie koreluje z rasą czy statusem społeczno-ekonomicznym. Algorytm może nauczyć się wykorzystywać takie zastępcze zmienne do przybliżenia wartości atrybutu chronionego, co w efekcie prowadzi do dyskryminacji. Zmienne te, mimo że nie są atrybutami chronionymi per se, mogą odzwierciedlać strukturalne nierówności i przenosić je do decyzji algorytmu. Unikanie decyzji opartych na uprzedzeniach jest kluczowe, ponieważ mogą one prowadzić zarówno do opierania rozstrzygnięć na fałszywych przesłankach, jak i do dyskryminacji.
Brak bezpośredniej możliwości interpretacji (problem „Czarnej Skrzynki”)
Wiele zaawansowanych algorytmów uczenia maszynowego, w szczególności te oparte na głębokim uczeniu, działa na zasadzie „czarnej skrzynki” (black box). Oznacza to, że ich wewnętrzne mechanizmy działania, sposób, w jaki dochodzą do konkretnych decyzji, są niezwykle trudne, a często wręcz niemożliwe do pełnego zrozumienia i zinterpretowania przez człowieka.
W przeciwieństwie do tradycyjnych modeli statystycznych, których działanie można opisać za pomocą wzorów, algorytmy AI są często bardzo złożone i nieprzejrzyste. Ten brak transparentności (wyjaśnialności – explainability) stanowi poważny problem etyczny. Utrudnia on nie tylko ocenę, czy decyzje algorytmu są podejmowane w sposób etyczny i sprawiedliwy, ale także znacząco komplikuje wykrycie, analizę i korygowanie potencjalnego obciążenia.
Skoro nie potrafimy w pełni wyjaśnić, dlaczego model podjął konkretną decyzję (np. odmówił kredytu), trudno jest ustalić, czy powodem była ukryta stronniczość i jak ją skutecznie wyeliminować. Problem ten jest szczególnie palący w sektorze bankowym, gdzie często wymagane jest uzasadnienie decyzji podejmowanych wobec klientów.
Obawy odnośnie do braku zaufania do odpowiedzi i wyników generowanych przez narzędzia AI, w tym kwestie transparentności i regulacji, są wyrażane przez kadrę zarządzającą w branży finansowej. Wyjaśnialność modeli AI jest kluczowa dla akceptowalności ze strony społeczeństwa i stanowi jeden z kluczowych wymogów etycznych wobec systemów AI.
Konsekwencje stronniczych decyzji algorytmicznych
Konsekwencje stronniczości algorytmicznej w ocenie kredytowej wykraczają poza kwestie techniczne i mają realny wpływ na życie jednostek oraz kształtowanie się społeczeństwa. Stronnicze algorytmy mogą prowadzić do niesprawiedliwych decyzji finansowych, takich jak nieuzasadniona odmowa udzielenia kredytu, oferowanie gorszych warunków finansowania (wyższe oprocentowanie, gorsze ubezpieczenie) lub naliczanie wyższych opłat za usługi finansowe dla osób z określonych grup.
Takie działania utrwalają istniejące nierówności społeczne i mogą prowadzić do wykluczenia finansowego całych grup ludności, ograniczając ich dostęp do podstawowych usług bankowych i możliwości rozwoju ekonomicznego. Rodzi to również poważne dylematy etyczne dla instytucji finansowych.
Jak bankowość może przeciwdziałać stronniczości AI?
Przeciwdziałanie stronniczości algorytmicznej wymaga kompleksowego podejścia, obejmującego zarówno aspekty techniczne, jak i organizacyjne oraz regulacyjne. Kluczowe działania obejmują:
- Zarządzanie danymi: Zapewnienie wysokiej jakości, kompletności i różnorodności danych treningowych, świadome podejście do potencjalnych źródeł obciążenia w danych historycznych i procesach ich zbierania. Odpowiednie ustanowienie zasad, procedur i standardów w zakresie zarządzania danymi ma kluczowe znaczenie dla dokładnego, uczciwego i odpowiedzialnego działania gen AI, szczególnie w przypadku poufnych albo wrażliwych informacji.
- Transparentność i Wyjaśnialność (XAI): Inwestowanie w rozwój i wdrażanie przejrzystych oraz wyjaśnialnych algorytmów (Explainable AI – XAI). Systemy AI i ich decyzje powinny być wyjaśniane w sposób dostosowany do zainteresowanych stron, a osoby korzystające z systemu powinny być świadome, że wchodzą w interakcję z AI.
- Nadzór ludzki: Zapewnienie odpowiednich mechanizmów nadzoru ludzkiego nad systemami AI, zwłaszcza w przypadku decyzji wysokiego ryzyka, takich jak ocena kredytowa. Człowiek powinien mieć możliwość interwencji i podważenia automatycznej decyzji. Systemy AI powinny wzmacniać pozycję ludzi i wspierać ich prawa podstawowe.
- Audyty i monitorowanie: Regularne przeprowadzanie audytów algorytmów pod kątem stronniczości i dyskryminacji, a także ciągłe monitorowanie ich działania w praktyce.
- Regulacje i standardy etyczne: Aktywny udział w dialogu na temat kształtowania ram prawnych (takich jak AI Act) i wdrażanie wewnętrznych kodeksów etycznych oraz dobrych praktyk. AI Act wprowadza rygorystyczne wymogi dla systemów wysokiego ryzyka, w tym oceny kredytowej, dotyczące m.in. jakości danych, transparentności działania i zarządzania ryzykiem. Chociaż stan regulacji jest obecnie w stadium przejściowym, instytucje finansowe mogą proaktywnie implementować własne polityki.
Podsumowanie
Stronniczość algorytmiczna w ocenie kredytowej stanowi poważne wyzwanie dla sektora bankowego i wymaga świadomego, proaktywnego działania. Problem ten nie leży w samej technologii AI, ale często wynika z obciążeń obecnych w danych historycznych, błędów w procesach zbierania danych, niewłaściwego definiowania celów modeli oraz braku pełnej transparentności i wyjaśnialności złożonych algorytmów.
Kluczem do budowania sprawiedliwych, godnych zaufania i odpowiedzialnych systemów AI w bankowości jest zrozumienie tych ryzyk i implementacja odpowiednich środków zaradczych. Wymaga to zaangażowania zarówno na poziomie technicznym, jak i organizacyjnym, a także aktywnego udziału w kształtowaniu ram prawnych i etycznych we współpracy z regulatorami i interesariuszami. Tylko w ten sposób branża finansowa będzie mogła w pełni wykorzystać potencjał AI, jednocześnie chroniąc prawa i godność wszystkich klientów.
