AI tränas på våra fördomar – och förstärker dem sedan tillbaka

Ett rekryteringsverktyg som systematiskt nedvärderar kvinnliga sökande. Ett kreditbedömningssystem som ger sämre villkor till personer med utländskt klingande namn. En ansiktsigenkänningsprogramvara som fungerar utmärkt på vita män men misslyckas varannan gång den möter en mörkhyad kvinna. Det här är inte hypotetiska scenarion – det är dokumenterade fall från verkliga system som används i dag. Bakom varje AI-modell finns träningsdata, och träningsdata speglar den värld vi redan lever i – med alla dess ojämlikheter, blinda fläckar och inbyggda fördomar. Problemet är att AI inte bara återspeglar de fördomarna. Den förstärker dem.

Hur fördomar tar sig in i AI från första början

En AI-modell är inte neutral. Den är ett matematiskt avtryck av den data den tränats på, och den datan kommer från en värld som aldrig har varit neutral. Det är utgångspunkten för att förstå varför bias i AI inte är ett tekniskt fel som kan åtgärdas med ett programuppdatering – det är ett strukturellt problem som börjar långt innan den första raden kod skrivs.

Träningsdatans ursprung och begränsningar

All maskininlärning bygger på ett grundläggande antagande: att historiska data är ett tillförlitligt underlag för framtida beslut. Det antagandet är problematiskt när historien i sig är ojämlik. Om ett rekryteringsverktyg tränas på tio års anställningsbeslut från ett företag där ledande positioner nästan uteslutande gick till män, lär sig modellen att manliga kandidater är att föredra för ledande roller. Den optimerar för det mönster den ser, inte för det mönster vi önskar att vi hade haft.

Amazon testade ett sådant verktyg internt under flera år innan de lade ned projektet 2018. Systemet hade på egen hand lärt sig att nedvärdera CV:n som innehöll ordet ”kvinnor” – som i ”ordförande för kvinnors schackklubb” – och att favorisera formuleringar som historiskt associerats med manliga sökande. Det var inte programmerat att göra så. Det lärde sig det från data.

Representation och osynliga grupper

Ett annat sätt som bias uppstår är genom underrepresentation. Om träningsdatan inte innehåller tillräckligt många exempel på en viss grupp – en etnisk minoritet, personer med funktionsnedsättning, äldre användare – presterar modellen sämre för den gruppen. Det är inte aktivt diskriminerande i sin konstruktion, men resultatet är detsamma: systemet fungerar bäst för dem som redan är mest synliga i datan.

Ansiktsigenkänningssystem är det mest dokumenterade exemplet. En studie från MIT Media Lab, genomförd av forskaren Joy Buolamwini, visade att kommersiella ansiktsigenkänningssystem från IBM, Microsoft och Face++ hade en felfrekvens på under ett procent för ljushyade män men upp till 35 procent för mörkhyade kvinnor. Skillnaden förklarades i stor utsträckning av att träningsdatasetsen var kraftigt överviktade mot ljushyade, manliga ansikten.

Mätningens bias och vad vi väljer att optimera för

Det finns också en mer subtil form av bias som handlar om vad vi väljer att mäta och optimera för. Ett system för att förutsäga återfall i brottslighet – som det amerikanska COMPAS-systemet, vilket används av domstolar i flera delstater – optimerar för en viss definition av risk baserad på historiska arresteringsdata. Men arresteringsdata speglar inte bara faktisk brottslighet. Den speglar också polisiär närvaro, som historiskt har varit ojämnt fördelad mellan olika områden och befolkningsgrupper. Systemet mäter alltså delvis risken att bli gripen, inte risken att begå ett brott – en distinktion med enorma konsekvenser för de individer som bedöms.

När algoritmerna får verkliga konsekvenser för riktiga människor

Det är lätt att diskutera AI-bias på en abstrakt nivå. Det är svårare – och viktigare – att förstå vad det konkret innebär för de människor som möter dessa system i verkligheten, ofta utan att veta om det.

Kreditbedömning och ekonomiskt utanförskap

Finansbranschen var tidig med att automatisera beslut, och konsekvenserna av bias i kreditbedömningssystem är väldokumenterade. En studie publicerad i tidskriften The Markup 2021 visade att amerikanska banker med hjälp av algoritmiska system avslog låneansökningar från svarta och latinamerikanska sökande i betydligt högre utsträckning än från vita sökande med jämförbara ekonomiska profiler. Eftersom algoritmerna är proprietära – företagshemligheter som inte behöver redovisas – är det nästan omöjligt för den enskilde att förstå varför de fick avslag eller att utmana beslutet.

Det skapar ett demokratiskt problem. När konsekvenserna av ett algoritmiskt beslut är lika stora som ett låneavslag eller en avvisad bostadsansökan, men beslutets grund är ogenomskinlig, urholkas den enskildes möjlighet till rättslig prövning och överklagande.

Sjukvård och ojämlik riskbedömning

Inom sjukvården används maskininlärning i växande utsträckning för att prioritera patienter, förutsäga sjukdomsförlopp och rekommendera behandlingar. Ett ofta citerat exempel är ett system som användes av ett stort amerikanskt sjukvårdssystem för att identifiera patienter med komplexa vårdbehov. Systemet visade sig systematiskt underskatta behovet hos svarta patienter, eftersom det använde sjukvårdskostnader som ett substitut för ohälsa. Eftersom svarta patienter historiskt hade haft sämre tillgång till vård – och därmed lägre kostnader i systemet – tolkades det felaktigt som att de var friskare.

Felet upptäcktes och korrigerades, men det väcker en obehaglig fråga: hur många liknande fel finns i system som ännu inte har granskats?

Rättsväsendet och den automatiserade domen

COMPAS-systemet, som nämndes tidigare, är kanske det mest omskrivna exemplet på AI-bias med direkt rättslig påverkan. En undersökning av ProPublica 2016 visade att systemet klassificerade svarta åtalade som högrisk för återfall i ungefär dubbelt så hög utsträckning som vita åtalade som faktiskt återföll i brott. Vita åtalade som faktiskt återföll klassificerades som lågrisk nästan dubbelt så ofta som svarta åtalade i samma situation.

Tillverkaren bestred slutsatserna och hänvisade till tekniska definitioner av rättvisa som matematiskt sett inte kan uppfyllas simultant – ett problem känt inom rättviseforskningen som ”impossibility theorem” och som illustrerar hur djupt normativa val är inbäddade i till synes tekniska system.

Går det att bygga AI som är mer rättvis?

Svaret är både ja och nej, och ärligheten i det svaret är viktig. Det finns tekniska verktyg för att minska bias i AI-system, men de löser inte det underliggande problemet – att rättvisa är ett politiskt och filosofiskt begrepp, inte ett matematiskt.

Tekniska verktyg och deras begränsningar

Det finns i dag ett växande fält inom AI-forskning som kallas fairness-aware machine learning, inriktat på att identifiera och reducera bias i modeller. Verktyg som IBM:s AI Fairness 360 och Googles What-If Tool låter utvecklare testa modeller mot olika rättvisemått och visualisera hur utfall fördelar sig mellan grupper. Det är viktiga framsteg, men de kommer med en fundamental begränsning: du måste först bestämma vad rättvisa betyder i det aktuella sammanhanget, och det är inte en teknisk fråga.

Olika definitioner av rättvisa – lika felfrekvens mellan grupper, lika andel godkända ansökningar, lika precision i positiva förutsägelser – är matematiskt oförenliga med varandra i de flesta verkliga scenarion. Att välja en definition innebär att acceptera brister i en annan, och det valet är i grunden ett politiskt ställningstagande som inte bör döljas bakom teknisk terminologi.

Transparens och förklarbarhet som krav

En av de mest konkreta vägarna framåt är att ställa krav på transparens. EU:s AI-förordning, som träder i kraft fullt ut under 2026, kräver att högrisksystem – inklusive de som används i rekrytering, kreditbedömning och brottsprognoser – ska kunna förklara sina beslut på ett sätt som är begripligt för den som påverkas. Det är ett betydelsefullt steg, men förordningens genomslag beror helt på hur den tillämpas och hur kraftfullt den efterlevs.

Några av de åtgärder som forskare och reglerare pekar ut som mest effektiva för att minska skadlig bias i AI-system:

• Diversifiering av de team som bygger och utvärderar modeller, eftersom homogena team tenderar att missa bias som drabbar grupper de själva inte tillhör
• Obligatorisk redovisning av träningsdatans sammansättning och kända begränsningar
• Krav på oberoende tredjepartsgranskning av högriskalgoritmer innan driftsättning
• Rätt för enskilda att få ett mänskligt omprövning av automatiserade beslut med stor påverkan
• Löpande övervakning av utfall efter driftsättning, inte bara testning innan lansering

Ansvaret som inte kan automatiseras bort

Den viktigaste insikten är kanske att tekniska lösningar aldrig kan ersätta mänskligt ansvar. Ett AI-system som diskriminerar gör det för att människor har fattat beslut – om vad som ska optimeras, vilken data som ska användas, vilka avvägningar som är acceptabla – som lett till det utfallet. Ansvaret för de konsekvenserna kan inte läggas på algoritmen. Det ligger hos de organisationer som beställer systemen, de ingenjörer som bygger dem och de regulatorer som tillåter dem att användas utan tillräcklig granskning.