Autonomi inom AI: När AI börjar agera innan människan hinner reagera

AI har länge fungerat som ett verktyg som väntar på människans instruktioner, men utvecklingen går mot system som själva kan fatta beslut, planera nästa steg och agera utan att först invänta ett godkännande. Den ökade autonomin förändrar därför relationen mellan människa och teknik på ett grundläggande sätt. När AI börjar agera snabbare än människan hinner reagera uppstår nya möjligheter, men också frågor om kontroll, ansvar och säkerhet. Hur mycket handlingsutrymme bör ett AI-system egentligen få? Och vad händer när en människa inte längre hinner ingripa innan ett automatiserat beslut får konsekvenser? Autonomi inom AI blir därmed både en teknisk och samhällelig fråga.

När AI går från att svara till att agera

AI har länge förknippats med system som reagerar på en direkt instruktion. En människa skriver en fråga, ger ett kommando eller väljer en funktion, varefter AI-systemet producerar ett svar. Autonoma AI-system fungerar på ett annat sätt. De kan tolka ett mål, bedöma information, välja mellan olika alternativ och genomföra flera steg på egen hand. Skillnaden är viktig eftersom AI då inte längre enbart fungerar som ett verktyg för beslutsstöd. Systemet får i stället en mer aktiv roll där det själv avgör vad som behöver göras för att nå ett bestämt resultat.

Från instruktion till självständigt beslutsfattande

Autonomi inom AI kan beskrivas som förmågan att agera med begränsad mänsklig inblandning. Ett autonomt system kan exempelvis övervaka en situation, upptäcka en förändring och därefter initiera en åtgärd utan att en människa behöver godkänna varje enskilt steg. Hur självständigt systemet arbetar beror på hur det är konstruerat och vilka befogenheter det har fått. Ett system kan ha tillgång till information men sakna möjlighet att förändra något. Ett annat kan både fatta beslut och använda digitala verktyg för att genomföra dem. Därmed varierar graden av autonomi betydligt mellan olika AI-lösningar.

Utvecklingen drivs bland annat av AI-agenter som kan kombinera språkmodeller med externa verktyg, databaser och program. I stället för att bara generera text kan en sådan agent exempelvis söka efter information, analysera resultat, skapa en plan och genomföra flera efterföljande åtgärder. Det innebär att tiden mellan beslut och handling kan minska kraftigt. I vissa situationer är det en fördel. Ett system som upptäcker ett säkerhetshot kan exempelvis reagera snabbare än en människa. Samtidigt ökar betydelsen av hur systemets mål, begränsningar och prioriteringar har definierats från början.

När snabbheten blir en central egenskap

Människor behöver normalt tid för att samla information, väga alternativ mot varandra och diskutera konsekvenser. Ett AI-system kan däremot analysera stora mängder information på mycket kort tid och fortsätta agera utan paus. Det skapar en tydlig förskjutning i samspelet mellan människa och maskin. Om en människa ska godkänna varje steg försvinner en del av den effektivitet som autonomin är tänkt att skapa. Om systemet däremot får agera fritt uppstår frågan om människan fortfarande har tillräcklig kontroll när något går fel.

Autonomi behöver därför inte betyda att människan helt lämnar över besluten till AI. Det kan handla om flera olika nivåer av mänsklig kontroll:

• AI kan föreslå en åtgärd som människan måste godkänna.

• AI kan genomföra rutinåtgärder men kräva godkännande vid avvikelser.

• AI kan agera självständigt inom tydligt definierade gränser.

• AI kan övervaka en process och ingripa när vissa villkor uppstår.

• AI kan fatta och genomföra beslut utan direkt mänsklig medverkan.

Den sista modellen innebär den största förändringen. När AI får mandat att både tolka en situation och påverka den verkliga världen blir det avgörande att systemets handlingsutrymme är tydligt avgränsat. Det räcker inte längre att fråga om AI kan fatta rätt beslut. Man måste också fråga vilka beslut systemet över huvud taget får fatta.

Riskerna när människan tappar kontrollen

När AI-system får möjlighet att agera självständigt förändras riskbilden. Ett traditionellt AI-verktyg kan ge ett felaktigt svar, men människan har normalt möjlighet att upptäcka felet innan någon åtgärd genomförs. Ett autonomt system kan däremot föra ett felaktigt antagande vidare genom flera steg och samtidigt skapa nya konsekvenser. Ett mindre misstag i början av en process kan därför få betydligt större effekt om systemet fortsätter att agera utan mänsklig kontroll. Ju fler funktioner AI får tillgång till, desto viktigare blir det att förstå var kontrollpunkterna finns.

Fel kan få större konsekvenser

En central risk är att AI-system kan fatta beslut utifrån information som är ofullständig, felaktig eller feltolkad. Ett autonomt system kan dessutom vara mycket snabbt, vilket gör att en människa kanske inte hinner upptäcka och korrigera problemet innan flera åtgärder har genomförts. Det gäller särskilt när AI kopplas till system där beslut får direkta konsekvenser, exempelvis ekonomiska transaktioner, IT-infrastruktur eller automatiserade verksamhetsprocesser. Snabbhet är då inte automatiskt detsamma som säkerhet. Ett system som kan göra fel mycket snabbt kan i värsta fall också skala upp ett fel mycket snabbt.

Problemet blir ännu mer komplicerat när det är svårt att förstå varför AI-systemet valde en viss väg. Moderna AI-modeller kan producera resultat som är svåra att förklara på ett enkelt sätt. Om systemet dessutom använder flera verktyg och fattar beslut i flera steg blir hela beslutsprocessen mer komplex. Då kan det bli svårt att identifiera exakt var ett fel uppstod. Det påverkar också möjligheten att utkräva ansvar efteråt. Om ingen människa godkände den specifika åtgärden uppstår frågan om vem som faktiskt ansvarar för resultatet.

Kontroll måste byggas in från början

För att minska riskerna behöver autonoma AI-system utformas med tydliga begränsningar. Det handlar inte bara om teknisk säkerhet utan också om att bestämma vilka beslut systemet får fatta och när en människa måste ta över. Några viktiga kontrollmekanismer är:

• Tydliga behörigheter som begränsar vilka system och data AI får använda.

• Trösklar som kräver mänskligt godkännande vid känsliga beslut.

• Loggning som gör det möjligt att följa vilka beslut och åtgärder som genomförts.

• Automatiska stoppfunktioner när systemet upptäcker osäkerhet eller avvikande beteende.

• Kontinuerlig övervakning som gör det möjligt att ingripa innan konsekvenserna blir omfattande.

En särskild utmaning är att avgöra när människan ska ingripa. Om AI kräver godkännande för varje liten åtgärd blir systemet långsamt och ineffektivt. Om kontrollen däremot bara används vid mycket allvarliga situationer kan ett problem redan ha hunnit utvecklas. Målet blir därför att skapa en balans där AI får tillräckligt med handlingsutrymme för att vara användbart, samtidigt som människan behåller faktisk möjlighet att stoppa, ändra eller återkalla systemets beslut.

Hur autonoma AI-system kan styras och begränsas

När AI får möjlighet att agera självständigt blir styrningen en lika viktig del av tekniken som själva AI-modellen. Det räcker inte att systemet är kapabelt att lösa en uppgift. Det måste också finnas regler för vad det får göra, vilka resurser det får använda och när det måste lämna över kontrollen till en människa. Autonomi bör därför ses som ett reglerat handlingsutrymme snarare än som fullständig självständighet. Ju större konsekvenser ett beslut kan få, desto starkare bör kraven på kontroll, spårbarhet och mänsklig tillsyn vara.

Mänsklig kontroll i kritiska ögonblick

En effektiv modell kan vara att dela upp AI-systemets arbete i olika nivåer. AI kan exempelvis självständigt hantera enkla och återkommande uppgifter, medan beslut med större ekonomiska, juridiska eller säkerhetsmässiga konsekvenser kräver mänskligt godkännande. På så sätt används AI:s snabbhet där den ger störst nytta, utan att människan helt lämnar över kontrollen. En sådan struktur kräver dock att gränserna är tydliga. Om det inte är klart när mänsklig medverkan behövs finns risken att systemet fortsätter agera även när situationen ligger utanför det område där det är säkert att använda autonomi.

Tekniska begränsningar kan också minska risken för oönskade handlingar. Ett AI-system bör exempelvis inte automatiskt få tillgång till alla databaser, program eller ekonomiska funktioner i en organisation. Behörigheter kan begränsas efter funktion och risknivå. Det går även att införa så kallade stoppmekanismer som avbryter en process när vissa villkor uppfylls. En viktig princip är att systemet ska kunna stoppas på ett förutsägbart sätt. Det måste också gå att se vilka åtgärder AI har genomfört och vilka beslut som ledde fram till dem.

Reglering, ansvar och spårbarhet

Teknisk kontroll behöver kompletteras med organisatoriska och juridiska strukturer. Företag och myndigheter som använder autonoma AI-system behöver kunna identifiera vem som ansvarar för systemet, hur det övervakas och vad som händer om det fattar ett felaktigt beslut. Det blir särskilt viktigt när AI används i verksamheter där fel kan påverka människor direkt. Ansvar kan inte försvinna bara för att beslutet har automatiserats. Därför behöver organisationer kunna dokumentera hur systemen är konstruerade, vilka begränsningar som gäller och när människor förväntas ingripa.

En annan central fråga är hur systemen ska testas innan de får agera självständigt. Traditionella tester kan visa om en AI-modell presterar bra under vissa förhållanden, men autonoma system behöver även testas i situationer där information saknas, instruktioner krockar eller oväntade händelser uppstår. Det är ofta i dessa gränsfall som behovet av mänsklig kontroll blir tydligast. Ett system som fungerar väl under normala förhållanden kan ändå vara olämpligt att använda autonomt om det saknar förmåga att hantera osäkerhet på ett säkert sätt.

Styrningen behöver dessutom följa med när systemet förändras. AI-system kan uppdateras, kopplas till nya verktyg eller få tillgång till mer information. Ett handlingsutrymme som var rimligt från början kan därför bli för stort senare. Kontroller och behörigheter måste följaktligen ses som något som behöver granskas löpande. När AI kan agera innan människan hinner reagera blir den viktigaste säkerhetsfrågan inte bara vad systemet kan göra, utan vilka gränser som hindrar det från att göra mer än vad människor faktiskt avsett.