Det är ingen dålig film. Det är bara ett märkligt val för någon som tittar på det jag brukar titta på. Hur kan ett system som har sett så mycket av vad jag gillar ändå hamna där?

Svaret finns i hur dessa AI-system fungerar. Oavsett om det handlar om väderprognoser, produktrekommendationer eller chattbottar lär sig maskininlärningsalgoritmer genom att observera och känna igen mönster som förekommer tillräckligt ofta för att lämna statistiska spår. Därför lutar de mot det vanliga, mot genomsnittet.

Problemet blir tydligt när algoritmer används för att fatta beslut. Fråga en chattbot vilken mat som är bäst för fåglar, så kan den självsäkert föreslå solrosfrön – fåglar och frön förekommer ju tillsammans gång på gång. Det fungerar för de flesta fåglar. Men en pingvin skulle bli hungrig.

Försäkringskassan använde en AI-algoritm för att flagga personer som fick vab för bedrägerikontroller. En granskning visade att kvinnor, personer med utländsk bakgrund, låginkomsttagare och personer utan universitetsutbildning valdes ut oproportionerligt ofta. De skickades automatiskt vidare till bedrägeriutredare och granskades med utgångspunkten att personen hade ett brottsligt uppsåt. Systemet togs ur bruk 2025, samtidigt som Integritetsskyddsmyndigheten granskade det.

Vi vet inte exakt vad som fanns inuti modellen – myndigheten har inte lämnat ut tillräckligt med information. Men exemplet illustrerar problemet: det som avviker från vad systemet betraktar som normalt kan börja framstå som en varningssignal.

Det finns en svårare variant av problemet. Att vara ovanlig innebär fortfarande att systemet har sett något som liknar dig tidigare. Mönstret är tunt, men det är fortfarande ett mönster. Ibland finns det däremot inget relevant mönster alls att utgå från.

En människa som ställs inför en sådan situation kan säga: ”Det här vet jag inte. Jag har aldrig sett något liknande.” En AI-modell gör inte nödvändigtvis det av sig själv. Den söker på sitt vanliga sätt efter det mönster som ligger närmast och svarar som om den faktiskt visste.

När systemet gissar, lika självsäkert som inför något vanligt, ser gissningen ut som de andra välunderbyggda svaren bredvid den. Ingenting visar att det den här gången nästan saknas underlag. Maskinen och jag kanske båda gissar. Men bara en av oss vet om det.

Samma problem kan uppstå när världen i sig förändras. AI är mycket bra på den värld vi redan har haft, men världen står inte stilla. Ett system som tränats på det förflutna fortsätter att hålla fast vid det som det redan känner till. Det farligaste ett system kan göra med något nytt är att behandla det som något välbekant.

Jag har alltid utgått från att den största risken med AI är att den kan bli för intelligent. Jag hade inte tänkt på att dess största svaghet kanske är att den bara förstår världen genom återkommande mönster – medan det som betyder mest i människors liv ofta finns just där mönstren bryts.

Så nästa gång ett system låter säkert på sin sak när det gäller dig, kom ihåg: självsäkerheten säger ingenting om hur starkt underlaget är. När mycket står på spel, fråga vad beslutet bygger på – och om systemet kan upptäcka om din situation avviker från genomsnittet.

Där ligger också ansvaret för oss som bygger systemen: inte bara att göra dem bättre på det välbekanta, utan också att visa deras begränsningar i stället för att dölja dem bakom självsäkra svar.