Context rot: Hvorfor større kontekstvinduer gør AI dårligere

Forestil dig et skrivebord

Du sidder ved dit skrivebord. Foran dig ligger én side papir med en opgave. Du løser den hurtigt og korrekt.

Nu lægger jeg 10 sider på dit skrivebord. Opgaven er den samme – find svaret på side 7. Det tager lidt længere, men du klarer det.

Nu lægger jeg 500 sider på dit skrivebord. Opgaven er stadig den samme. Men nu skal du finde det rigtige afsnit, midt i en stak der ligner hinanden, mens de andre 499 sider distraherer dig. Du læser starten grundigt. Du skimmer midten. Du læser slutningen. Og du håber du ikke missede noget.

Det er præcis hvad der sker inde i en sprogmodel. Og det hedder context rot.

Hvad er context rot?

Tech-industrien markedsfører kontekstvinduer som en feature. 128K tokens. 1 million tokens. 10 millioner tokens. Underforstået: jo mere du kan proppe ind, jo bedre forstår modellen din opgave.

Det er forkert.

Context rot er det modsatte fænomen: jo mere tekst du fodrer en sprogmodel med, jo dårligere bliver outputtet. Ikke fordi modellen løber tør for plads – men fordi dens evne til at fokusere på det relevante fortyndes med hvert ekstra token.

Tænk på skrivebordet: det er ikke pladsen der er problemet. Det er at de 500 sider drukner den ene side der betyder noget.

En model med et 200K token vindue kan udvise markant forringelse allerede ved 50K tokens. Det er ikke en klippe man falder ud over. Det er en kontinuerlig degradering der begynder langt før kontekstvinduet er fyldt.

Navnet «context rot» blev formaliseret af forskningsvirksomheden Chroma i 2025, da de testede 18 førende sprogmodeller og fandt at alle uden undtagelse bliver dårligere med længere input. Ingen undtagelser. Ingen plateau.

Tre mekanismer – forklaret simpelt

Context rot er ikke ét problem. Det er tre separate mekanismer der alle trækker i samme retning. Lad mig forklare dem uden jargon – og derefter med den tekniske baggrund for dem der vil dybere.

1. Midten forsvinder

Stanford University påviste i 2024 at sprogmodeller fokuserer godt på starten og slutningen af deres input – men dårligt på midten. Over 30 procent præcisionsfald når relevant information sidder midt i dokumentet.

Den simple forklaring: Modellen opfører sig som en studerende der læser en lang tekst til eksamen. De første sider huskes godt – de blev læst med friske øjne. De sidste sider huskes godt – de er friskest i hukommelsen. Alt derimellem? Det flyder sammen.

Den tekniske baggrund: Transformer-arkitekturen bruger positional encodings (typisk RoPE) til at holde styr på hvor hvert token er i sekvensen. Men modellen trænes primært på kortere tekster, så den har set langt flere eksempler på at bruge information fra de første par tusind tokens end fra position 80.000. Resultatet: en systematisk bias mod starten og slutningen.

For en overenskomst med flere hundrede regler: reglerne i starten og slutningen behandles godt. Alt i midten overses systematisk.

2. Signalet drukner i støj

Jo mere tekst modellen skal forholde sig til, jo mindre opmærksomhed får hvert enkelt stykke information. Det lyder intuitivt – og det er præcis hvad der sker matematisk.

Den simple forklaring: Forestil dig at du er til en fest med 10 mennesker. Du kan holde styr på alle samtaler. Nu er der 10.000 mennesker. Du hører alt – men du kan ikke fokusere på noget. Det relevante signal drukner i mængden.

Den tekniske baggrund: Transformer-arkitekturen bruger softmax-baseret attention til at beregne vægte for hvert token i forhold til alle andre. Softmax normaliserer over alle tokens – det betyder at jo flere tokens der er, jo mindre vægt får hvert enkelt. Ved 100K tokens er der 10 milliarder parvis-relationer. Det er ikke en bug. Det er en fundamental matematisk egenskab ved softmax-normalisering.

3. Lignende information vildleder

Chroma viste noget overraskende: det er ikke bare mængden af kontekst der er problemet. Det er indholdet. Semantisk lignende men irrelevant information vildleder aktivt modellen.

Den simple forklaring: Du leder efter en specifik kvittering i en skuffe fuld af kvitteringer. Hvis skuffen også var fuld af aviser, ville du hurtigt sortere aviserne fra. Men fordi alt ligner kvitteringer, griber du den forkerte – og tror det er den rigtige.

Den tekniske baggrund: Embeddings mapper tekst til punkter i et geometrisk rum. Semantisk lignende tekst ligger tæt på hinanden. Når irrelevant men lignende tekst er i konteksten, «trækker» den i modellens attention – og modellen kan ikke skelne det relevante fra det irrelevante. Google DeepMind har vist at denne skelneevne har et matematisk loft begrænset af embedding-dimensionen.

Tre mekanismer. Alle trækker i samme retning. Og ingen af dem kan fikses med et større kontekstvindue.

«Men modellerne bliver jo bedre?»

Ja. Markant. Microsofts data viser at GPT 5.4 bevarer 71,5% af dokumentindholdet efter 20 interaktioner, hvor GPT 4o kun bevarede 14,7%. Det er 16 måneders fremgang.

Men se på hvad der faktisk skete i de 16 måneder.

GPT 4o til GPT 5.4 forbedrede context rot med ~57 procentpoint. For at nå fra 71,5% til 98% – det niveau Microsoft definerer som «klar til delegeret arbejde» – mangler der 27 procentpoint.

Halvt så stor forbedring. Men den koster eksponentielt mere. Fordi vi er på den flade del af forbedringskurven nu.

En analogi: du træner til et maraton. De første måneder barberer du 30 minutter af din tid. De næste måneder barberer du 10 minutter. Det næste år barberer du 3 minutter. Du bliver bedre – men hvert sekund koster mere og mere træning. Og du når aldrig 0:00.

Og selv 98% er et gennemsnit. Microsofts data viser noget foruroligende: degraderingen er ikke jævn. 80% af al korruption stammer fra få, massive enkeltfejl. En model der i gennemsnit scorer 98% kan stadig korrumpere 30% af dit dokument i én interaktion. Stille. Selvsikkert. Uden at fortælle dig det.

Det er forskellen på gennemsnitlig pålidelighed og et svar, der kan efterprøves. Og det er en forskel ingen mængde skalering lukker.

Gemini 3.1 Pro – den bedste model i Microsofts test – er «klar» i 11 af 52 domæner. Elleve. Ud af tooghalvtreds. Og det er den bedste.

«Kan RAG ikke løse det?»

RAG – Retrieval Augmented Generation – er det mest populære svar på context rot. I stedet for at proppe hele dokumentet ind i konteksten, deler du det op i bidder og henter kun de relevante.

Den simple forklaring: I stedet for at lægge 500 sider på skrivebordet, har du en assistent der henter de 5 sider du har brug for. Smart – men assistenten kan hente de forkerte sider. Og hun fortæller dig det ikke.

RAG løser kontekstlængde-problemet. Det løser ikke kontekst-kvalitets-problemet.

«Kan man ikke træne modellen på indholdet?»

Hvad med at finetunet modellen direkte på overenskomsten? Så «husker» den reglerne uden at de skal være i konteksten.

Den simple forklaring: Du beder en meget klog person om at lære en kogebog udenad. De læser den grundigt. Du spørger dem bagefter: «Hvad er den præcise mængde smør i opskrift 347?» De svarer med stor selvsikkerhed. Måske rigtigt. Måske næsten rigtigt. Du ved det aldrig – for de har ikke bogen foran sig. De husker et indtryk af opskriften, ikke opskriften selv.

Det er præcis hvad finetuning gør. Modellen lærer mønstre – ikke regler. Tallet 189,50 kr. lagres ikke som en værdi. Det lagres som en sandsynlighed. Næste gang svarer den måske 189,50. Eller 189,75. Eller 185,50.

Og ved overenskomstfornyelse risikerer du katastrofisk glemsel – et velkendt problem hvor træning på nye data overskriver de gamle. Overgangsbestemmelser kræver at modellen husker begge versioner. En finetunet model kan ikke sikre det.

«Hvad med AI-agenter?»

AI-agenter – systemer der opdeler opgaver i delskridt og bruger værktøjer – præsenteres som svaret. Hold konteksten lille per kald. Brug værktøjer til at slå op og beregne.

Den simple forklaring: I stedet for at lægge 500 sider på skrivebordet på én gang, giver du din kollega én side ad gangen og beder ham huske hvad han har lært. Men han har stadig den samme hjerne. Og nu skal han huske hvad han fandt i trin 3, mens han arbejder på trin 17. Fejl i trin 3 forplanter sig – stille og uopdaget – til trin 17.

Microsoft testede det i DELEGATE-52. Resultat: agenter med værktøjer performer dårligere. 6 procent mere degradering end modeller uden værktøjer.

Forklaringen: værktøjsbrug kræver flere interaktioner. Modellerne bruger 8–12 tool calls per opgave og forbruger 2–5 gange mere input tokens. Mere kontekst per kald = mere degradering per kald.

Agenter løser ikke context rot. De distribuerer det over flere skridt.

Hvad der faktisk virker

Ingen af de populære workarounds – RAG, finetuning, agenter – løser det underliggende problem. De flytter det, distribuerer det, eller maskerer det. Men sprogmodellen gætter stadig i hvert led.

Det der faktisk virker er simpelt i princippet: brug det rigtige værktøj til den rigtige opgave.

Det er ikke et kompromis. Det er det rigtige værktøj til den rigtige opgave.

Hvad vi ser i produktion

Hos PayTjek tjekker vi lønsedler og kontrakter mod overenskomsten og loven. Vi har testet sprogmodeller grundigt – på rigtige overenskomster, på syntetiske lønsedler med plantede fejl og på dansk lønlovgivning.

Selv den bedste sprogmodel lavede for mange fejl til, at vi kunne lade den regne lønnen. Vores regelmotor: 0 forkerte afvigelser på 729 rigtige lønsedler. Ca. 3 sekunder pr. lønseddel.

Da Microsoft publicerede DELEGATE-52, genkendte vi hvert eneste fund. Stille fejl. Gradvis degradering. Ingen plateau. Det var præcis det vi havde set – et år før rapporten blev publiceret.

Context rot er ikke et akademisk problem. Det er en produktionsrealitet. Og den definerer grænsen for hvad AI kan – og ikke kan – bruges til.

Den vigtigste pointe

Kontekstvinduer er en feature. Context rot er en fysisk lov.

Du kan markedsføre 10 millioner tokens. Men hvis outputkvaliteten degraderer ved 50.000, er de resterende 9.950.000 tokens støj der aktivt forringer resultatet.

Spørgsmålet er ikke «hvor meget kan modellen holde?» Det er «hvor meget kan modellen bruge uden at fejle?»

Og svaret – for alle testede modeller, fra alle leverandører, i alle studier – er: markant mindre end de reklamerer med.

Bedre modeller degraderer langsommere. Men de degraderer stadig.