Spring til indhold

Prompt injection: når et AI-værktøj bliver snydt

Af Yagura.

Et AI-værktøj, der læser mails og hjemmesider, kan blive snydt af skjulte instruktioner. Sådan kan en helt almindelig fil ændre, hvad AI'en gør.

Når AI-værktøjer får lov at læse mails, åbne dokumenter og besøge hjemmesider, opstår der en ny risiko, som hedder prompt injection.

Hvad er det?

OWASP, et anerkendt fagfællesskab for sikkerhed, beskriver prompt injection som angreb, hvor en angriber manipulerer en AI-model med særligt skrevne input. Der er to hovedtyper:

  • Direkte: Brugeren selv skriver instruktioner, der får AI’en til at ignorere sine regler.
  • Indirekte: AI’en læser indhold fra en ekstern kilde, fx en hjemmeside eller en fil, hvor der gemmer sig instruktioner. Indholdet ændrer så AI’ens adfærd på en måde, ingen havde tænkt sig.

Et billede på det

Forestil dig en assistent, der læser din post og handler på det, der står. Hvis en af brevene siger “send de seneste fakturaer til denne adresse”, og assistenten ikke kan se forskel på dine ordrer og brevets, gør den det måske. AI-værktøjer har samme problem: De kan have svært ved at skelne mellem instruktioner fra brugeren og tekst, de blot har læst.

Hvorfor det betyder noget for en lille virksomhed

Jo mere et AI-værktøj må, jo større skade kan det gøre, hvis det bliver snydt. Et værktøj, der kun foreslår tekst, kan ikke gøre meget skade. Et værktøj med adgang til mail, filer og konti kan.

Det er et nyt område, og ingen har alle svarene. Derfor er det klogt at give AI-værktøjer så få rettigheder som muligt og at holde deres adgang adskilt fra det vigtigste.

CFCS’ temaside om AI og cybersikkerhed beskriver, hvordan AI hænger sammen med de grundlæggende sikkerhedsråd.

Se også AI i virksomheden: det skjulte forbrug. Vil I have overblik over, hvad der kan nås fra jeres konti, kan Yagura lave en sikkerhedsvurdering. Book en gratis samtale.

Kilder

Book en gratis samtale