ChatGPT är en textrobot. Den blir med tiden bättre och bättre.
– Man tränar språkmodellerna på en uppgift som de ska lösa. Uppgiften är att förutsäga nästa ord i en text, säger professor Marco Kuhlmann på Linköpings universitet.
Under träningsprocessen stoppar man in stora mängder text och sedan ber man modellen att bli bra på att förutse nästa ord. Med tiden blir AI bättre och bättre på uppgiften. En del av träningen är att man låter människor värdera och återkoppla modellens svar.
– Vad har det här egentligen med intelligens att göra? Jo, om du gör det här på miljarder ord händer det saker. Man har upptäckt att modellerna helt plötsligt kan lösa uppgifter de explicit inte är tränade för.
Till exempel kan de bli bra på att översätta olika språk.
– I träningsdatan finns kanske en fransk-engelsk ordlista och eftersom den exponerats för så otroligt mycket text har den plockat upp såna saker vid sidan av. Det händer även med andra uppgifter, som till exempel att kunna svara på frågor.
Men det kan leda till vissa bekymmer.
– När man i princip tränar modellen att förutsäga nästa ord så blir den även bra på att hallucinera – att föreslå ord som skulle kunna passa i ett visst sammanhang. Men modellen förstår inte i vilket sammanhang frågan är ställd. Den vill bara producera bra text eftersom den är tränad för det.
Men varför svarar ChatGPT fel på frågor om Mjölby?
– För mig är det svårt att säga något om ChatGPT. Ett problem är att vi vet väldigt lite om det. Vi vet grundarkitekturen och man kan gissa sig till vissa källor, till exempel Wikipedia och Flashback. Det kanske finns väldigt lite information om Mjölby eller så var det inte värt under träningsprocessen att satsa på Mjölby? Den är dålig på att säga "jag vet inte" och "tvingas" så att säga generera ett språkligt sannolikt svar.
Men hur ska vi kunna lita på AI?
– Det är en jättestor fråga.
Marco förklarar att forskningen pratar om "trustworthy AI".
– Den här modellen är bara tränad på text, men den har svårt att värdera hur pålitliga olika datakällor är. Den går ofta på frekvens. Har den sett mycket av Flashback då kommer modellen att vara "flashbackig".
Marco Kuhlmann är professor på Linköpings universitet. Han jobbar på Institutionen för data- och informationsvetenskap.
Ett bekymmer är att insynen i hur modellerna tränas har minskat.
– Det stora problem forskningen har idag är att de riktigt stora modellerna inte utvecklas i en öppen process. De granskas inte av det internationella akademiska samhället, utan utvecklas av stora företag. I takt med att modellerna kommersialiserats har företagen blivit mindre benägna att dela med sig av sina forskningsresultat.