Fredrik Heintz är professor på Linköpings universitet och leder forskningslaboratoriet Reasoning and Learning Lab inom avdelningen Artificiell intelligens och integrerade datorsystem, AIICS, vid Institutionen för datavetenskap, IDA.
För att förklara hur ChatGPT fungerar behöver vi först förklara hur GPT fungerar. GPT, eller Generative Pretrained Transformer, är en förtränad generativ modell. Den är tränad att generera den sekvens av ord som är den mest troliga fortsättningen på den sekvens av ord den fått som indata. Träningen sker på en stor mängd texter där AI-modellen tränas upp att fylla i luckor i texten som skapas genom att delar av texten tas bort, vilket gör det möjligt att automatiskt rätta modellen när den gör fel utan mänsklig inblandning. AI-modellen som tränas upp bygger på transformer-arkitekturen som är en viss sorts neuralt nätverk som är den vanligaste typen av modell i modern maskininlärning. GPT lär sig alltså en statistisk modell över hur språket i texterna fungerar.
För att gå från GPT till ChatGPT behöver modellen finjusteras och anpassas till hur vi människor vill föra en dialog. Det gör man genom att låta människor poängsätta stegen i en stor mängd dialoger och sedan uppdatera modellen så att den producerar bättre och bättre dialoger. Tekniken som används kallas för Reinforcement Learning from Human Feedback (RLHF), vilket på svenska blir ungefär återkopplingsinlärning från mänsklig återkoppling. Vanligtvis sker även en viss bearbetning av prompten innan den skickas till språkmodellen och det svar som skapas kan också filtreras innan vi som användare får se resultatet.
Även om ChatGPT ständigt blir bättre kan man inte alltid lita på de svar man får. Det händer att den hittar på saker som inte stämmer. Det i sig behöver inte vara ett problem, om man vill ha kreativa eller humoristiska texter är detta ofta något man är ute efter. Däremot är det ett problem att den ofta är väldigt säker på sin sak och ibland till och med försöker övertyga användaren att den har rätt. Här finns en stor skillnad mot människor som vanligtvis lägger till att de är osäkra på svaret eller att det finns flera alternativ som skulle kunna stämma. En annan svaghet är att ChatGPT varken kan räkna eller föra logiska resonemang. Visserligen har den ofta rätt om man frågar om enkla matematiska uppgifter och ofta är texterna som produceras sammanhängande, men det beror på att texterna som den har tränats på vanligtvis är logiskt sammanhängande och att många vanliga matematiska uppgifter finns beskrivna. Det är alltså mer en tillfällighet. Ofta visar sig de logiska bristerna när man för en dialog och där svaren i dialogen inte hänger ihop. Slutligen så är ChatGPT fast i tiden, eftersom den är tränad på data upp till någon tidpunkt. Det betyder att den inte vet något om vad som hänt efter det. Det här håller på att ändras då de senaste versionerna letar upp information som den tillför som en kontext till frågan innan den skickas till språkmodellen.
Även om inte ChatGPT har egna värderingar så för den vidare de värderingar som finns i den träningsdata som använts. Alltså blir det viktigt att Sverige och Europa tar fram egna språkmodeller så att de bygger på våra värderingar och vår kultur. Det finns även ett stort ekonomiskt värde som idag inte skapas i Europa utan de stora summor som investeras i att bygga tillämpningar med dessa språkmodeller går till andra länder. Därför är det extra kul att det dels finns en svensk modell GPT-SW3, dels att Linköpings universitet leder ett stort EU-projekt som heter TrustLLM där vi ska utveckla mer faktabaserade och tillitsfulla språkmodeller.
Allt eftersom ChatGPT och andra AI-verktyg blir bättre på att svara på frågor måste vi bli bättre på att ställa rätt frågor, inklusive följdfrågor, och kritiskt granska de svar vi får. Det gäller att kunna bedöma om svaret är rimligt, innan man accepterar det. För att få bra svar gäller det också att ge den kontext i vilken svaret ska ges. Du får väldigt olika svar på samma fråga utifrån den bakgrundsbeskrivning du ger. Anta att du vill få julklappsidéer. Om du frågar efter 5 förslag på julklappar rakt av får du troligen ett väldigt annorlunda svar jämfört med om du frågar efter 5 förslag på julklappar till en 10-årig flicka som gillar hästar, kläder och pyssel. Du kan även be den att modifiera svaren så att du kan styra resultatet ännu mer mot det du önskar.
Troligen kommer ChatGPT-liknande stödfunktioner blir vardag för de allra flesta av oss eftersom de nu håller på att byggas in i vanliga ordbehandlingsprogram, webbläsare och epostprogram. Troligen kommer det underlätta för många av oss i både privatlivet och på jobbet. En indikation på effekterna kan man få från en studie som gjorde hos Boston Consulting Group (BCG) där man lät 700 konsulter använda ChatGPT i en stor mängd olika uppgifter och kom fram till att de fick 12% fler uppgifter gjorda, varje uppgift tog 25% kortare tid och dessutom med höjde de kvaliteten med 40%. De fick alltså mer gjort och med högre kvalitet på kortare tid. Utifrån detta är det troligt att väldigt många arbetsuppgifter kommer påverkas.
Hur bra är egentligen ChatGPT? AI-tjänsten vet inte exakt när restaureringen av domkyrkan blir klar, men det vet väl å andra sidan ingen.
Hur kommer då ChatGPT påverka jobben? För cirka 10 år sedan kom det rapporter som sa att 50% av alla jobb skulle automatiseras bort. Även om jag tror att AI kommer få stor effekt på arbetsmarknaden tror jag inte den totala mängden jobb kommer påverkas allt för mycket. I stället tror jag att de allra flesta jobben kommer att förändras, vilket självfallet också är en utmaning då många fler påverkas. Ta ChatGPT som exempel. Den kan inte göra så mycket på egen hand utan den kräver någon som ger den instruktioner samt tolkar och agerar på det som den producerar. Alltså är de vi som är i kontroll och det är vi som styr användningen.
Eftersom ChatGPT inte har några egna intentioner är jag inte heller orolig för att den skulle kunna ta över världen. Däremot måste vi vara uppmärksamma på människor som använder den för att göra dåliga saker som att skapa desinformation.
Sammantaget kan man säga att man inte kan lite på ChatGPT, men samtidigt är den väldigt användbar. Om man använder den rätt.
Fredrik Heintz är professor på Linköpings universitet och leder forskningslaboratoriet Reasoning and Learning Lab inom avdelningen Artificiell intelligens och integrerade datorsystem, AIICS, vid Institutionen för datavetenskap, IDA.
Så, lita inte på ChatGPT rakt av, utan använd den där det passar och granska svaren du får kritiskt. Människa tillsammans med AI ger helt enkelt bättre resultat än var och en för sig!
Fredrik Heintz är professor på Linköpings universitet och leder forskningslaboratoriet Reasoning and Learning Lab inom avdelningen Artificiell intelligens och integrerade datorsystem, AIICS, vid Institutionen för datavetenskap, IDA.