Robert Napoli är VD för Agile Tech Advisors. Han skriver om cybersäkerhet, digital transformation och tekniskt ledarskap.
När OpenAI släppte GPT-2 blev journalister blåsta.
“Ge det en falsk rubrik, så skriver den resten av artikeln,” en författare för Gränsen förundrades. “Mata den med den första raden i en novell, och den kommer att berätta vad som händer med din karaktär härnäst. Den kan till och med skriva fanfiction, givet rätt uppmaning.”
Den kunde också skriva skämt och poesi. Vissa författare anmärkte att denna algoritm kanske en dag stjäla deras jobboch forskare observerade redan scenarier där människor inte på ett tillförlitligt sätt kunde skilja mellan AI-genererad och mänsklig konst.
GPT-2 släpptes dock fyra år sedan. Så varför pratar alla om AI nu, som om något har förändrats?
Problemet med äldre chatbots
Det senaste decenniets mest avancerade chatbots och översättare byggdes på återkommande neurala nätverk (RNN), långtidsminnesnätverk (LSTM) och andra maskininlärningsalgoritmer som bearbetade språk i sekventiell ordning.
De var fantastiska men begränsade. Under den tid de tog att träna, var arbetet involverat i att märka stora datamängder och, framför allt, deras förmåga att hantera längre meningar och textavsnitt. När allt kommer omkring kräver läsning, skrivning och översättning minne – den första delen av den här meningen, stycket och artikeln har betydelse för de som skrivs här – och de sekventiella modellerna klippte inte det i den avdelningen på grund av försvinnande gradientproblem.
Vi behövde ett nytt sätt att lära AI att göra saker – inte bara en större eller mer finjusterad modell, utan något karakteristiskt annorlunda. Det genombrottet – förändringen som gav oss den moderna AI vi ser idag – inträffade inte i november förra året. Det hände iterativt, för över ett halvt decennium sedan.
AI:s tekniska genombrott
2017 hade forskare från Google och University of Toronto en idé: att allt du egentligen behöver är uppmärksamhet.
Tänk på var din uppmärksamhet är fokuserad nu: på dessa ord du läser, på den operativa idén som introducerades i sista meningen – uppmärksamhet (vad betyder det här?) – och poängen med artikeln (pojke, det här är en lång väg att prata om ChatGPT). Genom uppmärksamhet kan du behålla sammanhanget och innebörden i den här meningen, och artikeln överlag, utan att behöva komma ihåg varje ord eller mening du redan har läst.
Tänk om AI kunde uppvisa uppmärksamhet? Denna idé gjorde det möjligt för dessa forskare att designa vad de kallade en “transformator”.
Till skillnad från RNN:er och LTSM:er, som behandlade data sekventiellt, kunde transformatorn samtidigt hantera hela datasekvenser och använda uppmärksamhet som sitt vapen för att förstå allt. Det var mer exakt eftersom det inte behövde lägga så mycket ansträngning på att komma ihåg varje kumulativt ord som någonsin kom före det. På dessa och andra sätt var transformatorn mycket mer lik ett verkligt neuralt nätverk än sina föregångare.
Och för träningsändamål var transformatorn en dröm. Med sekventiell bearbetning kunde du bara mata en algoritm så snabbt som den kunde konsumera en datapunkt efter en annan. Utan den begränsningen skulle transformatorer kunna köra igenom mängder av data extremt snabbt.
Men det fanns ett problem till. ”Även om stora omärkta textkorpus är riklig“, konstaterade en grupp forskare 2018, “märkta data för att lära sig dessa specifika uppgifter är knappa, vilket gör det utmanande för diskriminerande utbildade modeller att prestera adekvat.” Dessa forskare kom från OpenAI, och deras lösning var ett helt nytt, förebyggande steg i standardutbildningsprocessen, som inte krävde märkt träningsdata. De kallade det “generativ förträning” eller GPT.
Därifrån, de flesta av vinsterna var i skala. Den första GPT byggdes på 117 miljoner parametrar, informerad av Common Crawl och en samling på över 11 000 böcker. GPT-2 hade tio gånger så mycket träningsdata med totalt 1,5 miljarder parametrar. GPT-3 – den som låg till grund för lanseringen av ChatGPT-appen – var ungefär hundra gånger större än sin föregångare med 175 miljarder parametrar.
Som du kan se inträffade de viktigaste tekniska framstegen år innan ChatGPT existerade. Så varför är den här appen viktig alls?
Eftersom ChatGPT inte var en revolution i vad AI kunde do. Det var istället en revolution i vad AI kunde vara.
Vad ChatGPT ändrade
AI har varit en del av våra liv ett tag nu. Det finns i våra telefoner, webbplatserna vi använder, flygplanen vi flyger i och mycket däremellan. Men dessa algoritmer är alla avlägsna – de möjliggör, informerar och jämnar ut de saker vi interagerar med, allt bakom kulisserna.
ChatGPT är världens första AI-verktyg du kan använda utan den bufferten. Forskare har använt det för forskning, studenter för att studera och pedagoger för att utbilda. Det har hjälpt inte bara chefer och chefer utan även deras assistenter. Det kan hjälpa dig att utveckla idéer för nästan vad som helst, till och med uppmaningar om att mata andra AI-verktyg.
Genombrottet för ChatGPT är inte tekniskt – det är demokratiskt. Det handlar inte om hur bra det är, utan hur många som kan använda det fritt och på olika sätt.
Och gör inga misstag: Tillgängligheten för AI är lika viktig som dess tekniska sofistikering.
I slutet av förra året tillkännagav Vita huset en ritning för en AI Bill of Rights, och citerar bara några av de många möjliga negativa effekter som denna teknik kan ha på samhället: inklusive integritet, rasdiskriminering, förlust av jobb och mer. Vad som är underskattat är att så många av dessa problem har sina rötter inte bara i vad AI kan göra utan vem som kontrollerar det – regeringar, företagsledare och cyberkriminella.
Om AI ska vara ett nettopositivt för samhället på lång sikt så beror det inte på att det blir så avancerat. Istället kommer det att bero på att alla kan använda det för att förbättra sina egna liv.
ChatGPT visade oss att den verkliga anledningen till att vi bryr oss om AI inte bara är hur bra den är utan hur bra den är för oss.
Forbes Technology Council är en inbjudningsgemenskap för CIO:er, CTO:er och teknikchefer i världsklass. Kvalificerar jag mig?