Kodningsassistenter har blivit en av de mest eftertraktade verktygen i den snabbt växande AI-branschen. Trots de stora löftena om produktivitetsvinster är verkligheten inte alltid vad den verkar. En ny studie från företaget Uplevel utmanar den allmänna uppfattningen om att AI-kodningsassistenter faktiskt ökar produktiviteten för utvecklare.

Studien visar att användningen av Github Copilot, en populär AI-kodningsassistent, resulterade i 41 procent fler buggar i koden. Detta tyder på att även om många utvecklare rapporterar en känsla av ökad produktivitet, så reflekteras detta inte nödvändigtvis i de faktiska resultaten. Uplevel analyserade data från cirka 800 utvecklare under en tremånadersperiod både före och efter införandet av Copilot och fann inga signifikanta förbättringar i cykeltider för pull requests eller hur många som slogs samman.

Dessutom undersöktes faktorer som bidrar till utbrändhet hos utvecklare. Det visade sig att användningen av Github Copilot inte har gjort något för att minska den tid som utvecklare arbetar utöver sina normala timmar. Både kontroll- och testgruppen såg en minskning, men minskningen var större bland de som inte använde Copilot.

Matt Hoffman, produktchef på Uplevel, påpekade att medan många verktyg och metoder framhäver stora produktivitetsvinster, tycks dessa fördelar vara överdrivna. En tidigare Github-undersökning visade att 97 procent av programmerare uppger att de använder AI-kodningsassistenter, men nu ifrågasätts effektiviteten i dessa verktyg.

Även om en talesperson från Github Copilot hänvisade till andra studier som visar att utvecklare kan koda upp till 55 procent snabbare med assistenten, indikerar Uplevels forskning att verkligheten kan vara mer komplex.

Utvecklare hos Gehtsoft USA, ett företag som specialiserar sig på skräddarsydd programvara, har inte sett betydande produktivitetsvinster med AI-assistenter och anser att dessa verktyg saknar kritiskt tänkande och förmåga att förstå komplexa systemkrav. Vd:n Ivan Gekht uttrycker denna oro och noterar att kodning är mer än bara att skriva rader - det handlar om att förstå och designa system.

Intressant nog har andra företag upplevt betydande framsteg med AI-assistenter. Innovative Solutions rapporterar en ökning i produktiviteten med två till tre gånger, tack vare verktyg som Claude Dev och Github Copilot. De menar att projekttider har minskat drastiskt – ett nyligen avslutat kundprojekt slutfördes på 24 timmar, något som tidigare skulle ha tagit upp till 30 dagar.

Även om Uplevels studier pekar på brister i AI-verkygen, relaterar Travis Rehl, CTO på Innovative Solutions, att kodningsassistenter kan effektivisera specifika uppgifter utan att helt ersätta mänskliga utvecklare.

För att sammanfatta visar aktuella forskningsresultat att medan AI-kodningsassistenter har potential att förändra sättet vi kodar, är det viktigt att ha realistiska förväntningar och förstå dess begränsningar. Den verkliga mervärdet kanske ligger i att använda dessa verktyg som kompletterande resurser snarare än en helhetslösning för alla utvecklingsutmaningar.