Une étude montre que l’assistant de codage IA améliore la productivité des développeurs

Des chercheurs de Microsoft, MIT, Université de Princetonet le École Wharton de l’Université de Pennsylvanie a récemment publié une étude qui a montré l’utilisation de Copilote GitHub augmentation de la productivité des développeursL’équipe a mené trois essais contrôlés randomisés (ECR) distincts impliquant plus de 4 000 développeurs ; ceux utilisant Copilot ont obtenu une augmentation de 26 % de la productivité.

Les trois expériences ont été réalisées chez Microsoft, Accenture et une « société anonyme de fabrication d’électronique du Fortune 100 ». Pour chacun des 4 867 développeurs de l’étude, les chercheurs ont mesuré le nombre hebdomadaire de requêtes d’extraction, de validations et de builds de code effectués. Ils ont constaté que les développeurs utilisant Copilot avaient une augmentation moyenne de 26,08 % du nombre de requêtes d’extraction effectuées par semaine. Ils ont également constaté que la productivité variait en fonction de l’expérience du développeur, les développeurs les moins expérimentés tirant davantage parti de Copilot. Selon l’équipe de recherche :

Nos travaux complètent à la fois la littérature sur les expériences en laboratoire et ces études observationnelles en étudiant l’impact de l’IA générative à l’aide d’une expérience sur le terrain dans un contexte de travail réel. À ce jour, il existe encore une pénurie d’études expérimentales examinant l’effet de l’IA générative dans un contexte de terrain.

Les expériences ont été menées en 2022 et 2023, en utilisant une version de Copilot basée sur GPT-3.5. Chez Microsoft et Accenture, les développeurs de l’expérience ont été sélectionnés au hasard pour utiliser Copilot, tandis que dans l’entreprise anonyme, tous les développeurs ont finalement obtenu l’accès, mais avec des dates de début choisies au hasard. En plus de suivre les mesures de productivité des développeurs, les chercheurs ont suivi l’adoption et l’utilisation de Copilot.

L’équipe de recherche a analysé les résultats obtenus pour tous les développeurs, ainsi que par ancienneté et niveau de compétence. Elle a constaté que les développeurs débutants et de courte durée étaient plus susceptibles d’adopter Copilot et de continuer à l’utiliser pendant plus d’un mois, et que ces développeurs étaient plus susceptibles d’accepter le code de sortie généré par Copilot. Ils ont également constaté que l’outil leur a permis de réaliser les gains de productivité les plus importants.

Ethan Mollick, professeur à Wharton partagé les résultats dans un fil sur X, écrivant :

Nous disposons désormais d’essais contrôlés randomisés montrant d’importants gains de performance dans des entreprises réelles en matière de codage, de gestion, d’entrepreneuriat et d’écriture à l’aide de l’IA.

Dans un discussion sur l’étude Sur Hacker News, plusieurs utilisateurs ont indiqué que les résultats de l’étude correspondaient à leur propre expérience avec Copilot. Un utilisateur a écrit :

Le point le plus intéressant de cette étude pour moi est que lorsqu’ils la décomposent par niveau d’expérience, les développeurs qui ont dépassé la moyenne d’ancienneté ne montrent aucune augmentation statistiquement significative de la productivité… Copilot est agréable pour résoudre certains problèmes ennuyeux et libérer mon cerveau pour me concentrer davantage sur des questions plus profondes, mais ce n’est pas aussi révolutionnaire que le décrivent les développeurs juniors. Il est également souvent subtilement erroné d’une manière qu’un développeur plus récent ne remarquerait pas, ce qui m’oblige à m’arrêter et à modifier la plupart des choses qu’il génère d’une manière qu’un développeur moins expérimenté ne saurait probablement pas faire.

L’effet de l’IA générative sur la productivité des employés, et plus particulièrement sur celle des développeurs de logiciels, est un domaine de recherche ouvert. Plus tôt cette année, InfoQ a couvert une enquête menée par l’Upwork Research Institute, dans laquelle une majorité des employés interrogés ont déclaré que GenAI avait diminué leur productivité. InfoQ a également couvert une étude d’eBay dans laquelle GitHub Copilot avait effectivement augmenté la productivité des développeurs.