OpenAI lance Codex pour Chrome, intégrant des agents d’IA directement dans le navigateur

OpenAI a lancé une nouvelle extension Chrome pour Codex, marquant une étape importante dans l’évolution des agents d’IA, passant d’assistants basés sur le chat à des outils capables d’opérer directement dans les navigateurs des utilisateurs. Disponible sur macOS et Windows, l’extension permet à Codex d’interagir avec des sites web en ligne et connectés—étendant sa portée au-delà des environnements isolés et des intégrations dédiées sur lesquels il s’appuyait auparavant.

De l’automatisation en environnement isolé à l’accès web réel

Jusqu’à présent, Codex exécutait principalement des tâches via un navigateur sandbox intégré et une bibliothèque croissante d’intégrations dédiées pour des services tels que GitHub, Slack, Figma et Notion. Bien qu’efficace pour de nombreux flux de travail, cette architecture était limitée lorsque les tâches nécessitaient l’accès à une session authentifiée de l’utilisateur.

La nouvelle extension Chrome comble cette lacune. Avec l’autorisation de l’utilisateur, Codex peut fonctionner directement dans Chrome, en effectuant des actions sur des plateformes connectées telles que LinkedIn, Salesforce et Gmail. Ce changement permet à l’agent d’IA de gérer des flux de travail qui dépendent des identifiants réels des utilisateurs et de contenus web dynamiques.

Pour les pages publiques ou non authentifiées, les utilisateurs peuvent toujours s’appuyer sur le navigateur intégré de Codex, qui isole les tâches de développement local et de prévisualisation de fichiers de leurs profils Chrome personnels.

Un système d’outils à trois niveaux

OpenAI indique que Codex sélectionne désormais dynamiquement entre trois niveaux d’exécution en fonction de la tâche :

• Intégrations dédiées lorsque des plugins officiels ou spécialisés sont disponibles.
• Contrôle du navigateur Chrome pour les tâches nécessitant un environnement en ligne et connecté.
• Navigateur sandbox intégré pour les interactions web publiques ou les opérations en local.

Les utilisateurs peuvent invoquer explicitement l’outil navigateur à l’aide d’une syntaxe de commande simple (comme @Chrome), mais Codex peut également déterminer automatiquement quel outil est le mieux adapté à une tâche donnée.

Performances : plus solides sur les flux de travail complexes

Les premiers tests suggèrent que Codex pour Chrome offre des résultats mitigés mais prometteurs. Dans des tâches relativement simples—comme l’organisation des onglets du navigateur—l’agent rencontre parfois des difficultés avec la reconnaissance précise des éléments. Toutefois, ses performances s’améliorent nettement lorsque les flux de travail deviennent plus complexes et comportent plusieurs étapes.

Dans des évaluations impliquant la collecte d’informations structurées, la comparaison de produits multi-marques, l’idéation de contenu et la génération automatisée de rapports, Codex a démontré une meilleure coordination entre les étapes et des taux d’achèvement plus élevés. Ce schéma suggère que, bien que le contrôle fin de l’interface nécessite encore des améliorations, le système excelle dans l’orchestration de tâches procédurales de plus grande envergure.

Fonctionnement en parallèle et conscience du contexte

L’extension prend en charge plusieurs fonctionnalités avancées, notamment le test d’applications web, la collecte de contexte à partir des onglets ouverts et l’utilisation des outils de développement Chrome en parallèle pendant que les utilisateurs poursuivent d’autres activités. Codex fonctionne au sein de groupes d’onglets dédiés afin d’éviter de perturber les sessions de navigation actives.

Confidentialité, autorisations et limites régionales

Étant donné que l’extension effectue des actions complexes dans le navigateur, elle nécessite des autorisations étendues dans Chrome. OpenAI a mis en place des mécanismes de confirmation au niveau des sites afin de réduire les risques de sécurité et d’offrir aux utilisateurs un contrôle plus granulaire.

Selon l’entreprise, les données de navigation ne sont stockées que lorsque les utilisateurs ajoutent explicitement l’activité du navigateur au contexte de discussion. Si la fonctionnalité de mémoire est désactivée, chaque tâche de navigation reste isolée des sessions précédentes.

L’extension est actuellement indisponible dans l’Union européenne et au Royaume-Uni. OpenAI n’a pas fourni de détails sur une éventuelle extension de l’accès régional.

Une étape vers des agents d’IA au niveau système

Cette publication souligne un changement plus large dans l’industrie : les systèmes d’IA évoluent au-delà des interfaces conversationnelles vers une interaction directe avec les environnements logiciels. En intégrant Codex dans Chrome, OpenAI positionne effectivement l’agent comme un opérateur numérique semi-autonome capable de naviguer dans de véritables flux de travail web.

Pour l’instant, Codex pour Chrome doit être considéré comme un assistant supervisé plutôt qu’un agent entièrement autonome, en particulier dans des contextes sensibles ou à haute sécurité. Mais à mesure que le contrôle au niveau du navigateur gagne en fiabilité, l’exécution de tâches pilotée par l’IA au sein des outils du quotidien pourrait transformer la manière dont les utilisateurs interagissent avec le web.