Recherche scientifique⌁

Méthode à examiner : Comparer les étapes de raisonnement rapportées et les interactions externes, puis examiner les succès comme les échecs dans les tâches expérimentales.

Attention : Les résultats du papier dépendent d’environnements et modèles précis et ne garantissent ni sécurité ni fiabilité des agents actuels.

Méthode à examiner : Observer comment la sélection d’outil, ses arguments et son résultat s’intègrent à une réponse, puis mesurer les erreurs de sélection.

Attention : L’usage d’une API par un modèle ne suffit pas à établir autorisation, qualité de données ou conformité des systèmes déployés.

Méthode à examiner : Comparer des tâches avec passage utile au début, au milieu et à la fin, en conservant les autres paramètres.

Attention : Les effets varient selon le modèle, la tâche et la longueur de contexte ; ne pas transférer mécaniquement les résultats à tous les systèmes.

Méthode à examiner : Utiliser des tâches reproductibles et vérifier l’état final du site, plutôt que noter uniquement la qualité des textes produits.

Attention : Un benchmark ne reproduit pas toutes les permissions et ambiguïtés d’un site public, ni les coûts d’une application réelle.

Méthode à examiner : Comparer les succès d’agents multimodaux sur des tâches nécessitant une information visuelle difficile à retrouver dans le texte.

Attention : Les résultats ne démontrent pas automatiquement la qualité d’accès pour les personnes handicapées ou les performances en production.

Méthode à examiner : Comparer les versions des environnements, les critères de réussite et les contrôles d’état final, sans reporter des scores historiques comme performances actuelles.

Attention : Le benchmark connaît des évolutions ; les scores issus de versions ou jeux de tâches différents ne sont pas directement comparables.

Méthode à examiner : Composer une grille avec pertinence du contexte, fidélité et qualité de réponse sur des exemples annotés.

Attention : Les évaluations automatiques peuvent être instables ou manquer des erreurs de fond ; les comparaisons exigent des tests humains.

Méthode à examiner : Comparer les mesures définies par les auteurs à des observations actuelles d’un site donné, en distinguant domaine, langue et interface.

Attention : Des effets expérimentaux ne prouvent pas que llms.txt ou une technique particulière est obligatoire pour les moteurs actuels.

Méthode à examiner : Examiner les tests échouant avant une modification et passant après, tout en contrôlant les régressions et les droits sur le code.

Attention : Les résultats historiques ne représentent pas les capacités de tous les assistants ni la qualité de maintenance d’un logiciel déployé.

Méthode à examiner : Construire des tests contrôlés avec actions inoffensives, outils limités et journalisation des réussites comme des refus incorrects.

Attention : La réussite sur un jeu d’attaque ne démontre pas l’immunité face à de nouvelles variantes ou à des systèmes différents.