Vous remplacez une bibliothèque de dates dans un vieux module. Le code compile, mais certains clients reçoivent une date dans un format différent. Pour évaluer l’aide d’un modèle, vérifiez le comportement livré et le temps nécessaire pour l’accepter.
Deux accès au même modèle sous-jacent
Le 9 novembre, Anthropic a présenté Claude Fable 5.2 et Claude Mythos 5.2. Selon l’éditeur, ils partagent un modèle sous-jacent. Fable a des garde-fous qui permettent une disponibilité plus large. L’accès à Mythos passe notamment par des programmes soumis à vérification. La fiche de sécurité publiée avec les modèles détaille les évaluations et la configuration testée. Le tarif annoncé pour l’API standard est de 8 dollars par million de jetons en entrée et 40 en sortie. Un jeton est une unité de texte employée pour compter l’usage du modèle. Le mode rapide a une tarification distincte. Les scores de l’annonce suivent les jeux et réglages évalués par l’éditeur.
Mesurer une migration acceptée par l’équipe
- Préparez un ancien module fictif, des tests de sortie et une liste de changements autorisés. Incluez un cas de format ancien, une dépendance indirecte et une consigne ambiguë.
- Comparez Fable 5.2 et la méthode actuelle sur les mêmes révisions et sans modifier les tests de référence. Recommencez depuis un dépôt propre. Pour chaque essai, notez la durée, l’usage facturé, les fichiers modifiés et le temps de relecture.
- Faites exécuter les tests indépendamment du résultat annoncé par le modèle. Un format public modifié ou un test désactivé constitue un échec. Calculez le coût total par migration acceptée et notez les tâches où une demande d’éclaircissement a évité une mauvaise correction.
Évaluez Fable sur les tâches qu’il doit réellement traiter. Les résultats du pilote portent sur cette configuration, ce dépôt et les conditions d’accès utilisées.