Jeff, le brief IA pédagogique

L'essentiel en 4 minutes. Direct, simple, sans blabla.
Envoyé le vendredi à 7h

Membres existants, connectez-vous :

Exemple de brief récent

📰 L'actu

Anthropic sous pression entre compétition et sécurité: L'entreprise a identifié DeepSeek, Moonshot et MiniMax (anthropic.com) utilisant 24 000 comptes frauduleux pour extraire les capacités de Claude via 16 millions d'échanges, tout en assouplissant sa propre politique de sécurité (wsj.com) — elle ne suspendra plus le développement d'un modèle jugé dangereux si un concurrent a déjà publié un modèle comparable. Plusieurs chercheurs en sécurité ont quitté l'entreprise ces dernières semaines, dont Mrinank Sharma qui a évoqué un "monde en péril".

Anthropic refuse de lever ses garde-fous militaires malgré les menaces du Pentagone: Dario Amodei a réaffirmé le refus d'Anthropic (anthropic.com) d'autoriser la surveillance domestique de masse et les armes entièrement autonomes, malgré les menaces d'exclusion (axios.com) des systèmes de défense et de classification comme "risque pour la chaîne d'approvisionnement". L'entreprise, première à avoir déployé l'IA sur les réseaux classifiés américains, a renoncé à plusieurs centaines de millions de dollars de revenus en coupant l'accès aux entreprises liées au Parti communiste chinois.

Google lance Nano Banana 2, son modèle d'image combinant qualité Pro et vitesse Flash: Le nouveau modèle (Gemini 3.1 Flash Image) offre la cohérence de jusqu'à 5 personnages et 14 objets (blog.google) par scène, le rendu de texte précis et des résolutions allant jusqu'à 4K. Déployé dans l'app Gemini, Search (141 nouveaux pays), AI Studio, Vertex AI et Google Ads, il remplace Nano Banana Pro comme modèle par défaut.

Claude Code mémorise automatiquement le contexte entre les sessions: Anthropic déploie une fonction d'auto-mémoire (x.com) qui permet à Claude de noter ses apprentissages — patterns de projet, solutions de débogage, préférences de workflow — et de les rappeler dans les sessions suivantes (documentation). La fonctionnalité, activée par défaut, transforme l'assistant en outil qui s'adapte progressivement à chaque développeur.

Anthropic ouvre Claude Cowork aux entreprises avec connecteurs et plugins personnalisables: La startup déploie des intégrations avec Google Drive, Gmail, DocuSign et FactSet (cnbc.com) ainsi que des plugins spécialisés en finance, ingénierie et ressources humaines encodant les workflows institutionnels. Lancé en recherche le mois dernier — provoquant une chute de 5% des valeurs logicielles —, Cowork a cette fois rassuré les marchés, l'ETF iShares Tech-Software rebondissant de plus de 1% après l'annonce des détails.


I'm not necessarily saying there isn't anything "real" here but entire industries are dropping 5% because Anthropic is publishing Markdown files on their public Github. Like, literal Markdown files.

Un twittos


💡 L'éclairage d'Arvind Narayanan

La fiabilité, parent pauvre des agents IA

Arvind Narayanan, professeur d'informatique à Princeton et co-auteur de AI Snake Oil, publie avec son équipe un cadre de mesure qui manquait à l'industrie : après 18 mois de progrès rapides en capacité, la fiabilité des agents IA n'a que modestement progressé. Et personne ne la mesure correctement.

Le problème de fond : l'industrie évalue ses agents sur un seul chiffre, le taux de réussite moyen. Or les domaines où la fiabilité est critique - aviation, nucléaire, automobile - ont compris depuis des décennies que la performance moyenne ne suffit pas. Ces disciplines ont convergé indépendamment vers quatre dimensions : consistance (résultats identiques dans les mêmes conditions), robustesse (performance maintenue en conditions dégradées), calibration (capacité à signaler ses propres incertitudes), et sécurité (gravité limitée des échecs).

L'équipe de Narayanan a décomposé ces quatre dimensions en douze métriques, puis testé 14 modèles d'OpenAI, Google et Anthropic sur 500 runs. Les agents qui résolvent une tâche échouent régulièrement sur des tentatives identiques, avec des scores de consistance entre 30% et 75%. Reformuler les instructions sans en changer le sens fait chuter la performance. Le point le plus faible : la calibration. La plupart des modèles ne distinguent pas mieux que le hasard leurs réponses correctes de leurs erreurs. Résultat contre-intuitif : les modèles plus gros améliorent certaines dimensions mais peuvent dégrader la consistance.

Ce fossé entre capacité et fiabilité pourrait, selon Narayanan, expliquer pourquoi les effets économiques des agents restent graduels malgré des benchmarks toujours plus impressionnants. Il trace une ligne claire entre augmentation et automatisation : un copilote de code qui suggère un mauvais nom de variable est tolérable, un agent autonome qui gère un processus industriel avec des résultats erratiques ne l'est pas. Les résultats restent préliminaires, et l'équipe prévoit de lancer un "reliability index" pour suivre ces métriques dans le temps.


🔍 Utile

Un mot

Aveu. Je suis plutôt spontané quand je bosse avec les LLMs. J'utilise rarement des prompts tout faits prêt à l'emploi. Pas de collection bien rangée dans laquelle je pioche.

Par contre, j'ai des mots. Des mots que je réutilise souvent. Je vous avais parlé de pyramide inversée, il y a qqs semaines.

Celui d'aujourd'hui, c'est pour les moments où tu sais plus trop si ce que tu lis vient de la source ou de l'agent. Tu demandes de scanner un article, il te sort "les agents n'ont presque pas progressé en 18 mois." OK. Mais c'est ce que l'auteur a écrit, ça, ou c'est ce que l'agent a (sur)interprété ou simplifié ?

"Montre-moi verbatim où c'est dit."

"nearly two years of rapid capability progress have produced only modest reliability gains."

"Les agents n'ont pas progressé" et "les capacités explosent pendant que la fiabilité stagne"... c'est pas pareil.

Verbatim. Très utile comme mot.


It is hard to communicate how much programming has changed due to AI in the last 2 months: not gradually and over time in the "progress as usual" way, but specifically this last December. There are a number of asterisks but imo coding agents basically didn’t work before December and basically work since - the models have significantly higher quality, long-term coherence and tenacity and they can power through large and long tasks, well past enough that it is extremely disruptive to the default programming workflow.

Andrej Karpathy