Ce proche de Gabriel Attal ambitionne notamment de développer un outil, un chat GPT à la française, à destination des services de l’État pour accélérer les procédures et décharger les agents des tâches les plus rébarbatives, les moins valorisantes, leur débloquer du temps “pour être encore plus au contact du public”, défend son entourage.
Parmi les pistes, ses équipes imaginent très concrètement de faciliter le partage des dossiers médicaux entre plusieurs hôpitaux. Aujourd’hui des établissements utilisent encore le fax ! Autre idée : faciliter le dépôt de plainte auprès des forces de l’ordre, qui ne dépendent pas directement du ministère de la Fonction publique. Cette intelligence artificielle pourrait enregistrer notre témoignage pour le retranscrire bien plus rapidement que quand un policier est obligé de tout taper à la main. Dans la justice aussi, l’outil pourrait résumer en quelques minutes un dossier long comme le bras.
Alors je comprends complètement le cynisme qu’on peut avoir autour de la hype que ces techniques engendre et d’autant plus quand elles sont mises en avant par nos génies du gouvernement, mais franchement vu l’état actuel de ces techno le dépôt de plainte c’est exactement ce dans quoi moi j’ai envie de les voir déployees.
Ça peut résoudre plein de problèmes qu’on a en ce moment. Je veux dire là le but c’est pas de faire un travail parfait c’est de faire mieux que le désastre total qui est l’accueil en commissariat aujourd’hui.
Faisable en ligne. Tout le temps ouvert. Parlant 40 langues. Ayant un vocabulaire bien supérieur à la moyenne des fdo. Capable de dérouler un entretien selon des instructions avec patience sans jugement dans la langue que vous voulez. Le code de la procédure sur un genou et Legifrance sur l’autre. Ça va pas résoudre tous les problèmes d’un coup de baguette magique mais celui du refus du dépôt deplainte je pense que ça peut le résoudre totalement.
Il faut comprendre un truc autour des histoires d’évaluation des LLM : des problèmes qu’on a c’est qu’ils sont trop bon bien meilleur que la plupart des benchmark qu’on a on est constamment obligé de faire de meilleur benchmark pour mesurer les différences entre les meilleurs modèles. C’est parce qu’ils ont ce problème qu’openai vient de sortir un benchmark particulièrement difficile pour ses modèles.
Ces benchmarks là ne mesurent pas une chose utile pour l’application dont on parle, ims mesurent le savoir brut d’un modèle et sa capacité à le sortir. Par exemple ne pas confondre la médaille d’or et la médaille d’argent aux épreuves du 110 m haie des JO de 1986 ou que sais-je.
Un modèle à qui tu donnes un texte au début de sa fenêtre de contexte et sur lequel tu lui poses des questions va aujourd’hui très très rarement faire des erreurs et seulement si tu lui poses des questions d’une façon un peu tordue. Je pense que si on peut toutes les métriques possibles on a pas grand chose à gagner à faire saisir une plainte par un policier que par un llm
Le désastre total dont on parle est le résultat de décennies de détricotage des services publics. Dans la bouche du ministre de la Fonction Publique, la technique n’est qu’un cache-misère qui sert à justifier davantage encore de désengagement de l’État. Il entretient l’idée mensongère d’un solutionnisme technologique qui prétend résoudre tous nos maux à coups de techniques immatures et promues par des gens sans scrupules qui raisonnent en termes de ROI sur leurs investissements financiers.
On pouvait déjà permettre le dépôt de plainte sans passer par le commissariat avec les techniques existantes. Les LLM n’y changent rien et ce n’est pas ce dont parlent le ministre ou Xavier Niel. Leur propos est d’imaginer un gain de temps (et de productivité) si l’on transcrit automatiquement ce que disent les plaignants, au lieu de rédiger soi-même. Or les IA ne peuvent pas remplacer la nécessité d’accueillir les victimes, de les écouter, de les aider à exprimer et formuler ce qu’elles ont vécu et de les orienter dans la recherche d’une réparation. C’est d’ailleurs la promesse : être plus au contact du public. Ces gens qui se croient géniaux n’ont sans doute jamais conduits, transcrits ou analysés d’entretiens de leur vie : d’abord un entretien ne fonctionne pas sans un interlocuteur compétent ; ensuite les IA de transcription font beaucoup de coquilles, il faut repasser derrière ; enfin la parole orale est bien plus difficile à analyser et interpréter qu’une déclaration rédigée pour formaliser un témoignage.
Tant mieux si l’on équipe les fonctionnaires d’outils éprouvés pour comprendre une victime dans sa langue maternelle. On pourrait tout de même regretter que cela prenne la place des interprètes qui savent traduire bien au-delà des mots. Quoiqu’il en soit, cela ne dispensera pas de former à l’écoute et à la législation. Pour le reste, si le propos est d’accepter que les fonctionnaires de police puissent être analphabètes, ce n’est pas un progrès. Comme le développait récemment Morozov pour Le Monde Diplomatique, tant qu’on concevra l’IA comme un moyen d’augmenter des individus diminués, on passera complètement à côté. Ces techniques pourraient sans doute être conçues et mises en œuvre pour nous améliorer, mais ce n’est pas ce dont on nous parle ici.
Quant aux benchmark, effectivement on parle de taux d’erreur entre 1% et 3% dans le cas des RAG. Dans bien des applications, un tel taux reste trop important. Par ailleurs, tant que les utilisateurs ne comprendront pas le fonctionnement de ces outils et croiront dialoguer avec une entité intelligente, ils seront incapables d’évaluer la pertinence de la réponse à un prompt. Savoir que le LLM ne traite que le texte, ne sait pas forcément traiter des données tabulaires et encore moins des données présentées sous forme de graphique (format image) est indispensable. Quand bien même, sans expertise sur ce qu’on lui demande de produire, on se contente d’un rapport magique à la technique, on ne peut pas discerner les réponses correctes de celles qui ne sont que plausibles. Or avec l’expertise nécessaire, l’IA n’apporte pas forcément de gros gains de productivité… A supposer qu’être plus productif soit souhaitable si cela signifie s’épuiser en multipliant encore les tâches et la quantité d’information à traiter au quotidien.
Le choix c’est pas entre IA et police humaine parfaite, c’est entre IA et la police qu’on a, avec encore moins de budget.
L’expérience de ma compagne japonaise c’est que la place dont tu parles est généralement vide et remplie par un fonctionnaire qui s’en fout et qui ne parle même pas anglais.
Source?
Le problème des benchmarks, c’est qu’ils sont là pour tester des différences de performances entre modèles. Ils sont faits pour être durs plutôt que réalistes. Un benchmarks qui te donnerait 100% ou 99.99% de succès, on le jetterait à la poubelle car il ne permet plus d’évaluer les progrès, et on en assemblera un nouveau avec les 0.01% d’erreur.
Ce qu’on demande en l’occurrence, c’est d’avoir un taux d’erreur inférieur au taux humain. Ce qui me semble extrêmement atteignable vu le niveau des policiers.
La dernières newsletter de Benoit Raphael citait ce chiffre sans le sourcer. Mais peut être l’avait il obtenu par une IA qui l’aura trouvé plausible :-p
Il ne s’agit pas d’avoir une police parfaite, mais d’agir pour relever le niveau plutôt que dilapider l’argent public en surveillance vidéo algorithmique et équipements et formation de répression ultra-violente. L’état de la police française, tout comme celui de l’hôpital ou de l’école, on le doit aux politiques qui décennie après décennies ont discrédité les services publics pour justifier de leur retirer les moyens de travailler et l’autonomie d’action nécessaire.
Même pour éclairer les décisions, on glorifie (et on arrose) les cabinets de conseils plutôt que de s’appuyer sur l’expertise de nos chercheurs. Il faut dire qu’à l’Université, on est aujourd’hui trop occupés à répondre à des appels à projet afin de trouver l’argent nécessaire pour faire notre métier… Donc comme ailleurs, au final, des IA feraient sans doute aussi bien.
Il n’est écrit nulle part que cette voie soit la seule possible. Comment peut-on penser qu’il s’agirait aujourd’hui de choisir entre IA et notre police actuelle, comme s’il n’y avait pas d’autres possibilités ? Comme je l’écrivais il y a quelques mois, Présenter l’IA comme une évidence, c’est empêcher de réfléchir le numérique. Il est urgent de réaliser que la technique doit être débattue sur un plan politique, qu’elle ne va pas de soi et que nous n’avons pas à accepter benoitement les prophéties auto-réalisatrices des milliardaires technophiles qui fournissent les éléments de langages à nos dirigeants.
Mais on sait très bien que l’équipe actuelle a pas l’intention de mettre plus d’argent dans la fonction publique. Que l’efficacité du dépôt de plainte, ils s’en foutent, et qu’ils veulent moins de fonctionnaires. Qu’ils le fassent en remplaçant par un truc qui a une chance de faire le boulot mieux au lieu de simplement fermer totalement le service, ça me parait évidemment préférable.
C’est exactement la stratégie de ces dirigeants de pacotille depuis des décennies : détricoter le secteur public pour mieux justifier des rustines issues du secteur privé qui acquiert au passage un pouvoir croissant sur des décisions qui devraient relever de nos institutions démocratiques. Je ne me résigne pas à accepter qu’on laisse faire.
Note que le privé, c’est pas forcément des société capitalistes, ça peut être des assoces ou des coops. Perso je commence à voir la résistance de ce coté là aussi. C’est un peu l’histoire des mutuelles et des premières caisses de prévoyance.
La nuance est bienvenue et j’abonde dans ton sens. Face à des États qui sont gangrénés par les intérêts privés, l’intérêt public et collectif dépend de plus en plus des organisations non gouvernementales ou des coopératives. Malheureusement, ces rustines-là (qui ont notamment amorti la crise sanitaire) on ne les soutient guère et on les pousse à rentrer dans le moule : financements par appels à projets, marchés publics taillés pour les plus grosses structures…
Cf. dans La Revue Dessinée n°42 (novembre 2023), l’enquête sur le groupe SOS :