| tags | crihn, llm |
|---|
Jean-Philippe Magué
Légende qui raconte que qqpart en Inde un roi s’ennuyant. Un ... le faire avec jeu d’échec. Demandé comment le remercier. Demandé du blé sur première case, etc. etc. Regarder ce que cela donne.
Essayé de faire en sorte que soit à 1cm. Qd 128 grains = 1m28 au dessus de cette ligne. 14e case 8 000 grains, dépasse le pavillon Roger-Gaudry... 21e case passe le millions de grains à poser. 27e case au-dessus de la station spatiale internationale. 37e case sur la lune. 61e case 1 année lumière altitude. Sans doute tout le riz jamais produit par l’humanité. 64, déjà dépassé plusieurs étoiles. 2^64^
Pourquoi parle de cela. Les deux premières conférence état actuel de l’IA. Les deux qui viennent se positionner dans l’avenir. Or, une affaire exponentielle. Lorsque le roi a accepté pas pris conscience de ce à quoi s’engageait. Pas qu’il est idiot, mais face à une exponentielle nos capacités cognitives ne nous permettent pas de comprendre l’accroissement. Compliqué à penser.
Se projeter dans une exponentielle est difficile mais ce que va essayer de faire. Grand risque de se tromper. Autre difficulté, explosion et difficile d’imagine jusqu’où. Le pb c’est que dans la pratique rapidement confronté à la finitude des systèmes. Pas assez de grains de riz. Difficile à envisager également.
Voilà l’exercice dans lequel essaye de se placer.
De quelle croissance exponentielle parle-t-on ? Plusieurs façons de regarder cela. Ici Time horizon of sofware tasks. Une méthodologie pour déterminer la longueur pour qu’un modèle puisse faire tâche humaine en réussissant une fois sur deux.
https://metr.org/time-horizons/
Représentation linéaire d’un phénomène exponentiel (logarithmique). Ce temps double en moyenne depuis 2020 tous les 196 jours. Une accélération depuis 2024 avec un doublement de la complexité de la tâche tous les 3 mois.
Bien prendre conscience que parfois lorsque dans une exponentielle, on peut avoir l’impression que rien ne se passe. Pendant tout un temps échelle petite. Alors que se passe énormément de choses. Temps de traitement très important.
S’aperçoit aujourd’hui que des choses massives et importantes et que va certainement continuer.
Sans doute possible de projeter cela dans des activités scientifiques. En réalité déjà oui. Si regarde les dépôts de papiers dans arXiv. Croissance exponentielle depuis les années 90, mais on observe que depuis l’avènement de ChatGPT ce taux de croissance augmente littéralement passant de 9% à 16%. Pas loin d’un doublement.
Pourquoi ? Car des objets qui peuvent intervenir dans toutes les étapes du travail scientifique. Dialogue possible, partenaire de dialogue notamment pour réflexivité. Un excellent partenaire de codage. S’en servir pour annoter des documents les structurer. Peut s’en servir pour simuler des comportements. On peut simuler des scientifiques... peut vous aider à réécrire.
Sans doute pas là que les choses intéressantes se jouent vraiment. Mais existe et différents systèmes proposés. Par exemple Denario, lui donne un jeu de données et lui demande ce qu’en pense. Produit exploration, identification méthodologie, recherche bibliographie, analyse des résultats et production d’un articles.
Villascuesa 2025
Alatheia, autre système plus récent spécifique pour faire des mathématiques. Pas un agent mais plusieurs systèmes spécialisés qui communiquent les uns les autres pour obtenir un résultat intéressant ou pas.
Feng et al. 2026. Proposé une typologie de la façon dont l’humain pouvait intervenir dans ce contexte. Imaginent trois types intervention. Humain agit avec aide IA. Vraie collaboration. IA complètement autonome sans intervention humaine. Résultats triviaux, vs révolution. Pour le moment actent le niveau 2 avec des résultats publiables, y compris quand la machine est complètement autonome.
Papiers cités de 2026.
Feng, Tony, Trieu H. Trinh, Garrett Bingham, et al. 2026. « Towards Autonomous Mathematics Research ». arXiv:2602.10177. Version 2. Prépublication, arXiv, février 12. https://doi.org/10.48550/arXiv.2602.10177.
Mais pas la première fois dans l’histoire que l’on est confronté à cette situation
Déjà eu technologies épidémiques. Croissance exponentielle. La science elle-même si juge par le nombre de livres publiés entre le 16e siècle et le 20e siècle.
Fink-Jensen 2015
Autre exemple, celui de la loi de Moore qui montre comment les capacités de calcul ont augmenté depuis le début du 20e siècle. Doublent tous les 18 mois. Même si CPU limités, tt un ensemble de mécanismes qui continue de nourrir cette croissance.
Ce qui nous réunit ici au CRIHN bien explosion numérique.
Creuser cette idée là.
| Qualitatif | Quantitatif |
|---|---|
| Close reading | Distant |
| Comprendre | Expliquer |
| Psychologie clinique | Psychologie cognitve |
| Éthologie de laboratoire | |
| Idiographique | Nomothétique |
| Richesse singulier | Richesse du pluriel |
Une sorte d’opposition. Ou plutôt car à chaque fois manipuler l’un sert à l’autre. Une dialectique entre ces deux pôles. Si regarde ce qui s’est passé avec les technologies numériques, plusieurs choses.
Un des points d’hybridation que dans le pôle cognitif, une limite liée à nos capacités quantitatives. Tant que fait du quantitatif à la main limitation. Non pas que ne faisait pas du numérique mais une limite matérielle. Là où les technologies numériques entrent en jeu. Venues automatiser et nourrir ce pôle numérique.
Automatisation de certains actes interprétatifs assez simples. Envie de dire un acte qui peut être automatiser. « Le chat mange la souris » : capable de dire que mange est un verbe. Acte interprétatif que peut automatiser pour nourrir ces modèles quantitatifs.
Mais dans les deux cas reste limiter autre bottleneck cognitif qui n’est pas celui de notre capacité de calcul mais de nos capacités d’interprétation. Dans les démarches qualitatif ou quantitatif, ne vient pas placer nos interprétations au même endroit. Dans une approche distant reading, l’acte interprétatif en partie incorporé dans la méthode, puis lorsque regarde les observables construits par le quantitatif et que vient leur donner sens.
Dans les deux cas fait face au fait qu’un être humain dans une posture d’interprétation de qqch. Alors limité dans la capacité d’interprétation que l’on peut faire à l’heure.
Ce qui se passe ici, effacement de ce bottleneck. De la même manière que capacité de calcul permis dépasser limites quanti. Ici dépasser limites interprétatives. Automatisation interprétation.
Si dépasse cela. Alors richesse singulier et pluriel et sa dialectique. Polarisation qui va s’effacer. Ia va permettre un dispositif interprétatif qui va permettre de gérer la richesse du singulier et la richesse du plusieurs en même temps.
Pense que très important car pôles que l’on retrouve vraiment dans toute série d’actes sicentifiques. Si disparaît alors ouverture eà des transformations majeures.
Gorillaz
- I’m useless, but not for long
- The future ic comin’on
Plutôt
- I’m
uselessuseful, but not for long - The future ic comin’on
Destruction e notre humanité et de la science. Du mal à voir ce que signifie
Troisième csq
Knowledge claims are always socially situated. Sandra Harding, 1991. Il n’y a pas d’interprétation qui ne soit vraiment située (cf. Conf précédente). Alors la question qui se pose immédiatement, ces IA où sont-elles réellement situées. Un enjeu majeur alors. Si pas capable de les situer alors les connaissance sont caduques.
L’énonciation d’une connaissance toujours située. Le fait que n’énonce pas situation, etc. Détriment. Dominants ne venant pas mettre en critique ce que produise. Alors savoir moins intéressant.
Ce point de vue là, énoncé dans un point de vue féministe, si le projette dans le contexte d’une production de savoir produite ou guidée par l’IA. La question des populations dominantes devient critique. Les sociétés qui fabriquent ces systèmes là deviennent les dominants.
Marcello, ce qui est dedans et ce qui est dehors. Structuralisme, poststruralisme et grands modèles de...
Parler de qqch en lien avec la 3e conclusion. Question du contexte ou plutôt de la scientificité par rapport à ce qui est dedans et ce qui est dehors.
Question du dedans et du dehors par rapport aux sciences humaines. Des disciplines qui s’interrogent sur la question du sens. Question à se poser celle du sens. Interprétation, une question qui est liée au sens. Je suis capables d’extraire un sens par rapport à ce que je lis.
Emily Bender et ...
- Climbing toward NLU. On meaning, Forms.
- On the Dangers of Stochastic Parrots
Savoir si passe d’une opération purement computationnelle ou stochastique. Cf. Article de Searle plein de pb indéfinis. Expérience imaginée proche. D’une part processer la langue, mais pas forcément comprendre qqch.
Imagine comme Searle une expérience (chambre chinoise). Ici imagine celle du petit poulpe. Deux personnages sur des iles, communication téléphonique. Poulpe intercepte les signaux. Au bout d’un moment à force d’analyser les communications entre A et B, sera capable de répondre. Il est capable d’analyser la langue.
Now say that A has invented a new device, say a coconut catapult. She excitedly sends detailed instructions on building a coconut catapult to B, and asks about B’s experiences and suggestions for improvements. Even if O had a way of constructing the catapult underwater, he does not know what words such as rope and coconut refer to, and thus can’t physically reproduce the experiment.
Il n’y a pas de relation entre le mot coconut et catapulte, si intercepté seulement des phonèmes. Je ne suis pas capable de les mettre en relation avec des objets. Ici donne une définition très précise de ce qu’elle désigne comme sens.
We take meaning to be the relation M ⊆ E × I which contains pairs (e, i) of natural language expressions e and the communicative intents i they can be used to evoke. Given this definition of meaning, we can now use understand to refer to the process of retrieving i given e.
Communicative intents are about something that is outside of language. When we say Open the window! or When was Malala Yousafzai born?, the communicative intent is grounded in the real world the speaker and listener inhabit together.
Le mérite de proposer une définition du sens.
Plus tard dans l’article parle de LXM. Si modèle pas entraîné de chat, ne pourra pas reconnaître.
Idée de frontière pas une chose récente. Dans son cours de Linguistique générale 1916, Saussure explique que peut interpréter la langue de plusieurs manières. Et que peut considérer langue comme liée au monde ou pas.
Notre définition de la langue suppose que nous en écartons tout ce qui est étranger à son organisme, à son système, en un mot tout ce qu’on désigne par le terme de « linguistique externe ». Cette linguistique-là s’occupe pourtant de choses importantes, et c’est surtout à elles que l’on pense quand on aborde l’étude du langage.
Pour être scientifique, définir ses bornes. Ici structuralisme. Pour faire de la science doit avoir des limites bien posées.
Idée du structuralisme qui se développe de manière très forte dans le domaine des sciences humaines. Un système clos.
Idée reprise de manière amplifiée dans le poststructuralisme. Lorsque Derrida invité aux États-Unis, annonce que fini. Dans la doxa liée au structuralisme et postructuralisme. Idée que tout est dans tout. « Il n’y a pas de hors texte ». Tout est système, alors perd de ses frontières et matérialité propre au structuralisme qui fait que l’on ne peut parler que de ce qui est dans les frontières.
La question pour moi lorsque l’on parle de l’utilisation IA dans le domaine des sciences humaines. La question à se poser, celle de savoir ce que l’on modélise. Le modèle définit ce qui est le sens dans un contexte déterminé. Souvent défini comme quelque chose qui fait abstraction.
Manière de LeCun qui dit que devrait définir le world model. Mettre tout. Idée de limitation du modèle par rapport à un monde qui serait plus riche. Or pas seuelemnt cela. Frontière pour faire émerger matérialité. En dehors des ces frontières, il n’y a pas de matérialité.
Le temps en dehors de frontières matérielles bien définies. Aucun sens.
Frontières qui n’ont pas
Une question de rigueur épistémologique. Poser des frontières la seule manière de faire émerger un concept qui ait une rigueur quelconque. Quand fait des sciences humaines la question de la frontière essentielle.
Un LLM point de départ savoir ce qui est modéliser dedans. Un LLM pur, un modèle qui regarder des relations infratextuelles. Ce que lui a donnée d’une langue donnée.
La connaissance de ces frontières très précises.
Ne peut pas apprendre de manière inductive d‘une chose à laquelle pas été exposé.
Inductif ou déductif.
Des systèmes clos simples
- Correspondance entre deux documents
- Règles explicites --> frontières claires
Question de savoir si besoin d’un modèle inductif, ou autre. Parfois oui. À l’intérieur de quel modèle de langue est-il pertinent.
Pas toujours besoin d’un chatbot : parfois besoin d’un modèle qui ressort comme système de pondération.
Appel de fond, revenir à un certain matérialisme de nos modélisations. Définir précisément les frontières méthodologiques de la science. Ce qui me fait peur aujourd’hui. Pas étonné par ce que l’on appelle des avancées, ces courbes exponentielles. Pas sûr car ne sait pas ce que mesure.
Tu disais que ce qui est simple l’automatise car simple. En réalité pense que l’inverse. Automatise car pense que simple, ou que vaut rien. Ici une question de distribution de la valeur qui donne l’effet de ces courbes.
Sommes-nous capables de saisir les enjeux de définition des systèmes que chacun porte en lui. Définition commerciale.
Or la question des définitions précises pas du tout wow. Chiant à faire, et souvent donne des frontières conditionnelles.
JP une chose avec laquelle fondamentalement pas d’accord, la possibilité même de fixer des frontières. Je pense que c’est vain et du coup ne peut pas se permettre de poser cela comme prérequis de base. Quand entraîne LLM peut dire que frontières claires. Comme si texte dedans et dehors. Mais pense que pas vrai, toujours une zone floue et inéluctable. Si prend un ensemble de texte qui critiquent le structuralisme. Deux textes peuvent venir attaquer le structuralisme d’une manière différente avec arguments plus ou moins bons, etc. Ce qui est dans le corpus pas le texte, mais les connaissances. Ici un flou car des points bien posés, très clairs, autres argumentation bancales. Pourra se demander si telle ou telle attaque dans le corpus ou pas. En réalité pourra y être plus ou moins.
Si des modèles de langue et que s’appliquait à construire une grammaire de la langue alors peut être possible dedans et dehors. Or, ce que l’on construit pas des grammaires de la langue mais des représentations du monde. Dès lors que plus fait linguistique mais encyclopédique alors des choses qui sont plus ou moins dedans. De toute façon dans un système déductif, toujours des énoncés indécidables.
Donc à mon avis vouloir se fixer des frontières, ou se dire que besoin de frontières ne peut pas marcher et ne peut pas faire autrement qu’accepter que nos frontières soient floues.
MVR Pas d’accord car met ensemble deux choses différentes. Connaissances et LLM. Ce que l’on voit dedans et ce qui peut émerger du système. Peut-on faire en sorte de savoir sur quoi repose l’interprétation. Nos deux interprétations savoir si elles sont légitimes ou pas.
Sait que des relations internes, liées au corpus auquel pas exposé. Ne peut pas dire ce qu’est un chat. Les miracles n’existent pas. Existe en physique, cf. Barad moment où utilise appareil pour regarder particule. Tracé les frontières signifie faire apparaître le monde.
Démontre moi qu’un texte qui n’est pas dans un modèle de langue n’y est pas.
JP Je pense que l’unité ce n’est pas le texte.
MRV Les frontières pas le sens. Le sens ce qui se passe après. Mais dépend des frontières et ne peut pas le dépasser. Pour pouvoir manipuler le sens, doit être clair sur les frontières.
EC
Faut-il annoter des chats ? Supervisé, non supervisé. Quid abdution
Science et structuralisme ?
Structuralisme a beaucoup été mobilisé comme modèle d’une scientificité dans les disciplines littéraires ou historiques. Modele popérien de la science. Quid question humanité.
Manque interrelation
- Relation à soi, individuation
- exemple multiplication des articles, quel sens ?
LeCun modèle du monde pas passage par le langage
JP Beaucoup de produit pas conçu pour être lu à part que pour nourrir les machines. Ok pour dire que accroissement de publications scientifiques.
MVR le structuralisme ce qui est cité au début de tous les articles qui ont produit LLM. Commence toujours en citant linguistique saussurienne. Linguistique interne ou externe.
Poser les frontières important pour définir tout système algorithmique. Un intérieur et un extérieur. Une manière de faire sens. Celle qui correspond à la méthode. Approches computationnelles pour la manière de faire science nous apprennent une approche structuralisme.
Bien sûr d’autres conception de la science. Mais une approche computationnelle est forcément dans le structuralisme.
EC oui mais systèmes qui communiquent pas langage peuvent-ils être considérés comme computationnels ?
Peut être pas des machines de Turing. Car ne peut pas introduire du stocastique. Possible de faire du random pure, ce qu’une machine de Turing ne peut pas faire. Prise de input qui sont extérieurs au système. Ce qui reste dehors peut en effet se demander.
? Limite de mon langage limites de mon monde. Me demande si une question à la Wittgenstein, limite de mon corps et celle des sorties du LLM. Pour revenir à ce qui a été mentionné en premier lieu. Adoré mention de Harding, le fait que l’on a des énonciations de connaissances qui semblent désincarnées. Point d’énonciation d’hommes blancs riches qui dirigent sociétés Silicone Valley. Que fait-on si les limites de mon modèle de sciences deviennent définies par les gens de la SV.
JP Un double problème. D’une part, la neutralité que l’on pourrait imaginer n’existe pas. De plus les points de vue qui sont incorporés ne font que refléter SV. Mais le prix du calcul descend, coût devrait réduire beaucoup. Même si toujours à courir après les modèles de frontières. Coût pour humanité qui va réduire. Mais un positionnement social. Question des biais qui suggère qu’une erreur et que parviendrait à corriger pour avoir un système plus pure, etc. Sans doute quand reconnaissance de visage, modèles médicaux du sens. Mais ailleurs plus le cas, le mot pas le bon. Ne pas s’imaginer que va pouvoir corriger un défaut. Avoir pleinement conscience que fait partie intégrante du système.
MVR Pour moi le biais, c’est la frontière. Plusieurs manières de faire. Idée d’augmenter la quantité. En même temps 10 textes anciens en copte, lit les.
JP Oui bien sûr, mais peut constater que des gens qui veulent faire de plus en plus gros.
MRV Oui mais toujours des frontières différentes. Un sens, situé avec ces frontières là. Nous vend qqch qui fonctionne bien, autre pas. M2Vec fonctionne bien pour corpus grec ancien, ne parlera jms le grec mais valide scientifiquement.
LOU Question de la scientificité que l’on peut dire aujourd’hui et des modélisations formelles. Histoire des sciences nous montre que les propos sont socialement construits et qu’à divers endroits des choses qui émergent comme dignes de scientificité. Choses que distingue d’autres formes de savoirs. Dénotatif, et autres formes de connaissances distinctes. Roman, mythologie. Idée de l’objectivité mécanique. En réalité un paradigme récent dans l’histoire, seulement m du 19e. Tendance qui lui succède celui du Jugement exercé. Cf. Galiston Objectivity qui s’oppose à la subjectivité (soi scientifique). Où peur et valorisation du savant. Façon de cultiver le soi mécaniquement ou pas. Question du jugement exercé à partir de l’artefact. Tt de même un jugement ex radiologue à partir de l’image.
Question de l’éthique du savant. Doit-on vraiment revenir à une position où retire complètement l’être humain du savoir dénotatif scientifique. Doit-on retirer la part interprétative des savoirs
MVR Fait penser à la fameuse question de l’ours de Gingras. Question savoir si peut construire installation de ski. Première nation qui dit ne peut pas car esprit de l’ours. Gingras conseillé de le faire car pas scientifiquement prouvable. Pas de la science. Revendiquait paradigme objectif.
Ne pense pas que ce que disait paradigme objectif. Mais qqch de ce qu’appelle subjectif dans le fait de poser les frontières. Pour moi le fait de construire ou pas la station dépend de ce que l’on pose comme frontières. Mais frontières que l’on peut négocier et dire que l’esprit de l’ours en fait partie.
JP Il me semble qu’une question de consensus intersubjectif. Le fait de savoir si qqch objectif question de savoir si nos intersubjectivité abouti à qqch de suffisamment stable pour que objectivité. Si commence à discourir de la nature de l’atome, de l’univers, etc. Des différences de formation et de connaissances. Mais arriver à dire que nos subjectivités sont différentes. Parfois pas coordonnées...
? Quand vu le titre de la conférence, cru qu’une conférence à Gœthe, « Ce qui est dedans est dehors » mais différent. Ne peut-on pas tt de même considérer que dans les mots que l’on utilise il n‘y a pas du sens incorporé. Que le monde présent dans le langage et une certaine modélisation du monde dans le langage que l’on utilise et que l’on peut en tirer une interprétation du monde. Cf. Pb de Molineux.
MVR L’affirmation est toujours conditionnel, si le sens ce que définit Saussure un élément dans système interne oui. Si question externe alors Bender. Alors prendre LLM ou pas.
Alexia question des deux pôles. Laurence Barri?? sur les biais algo en assurance. Origine pour les scores assurantiels partant des lois normales. Deuxième logique de Galton, plutôt intéressée à la variante. Définir un modèle puis des catégories pour définir un score plus sûr que cela. Avant de prendre des modèles plus spécialisés possible. Avant modèles universels, modèle pour les individus. Bulles avec algo propre. Comment fait pour contester modèle conçu pour soi.
JP Question qui l’intéresse beaucoup. Parlé de cela il y a 4 ou 5 ans. Mon avis sur la question c’est que ce que font les technologies numériques, nous faire passer d’un système où la loi normale dominante (qqch uniformisant) à un vision du monde où s’écarte de la loi normale, où voit autres distributions apparaître et qui permet de concevoir, recommandations, etc. propres à chq individus. Pense que ces modes de représentation effet boucle. Quand loi normale, s’identifie à ces catégories et effet uniformisant. Dès lors que possible regarder les individus dans leur singularités. Alors tendance à extraire ces catégories et explorer nos propres individualités.