Numérique · Intelligence artificielle
Grands modèles de langage (LLM)
Un grand modèle de langage (LLM) est un réseau de neurones entraîné sur d’immenses corpus à prédire la suite d’un texte, ce qui lui permet de répondre, résumer, traduire ou coder.
Mis à jour le 5 min de lecture
Les grands modèles de langage (en anglais large language models, LLM) sont la technologie derrière les assistants conversationnels apparus auprès du grand public à partir de la fin 2022 (ChatGPT, Claude, Gemini, Le Chat de Mistral AI, Llama de Meta, etc.). Leur principe tient en une phrase : prédire le morceau de texte suivant. Entraînée à une échelle gigantesque, cette tâche simple fait émerger des capacités étendues de rédaction, de synthèse et de raisonnement apparent.
Les tokens : comment le modèle voit le texte
Un LLM ne lit pas des lettres ni des mots entiers mais des tokens : des fragments de mots, de longueur variable. « Connaissance » peut être découpé en deux ou trois tokens selon le modèle. En français, un token correspond en moyenne à un peu moins d’un mot. Chaque token est converti en un vecteur de nombres (un plongement, ou embedding) qui représente son sens en fonction des contextes où il apparaît.
La fenêtre de contexte est la quantité de tokens que le modèle peut prendre en compte à la fois (question, documents fournis, historique de la conversation). Elle se compte aujourd’hui en centaines de milliers de tokens pour les modèles les plus grands.
Comment un LLM génère une réponse
- Le texte d’entrée (le prompt) est découpé en tokens.
- Le réseau de neurones (un Transformer) calcule, grâce au mécanisme d'attention, les relations entre tous les tokens du contexte.
- Il produit une probabilité pour chaque token possible comme suite.
- Un token est choisi (pas toujours le plus probable : un paramètre appelé température règle la part d’aléatoire).
- Ce token est ajouté au texte, et l’on recommence jusqu’à la fin de la réponse.
La réponse est donc générée token par token, sans plan préalable rédigé : c’est ce qui explique certaines incohérences.
Les étapes d’entraînement
| Étape | Données | Résultat |
|---|---|---|
| Pré-entraînement | Des milliers de milliards de tokens : pages web, livres, articles, code | Un modèle qui sait compléter n’importe quel texte, sans savoir « dialoguer » |
| Ajustement supervisé (fine-tuning) | Exemples de dialogues rédigés par des humains | Un modèle qui suit les instructions et répond sous forme d’assistant |
| Apprentissage par renforcement à partir de retours humains (RLHF) et méthodes voisines | Classements de réponses par des évaluateurs, ou critères écrits | Réponses plus utiles, plus sûres, mieux formulées |
| Entraînement au raisonnement | Problèmes vérifiables (mathématiques, code) | Modèles qui produisent un raisonnement intermédiaire avant de répondre |
Le pré-entraînement est de loin l’étape la plus coûteuse en calcul. Les étapes suivantes façonnent le comportement de l’assistant. Voir apprentissage automatique.
Ce que les LLM font bien
- Rédiger, reformuler, résumer, traduire.
- Expliquer une notion à différents niveaux.
- Extraire des informations d’un document fourni.
- Écrire et corriger du code.
- Classer, structurer, comparer des textes.
- Utiliser des outils quand on les y connecte : recherche web, calculatrice, exécution de code, bases documentaires.
Les modèles récents sont multimodaux : ils traitent aussi des images, du son ou des documents.
Les limites
Les hallucinations
Un LLM produit le texte le plus plausible, pas nécessairement le plus vrai. Il peut inventer une référence bibliographique, une date ou une citation avec assurance. Le risque diminue quand le modèle s’appuie sur des documents fournis ou une recherche (voir RAG), mais ne disparaît pas.
Les autres limites
- Date de coupure : les connaissances du modèle s’arrêtent à la date de ses données d’entraînement, sauf accès à une recherche.
- Calcul et logique : erreurs possibles sur des calculs longs ou des raisonnements piégés, même si les modèles de raisonnement ont beaucoup progressé.
- Biais hérités des textes d’entraînement.
- Sensibilité à la formulation : une même question posée différemment peut donner des réponses différentes.
- Confidentialité : ce que l’on saisit peut être conservé ou utilisé selon les conditions du service ; ne pas y mettre de données personnelles ou confidentielles sans cadre validé (RGPD).
- Coût énergétique de l’entraînement et de l’utilisation à grande échelle.
Bien utiliser un LLM
- Donner du contexte : rôle, objectif, public, format attendu.
- Fournir les documents utiles plutôt que compter sur la mémoire du modèle.
- Demander les sources et les vérifier.
- Itérer : préciser, corriger, demander une autre version.
- Relire : le résultat est un brouillon, la responsabilité reste humaine.
Modèles ouverts et fermés
- Modèles propriétaires : accessibles uniquement via un service ou une API.
- Modèles à poids ouverts : les paramètres sont publiés et peuvent être installés sur ses propres serveurs (Llama, Mistral, Qwen, DeepSeek, Gemma…). Ils permettent de garder les données en interne, au prix d’une infrastructure à gérer.
Questions fréquentes
Un LLM comprend-il ce qu’il dit ?
La question est débattue. Les LLM manipulent des représentations du sens très riches et réussissent des tâches de compréhension, mais ils n’ont ni expérience du monde, ni intentions, ni conscience. Leur fonctionnement reste celui d’une prédiction statistique, ce qui explique erreurs et hallucinations.
Que signifie GPT ?
Generative Pre-trained Transformer : modèle génératif, pré-entraîné, fondé sur l’architecture Transformer. C’est le nom de la famille de modèles d’OpenAI.
Un LLM a-t-il accès à internet ?
Pas par lui-même. Certains assistants sont connectés à un moteur de recherche et peuvent consulter des pages ; sinon, le modèle répond uniquement à partir de ce qu’il a appris pendant l’entraînement.
Pourquoi les réponses changent-elles d’une fois sur l’autre ?
Parce que le choix de chaque token comporte une part d’aléatoire. Cela permet des réponses variées, mais implique qu’un modèle peut se contredire.
Un LLM réussit-il le test de Turing ?
Des expériences récentes montrent que des interlocuteurs humains ont du mal à distinguer les meilleurs modèles d’un humain lors de courtes conversations écrites. Voir test de Turing pour ce que cela prouve, et ce que cela ne prouve pas.