Prédire le token suivant

Au fond, un LLM ne fait qu'une chose : à partir des tokens déjà là, il donne une probabilité pour chaque token de son vocabulaire d'être le suivant. Pour écrire une réponse complète, il choisit un token, l'ajoute, et recommence. C'est la génération autorégressive.