Aller au contenu
AI Gate
Tous les labos
✂️

Modèles de langage

Tokeniseur

Tape n'importe quel texte et vois comment un modèle de langage le découpe en tokens.

Utilisé dans la leçon✂️ Les tokens : comment l'IA lit le texte · Les grands modèles de langage