🎓 Chercheurs · Université

Les grands modèles de langage

Découpe du texte en tokens, explore une galaxie d'embeddings en 3D, visualise l'attention, génère du texte en jouant sur la température et suis toute la chaîne d'entraînement d'un LLM moderne.

📚 5 leçons 74 min 520 XP

Commencer le cours

🎓

Leçons

1✂️Les tokens : comment l'IA lit le textePourquoi les modèles lisent par morceaux, et l'impact sur le coût, les langues et les bizarreries.⏱ 14 min✨ 100 XP
2🌌Les embeddings : le sens en géométrieTransformer les mots en points où les sens proches se rapprochent.⏱ 14 min✨ 100 XP
3🔦Attention et transformersComment chaque mot récupère le contexte de tous les autres.⏱ 16 min✨ 110 XP
4🔮Prédire le token suivantGénération, échantillonnage, température, et pourquoi les modèles hallucinent.⏱ 14 min✨ 100 XP
5🏗️Comment on entraîne un LLMPré-entraînement, ajustement fin, retours humains, passage à l'échelle et limites.⏱ 16 min✨ 110 XP