Les embeddings : le sens en géométrie

Les identifiants de tokens ne sont que des étiquettes : l'identifiant 512 n'a pas un sens plus proche de 513. La première étape du modèle est donc de transformer chaque token en embedding : une liste de centaines ou de milliers de nombres, qu'on peut imaginer comme un point dans un espace à très grand nombre de dimensions.