Attention et transformers

Les mots changent de sens selon le contexte. Qui est « il » dans « L'animal n'a pas traversé la route car il était trop fatigué » ? Et dans « …car elle était trop large » ? Pour comprendre la langue, chaque mot doit regarder les autres. C'est exactement ce que fait l'attention.