التوليد وأخذ العيّنات ودرجة الحرارة، ولماذا تهلوس النماذج.
في جوهره يفعل النموذج اللغوي شيئًا واحدًا: بناءً على الرموز السابقة يعطي احتمالًا لكل رمز في مفرداته أن يكون التالي. ولكتابة إجابة كاملة يختار رمزًا ويضيفه ثم يكرّر. يسمّى هذا التوليد الانحداري الذاتي.