لماذا تقرأ النماذج على شكل قطع، وأثر ذلك في التكلفة واللغات والغرائب.
لا تقرأ النماذج اللغوية الكبيرة (LLM)، وهي محرّكات مساعدات المحادثة الحالية، الحروف أو الكلمات كما نقرؤها نحن، بل تقرأ رموزًا (Tokens): قطعًا من النص قد تكون كلمة كاملة أو جزءًا من كلمة أو مسافة مع كلمة أو رقمًا أو حرفًا واحدًا.