وحدة لغوية

وحدة لغوية ذات معنى (كلمة أو جزء كلمة أو حرف) يستخدمها النموذج للتدريب والتنبؤ.

Token