Token
Modelin metni işlerken kullandığı en küçük birim; bir kelime, kelime parçası veya karakter olabilir.
Token, modelin metni böldüğü parçadır. “yapay zeka” gibi bir ifade birden çok token’a ayrılabilir. Model maliyetleri ve bağlam pencereleri genellikle token sayısıyla ölçülür.