Token

Token, büyük dil modellerinin metni işlerken kullandığı en küçük birimdir. Bir token; kısa bir kelime, bir kelimenin parçası veya bir noktalama işareti olabilir. Modeller metni harf harf değil, token dizileri hâlinde okur ve üretir; bağlam penceresi, API ücretlendirmesi ve cevap uzunluğu gibi tüm pratik sınırlar token sayısıyla ölçülür.

Token nasıl hesaplanır?

Metin, “tokenizer” adı verilen bir bileşenle parçalara ayrılır. İngilizcede kabaca 1.000 token yaklaşık 750 kelimeye karşılık gelir; Türkçe gibi eklemeli dillerde aynı metin genellikle daha fazla token’a bölünür, çünkü ekler ayrı parçalara ayrışabilir. Her model ailesinin kendi tokenizer’ı vardır; teknik ayrıntılar için OpenAI ve Anthropic dokümantasyonlarına bakılabilir.

Token sayısı neden önemlidir?

Üç pratik sonucu vardır:

1. Bağlam sınırı: Büyük dil modeli tek seferde yalnızca bağlam penceresine sığan token’ları görebilir.
2. Maliyet: API kullanımında ücret, girdi ve çıktı token’ları üzerinden ayrı ayrı hesaplanır.
3. Hız: Girdi uzadıkça işleme süresi ve cevabın gecikmesi artar.

Token GEO’yu nasıl etkiler?

Cevap motorları sayfanızın tamamını değil, soruya ayrılan token bütçesine sığan en ilgili parçalarını kullanır. Bu yüzden kritik bilgiyi — hizmet, konum, ayırt edici özellik — uzun paragrafların içine gömmek yerine kısa ve öz bölümlerde vermek gerekir; RAG tabanlı sistemler bu parçaları getirip alıntılar. 2026 itibarıyla alıntılanabilir kısa bölümler, token ekonomisi açısından da avantajlıdır; içerik yapısının ayrıntıları için GEO nedir rehberine bakabilirsiniz.