Dijital Görünürlük, Web & AI
Token
- Diğer kullanım
- Token
Hızlı Tanım
Token, dil modellerinin metni işlerken kullandığı kelime, kelime parçası, işaret veya karakter dizisi gibi temel metinsel birimdir.
Kavramın Açıklaması
Bir token her zaman bir kelimeye eşit değildir. Dil, yazım, sayı, noktalama ve kullanılan tokenizer'a göre tek kelime birden fazla token'a bölünebilir.
Token sayısı context window kullanımı, API maliyeti ve yanıt uzunluğu gibi teknik konularda önem taşır. Farklı modeller farklı tokenization yöntemleri kullanabilir.
Token ile embedding aynı değildir. Token metnin ayrıştırılmış birimini, embedding ise metin veya başka verinin anlam ilişkilerini temsil eden sayısal vektörü ifade eder.
Neden Önemli?
MedyaBudur AI iş akışlarında token kavramı özellikle uzun doküman, RAG ve maliyet planlamasında önemlidir. Ancak Türkçe için sabit 'bir kelime = X token' kuralı kullanılmamalıdır.