Token

Düşün ki bir dil modeli, senin yazdığın uzun bir cümleyi tek seferde anlayamıyor. O cümleyi küçük parçalara ayırıyor. Bu parçalar kelimeler, kelime kökleri, ekler, hatta noktalama işaretleri olabilir. Her bir parçaya "token" denir. Model bu token'ları tek tek işleyerek metnin anlamını çözüyor, sonra da yine token'lar halinde yeni metinler oluşturuyor. Yani seninle sohbet ederken veya bir metin yazdırırken aslında kelimeleri değil, token'ları alıp veriyor. Bu, modelin metni daha detaylı ve doğru bir şekilde işlemesini sağlıyor.

ChatGPT gibi araçlarda bir soru sorduğunda veya bir metin yazdırdığında, aslında "token" harcıyorsun. Mesela "Merhaba, nasılsın?" cümlesi 4 kelime ama belki 5-6 token eder. Model sana cevap verdiğinde de o cevabın uzunluğu token cinsinden hesaplanır. Uzun metinler için daha fazla token gider, bu da özellikle ücretli modellerde veya belirli bir kullanım kotası olan servislerde senin limitini etkiler. Bir içerik üreticisi olarak makale yazdırırken veya bir esnaf olarak WhatsApp Business'ta otomatik mesaj taslağı oluştururken, metnin uzunluğu token sayısıyla belirlenir ve bu da senin ne kadar bilgi verebileceğini veya ne kadar metin üretebileceğini gösterir.

Token'lar genellikle kelimelerle karıştırılır ama birebir aynı şey değiller. Bir kelime birden fazla token'dan oluşabilir, özellikle Türkçe gibi eklemeli dillerde. Örneğin "gidiyorum" kelimesi "gid", "i", "yorum" gibi farklı token'lara ayrılabilir. Ya da "yapay zeka" iki kelime ama belki 3-4 token olabilir. Yani token, kelimenin alt birimi gibi düşünebilirsin, modelin daha detaylı çalışmasını sağlayan yapı taşıdır ve bu ayrım, dil modellerinin karmaşık dil yapılarını daha iyi anlamasına yardımcı olur.

Eğer bir yapay zeka aracı kullanıyorsan, özellikle ücretli veya kota bazlı olanlarda, yazdığın ve aldığın metinlerin token sayısını takip etmek işine yarar. Bazı araçlar bunu sana doğrudan gösterir. Böylece daha verimli kullanabilir, gereksiz uzunluklardan kaçınarak hem zamandan hem de kotandan tasarruf edebilirsin.