.svg)
Yapay Zeka & Otomasyon
Bir dil modelinin metni işlerken kullandığı, kelime, kelime parçası veya karakterden oluşan en küçük anlam birimidir.
Dil modelleri metni doğrudan kelime olarak değil, token adı verilen daha küçük parçalara bölerek işler; bir kelime tek bir token olabileceği gibi birden fazla token'a da ayrılabilir. Modelin bağlam penceresi ve kullanım maliyeti genellikle işlenen token sayısına göre hesaplanır.
Örnek Kullanım
"Pazarlama" kelimesi bazı modellerde tek bir token olarak işlenirken daha uzun kelimeler birden fazla token'a bölünebilir.