=== Deney B — Tokenlara bölme (tiktoken: o200k_base, cl100k_base) === [meta] tarih-saat: 2026-10-04 18:41:45 +0300 [meta] python 3.14.3 | Windows 11 | AMD64 [meta] paketler: tiktoken 0.13.0, regex 2026.6.28 sözlük o200k_base: 200,019 token sözlük cl100k_base: 100,277 token Metin: «anlayamadıklarımız» (18 karakter, 21 bayt) [o200k_base] 5 token: an | lay | amad | ık | larımız 270 an bayt: 61 6E 8639 lay bayt: 6C 61 79 77351 amad bayt: 61 6D 61 64 14353 ık bayt: C4 B1 6B 125218 larımız bayt: 6C 61 72 C4 B1 6D C4 B1 7A [cl100k_base] 8 token: an | lay | am | ad | ıkl | ar | ım | ız 276 an bayt: 61 6E 6789 lay bayt: 6C 61 79 309 am bayt: 61 6D 329 ad bayt: 61 64 91166 ıkl bayt: C4 B1 6B 6C 277 ar bayt: 61 72 38404 ım bayt: C4 B1 6D 48980 ız bayt: C4 B1 7A Metin: « anlayamadıklarımız» (19 karakter, 22 bayt) [o200k_base] 4 token: ␣anlay | amad | ık | larımız 160856 ␣anlay bayt: 20 61 6E 6C 61 79 77351 amad bayt: 61 6D 61 64 14353 ık bayt: C4 B1 6B 125218 larımız bayt: 6C 61 72 C4 B1 6D C4 B1 7A [cl100k_base] 8 token: ␣an | lay | am | ad | ıkl | ar | ım | ız 459 ␣an bayt: 20 61 6E 6789 lay bayt: 6C 61 79 309 am bayt: 61 6D 329 ad bayt: 61 64 91166 ıkl bayt: C4 B1 6B 6C 277 ar bayt: 61 72 38404 ım bayt: C4 B1 6D 48980 ız bayt: C4 B1 7A Metin: «Anlayamadıklarımız» (18 karakter, 21 bayt) [o200k_base] 5 token: An | lay | amad | ık | larımız 2223 An bayt: 41 6E 8639 lay bayt: 6C 61 79 77351 amad bayt: 61 6D 61 64 14353 ık bayt: C4 B1 6B 125218 larımız bayt: 6C 61 72 C4 B1 6D C4 B1 7A [cl100k_base] 8 token: An | lay | am | ad | ıkl | ar | ım | ız 2127 An bayt: 41 6E 6789 lay bayt: 6C 61 79 309 am bayt: 61 6D 329 ad bayt: 61 64 91166 ıkl bayt: C4 B1 6B 6C 277 ar bayt: 61 72 38404 ım bayt: C4 B1 6D 48980 ız bayt: C4 B1 7A Metin: «Bir varmış bir yokmuş» (21 karakter, 24 bayt) [o200k_base] 6 token: Bir | ␣var | mış | ␣bir | ␣yok | muş 64220 Bir bayt: 42 69 72 972 ␣var bayt: 20 76 61 72 28947 mış bayt: 6D C4 B1 C5 9F 3742 ␣bir bayt: 20 62 69 72 20925 ␣yok bayt: 20 79 6F 6B 49052 muş bayt: 6D 75 C5 9F [cl100k_base] 9 token: B | ir | ␣var | m | ış | ␣bir | ␣yok | mu | ş 33 B bayt: 42 404 ir bayt: 69 72 767 ␣var bayt: 20 76 61 72 76 m bayt: 6D 33573 ış bayt: C4 B1 C5 9F 15606 ␣bir bayt: 20 62 69 72 90777 ␣yok bayt: 20 79 6F 6B 15479 mu bayt: 6D 75 7370 ş bayt: C5 9F Metin: «Kedi süt kabını devirdi, çünkü o çok açtı.» (42 karakter, 51 bayt) [o200k_base] 14 token: K | edi | ␣süt | ␣kab | ını | ␣dev | irdi | , | ␣çünkü | ␣o | ␣çok | ␣aç | tı | . 42 K bayt: 4B 7859 edi bayt: 65 64 69 189721 ␣süt bayt: 20 73 C3 BC 74 17074 ␣kab bayt: 20 6B 61 62 10569 ını bayt: C4 B1 6E C4 B1 3947 ␣dev bayt: 20 64 65 76 49720 irdi bayt: 69 72 64 69 11 , bayt: 2C 178517 ␣çünkü bayt: 20 C3 A7 C3 BC 6E 6B C3 BC 293 ␣o bayt: 20 6F 24931 ␣çok bayt: 20 C3 A7 6F 6B 21705 ␣aç bayt: 20 61 C3 A7 106946 tı bayt: 74 C4 B1 13 . bayt: 2E [cl100k_base] 19 token: K | edi | ␣s | üt | ␣kab | ını | ␣dev | ird | i | , | ␣ç | ünk | ü | ␣o | ␣çok | ␣aç | t | ı | . 42 K bayt: 4B 19586 edi bayt: 65 64 69 274 ␣s bayt: 20 73 29758 üt bayt: C3 BC 74 75095 ␣kab bayt: 20 6B 61 62 38511 ını bayt: C4 B1 6E C4 B1 3567 ␣dev bayt: 20 64 65 76 2668 ird bayt: 69 72 64 72 i bayt: 69 11 , bayt: 2C 18578 ␣ç bayt: 20 C3 A7 97407 ünk bayt: C3 BC 6E 6B 2448 ü bayt: C3 BC 297 ␣o bayt: 20 6F 58112 ␣çok bayt: 20 C3 A7 6F 6B 64010 ␣aç bayt: 20 61 C3 A7 83 t bayt: 74 3862 ı bayt: C4 B1 13 . bayt: 2E Metin: «Kedi süt kabını devirdi, çünkü o masanın kenarındaydı.» (54 karakter, 63 bayt) [o200k_base] 18 token: K | edi | ␣süt | ␣kab | ını | ␣dev | irdi | , | ␣çünkü | ␣o | ␣mas | anın | ␣ken | ar | ınd | ay | dı | . 42 K bayt: 4B 7859 edi bayt: 65 64 69 189721 ␣süt bayt: 20 73 C3 BC 74 17074 ␣kab bayt: 20 6B 61 62 10569 ını bayt: C4 B1 6E C4 B1 3947 ␣dev bayt: 20 64 65 76 49720 irdi bayt: 69 72 64 69 11 , bayt: 2C 178517 ␣çünkü bayt: 20 C3 A7 C3 BC 6E 6B C3 BC 293 ␣o bayt: 20 6F 2948 ␣mas bayt: 20 6D 61 73 57241 anın bayt: 61 6E C4 B1 6E 21746 ␣ken bayt: 20 6B 65 6E 277 ar bayt: 61 72 7798 ınd bayt: C4 B1 6E 64 356 ay bayt: 61 79 68792 dı bayt: 64 C4 B1 13 . bayt: 2E [cl100k_base] 24 token: K | edi | ␣s | üt | ␣kab | ını | ␣dev | ird | i | , | ␣ç | ünk | ü | ␣o | ␣mas | an | ın | ␣ken | ar | ınd | ay | d | ı | . 42 K bayt: 4B 19586 edi bayt: 65 64 69 274 ␣s bayt: 20 73 29758 üt bayt: C3 BC 74 75095 ␣kab bayt: 20 6B 61 62 38511 ını bayt: C4 B1 6E C4 B1 3567 ␣dev bayt: 20 64 65 76 2668 ird bayt: 69 72 64 72 i bayt: 69 11 , bayt: 2C 18578 ␣ç bayt: 20 C3 A7 97407 ünk bayt: C3 BC 6E 6B 2448 ü bayt: C3 BC 297 ␣o bayt: 20 6F 9427 ␣mas bayt: 20 6D 61 73 276 an bayt: 61 6E 16507 ın bayt: C4 B1 6E 50332 ␣ken bayt: 20 6B 65 6E 277 ar bayt: 61 72 55598 ınd bayt: C4 B1 6E 64 352 ay bayt: 61 79 67 d bayt: 64 3862 ı bayt: C4 B1 13 . bayt: 2E Kök/ek sınırlarıyla karşılaştırma — dilbilgisi: anla + ya + ma + dık + lar + ımız (sınırlar, harf sayısı olarak: [4, 6, 8, 11, 14]) «anlayamadıklarımız» [o200k_base]: token sınırları [2, 5, 9, 11] → ek sınırına denk gelen 1/4 [11] «anlayamadıklarımız» [cl100k_base]: token sınırları [2, 5, 7, 9, 12, 14, 16] → ek sınırına denk gelen 1/7 [14] « anlayamadıklarımız» [o200k_base]: token sınırları [5, 9, 11] → ek sınırına denk gelen 1/3 [11] « anlayamadıklarımız» [cl100k_base]: token sınırları [2, 5, 7, 9, 12, 14, 16] → ek sınırına denk gelen 1/7 [14] «Anlayamadıklarımız» [o200k_base]: token sınırları [2, 5, 9, 11] → ek sınırına denk gelen 1/4 [11] «Anlayamadıklarımız» [cl100k_base]: token sınırları [2, 5, 7, 9, 12, 14, 16] → ek sınırına denk gelen 1/7 [14] «Token bazen tam bir kelime, bazen kelimenin bir parçası, bazen tek bir harf» — paragraftaki gerçek örnekler Paragraf (67 kelime): Bu videoda yapay zekanın nasıl öğrendiğini, içinde hangi matematiğin döndüğünü ve bir dil modelinin bir cümleyi nasıl kurduğunu adım adım anlatacağım. Sihir yok. Olan şey, çok büyük ölçekte, çok akıllıca kurgulanmış bir matematik. Token bazen tam bir kelime, bazen kelimenin bir parçası, bazen sadece tek bir harf. Anlayamadıklarımız gibi uzun bir Türkçe kelime birkaç tokena bölünebilir. Bu yüzden bu modellerin kapasiteleri ve fiyatları kelimeyle değil, tokenla ölçülür. [o200k_base] 136 token; sınıflara göre: kelime_parcasi 85, noktalama_bosluk 12, tam_kelime 31, tek_harf 8 tam kelime (22 farklı; ilk 12): «Bu», «␣nasıl», «␣içinde», «␣hangi», «␣ve», «␣bir», «␣dil», «␣yok», «␣şey», «␣çok», «␣büyük», «␣Token» kelime parçası (69 farklı; ilk 12): «␣vide» (videoda), «oda» (videoda), «␣yap» (yapay), «ay» (yapay), «␣zek» (zekanın), «anın» (zekanın), «␣öğr» (öğrendiğini), «endi» (öğrendiğini), «ğini» (öğrendiğini), «␣matem» (matematiğin), «ati» (matematiğin), «ğin» (matematiğin) kelimenin içinde tek harf (8 farklı; ilk 8): «␣c» (cümleyi), «i» (cümleyi), «␣S» (Sihir), «␣O» (Olan), «␣k» (kurgulanmış), «ı» (parçası), «f» (harf), «a» (tokena) tek harflik kelime: bu paragrafta YOK harfin ortasından bölünen: bu paragrafta YOK [cl100k_base] 184 token; sınıflara göre: kelime_parcasi 110, noktalama_bosluk 12, tam_kelime 20, tek_harf 42 tam kelime (12 farklı; ilk 12): «Bu», «␣ve», «␣bir», «␣dil», «␣yok», «␣çok», «␣Token», «␣tam», «␣tek», «␣gibi», «␣Bu», «␣bu» kelime parçası (89 farklı; ilk 12): «␣vide» (videoda), «oda» (videoda), «␣yap» (yapay), «ay» (yapay), «ek» (zekanın), «an» (zekanın), «ın» (zekanın), «␣nas» (nasıl), «ıl» (nasıl), «rend» (öğrendiğini), «ini» (öğrendiğini), «␣iç» (içinde) kelimenin içinde tek harf (23 farklı; ilk 12): «␣z» (zekanın), «␣ö» (öğrendiğini), «ğ» (öğrendiğini), «i» (öğrendiğini), «␣d» (döndüğünü), «ö» (döndüğünü), «ü» (döndüğünü), «␣c» (cümleyi), «l» (anlatacağım), «␣S» (Sihir), «␣O» (Olan), «␣ş» (şey) tek harflik kelime: bu paragrafta YOK harfin ortasından bölünen: bu paragrafta YOK Kelime sayısı ↔ token sayısı anlatıdan paragraf (yukarıdaki): 67 kelime (boşlukla ayrılan), 472 karakter [o200k_base] 136 token → kelime başına 2.03 token, token başına 3.47 karakter; harfin ortasından bölünen token: 0 [cl100k_base] 184 token → kelime başına 2.75 token, token başına 2.57 karakter; harfin ortasından bölünen token: 0 bölümün tüm konuşma metni (ham-ses-kaydi-temiz.srt, otomatik döküm, 1746 altyazı satırı): 1746 kelime (boşlukla ayrılan), 12185 karakter [o200k_base] 3479 token → kelime başına 1.99 token, token başına 3.50 karakter; harfin ortasından bölünen token: 0 [cl100k_base] 4580 token → kelime başına 2.62 token, token başına 2.66 karakter; harfin ortasından bölünen token: 0 Bayt sınırı denetimi — Türkçe harfler (ç ğ ı İ ö ş ü) UTF-8'de 2 bayt tutar: ç bayt: C3 A7 [o200k_base] [704] [cl100k_base] [3209] ğ bayt: C4 9F [o200k_base] [1678] [cl100k_base] [11257] ı bayt: C4 B1 [o200k_base] [612] [cl100k_base] [3862] İ bayt: C4 B0 [o200k_base] [4599] [cl100k_base] [48880] ö bayt: C3 B6 [o200k_base] [573] [cl100k_base] [3029] ş bayt: C5 9F [o200k_base] [981] [cl100k_base] [7370] ü bayt: C3 BC [o200k_base] [572] [cl100k_base] [2448] Ç bayt: C3 87 [o200k_base] [10226] [cl100k_base] [47013] Ğ bayt: C4 9E [o200k_base] [57148] [cl100k_base] [128, 252] Ö bayt: C3 96 [o200k_base] [9146] [cl100k_base] [64461] Ş bayt: C5 9E [o200k_base] [10162] [cl100k_base] [129, 252] Ü bayt: C3 9C [o200k_base] [8858] [cl100k_base] [53591] [o200k_base] tek başına iki tokena (iki ayrı bayta) bölünen harfler: yok [cl100k_base] tek başına iki tokena (iki ayrı bayta) bölünen harfler: Ğ Ş Harfin ortasından bölünme örneği: «Şantiye» [o200k_base] 3 token: Ş | anti | ye 10162 Ş bayt: C5 9E 9590 anti bayt: 61 6E 74 69 2422 ye bayt: 79 65 tokenlar tek tek çözülünce: ['Ş', 'anti', 'ye'] hepsi birlikte çözülünce: «Şantiye» [cl100k_base] 4 token: ‹Ş␣harfinin␣1.␣baytı␣/␣2› | ‹Ş␣harfinin␣2.␣baytı␣/␣2› | anti | ye 129 ‹Ş␣harfinin␣1.␣baytı␣/␣2› bayt: C5 ← harfin ortasından bölünmüş; tek başına çözülünce '�' görünür 252 ‹Ş␣harfinin␣2.␣baytı␣/␣2› bayt: 9E ← harfin ortasından bölünmüş; tek başına çözülünce '�' görünür 15719 anti bayt: 61 6E 74 69 9188 ye bayt: 79 65 tokenlar tek tek çözülünce: ['�', '�', 'anti', 'ye'] hepsi birlikte çözülünce: «Şantiye» [meta] süre: 3.5 sn [meta] yazıldı: cikti\B_token.json ve cikti\B_token-konsol.txt