"Splitting Words" terimi, doğal dil işleme (NLP) alanında sıklıkla kullanılan bir yöntemdir. Bu yöntem, genellikle metin önişleme aşamasında kullanılır ve büyük metin bloklarını daha küçük parçalara veya kelimelere ayırmak için uygulanır. İngilizcede bu işleme "tokenization" denir. Temel amacı, dil işleme sistemlerinin daha kolay işleyebileceği daha küçük birimlere metni ayırmaktır.

Örneğin, "Splitting Words NLP" cümlesi "Splitting", "Words", ve "NLP" olarak üç farklı kelimeye bölünebilir. Bu, metin üzerinde çeşitli analizler yapılabilmesi için önemlidir çünkü dil işleme algoritmaları genellikle kelime veya simge bazında çalışır. Tokenization, yazım denetimi, dil modelleme, anlam analizi gibi birçok NLP uygulamasının temelini oluşturur.

İşte bir metni kelimelere ayırmak için basit bir Python kodu:

import nltk
from nltk.tokenize import word_tokenize

# NLTK'nin tokenleştirici komponentlerini indir (yalnızca ilk kullanımda gereklidir)
nltk.download('punkt')

# Tokenleştirilecek metin
text = "Splitting Words NLP nedir, açıklar mısın?"

# Metni kelimelere ayır
tokens = word_tokenize(text)

print(tokens)

Bu kod, verilen text değişkenindeki metni kelimelere ayırır ve sonuçları ekrana yazdırır. NLTK'nin word_tokenize fonksiyonu, İngilizce için oldukça iyi çalışır ve pek çok dilde temel tokenleştirme işlemi için kullanılabilir. Metin İngilizce olmasa bile, genel yapıyı korur ve büyük oranda doğru sonuçlar verebilir.

"Cümle tokenleştirme" (sentence tokenization), metni cümlelere ayırma işlemidir ve doğal dil işleme (NLP) alanında yaygın olarak kullanılır. Bu işlem, genellikle metni anlamak veya işlemek için cümleleri birbirinden ayırmayı gerektiren durumlarda kullanılır. Cümle tokenleştirme, metni kelimeler yerine cümle birimlerine bölerek daha yüksek düzeyde dil analizine imkan tanır.

Python'da, NLTK kütüphanesi cümle tokenleştirme için sent_tokenize fonksiyonunu sunar. Bu fonksiyon, çeşitli dillerde cümle sınırlarını algılayabilen eğitilmiş modeller kullanır. Aşağıda, bir metni cümlelere nasıl bölebileceğinizi gösteren bir Python örneği verilmiştir:

import nltk
from nltk.tokenize import sent_tokenize

# NLTK'nin cümle tokenleştirici komponentlerini indir (yalnızca ilk kullanımda gereklidir)
nltk.download('punkt')

# Tokenleştirilecek metin
text = "Splitting Words NLP nedir, açıklar mısın? Python ile doğal dil işleme çok ilginç."

# Metni cümlelere ayır
sentences = sent_tokenize(text)

print(sentences)

Bu kod parçası, verilen text değişkenindeki metni cümlelere ayırır ve her bir cümleyi bir liste elemanı olarak döndürür. NLTK'nin sent_tokenize fonksiyonu, noktalama işaretlerini ve cümle yapılarını analiz ederek doğru yerlerden metni böler. Bu, metin üzerinde daha detaylı analizler yapmayı planladığınızda çok yararlıdır.

TweetTokenizer NLTK kütüphanesinde bulunan özel bir tokenleştirici sınıfıdır ve özellikle Twitter gibi sosyal medya platformlarında kullanılan metinler için tasarlanmıştır. Twitter ve benzeri platformlarda metinler, geleneksel yazı dillerinden farklı olarak kısaltmalar, hashtag'ler, kullanıcı adları ve emoji gibi öğeler içerebilir. TweetTokenizer, bu tür öğeleri daha etkili bir şekilde ele alacak şekilde optimize edilmiştir.

TweetTokenizer kullanımı sayesinde, sosyal medya metinlerinden daha doğru ve anlamlı bilgi çıkarımı yapmak mümkün hale gelir. Örneğin, bir hashtag'i veya kullanıcı adını tam bir token olarak algılayabilir ve metni buna göre tokenleştirebilir.

Aşağıda, TweetTokenizer kullanarak bir tweet'i nasıl tokenleştirebileceğinize dair bir Python örneği verilmiştir:

import nltk
from nltk.tokenize import TweetTokenizer

# TweetTokenizer örneğini oluştur
tokenizer = TweetTokenizer()

# Tokenleştirilecek tweet
tweet = "NLTK is amazing! 😊 #nlp #python @OpenAI"

# Tweet'i tokenleştir
tokens = tokenizer.tokenize(tweet)

print(tokens)

Bu kod parçası, verilen tweet değişkenindeki metni tokenlere ayırır. TweetTokenizer, emoji, hashtag ve kullanıcı adlarını da dahil ederek tweet içindeki çeşitli öğeleri doğru şekilde tanır ve ayırır. Bu, sosyal medya analizi yaparken oldukça yararlıdır, çünkü sosyal medya dili genel dil kullanımından farklı özellikler taşır.

NLTK kütüphanesinde, RegexpTokenizer sınıfı kullanılarak özelleştirilmiş düzenli ifade (regex) desenleri ile metin tokenleştirme işlemi yapabilirsiniz. Bu yöntem, metni belirli kurallar dahilinde parçalamanıza olanak tanır. RegexpTokenizer, metindeki belirli desenleri ayırmak için oldukça kullanışlıdır ve metin önişleme süreçlerinde sıklıkla tercih edilir.

Aşağıda, NLTK'nin RegexpTokenizer sınıfını kullanarak bir örnek verilmiştir. Bu örnekte, yalnızca alfanümerik kelimeleri çıkarmak için bir regex deseni kullanılacaktır:

import nltk
from nltk.tokenize import RegexpTokenizer

# Alfanümerik kelimeleri çıkaracak regex deseni
pattern = r'\w+'

# RegexpTokenizer örneği oluştur
tokenizer = RegexpTokenizer(pattern)

# Tokenleştirilecek metin
text = "NLTK is amazing! 123 😊 #nlp #python @OpenAI"

# Metni regex desenine göre tokenleştir
tokens = tokenizer.tokenize(text)

print(tokens)

Bu kod, RegexpTokenizer kullanarak, metni alfanümerik kelimelere (\w+ deseni) göre ayırır. \w+ regex deseni, bir veya daha fazla kelime karakteri (harf veya rakam) içeren dizileri eşleştirir. Bu örnekte, "NLTK", "is", "amazing", "123", "nlp", "python" ve "OpenAI" kelimeleri token olarak elde edilir.

RegexpTokenizer sınıfı, NLTK kütüphanesindeki diğer tokenleştirme sınıflarından daha fazla özelleştirme imkanı sunar ve metin üzerinde daha detaylı kontrol sağlar. Bu nedenle, özel tokenleştirme ihtiyaçları olan projelerde tercih edilir.