Text Preprocessing dan Tokenisasi

Membersihkan teks dan memecahnya menjadi token

Lanjut Belajar

Menyiapkan Data Teks: Preprocessing & Tokenisasi

Sebelum teks bisa dipakai model, ada dua pekerjaan yang harus selesai lebih dulu. Bayangkan Anda mau memasak: sayuran dicuci dulu, lalu dipotong sesuai ukuran wajan.

  • Text Preprocessing — mencucinya: membuang bagian yang tidak berguna dan menyeragamkan bentuk kata
  • Tokenisasi — memotongnya: memecah teks menjadi token, satuan terkecil yang benar-benar dibaca model

Sepanjang materi ini semua contoh memakai bahasa Indonesia, karena banyak persoalannya — imbuhan berlapis, kata gaul, reduplikasi — tidak muncul di contoh berbahasa Inggris yang biasa kita temui di tutorial.

Preprocessing & Tokenisasi Dari teks mentah ke token
Menghilangkan Noise URL, mention, hashtag, emoji, stopwords
Normalisasi Case folding & kata tidak baku: "gak" jadi "tidak"
Stemming & Lemma "membacakan" jadi "baca"
Tokenisasi Kata Memecah per kata dan kalimat
Tokenisasi Subword Solusi kata di luar vocabulary