Menyiapkan Data Teks: Preprocessing & Tokenisasi
Sebelum teks bisa dipakai model, ada dua pekerjaan yang harus selesai lebih dulu. Bayangkan Anda mau memasak: sayuran dicuci dulu, lalu dipotong sesuai ukuran wajan.
- Text Preprocessing — mencucinya: membuang bagian yang tidak berguna dan menyeragamkan bentuk kata
- Tokenisasi — memotongnya: memecah teks menjadi token, satuan terkecil yang benar-benar dibaca model
Sepanjang materi ini semua contoh memakai bahasa Indonesia, karena banyak persoalannya — imbuhan berlapis, kata gaul, reduplikasi — tidak muncul di contoh berbahasa Inggris yang biasa kita temui di tutorial.
Overview Arsitektur NLP Tanpa Neural Network
Untuk arsitektur pertama kita, kita akan mempelajari bagaimana melakukan klasifikasi sentimen menggunakan metode tradisional seperti Naive Bayes. Ini adalah cara yang bagus untuk memahami konsep fundamental NLP!
Pipeline Klasifikasi Sentimen
Input: "Saya sangat senang dengan produk ini! 😊"
⬇️ Preprocessing
"saya sangat senang dengan produk ini"
⬇️ Feature Extraction
[0, 1, 2, 0, 1, ...] (vektor angka)
⬇️ Classification
Output: Sentimen Positif
Konsep-konsep yang akan kita pelajari seperti preprocessing, tokenisasi, dan word embedding akan sangat berguna untuk memahami arsitektur modern seperti Transformers!
Klasifikasi Teks: Sentiment Analysis
Klasifikasi teks adalah tugas menentukan kategori dari sebuah teks. Untuk contoh kita, kita akan mengklasifikasikan tweet apakah bersifat positif atau negatif.
Contoh Tweet Positif
"Aku sangat senang menyambut hari esok untuk pembukaan toko kita, sampai jumpa di xxx!"
Analisis: Tweet ini mengandung kata-kata positif seperti "senang", "menyambut", yang mengindikasikan sentimen positif.
Contoh Tweet Negatif
"Kecewa sekali dengan pelayanan hari ini, tidak akan kembali lagi."
Analisis: Tweet ini mengandung kata-kata negatif seperti "kecewa", "tidak akan", yang mengindikasikan sentimen negatif.
Model kita akan belajar mengidentifikasi kata-kata kunci yang mengindikasikan sentimen positif atau negatif dari data training.
Dataset: 1.6 Juta Tweet
Untuk pembelajaran kita, kita akan menggunakan dataset dari Kaggle yang berisi 1.6 juta tweet yang sudah diklasifikasikan sebagai positif atau negatif.
Dataset ini berisi tweet-tweet real dari Twitter yang sudah dilabeli dengan sentimen mereka.
Dengan dataset yang besar ini, model kita bisa:
- Belajar pola-pola kata yang mengindikasikan sentimen
- Memahami konteks penggunaan kata-kata tertentu
- Membuat prediksi yang akurat untuk tweet baru
Menghilangkan Noise
Noise adalah elemen dalam teks yang tidak memberikan informasi berguna untuk tugas klasifikasi kita. Preprocessing membantu model fokus pada informasi yang benar-benar penting dengan menghilangkan noise.
Contoh noise yang perlu dihilangkan:
- URLs: http://example.com
- Mentions: @username
- Hashtags: #trending
- Emojis: 😊 😢 👍
- Punctuation: !!! ??? ...
- Stopwords: "the", "is", "at", "which"
Contoh Sebelum & Sesudah Noise Removal
Sebelum:
😃 Super senang untuk membagikan artikel terbaruku! @OpenAI 👀👉 http://ai.newpost.com #AI #OpenAI 😎
Sesudah:
super senang untuk membagikan artikel terbaruku
Stopwords Bahasa Indonesia
Stopwords adalah kata yang sangat sering muncul tapi sedikit membawa informasi pembeda. Daftarnya berbeda tiap bahasa — untuk bahasa Indonesia contohnya:
Di Python, daftar ini tersedia lewat NLTK (stopwords.words('indonesian')) atau Sastrawi, dan biasanya masih perlu kita sesuaikan sendiri sesuai domain data.
Contoh pada Ulasan Produk Bahasa Indonesia
Teks mentah
Barangnya BAGUS bgt!!! 😍 pengiriman cepat, recommended seller 👍 cek juga toko sebelah ya https://shopee.co.id/abc #olshop @tokobudi
Setelah noise & stopwords dibuang
barangnya bagus bgt pengiriman cepat recommended seller cek toko sebelah
Normalisasi Kata
Normalisasi adalah proses menggabungkan kata-kata yang memiliki arti mirip dengan menghilangkan variasi bentuk kata. Ini membantu model mengenali bahwa kata-kata yang berbeda bentuk sebenarnya memiliki makna yang sama.
Teknik Normalisasi
- Lowercase: "Exciting" → "exciting"
- Stemming: "excited", "exciting" → "excit"
- Lemmatization: "better" → "good"
Dengan normalisasi, model dapat memahami bahwa "Exciting", "excited", dan "excitement" semuanya merujuk pada konsep yang sama, sehingga meningkatkan kemampuan generalisasi model.
Case Folding
Mengubah semua huruf menjadi kecil supaya "Bagus", "bagus", dan "BAGUS" dianggap satu kata yang sama.
Normalisasi Kata Tidak Baku
Ini bagian yang paling banyak dibutuhkan untuk data bahasa Indonesia, karena teks media sosial dan chat penuh singkatan. Tanpa dinormalkan, model menganggap "gak", "ga", dan "tdk" sebagai tiga kata yang sama sekali berbeda:
| Bentuk tidak baku | Bentuk baku | Jenis |
|---|---|---|
gak, ga, gk, kga, engga |
tidak | Ragam informal |
yg, dgn, tdk, sy, bs, krn |
yang, dengan, tidak, saya, bisa, karena | Singkatan tulisan |
udh, udah, dah |
sudah | Ragam informal |
bgt, bngt |
banget (sangat) | Singkatan informal |
aja, ajah |
saja | Ragam informal |
gmn, gimana |
bagaimana | Ragam informal |
baguuuusss, mantaaap |
bagus, mantap | Pemanjangan huruf (elongasi) |
4ku, k3ren, s4bar |
aku, keren, sabar | Angka pengganti huruf |
Praktiknya dilakukan dengan kamus normalisasi: sebuah dictionary yang memetakan bentuk tidak baku ke bentuk baku. Untuk bahasa Indonesia sudah ada kamus siap pakai seperti colloquial-indonesian-lexicon, dan biasanya kita tambahkan entri sendiri sesuai data.
Normalisasi Angka, Tanggal, dan Nominal
Angka yang unik-unik biasanya tidak membantu model, jadi sering diganti satu penanda umum (placeholder):
| Sebelum | Sesudah |
|---|---|
Rp1.500.000 |
<UANG> |
17 Agustus 2026 |
<TANGGAL> |
0812-3456-7890 |
<TELEPON> |
Contoh Normalisasi Utuh
Sebelum
Pelayanannya BAGUUUS bgt, tp hrgnya kemahalan sih Rp250.000 utk porsi segitu 😅 gak worth it
Sesudah
pelayanannya bagus banget tetapi harganya kemahalan sih <UANG> untuk porsi segitu tidak worth it
Stemming
Stemming adalah teknik untuk menggabungkan kata-kata yang memiliki akar yang sama dengan cara menghilangkan suffixes (dan terkadang prefixes) dari kata-kata, hanya menyisakan "stem" kata.
Cara Kerja Stemming
Stemming bekerja dengan memotong akhiran kata untuk mendapatkan bentuk dasarnya. Ini adalah pendekatan yang cepat dan sederhana.
Contoh:
exciting → excit
excited → excit
excitement → excit
⚠️ Keterbatasan: Stemming mereduksi ke karakter yang unik, tapi terkadang tidak "masuk akal" dalam arti kata. Misalnya "went" dan "go" akan berbeda di stem meskipun "went" adalah past tense dari "go".
Stemming Bahasa Indonesia
Bahasa Indonesia jauh lebih "berlapis" daripada bahasa Inggris. Satu kata dasar bisa berkembang menjadi puluhan bentuk lewat tiga jenis imbuhan:
- Awalan (prefiks): me-, ber-, di-, ter-, pe-, se-, ke-, memper-
- Akhiran (sufiks): -kan, -an, -i, -nya, -lah, -ku, -mu
- Gabungan (konfiks): me-...-kan, pe-...-an, ke-...-an, ber-...-an
Karena itu stemmer bahasa Inggris seperti Porter tidak bisa dipakai. Untuk bahasa Indonesia kita memakai Sastrawi, yang mengimplementasikan algoritma Nazief-Adriani: kata dicek dulu ke kamus kata dasar, baru imbuhannya dilepas satu per satu kalau belum ditemukan.
| Kata berimbuhan | Hasil stemming | Imbuhan yang dilepas |
|---|---|---|
| membaca | baca |
me- |
| dibacakan | baca |
di- + -kan |
| pembacaannya | baca |
pe-...-an + -nya |
| keberhasilan | hasil |
ke-...-an + ber- |
| mempertimbangkan | timbang |
memper-...-kan |
| menyanyikan | nyanyi |
me- (luluh jadi meny-) + -kan |
| berlarian | lari |
ber-...-an |
Contoh pada Satu Kalimat
Sebelum
para pelanggan mengeluhkan pengiriman yang keterlambatannya berulang
Sesudah stemming
para langgan keluh kirim yang lambat ulang
Lemmatization
Lemmatization berbeda dari stemming karena menekankan pertimbangan aturan tata bahasa. Lemmatization memahami konteks dan elemen tata bahasa seperti verb tenses, bentuk jamak, dan bahkan gender untuk mengekstrak bentuk dasar linguistik yang benar dari kata, yang dikenal sebagai 'lemma'.
Cara Kerja Lemmatization
Lemmatization menggunakan kamus dan aturan tata bahasa untuk mengubah kata ke bentuk dasarnya yang benar secara linguistik.
Contoh:
Better → Good
Geese → Goose
Went → Go
Perbedaan dengan Stemming
Lemmatization mengenali dan mengubah kata ke bentuk kamus/dasar mereka, dengan mempertimbangkan tenses, plurality, dan banyak lagi. Ini tidak bisa dicapai dengan stemming karena stemming hanya "memotong" kata tanpa mempertimbangkan konteks linguistik.
Lemmatization Bahasa Indonesia
Kabar baiknya: bahasa Indonesia tidak punya perubahan bentuk untuk waktu (tense) maupun gender, jadi tidak ada kasus serumit went → go. Lemma dalam bahasa Indonesia adalah kata dasar yang terdaftar di KBBI.
Yang tetap perlu ditangani lemmatizer bahasa Indonesia:
- Imbuhan: mengatakan → kata, terbaik → baik
- Reduplikasi (bentuk jamak): anak-anak → anak, buku-buku → buku
- Klitik kepemilikan: rumahnya → rumah, tasku → tas
- Kata berimbuhan yang berubah makna: harus tetap utuh, misalnya pertanggungjawaban tidak dipotong jadi "tanggung" saja
Stemming vs Lemmatization pada Kata Indonesia
Perbedaannya paling terasa saat hasil stemming bukan kata yang sah:
| Kata | Stemming | Lemmatization | Catatan |
|---|---|---|---|
| mengatakan | kata |
kata |
Keduanya sama-sama benar |
| anak-anak | anak-anak |
anak |
Stemmer tidak mengerti reduplikasi |
| beruang | uang |
beruang |
Lemmatizer menolak karena cek kamus |
| mengerti | erti |
mengerti |
erti bukan kata baku |
| kemerdekaan | merdeka |
kemerdekaan |
Keduanya ada di KBBI, pilihan tergantung task |
Apa Itu Tokenisasi?
Tokenisasi adalah proses memecah teks menjadi unit-unit kecil bernama token. Token inilah satuan terkecil yang "dilihat" model — model tidak pernah membaca kalimat utuh, ia hanya menerima deretan token.
Kalau preprocessing itu mencuci sayuran, tokenisasi adalah memotongnya sebelum masuk ke wajan.
Posisinya dalam Pipeline
teks mentah → preprocessing → tokenisasi → token id (angka) → vektor embedding → model
Tokenisasi adalah jembatan antara teks dan angka: setelah teks dipecah menjadi token, setiap token ditukar dengan id berdasarkan daftar kosakata (vocabulary) yang dimiliki model.
Dari Kalimat ke Token ke Angka
Kalimat: Saya suka makan nasi goreng
Token:
Token id:
Token Spesial
Model transformer menambahkan token khusus yang bukan bagian dari teks asli, melainkan penanda struktur:
- [CLS] — penanda awal, vektornya dipakai untuk klasifikasi
- [SEP] — pemisah antar kalimat
- [PAD] — pengisi supaya semua kalimat sama panjang dalam satu batch
- [UNK] — kata yang tidak ada di vocabulary
- [MASK] — kata yang disembunyikan saat training BERT
Tokenisasi Kata & Kalimat
Ini dua level tokenisasi paling dasar, dan keduanya jauh lebih rumit daripada sekadar memisahkan teks di setiap spasi atau titik.
Tokenisasi Kalimat
Memecah paragraf menjadi kalimat, biasanya berpatokan pada . ! ?. Masalahnya, titik tidak selalu menandai akhir kalimat:
Titik yang Menipu
Teks: Dr. Budi tiba pukul 10.30 di Jl. Sudirman No. 25. Beliau membawa dokumen, laporan, dll.
Salah (dipecah di setiap titik) — jadi 7 kalimat:
Benar — 2 kalimat:
Karena itu tokenizer kalimat perlu daftar singkatan bahasa Indonesia yang tidak boleh dianggap akhir kalimat:
Tokenisasi Kata
Memecah kalimat menjadi kata. Memisahkan berdasarkan spasi terlihat mudah, tapi menghasilkan token yang kotor:
Pisah Spasi Saja Tidak Cukup
Kalimat: Rasanya enak, tapi harganya mahal!
Pisah spasi — tanda baca menempel di kata:
Tokenizer yang benar — tanda baca jadi token sendiri:
Kalau tanda baca dibiarkan menempel, "enak" dan "enak," akan dihitung sebagai dua kata berbeda dan vocabulary membengkak tanpa guna.
Keterbatasan Tokenisasi Kata
- Vocabulary membengkak — satu kata dasar bahasa Indonesia bisa muncul dalam puluhan bentuk (baca, membaca, dibaca, bacaan, membacakan, pembacaannya), dan semuanya menempati slot vocabulary sendiri
- Masalah OOV (out-of-vocabulary) — kata yang tidak pernah muncul saat training jadi [UNK] dan maknanya hilang total. Contohnya kata baru seperti "ngabuburit", salah tulis "banggus", atau nama produk "Xiaomi"
Tokenisasi Subword
Idenya sederhana: kata yang sering muncul dibiarkan utuh, kata yang jarang dipecah menjadi potongan yang sering muncul. Dengan begitu model tetap punya "bahan" untuk menebak makna kata yang belum pernah dilihatnya.
Tiga Algoritma yang Umum Dipakai
| Algoritma | Dipakai oleh | Cara kerja singkat |
|---|---|---|
| BPE | GPT, RoBERTa | Menggabungkan pasangan karakter tersering, berulang kali |
| WordPiece | BERT, IndoBERT | Mirip BPE, tapi penggabungan dipilih berdasarkan peluang statistik |
| SentencePiece | T5, mT5, LLaMA | Bekerja langsung pada teks mentah, spasi ikut jadi karakter |
Contoh pada Kata Bahasa Indonesia
Penanda ## pada WordPiece berarti "potongan ini menyambung kata sebelumnya, bukan kata baru".
Kata umum — tetap satu token
makan
Kata berimbuhan panjang — dipecah per bagian
mempertanggungjawabkan
Perhatikan: model tetap "melihat" potongan ##tanggung dan ##jawab, jadi maknanya tidak hilang meski kata utuhnya tidak ada di vocabulary.
Kata baru / gaul — tidak jadi [UNK]
ngabuburit
Dengan tokenisasi kata, kata ini akan langsung menjadi [UNK] dan informasinya hilang.
Konsekuensi yang Sering Terlupa
- Jumlah token ≠ jumlah kata. Kalimat 10 kata bahasa Indonesia bisa menjadi 15–20 token. Ini penting saat mengatur max_length dan saat menghitung biaya pemakaian API
- Bahasa Indonesia biasanya "lebih mahal" token-nya pada model multilingual, karena kosakatanya didominasi bahasa Inggris
Tantangan Tokenisasi Bahasa Indonesia
Sebagian besar tokenizer dirancang dengan asumsi bahasa Inggris. Berikut hal-hal khas bahasa Indonesia yang sering membuatnya keliru.
| Tantangan | Contoh | Kenapa menyulitkan |
|---|---|---|
| Imbuhan berlapis | memperbaikinya |
Satu kata memuat memper- + baik + -i + -nya |
| Reduplikasi | anak-anak, sayur-mayur |
Satu token, dua token, atau tiga token dengan tanda hubung? |
| Reduplikasi palsu | tiba-tiba, mondar-mandir |
Bukan bentuk jamak, tidak boleh disederhanakan jadi "tiba" |
| Klitik | rumahnya, kubaca, kaubawa |
Kata ganti menempel jadi satu kata tanpa spasi |
| Frasa multiword | rumah sakit, kereta api, mata pelajaran |
Dua kata tapi satu makna; kalau dipisah, "rumah" + "sakit" menyesatkan |
| Idiom | kambing hitam, buah bibir |
Maknanya hilang sama sekali kalau dibaca per kata |
| Singkatan digital | gpp, otw, wkwk, cmiiw |
Tidak ada di kamus mana pun |
| Campur kode | meeting-nya udah di-reschedule |
Imbuhan Indonesia menempel pada kata Inggris |
Contoh Kalimat yang Menggabungkan Hampir Semuanya
Kalimat: Anak-anaknya dibawa ke rumah sakit, tapi meeting-nya gak di-reschedule wkwk
Hasil tokenisasi kata yang naif:
Token merah adalah yang berpotensi salah ditafsirkan: bentuk jamak plus klitik, frasa dua kata yang terbelah, kata gaul, dan campur kode.
Pipeline Lengkap: Dari Teks Mentah ke Angka
Mari satukan semuanya dengan satu contoh nyata. Teks yang kita pakai adalah ulasan aplikasi berbahasa Indonesia:
Teks mentah
Aplikasinya BAGUUUS bgt sih 😍 tp knp sering error yaa?? udh di-update jg masih lemot bgt @cs_aplikasi https://bit.ly/xyz #kecewa
Jalur A: Model Klasik (TF-IDF + Naive Bayes)
Buang noise (URL, mention, hashtag, emoji)
Aplikasinya BAGUUUS bgt sih tp knp sering error yaa?? udh di-update jg masih lemot bgt
Case folding
aplikasinya baguuus bgt sih tp knp sering error yaa?? udh di-update jg masih lemot bgt
Normalisasi kata tidak baku & elongasi
aplikasinya bagus banget sih tetapi kenapa sering error ya? sudah di-update juga masih lambat banget
Tokenisasi kata
[aplikasinya] [bagus] [banget] [sih] [tetapi] [kenapa] [sering] [error] [ya] [?] [sudah] [di] [update] [juga] [masih] [lambat] [banget]
Buang stopwords & tanda baca
[aplikasinya] [bagus] [banget] [kenapa] [sering] [error] [update] [lambat] [banget]
Stemming (Sastrawi)
[aplikasi] [bagus] [banget] [kenapa] [sering] [error] [update] [lambat] [banget]
Hitung bobot TF-IDF → vektor angka
{aplikasi: 0.21, bagus: 0.34, banget: 0.48, lambat: 0.51, ...}
Jalur B: Model Pretrained (IndoBERT)
Buang noise teknis saja (URL, mention)
Aplikasinya BAGUUUS bgt sih 😍 tp knp sering error yaa?? udh di-update jg masih lemot bgt
Normalisasi kata tidak baku (opsional, tetap membantu)
Aplikasinya bagus banget sih 😍 tetapi kenapa sering error ya? sudah di-update juga masih lambat banget
Tokenizer bawaan model (subword) + token spesial
[CLS] aplikasi ##nya bagus banget sih tetapi kenapa sering error ya ? sudah di ##update juga masih lambat banget [SEP]
Konversi ke token id → langsung ke model
[2, 6712, 31, 1902, 884, 97, ... , 3]
POS (Part of Speech)
Part of Speech adalah proses menentukan jenis kata: Apakah itu kata benda? Kata kerja? Kata sifat? Dll.
POS tagging membantu dalam memastikan setiap kata dikonversi ke lemma yang benar. Berbeda dari stemming, agar lemmatization bekerja dengan benar, kita harus memastikan POS dilakukan sebelum menghilangkan stopwords.
Kenapa POS Penting?
Kata yang sama bisa memiliki lemma berbeda tergantung konteksnya. Misalnya kata "meeting" bisa jadi kata kerja ("meet") atau kata benda ("meeting").
⚠️ Penting: POS tagging harus dilakukan sebelum menghilangkan stopwords untuk memastikan akurasi yang tepat!
Demo
Sekarang mari kita praktikkan langsung berbagai teknik preprocessing di Google Colab! Anda akan melihat demonstrasi lengkap untuk remove noises, stemming, POS tagging, lemmatization, basic tokenization, dan sub-words tokenizer yang digunakan oleh BERT.
💻 Praktikkan di Google Colab
Demo Remove noises, stemming, POS, lemmatization, basic tokenization, Sub-words tokenizer that is used by BERT model
Buka di Google ColabRangkuman: Preprocessing & Tokenisasi
Selamat! Anda sudah menelusuri seluruh jalan dari teks mentah sampai deretan angka yang siap masuk model. Mari kita rangkum:
Text Preprocessing
- Membuang noise: URL, mention, hashtag, emoji, tanda baca, dan stopwords
- "Noise" itu relatif pada task — emoji dan kata "tidak" bisa jadi sinyal penting
- Normalisasi menyeragamkan bentuk: case folding plus kamus kata tidak baku ("gak" → "tidak", "bgt" → "banget")
- Stemming memotong imbuhan dengan cepat, tapi bisa overstemming ("beruang" → "uang")
- Lemmatization lebih lambat namun hasilnya selalu kata yang sah di KBBI
- Bahasa Indonesia butuh alat khusus seperti Sastrawi, bukan stemmer Inggris
Tokenisasi
- Token adalah satuan terkecil yang dibaca model; setiap token punya id angka
- Tokenisasi kalimat tersandung titik pada singkatan ("Dr.", "dll.", "10.30")
- Tokenisasi kata membengkakkan vocabulary dan menimbulkan masalah OOV
- Tokenisasi subword (BPE, WordPiece, SentencePiece) menyelesaikan keduanya dengan memecah kata jarang menjadi potongan yang sering muncul
- Jumlah token tidak sama dengan jumlah kata — berpengaruh ke max_length dan biaya komputasi
- Tantangan khas bahasa Indonesia: imbuhan berlapis, reduplikasi, klitik, frasa multiword, bahasa gaul, dan campur kode