Classical Word Embedding

Merepresentasikan kata dengan menghitung, bukan belajar

Lanjut Belajar

Classical Word Embedding: Dari Teks ke Angka

Sebelum ada neural network, komputer sudah harus mengubah teks menjadi angka. Kelompok teknik paling awal ini kita sebut classical word embedding: representasi yang dibuat murni dengan menghitung β€” menghitung karakter, menghitung posisi kata dalam vocabulary, dan menghitung frekuensi kemunculan kata.

Classical Word Embedding Representasi berbasis hitungan
ASCII Encoding paling dasar: karakter ke angka
One-Hot Encoding Vektor sparse dengan satu nilai 1
Bag of Words 1 dokumen = 1 vektor frekuensi kata
Term Frequency Frekuensi kata yang dinormalisasi
TF-IDF Memberi bobot pada kata yang informatif

Dalam pembelajaran ini kita akan menjelajahi lima teknik klasik secara berurutan, dari yang paling sederhana hingga yang paling berguna untuk model klasik:

  • ASCII Encoding - Cara paling dasar komputer menyimpan teks
  • One-Hot Encoding - Setiap kata mendapat posisi unik dalam vocabulary
  • Bag of Words (BoW) - Menjumlahkan one-hot menjadi satu vektor dokumen
  • Term Frequency (TF) - Frekuensi kata yang dinormalisasi panjang dokumen
  • TF-IDF - Menurunkan bobot kata umum, menaikkan bobot kata khas
Benang merahnya: semua metode di halaman ini tidak "belajar" apa pun tentang makna. Mereka hanya menghitung. Itulah sebabnya kita perlu pendekatan berikutnya β€” statistical dan neural network embedding.