Statistical Word Embedding

Belajar makna kata dari statistik kemunculan bersama

Lanjut Belajar

Statistical Word Embedding: Makna dari Statistik

Pada pendekatan klasik, kata hanya berupa hitungan — "raja" dan "ratu" sama sekali tidak berhubungan. Statistical word embedding mengambil langkah berikutnya: makna sebuah kata disimpulkan dari statistik kata-kata yang muncul di sekitarnya pada corpus yang sangat besar (misalnya seluruh Wikipedia).

Distributional hypothesis: "You shall know a word by the company it keeps." Kata yang sering muncul bersama kata-kata yang sama, kemungkinan besar punya makna yang berhubungan.
Statistical Word Embedding Vektor kata dari statistik corpus
Gensim Library untuk memuat & melatih embedding
GloVe Global Vectors dari matriks co-occurrence
FastText Embedding berbasis sub-kata (n-gram)
Kesamaan Cosine similarity antar vektor kata
Analogi Operasi matematika pada kata

Yang akan kita pelajari di halaman ini:

  • Word Embedding - Setiap kata punya "scorecard"-nya sendiri
  • Gensim - Pintu masuk praktis ke dunia embedding siap pakai
  • GloVe - Kamus embedding dari matriks co-occurrence global
  • FastText - Embedding yang mengerti potongan kata
  • Simulasi Interaktif - Vektor, kesamaan kata, dan analogi