Neural Network Embedding

Skip-gram, CBOW, BERT & BART

Lanjut Belajar

Neural Network Embedding: Belajar Representasi Kata

Pada dua materi sebelumnya, representasi kata dibuat dengan menghitung. Sekarang kita membiarkan neural network yang belajar sendiri representasi terbaik untuk setiap kata — mulai dari jaringan dua layer sederhana (Word2Vec) sampai model transformer besar seperti BERT dan BART.

Word2Vec adalah teknik neural word embedding yang paling terkenal, di mana kita melatih neural network sederhana dengan dua layer untuk mempelajari representasi kata.
Neural Network Embedding Representasi kata yang dipelajari
Skip-gram Prediksi konteks dari kata tengah
CBOW Prediksi kata tengah dari konteks
BERT Context-aware embedding dua arah
BART Encoder-decoder untuk memahami & menghasilkan teks
Training Belajar dari co-occurrence patterns

Dalam pembelajaran ini, kita akan memahami:

  • Kenapa perlu neural embedding - Masalah one-hot dan keunggulan dense vector
  • Skip-gram & CBOW - Dua arsitektur Word2Vec
  • Kekuatan relasi - Mengukur hubungan antar kata dengan cosine similarity
  • BERT - Embedding yang berubah mengikuti konteks kalimat
  • BART - Encoder-decoder untuk tugas generatif