Intuisi Word Embedding

Word Embedding: Setiap Kata Memiliki Datanya Masing-Masing

Kita sudah mempelajari intuisi di atas bahwa word embedding itu seperti "scorecard" untuk setiap kata. Memanfaatkan word embedding itu tentang memahami bahwa setiap kata dapat mengandung informasinya masing-masing, entah itu tentang:

• Gender - Apakah kata ini maskulin atau feminin?
• Aturan gramatikal - Apakah ini kata kerja, kata benda, atau kata sifat?
• Makna - Apa arti kata ini dalam berbagai konteks?
• Hubungan - Kata apa saja yang sering muncul bersamaan?

Bayangkan setiap kata memiliki "profil" dengan berbagai karakteristik yang diukur dalam bentuk angka. Kata-kata dengan makna serupa akan memiliki profil yang mirip!

Scatter Chart untuk Relasi Kata dalam GloVe

Salah satu kamus word embedding terpopuler adalah GloVe (Global Vectors for word representation). GloVe pada dasarnya adalah kamus word embedding dalam bahasa Inggris yang mengumpulkan ratusan ribu hingga jutaan kosakata & memetakan setiap kosakata ke matriks word embedding yang dikhususkan untuk masing-masing kosakata.

NLP & Kata-kata: Masalah dalam Menemukan Relasi

Kita akan membahas lebih lanjut tentang bagaimana sebuah kata dapat terikat pada sebuah konteks nanti ketika kita mempelajari bagaimana cara menghasilkan word embedding, tetapi secara garis besar word embedding dihasilkan dengan mempelajari relasi kata.

Untuk sekarang mari kita lihat contoh di atas untuk melihat sebuah kata & kata-kata apa saja yang GloVe pelajari memiliki kaitan dengan kata tersebut.

Tentu saja sulit untuk benar-benar menentukan konteks apa yang GloVe pahami untuk sebuah kata, mengapa GloVe "berpikir" bahwa sebuah kata berhubungan dengan kata lain karena GloVe word embeddings diciptakan oleh neural network - yang berarti bahwa word embedding sebagian besar kekurangan kemampuan untuk menjelaskan dalam pembuatan relasi mereka, kita hanya bisa menebak.

Kesamaan dalam Konteks

Sebelum kita lanjutkan, satu terminologi yang harus Anda tahu adalah ketika kita memeriksa bagaimana sebuah kata berhubungan dengan kata lain, istilah itu sebagian besar disebut "kesamaan" (similarity). Kesamaan berarti seberapa mirip kata yang diberikan dengan konteks untuk kata lain, dalam konteks NLP yang kita berikan, kesamaan sebagian besar berarti:

• Seberapa sering dua kata muncul bersama dalam sebuah kalimat berdekatan satu sama lain
• Bagaimana dua kata bahkan ketika tidak sering muncul bersama, sebagian besar dipasangkan dengan kata-kata serupa. Contohnya: car sering muncul dengan kata drive, & bus juga sering muncul dengan kata drive.

Relasi Banyak Kata

Kita juga dapat mencoba memvisualisasikan relasi kata untuk beberapa kata sekaligus, sehingga kita dapat mengetahui apa yang GloVe word embedding pikirkan tentang bagaimana beberapa kata berhubungan dengan yang lain.

Melihat Bagaimana Beberapa Kata Saling Berhubungan

Cara lain untuk memvisualisasikan word embedding adalah dengan memeriksa kekuatan relasi sebuah kata dengan beberapa kata lainnya.

Misalkan Anda ingin tahu apakah seorang queen lebih terkait dengan kata "he" atau "she", Anda dapat memeriksa kekuatannya menggunakan cosine similarity.

Reduksi Dimensi

Apa itu Reduksi Dimensi?

Ingat bahwa pada kenyataannya dimensi word embedding jauh lebih besar daripada 2 dimensi (GloVe word embedding kita di atas memiliki 50, 100, atau bahkan 300 dimensi per kata). Apa yang kita lakukan di visualisasi disebut reduksi dimensi menggunakan t-SNE.

Analogi di atas dapat membantu Anda untuk memahami bahwa:

• Kita dapat menangkap vektor dimensi yang lebih tinggi ke dimensi yang lebih rendah
• Kita akan kehilangan banyak informasi selama proses tersebut. 2 dimensi tidak dapat dengan jelas memberikan konteks yang hilang dari dunia nyata kita seperti kedalaman, kita tidak dapat melihat apa yang ada di belakang objek pada foto kita, dll.

Mengurangi Dimensi = Menghapus Konteks

Ingat intuisi sebelumnya bahwa ketika kita melakukan embedding setiap dimensi disematkan dengan berbagai jenis konteks? Jika kita mengurangi dimensi apa pun seperti scatter plot sebelumnya, kita akan menemukan bahwa banyak konteks akan hilang.

Kutukan Dimensi

Masalah dalam menemukan data yang serupa tidak sesederhana menemukan kunci Anda yang hilang di kamar Anda. Datanglah kutukan dimensi (curse of dimensionality):

Inilah alasannya jika Anda mengeklik putar pada visualisasi kita di atas, nilai yang dekat dengan permintaan Anda terus berubah: Kita (ilmuwan data) menemukan beberapa cara untuk mencari kesamaan dengan cepat, tetapi hampir tidak mungkin untuk benar-benar tahu apakah itu benar-benar yang terdekat - kita hanya menebak bahwa itu kemungkinan besar yang paling mirip, tetapi sumber daya komputasi untuk memastikan bahwa itu benar-benar tetangga terdekat itu mahal.

Context-Aware Embedding vs Static Embedding

Hal terakhir yang akan kita pelajari sekarang untuk intuisi tentang word embedding adalah perbedaan antara context-aware embeddings & static embeddings.

Context-Aware Embedding

Context-aware embedding adalah word embedding yang dihasilkan per input kalimat. Contoh:

Kata "bank" memiliki banyak arti yang mungkin. Static word embedding seperti GloVe hanya memiliki satu vektor untuk kata "bank", yang merupakan rata-rata dari semua konteks yang pernah dilihat model. Akibatnya, vektor tersebut tidak sepenuhnya mewakili makna di kalimat pertama (bank keuangan) maupun kalimat kedua (tepi sungai).

Sebaliknya, context-aware embedding membaca seluruh kalimat terlebih dahulu, kemudian menghasilkan vektor yang berbeda untuk kata "bank" di setiap kalimat, sehingga model memahami konteks yang tepat dan tidak mencampurkan kedua makna tersebut.

Contoh untuk static word embedding adalah GloVe, yang sudah kita pelajari. Dan contoh untuk context-aware embedding adalah BERT, yang akan kita selami lebih jauh di bagian yang dikhususkan untuk itu.

Rangkuman: Intuisi Word Embedding

Selamat! Anda telah mempelajari intuisi fundamental tentang word embedding. Mari kita rangkum poin-poin penting: