Intuisi NLP
Mulai perjalanan NLP dengan memahami bagaimana mesin memproses bahasa
manusia. Pelajari aplikasi NLP sehari-hari, ragam task NLP, word
embeddings, dan bagaimana model seperti ChatGPT bekerja.
Yang Akan Dipelajari:
- Konsep Natural Language Processing
- Aplikasi NLP di kehidupan sehari-hari
- Cara mesin memahami bahasa manusia
- Task-task NLP (NLU & NLG)
- Word Embedding dan konteksnya
- Cara model menghasilkan teks
Mulai Belajar
Text Preprocessing dan Tokenisasi
Belajar membersihkan data teks lalu memecahnya menjadi token yang siap
dibaca model. Semua contoh memakai bahasa Indonesia, mulai dari kata
gaul sampai imbuhan berlapis.
Yang Akan Dipelajari:
- Menghilangkan noise dan stopwords
- Normalisasi kata tidak baku bahasa Indonesia
- Stemming (Sastrawi) dan lemmatization
- Tokenisasi kata, kalimat, dan subword
- Pipeline lengkap: model klasik vs pretrained
Mulai Belajar
Feature Extraction
Pelajari cara mengubah teks menjadi representasi numerik yang dapat
dipahami oleh model machine learning. Eksplorasi berbagai teknik
ekstraksi fitur dari teks.
Yang Akan Dipelajari:
- Bag of Words (BoW)
- TF-IDF (Term Frequency-Inverse Document Frequency)
- N-grams
- Feature engineering untuk NLP
- Perbandingan metode ekstraksi
Mulai Belajar
Classical Word Embedding
Pelajari cara paling awal mengubah teks menjadi angka: representasi yang
dibuat murni dengan menghitung karakter, posisi kata, dan frekuensi
kemunculan kata.
Yang Akan Dipelajari:
- ASCII Encoding
- One-Hot Encoding
- Bag of Words (BoW)
- Term Frequency (TF)
- TF-IDF
Mulai Belajar
Statistical Word Embedding
Kata mulai punya makna: pelajari bagaimana vektor kata dihasilkan dari
statistik kemunculan bersama pada corpus besar, lalu dieksplorasi dengan
kesamaan dan analogi kata.
Yang Akan Dipelajari:
- Konsep word embedding & relasi semantik
- Gensim untuk memuat & melatih embedding
- GloVe (Global Vectors)
- FastText & embedding sub-kata
- Cosine similarity dan analogi kata
Mulai Belajar
Neural Network Embedding
Biarkan neural network yang belajar representasi kata: dari jaringan dua
layer sederhana (Word2Vec) hingga model transformer yang embedding-nya
berubah mengikuti konteks kalimat.
Yang Akan Dipelajari:
- Skip-gram model
- CBOW (Continuous Bag of Words)
- Context-aware vs static embedding
- BERT
- BART
Mulai Belajar
Recurrent Neural Networks
Masuk ke dunia neural networks untuk sequence data. Pelajari RNN, LSTM,
dan GRU untuk memproses data sekuensial seperti teks dan time series.
Yang Akan Dipelajari:
- Konsep Recurrent Neural Networks
- LSTM (Long Short-Term Memory)
- GRU (Gated Recurrent Unit)
- Vanishing gradient problem
- Aplikasi RNN untuk NLP
Mulai Belajar
Sequence-to-Sequence dengan RNN
Pelajari arsitektur Seq2Seq yang revolusioner untuk tugas seperti
machine translation dan text summarization. Pahami konsep encoder-decoder
dalam konteks RNN.
Yang Akan Dipelajari:
- Arsitektur Encoder-Decoder
- Seq2Seq dengan RNN
- Machine translation
- Text generation
- Handling variable-length sequences
Mulai Belajar
Attention Mechanism
Pahami mekanisme attention yang menjadi fondasi model transformer modern.
Pelajari bagaimana model "fokus" pada bagian relevan dari input untuk
menghasilkan output yang lebih baik.
Yang Akan Dipelajari:
- Konsep Attention Mechanism
- Self-attention
- Multi-head attention
- Attention dalam Seq2Seq
- Visualisasi attention weights
Mulai Belajar