Neural Network dan Ukuran Input yang Tetap

Konsep neural network bergantung pada backpropagation dari output ke input, dan input hanya bisa dipelajari jika ukuran inputnya tetap. Ini berarti bahwa dimensi dari data input kita harus tetap konsisten sepanjang proses pembelajaran, karena kita harus menghitung weight dan bias secara presisi untuk setiap input.

Ketika network kita dikonfigurasi dengan weight atau bias yang tetap, weight dan bias tersebut akan dibagi ke seluruh input, sehingga lebih mudah untuk melakukan generalisasi di berbagai input dan memberikan kemampuan bagi network untuk belajar dan beradaptasi dari data.

Masalah dengan Data Sekuensial

Masalahnya muncul jika kita ingin melakukan sesuatu yang sekuensial, contohnya data prediksi harga saham, perkiraan cuaca, atau keuangan bisnis. Konsep dari sesuatu yang sekuensial contohnya time step untuk data time series atau posisi kata di dalam sebuah kalimat di NLP tidak dapat dipahami dengan neural network tradisional karena tipe data ini memiliki ukuran input yang berbeda-beda dan urutan input sangat penting.

Terlebih lagi, urutan dari inputnya sangat penting, karena untuk menghitung harga saham di hari ke-51 katakanlah, kita perlu tahu harga saham di hari ke-50, 49, 48, dan seterusnya. Dan kita tidak bisa memproses data secara acak, kita perlu memproses data mulai dari hari ke-1, hari ke-2, hari ke-3, dan seterusnya.

Mendefinisikan Data Sekuensial

Data sekuensial adalah data yang:

• Punya ukuran input yang bervariasi
• Urutan inputnya penting

Yang BUKAN Data Sekuensial

• Gambar: Teknik yang paling umum untuk menangani data gambar adalah dengan meratakan gambar menjadi vektor menggunakan arsitektur seperti CNN. Meskipun RNN bisa dipakai untuk menangani data gambar kalau kita menanganinya seperti sebuah urutan piksel, tapi performanya tidak sebagus CNN.
• Teks dengan TF-IDF: Kalau kita pakai TF-IDF untuk mengubah teks jadi vektor, urutan kata tidak penting lagi. Jadi itu bukan data sekuensial.
• Data tanpa ketergantungan urutan: Misalnya, kalau kita ingin memprediksi harga rumah berdasarkan jumlah kamar tidur, jumlah kamar mandi, ukuran rumah, dan lokasi rumah, urutan fiturnya tidak masalah.

Intuisi dari RNN

Misalnya kita punya aturan rekursif berikut:

Jadi, nilai dari f(x) bergantung pada nilai dari f(x-1)

... dan nilai dari f(x-1) bergantung pada nilai dari f(x-2),

... dan seterusnya.

Jadi nilai dari f(x) bergantung pada nilai dari f(x-1), f(x-2), f(x-3), dan seterusnya.

Contoh Lain: Penyelesaian Teks

Katakanlah kita punya teks berikut:

Saya suka makanan pedas, saya suka makan Nasi

Kalau kita ingin memprediksi kata berikutnya, kita perlu mempertimbangkan kata-kata sebelumnya. Kalau kita cuma mempertimbangkan kata Nasi, kita tidak bisa memprediksi kata berikutnya. Tapi kalau kita mempertimbangkan kata-kata sebelumnya, kita bisa memprediksi kata berikutnya adalah Goreng.

Urutan Fibonacci

Ide utama dari RNN adalah setiap input dipelajari satu langkah pada satu waktu, seperti:

Bisakah kamu menebak angka berikutnya dalam urutan tersebut?

Memetakan Intuisi ke RNN

Komponen RNN

• Input: Ini adalah input kita
• Time Step: Ini adalah nomor langkah saat ini, misalnya kalau kita sedang memproses data ke-3, maka time step-nya adalah 3
• RNN Cell: Di sinilah perhitungan terjadi, ini adalah RNN itu sendiri. Weight dan bias dari RNN cell ini dibagi ke seluruh time step.
• Hidden State: Ini adalah output dari RNN cell pada time step saat ini, dan akan dipakai sebagai input dari RNN cell pada time step berikutnya.
• Fully Connected Layer: Ini adalah layer yang akan dipakai untuk menghitung output dari seluruh RNN

Catatan Penting

Berbagai Jenis Neural Network Berdasarkan Data Sekuensial

Ada beberapa jenis RNN yang berkaitan dengan variasi bagaimana input dan output diproses:

Sumber gambar: https://karpathy.github.io/2015/05/21/rnn-effectiveness/

Mendefinisikan Output

Kita sudah bisa memahami bahwa input bisa dalam panjang yang berbeda-beda, tapi kenyataannya input juga bisa berupa panjang tunggal, tapi RNN dipakai untuk memproses output yang bisa dalam panjang yang berbeda-beda.

One to One

Ini pada dasarnya adalah neural network tradisional, di mana input dan outputnya tetap dan tidak sekuensial. Ketika kita mengklasifikasikan neural network berdasarkan urutan input dan outputnya, salah satunya akan masuk ke dalam kategori ini: ketika tidak ada urutan sama sekali.

One to Many

Ini adalah jenis neural network di mana inputnya tetap, tapi outputnya sekuensial. Salah satu contohnya adalah image captioning, di mana inputnya adalah sebuah gambar, dan outputnya adalah caption dari gambar tersebut.

Contoh: Rekomendasi User

Contoh lain adalah ketika kita punya input tetap untuk rekomendasi user:

• Nama User: Imam
• Preferensi User: Coding
• Level User: Pemula

Maka rekomendasinya adalah:

• HTML, CSS, Javascript
• NodeJS
• ReactJS
• React Native

Kamu bisa lihat bahwa inputnya tetap, cuma 3 data, tapi outputnya sekuensial, kita perlu siswa untuk mengikuti roadmap dan tidak melewatkan langkah apa pun.

Many to One

Many to one adalah di mana inputnya adalah urutan data dari harga saham, dan outputnya adalah ringkasan dari data, entah itu "untung", "rugi", "untung besar", "rugi besar", atau "normal".

Contoh lain adalah dalam analisis sentimen, di mana inputnya adalah urutan kata, dan outputnya adalah sentimen dari teks, entah itu positif atau negatif.

Simulasi Interaktif RNN

Mari kita lihat berbagai arsitektur RNN beraksi dengan simulasi interaktif ini. Anda dapat memilih jenis arsitektur dan melihat bagaimana data mengalir melalui network.

Rangkuman

Selanjutnya

Pada materi berikutnya, kita akan mempelajari arsitektur lebih lanjut seperti Seq2Seq dan Attention Mechanism yang meningkatkan kemampuan RNN dalam menangani sequentials data yang lebih kompleks.