Mengatasi Vanishing Gradient Problem dengan LSTM dan GRU

Recurrent Neural Networks (RNN) merupakan jenis arsitektur jaringan saraf yang dirancang untuk memproses data sekuensial, seperti teks, audio, dan deret waktu. Contoh penggunaan RNN termasuk pemrosesan bahasa alami (seperti penerjemahan mesin) dan prediksi deret waktu (seperti peramalan harga saham). Namun, dalam proses pelatihannya, RNN seringkali menghadapi dua masalah utama: vanishing gradient problem dan exploding gradient problem. Kedua masalah ini menghambat kemampuan RNN untuk belajar dari data yang panjang. Long Short-Term Memory (LSTM) dan Gated Recurrent Unit (GRU) hadir sebagai solusi untuk mengatasi masalah ini, dan dengan demikian, memungkinkan RNN untuk bekerja secara efektif dengan data sekuensial yang kompleks. Lalu, bagaimana LSTM mengatasi masalah vanishing gradient?

Masalah Vanishing/Exploding Gradient

Vanishing gradient problem adalah kondisi di mana gradien (nilai yang digunakan untuk memperbarui bobot jaringan) menjadi sangat kecil saat di-backpropagasi melalui waktu dalam RNN. Bayangkan Anda sedang menuruni tangga yang sangat panjang. Setiap langkah merepresentasikan satu lapisan waktu dalam RNN. Jika setiap langkah terlalu kecil, Anda akan membutuhkan waktu yang sangat lama untuk mencapai dasar, atau bahkan mungkin tidak akan pernah sampai. Dalam konteks RNN, ini berarti jaringan kesulitan mempelajari dependensi jangka panjang dalam data. Ini terjadi karena pada dasarnya, informasi dari langkah-langkah waktu sebelumnya “memudar” seiring dengan proses backpropagation.

Sebaliknya, exploding gradient problem terjadi ketika gradien menjadi sangat besar selama backpropagation. Menggunakan analogi tangga, ini seperti mengambil langkah yang sangat besar sehingga Anda terlempar keluar dari tangga. Dalam RNN, ini menyebabkan pembaruan bobot yang sangat besar dan tidak stabil, yang membuat model sulit untuk konvergen ke solusi yang optimal.

Kedua masalah ini memiliki dampak negatif yang signifikan pada pelatihan RNN. Model akan gagal belajar dengan baik, akurasinya rendah, dan tidak dapat menangkap pola jangka panjang dalam data. Oleh karena itu, diperlukan solusi untuk mengatasi vanishing gradient dan exploding gradient ini. Salah satu cara mengatasinya adalah dengan arsitektur khusus seperti LSTM dan GRU, yang akan kita bahas nanti. Selain itu, teknik gradient clipping dapat digunakan untuk membatasi nilai gradien agar tidak terlalu besar.

Baca juga: Memahami Gradient Descent: Algoritma Inti Pelatihan Model AI

Recurrent Neural Networks (RNN)

RNN dirancang untuk memproses data sekuensial dengan mempertahankan “memori” internal dari input sebelumnya. Arsitektur dasar RNN terdiri dari unit-unit yang terhubung secara berulang, di mana output dari suatu unit pada satu langkah waktu menjadi input untuk unit yang sama pada langkah waktu berikutnya.

Namun, arsitektur standar RNN rentan terhadap masalah vanishing/exploding gradient. Hal ini terkait erat dengan proses backpropagation through time (BPTT), yang merupakan cara RNN menghitung gradien untuk memperbarui bobotnya. Karena BPTT melibatkan perkalian berulang dari gradien di setiap langkah waktu, gradien dapat menjadi sangat kecil (vanishing) atau sangat besar (exploding) seiring bertambahnya panjang sekuens.

Baca juga: Panduan Lengkap Recurrent Neural Networks (RNN) untuk Pemula

Long Short-Term Memory (LSTM)

LSTM adalah varian dari RNN yang dirancang khusus untuk mengatasi masalah vanishing gradient. Arsitektur LSTM lebih kompleks daripada RNN standar, dengan tambahan komponen yang disebut cell state dan tiga gerbang (gate): forget gate, input gate, dan output gate.

• Cell State: Bertindak sebagai “jalur tol” informasi yang mengalir sepanjang rantai waktu, memungkinkan informasi untuk tetap ada tanpa banyak perubahan.
• Forget Gate: Mengontrol informasi mana yang harus dibuang dari cell state.
• Input Gate: Mengontrol informasi baru mana yang harus ditambahkan ke cell state.
• Output Gate: Mengontrol informasi mana dari cell state yang akan dikeluarkan sebagai output.

Komponen-komponen inilah yang menjadi kunci LSTM dalam mengatasi vanishing gradient. Forget gate memungkinkan LSTM untuk “mengingat” informasi jangka panjang dengan membiarkannya mengalir melalui cell state tanpa banyak perubahan. Cell state bertindak sebagai “memori” jangka panjang jaringan, sedangkan gerbang-gerbang mengatur aliran informasi masuk dan keluar dari memori ini.

Berikut persamaan matematika yang menggambarkan cara kerja gerbang-gerbang dalam LSTM:

• Forget Gate:
  • f_t = σ(W_f[h_t-1, x_t] + b_f)
• Input Gate:
  • i_t = σ(W_i[h_t-1, x_t] + b_i)
  • C̃_t = tanh(W_C[h_t-1, x_t] + b_C)
• Cell State Update:
  • C_t = f_t * C_t-1 + i_t * C̃_t
• Output Gate:
  • o_t = σ(W_o[h_t-1, x_t] + b_o)
  • h_t = o_t * tanh(C_t)

Keterangan:

• σ: Fungsi sigmoid
• tanh: Fungsi tangen hiperbolik
• W: Matriks bobot
• b: Bias
• h_t-1: Output dari langkah waktu sebelumnya
• x_t: Input pada langkah waktu saat ini
• f_t: Output forget gate
• i_t: Output input gate
• C̃_t: Kandidat nilai cell state baru
• C_t: Cell state pada langkah waktu saat ini
• o_t: Output output gate
• h_t: Output LSTM pada langkah waktu saat ini

Gated Recurrent Unit (GRU)

GRU adalah varian lain dari RNN yang juga dirancang untuk mengatasi masalah vanishing gradient. Arsitektur GRU lebih sederhana daripada LSTM, dengan hanya dua gerbang: update gate dan reset gate.

• Update Gate: Menggabungkan fungsi forget gate dan input gate dalam LSTM. Gerbang ini mengontrol seberapa banyak informasi dari hidden state sebelumnya yang akan dipertahankan dan seberapa banyak informasi baru yang akan ditambahkan.
• Reset Gate: Mengontrol seberapa banyak informasi dari hidden state sebelumnya yang akan “dilupakan”.

Dengan struktur yang lebih sederhana, GRU menawarkan efisiensi komputasi yang lebih baik daripada LSTM, sambil tetap mampu mengatasi masalah vanishing gradient dengan cukup baik.

Berikut persamaan matematika yang menggambarkan cara kerja gerbang-gerbang dalam GRU:

• Update Gate:
  • z_t = σ(W_z[h_t-1, x_t] + b_z)
• Reset Gate:
  • r_t = σ(W_r[h_t-1, x_t] + b_r)
• Kandidat Hidden State:
  • h̃_t = tanh(W_h[r_t * h_t-1, x_t] + b_h)
• Hidden State Update:
  • h_t = (1 – z_t) * h_t-1 + z_t * h̃_t

Keterangan:

• σ: Fungsi sigmoid
• tanh: Fungsi tangen hiperbolik
• W: Matriks bobot
• b: Bias
• h_t-1: Hidden state dari langkah waktu sebelumnya
• x_t: Input pada langkah waktu saat ini
• z_t: Output update gate
• r_t: Output reset gate
• h̃_t: Kandidat hidden state baru
• h_t: Hidden state pada langkah waktu saat ini

Perbandingan LSTM dan GRU

LSTM dan GRU memiliki tujuan yang sama: mengatasi masalah vanishing gradient pada RNN. Namun, keduanya memiliki perbedaan dalam arsitektur dan cara kerjanya. LSTM memiliki struktur yang lebih kompleks dengan tiga gerbang (forget, input, dan output), sedangkan GRU lebih sederhana dengan dua gerbang (update dan reset).

Pertanyaan “apakah GRU lebih baik dari LSTM dalam mengatasi vanishing gradient” tidak memiliki jawaban yang pasti. Keduanya efektif, tetapi pilihan antara LSTM dan GRU seringkali bergantung pada kasus penggunaan spesifik. LSTM, dengan kontrol yang lebih detail atas aliran informasi, mungkin lebih baik untuk tugas-tugas yang membutuhkan pemodelan dependensi jangka panjang yang kompleks, seperti terjemahan mesin. GRU, dengan arsitektur yang lebih sederhana, mungkin lebih cocok untuk tugas-tugas dengan data yang lebih kecil atau ketika sumber daya komputasi terbatas, seperti pemodelan musik. Perbedaan LSTM dan GRU juga terletak pada kecepatan pelatihan; GRU cenderung lebih cepat dilatih karena lebih sedikit parameter.

Baca Juga: Panduan LSTM Time Series Python Membangun Model Prediksi

Kesimpulan

Masalah vanishing dan exploding gradient adalah tantangan utama dalam melatih RNN tradisional. Namun, dengan munculnya arsitektur seperti LSTM dan GRU, masalah ini dapat diatasi secara efektif. LSTM dan GRU menggunakan mekanisme gerbang (gate) untuk mengontrol aliran informasi, memungkinkan jaringan untuk “mengingat” informasi jangka panjang dan mencegah gradien menghilang atau meledak. LSTM dan GRU telah menjadi komponen penting dalam pengembangan model deep learning yang lebih baik dan lebih stabil, terutama dalam pemrosesan data sekuensial. Dengan memahami cara kerja dan perbedaan antara LSTM dan GRU, Anda dapat memilih arsitektur yang paling sesuai untuk kebutuhan pemodelan Anda.

Memanfaatkan teknologi AI dalam pengembangan solusi digital seperti aplikasi seluler (iOS & Android) dan website, bisa menjadi kunci untuk mengoptimalkan bisnis Anda. Kirim.ai hadir untuk membantu. Platform SaaS berbasis AI ini dilengkapi dengan berbagai alat canggih, termasuk teks, audio, gambar, video, dan AI Agent untuk optimasi SEO otomatis. Pelajari lebih lanjut bagaimana Kirim.ai dapat membantu Anda.