Nama: YuE
Website/Sumber Utama: https://github.com/multimodal-art-projection/YuE
Fungsi Utama: Model fondasi terbuka untuk menghasilkan lagu lengkap dari lirik (lyrics2song).
Tipe: Proyek Open Source AI
Cocok Untuk: Musisi, pencipta konten, pengembang AI, peneliti musik
Model Harga/Lisensi: Open Source (Apache License 2.0) Lihat Detail Lisensi
Highlight Utama: Kemampuan menghasilkan lagu lengkap dengan vokal yang alami dalam berbagai bahasa dan genre
Apa Itu YuE?
YuE (乐) adalah serangkaian model fondasi terbuka yang dirancang untuk generasi musik, khususnya untuk mengubah lirik menjadi lagu lengkap. Nama "YuE" dalam bahasa Mandarin berarti "musik" dan "kebahagiaan". Model ini mampu menghasilkan lagu lengkap berdurasi beberapa menit yang mencakup trek vokal dan iringan musik yang menarik. YuE dapat memodelkan berbagai genre, bahasa, dan teknik vokal. Model ini dikembangkan bersama oleh HKUST dan M-A-P (Multimodal Art Projection).
Fitur Utama / Andalan
(Disimpulkan dari eksplorasi halaman fitur/dokumentasi)
Generasi Lagu Lengkap
- Deskripsi: Menghasilkan lagu lengkap multi-bagian dengan vokal dan instrumen.
- Manfaat/Contoh: Memungkinkan pembuatan lagu lengkap dengan beberapa bagian seperti intro, verse, chorus, dan outro.
- Info Lebih Lanjut: Pelajari Lebih Lanjut
Mode In-Context Learning (ICL)
- Deskripsi: Kemampuan untuk menghasilkan musik berdasarkan lagu referensi.
- Manfaat/Contoh: Memungkinkan transfer gaya musik dan kloning suara melalui referensi audio.
- Info Lebih Lanjut: Pelajari Lebih Lanjut
Dukungan Multi-Bahasa
- Deskripsi: Mendukung generasi lagu dalam berbagai bahasa.
- Manfaat/Contoh: Dapat menghasilkan lagu dalam bahasa Inggris, Mandarin, Kanton, Jepang, dan Korea.
- Info Lebih Lanjut: Pelajari Lebih Lanjut
Kontrol Genre dan Tag
- Deskripsi: Sistem penandaan genre yang fleksibel untuk mengontrol hasil musik.
- Manfaat/Contoh: Memungkinkan penentuan genre, instrumen, suasana, gender, dan timbre untuk menghasilkan lagu yang sesuai preferensi.
- Info Lebih Lanjut: Pelajari Lebih Lanjut
Antarmuka Pengguna YuE-UI
- Deskripsi: Antarmuka berbasis Gradio untuk interaksi yang lebih mudah dengan model.
- Manfaat/Contoh: Mendukung generasi batch, pemilihan output, dan kontinuasi lagu.
- Info Lebih Lanjut: Pelajari Lebih Lanjut
Kelebihan (Pros)
(Disimpulkan dari berbagai halaman)
- Model terbuka (open source) dengan lisensi Apache 2.0 yang mendorong penggunaan kreatif, termasuk untuk proyek komersial
- Kemampuan menghasilkan vokal yang meyakinkan dalam berbagai bahasa dan gaya
- Berbagai antarmuka komunitas tersedia untuk memudahkan penggunaan (YuE-UI, YuE-exllamav2-UI, YuEGP)
- Dukungan untuk kloning gaya dan suara melalui mode dual-track ICL
- Komunitas pengembang yang aktif dengan pembaruan dan perbaikan reguler
Kekurangan (Cons) / Batasan
(Disimpulkan dari eksplorasi)
- Membutuhkan sumber daya GPU yang signifikan, terutama untuk generasi lagu lengkap (direkomendasikan GPU dengan 80GB memori)
- Waktu pemrosesan yang relatif lama (untuk 30 detik audio membutuhkan 150-360 detik tergantung GPU)
- Antarmuka command-line yang mungkin tidak ramah pengguna bagi pemula tanpa antarmuka komunitas
- Batasan dalam mengontrol parameter musik yang lebih terperinci seperti BPM (masih dalam pengembangan)
Harga / Lisensi
(Dicari secara aktif dari tautan License)
Model: Open Source
Lisensi: Apache License 2.0 (Lihat Detail Lisensi)
Ketentuan Penggunaan:
- Pengguna bebas menggunakan output model untuk karya mereka sendiri, termasuk proyek komersial
- Pengembang mendorong atribusi ke model YuE, terutama untuk penggunaan publik dan komersial
- Pengguna bertanggung jawab penuh atas konten yang dihasilkan dan konsekuensi penggunaannya
- Direkomendasikan untuk memberikan label seperti "AI-generated", "YuE-generated", "AI-assisted" pada karya
Contoh Penerapan & Observasi
(Berdasarkan dokumentasi, blog, use cases, komunitas)
- Pembuatan lagu orisinal dengan lirik yang ditulis pengguna
- Transfer gaya musik dari lagu referensi ke lirik baru
- Kloning suara berdasarkan sample vokal yang diberikan
- Pembuatan musik instrumental tanpa vokal
- Kontinuasi musik dari potongan yang sudah ada melalui YuE-extend
- Paper teknis tersedia dengan detail implementasi di sini
- Komunitas aktif di Discord dan GitHub untuk berbagi pengalaman dan bantuan
Tanggapan (0 )