ChatGPT, Gemini, Copilot, dan alat AI lainnya menyiapkan kalimat dan paragraf yang mengesankan hanya dari satu baris teks sederhana. Untuk menghasilkan kata-kata tersebut, model bahasa besar yang mendasarinya dilatih pada rim teks yang ditulis oleh manusia dan diambil dari internet. Namun sekarang, ketika alat AI generatif membanjiri internet dengan konten sintetis dalam jumlah besar, konten tersebut digunakan untuk melatih AI tersebut kepada generasi mendatang. Jika hal ini terus berlanjut, menurut para peneliti, hal ini bisa menjadi bencana.
Melatih model bahasa besar dengan data mereka sendiri dapat menyebabkan keruntuhan model, menurut ilmuwan komputer Universitas Oxford Ilia Shumailov dan rekannya baru-baru ini di Alam.
Keruntuhan model terdengar mengejutkan, namun bukan berarti AI generatif akan berhenti berfungsi begitu saja. Sebaliknya, respons alat akan semakin jauh dari data pelatihan aslinya. Meskipun terkadang bias, data asli tersebut merupakan representasi realitas yang baik. Namun saat alat tersebut dilatih berdasarkan data yang dihasilkannya sendiri, kesalahan kecil yang dibuatnya semakin bertambah, kontennya pada akhirnya kehilangan nuansa perspektif yang beragam dan berubah menjadi omong kosong.
Hal itulah yang ditemukan Shumailov dan rekannya. Tim tersebut mengambil model bahasa terlatih, yang disebut OPT-125m, dan memberinya banyak artikel Wikipedia untuk menyempurnakan tanggapannya. Tim kemudian memberikan alat ini sebuah teks dan memintanya untuk memprediksi apa yang akan terjadi selanjutnya. Responsnya dimasukkan kembali ke dalam model untuk penyesuaian lebih lanjut. Ketika setiap generasi berikutnya dilatih dengan data yang dihasilkan oleh generasi sebelumnya, mereka menemukan bahwa pada generasi kesembilan, model tersebut mengeluarkan omong kosong. Apa yang awalnya merupakan petunjuk tentang arsitektur abad ke-14 berakhir sebagai daftar jenis kelinci. Dalam rangkaian eksperimen lainnya, ketika tim mempertahankan beberapa data asli, degradasi model hanya terjadi sedikit saja.
Studi ini menunjukkan bahwa melatih AI untuk merespons hal tersebut akan menimbulkan konsekuensi serius, termasuk memperburuk bias dan mengubah teks menjadi tidak masuk akal, jika dibiarkan. Perusahaan-perusahaan AI besar mempunyai cara untuk mencegah keruntuhan seperti ini, namun seiring dengan semakin banyaknya orang yang mulai menggunakan model bahasa untuk melatih chatbot mereka dan AI lainnya, mungkin terdapat konsekuensinya.
Bagaimana model AI generatif bisa runtuh?
Model bahasa dan AI generatif telah ada selama beberapa dekade, sebagian besar di laboratorium ilmu komputer. Namun dominasi chatbot lebih baru, dimulai pada November 2022 ketika ChatGPT dirilis untuk penggunaan publik. Kombinasi perangkat keras yang lebih baik yang dapat memproses informasi secara paralel ditambah munculnya transformator, sejenis jaringan saraf, dan ketersediaan triliunan titik data buatan manusia berkualitas tinggi telah menjadi kunci dominasi ini.
“Apa yang ditunjukkan oleh keruntuhan model adalah mungkin kualitas data (baik yang masuk maupun yang keluar) akan menurun,” kata Shumailov.
Apa yang awalnya merupakan petunjuk tentang arsitektur abad ke-14 berakhir sebagai daftar jenis kelinci.
Untuk memahami alasannya, bayangkan menjelaskan kepada program komputer apa itu kucing, kata Shumailov. “Kami tidak benar-benar tahu bagaimana (melakukannya) … jadi kami memberikan (LLM) sejumlah contoh (deskripsi teks) tentang apa itu kucing dan kemudian kami meminta model tersebut untuk belajar mendefinisikan makhluk ini.” LLM melakukannya tanpa pengawasan atau instruksi eksplisit, dengan melakukan ekstrapolasi dari serangkaian observasi yang diberikan.
Namun ekstrapolasi semacam itu disertai dengan kesalahan yang tidak kentara. Shumailov menyamakannya dengan permainan telepon, di mana sebuah kalimat dibisikkan dari satu orang ke orang lain hingga mencapai orang terakhir, yang kemudian mengucapkannya dengan lantang. Frasa aslinya sering kali berakhir dengan kerusakan parah karena kesalahan yang terjadi di sepanjang proses. Hal ini membuat LLM berhalusinasi, menghasilkan konten yang masuk akal namun kurang tepat (SN: 1/2/24).
Jika konten yang salah tersebut digunakan untuk melatih versi model yang lebih baru atau model lain secara keseluruhan, konten tersebut akan mulai memengaruhi proses pembelajaran model tersebut, dan pada akhirnya “menghancurkan” model tersebut dalam beberapa cara.
Seperti apa keruntuhan model AI di kehidupan nyata?
Keruntuhan model pada dasarnya mengacu pada pergeseran dari teks asli yang digunakan untuk melatih model, kata Leqi Liu, peneliti AI di Universitas Texas di Austin. Salah satu alasannya adalah hilangnya ekor distribusi data — teks yang mewakili peristiwa dengan probabilitas rendah. Misalnya, dengan menggunakan contoh kucing, model tersebut mungkin menjadi sangat baik dalam mendeskripsikan kucing berbulu tetapi gagal menyimpan informasi tentang kucing yang tidak berbulu.
Contoh lain, kata Liu, adalah bahwa orang-orang dari kelompok minoritas mungkin mengungkapkan sesuatu secara berbeda, dan teks semacam itu akan semakin jarang muncul, sehingga semakin mengesampingkan data yang berkaitan dengan kelompok marginal. Itulah perubahan yang mungkin kita lihat sebagai pengguna akhir. Efek hilirnya adalah konten yang dihasilkan AI tidak hanya memperkuat bias, seperti yang ditunjukkan oleh penelitian, tetapi juga mulai terdengar sama. “Tentu saja, kita mungkin menginginkan ekspresi diri yang beragam, namun jika kita menggunakan asisten menulis yang sama, hal itu dapat mengurangi keberagaman tersebut.”
Untuk mencegah AI meningkatkan bias atau memecah belah dan melontarkan omong kosong, penting untuk melacak semua data dan memastikan bahwa pengetahuan sebelumnya (termasuk teks yang dihasilkan manusia) serta pengetahuan baru (teks yang dihasilkan AI) digunakan untuk pelatihan, kata Liu. Pada dasarnya, idenya adalah untuk tidak melatih model baru hanya dengan data yang dihasilkan AI. “Pendekatan lainnya adalah kami secara eksplisit memastikan untuk menangkap dampak distribusinya.” Kucing tak berbulu, misalnya.
Mengingat perusahaan yang memasarkan alat AI secara ketat memeriksa penyimpangan data, masalah apa pun akan diketahui sejak dini dan dapat diperbaiki. Oleh karena itu, kemungkinan keruntuhan model tidak akan berdampak pada pengguna hilir, kata Shumailov. Namun individu yang mencoba membangun model dalam skala yang lebih kecil pasti akan terkena dampaknya dan perlu mewaspadai risikonya.
Sumber
