LLM tidak bisa mengungguli teknik dari tahun 70an, tapi masih layak digunakan — inilah alasannya

Tahun ini, tim kami di Data MIT ke laboratorium AI memutuskan untuk mencoba menggunakan model bahasa besar (LLM) untuk melakukan suatu tugas biasanya diserahkan kepada alat pembelajaran mesin yang sangat berbeda — mendeteksi anomali dalam data deret waktu. Ini telah menjadi tugas pembelajaran mesin (ML) yang umum selama beberapa dekade, sering digunakan di industri untuk mengantisipasi dan menemukan masalah pada alat berat. Kami mengembangkan kerangka kerja untuk menggunakan LLM dalam konteks ini, kemudian membandingkan kinerjanya dengan 10 metode lainnya, mulai dari alat pembelajaran mendalam yang canggih hingga metode sederhana dari tahun 1970an yang disebut rata-rata pergerakan terintegrasi autoregresif (ARIMA). Pada akhirnya, LLM kalah dari model lain dalam banyak kasus — bahkan ARIMA model lama, yang mengunggulinya pada tujuh dari total 11 kumpulan data.

Bagi mereka yang memimpikan LLM sebagai teknologi pemecahan masalah yang universal, ini mungkin terdengar seperti sebuah kekalahan. Dan bagi banyak komunitas AI – yang menyadari keterbatasan alat-alat ini – hal ini mungkin tidak mengejutkan. Namun ada dua elemen dari temuan kami yang benar-benar mengejutkan kami. Pertama, kemampuan LLM untuk mengungguli beberapa model, termasuk beberapa model berbasis transformator metode pembelajaran mendalammembuat kami lengah. Kejutan kedua dan mungkin yang lebih penting adalah tidak seperti model lainnya, LLM melakukan semua ini tanpa penyesuaian. Kami langsung menggunakan GPT-3.5 dan Mistral LLM, dan tidak menyetelnya sama sekali.

LLM memecahkan berbagai hambatan mendasar

Untuk pendekatan non-LLM, kami akan melatih model pembelajaran mendalam, atau model tahun 1970-an yang disebutkan di atas, menggunakan sinyal yang anomalinya ingin kami deteksi. Pada dasarnya, kami akan menggunakan data historis sebagai sinyal untuk melatih model sehingga model memahami seperti apa tampilan “normal”. Kemudian kami akan menerapkan model tersebut, memungkinkannya memproses nilai baru untuk sinyal secara real time, mendeteksi penyimpangan apa pun dari normal, dan menandainya sebagai anomali.

LLM tidak memerlukan contoh sebelumnya

Namun, saat kami menggunakan LLM, kami tidak melakukan proses dua langkah ini — LLM tidak diberi kesempatan untuk mempelajari sinyal “normal” sebelum mereka harus mendeteksi anomali secara real time. Kami menyebutnya pembelajaran zero shot. Dilihat melalui lensa ini, ini merupakan pencapaian yang luar biasa. Fakta bahwa LLM dapat bekerja pembelajaran zero-shot — terjun ke masalah ini tanpa contoh atau penyesuaian sebelumnya — berarti kita sekarang memiliki cara untuk mendeteksi anomali tanpa melatih model tertentu dari awal untuk setiap sinyal atau kondisi tertentu. Ini merupakan peningkatan efisiensi yang sangat besar, karena jenis alat berat tertentu, seperti satelit, mungkin memiliki ribuan sinyal, sementara alat berat lainnya mungkin memerlukan pelatihan untuk kondisi tertentu. Dengan LLM, langkah-langkah yang memakan waktu ini dapat dilewati sepenuhnya.

LLM dapat langsung diintegrasikan dalam penerapan

Bagian kedua yang mungkin lebih menantang dari metode deteksi anomali saat ini adalah proses dua langkah yang digunakan untuk melatih dan menerapkan model ML. Meskipun penerapannya terdengar cukup mudah, dalam praktiknya hal ini sangat menantang. Menerapkan model terlatih mengharuskan kami menerjemahkan semua kode agar dapat berjalan di lingkungan produksi. Yang lebih penting lagi, kami harus meyakinkan pengguna akhir, dalam hal ini operator, untuk mengizinkan kami menerapkan model tersebut. Operator sendiri tidak selalu memiliki pengalaman dengan pembelajaran mesin, sehingga mereka sering menganggap ini sebagai item tambahan yang membingungkan yang ditambahkan ke alur kerja mereka yang sudah kelebihan beban. Mereka mungkin mengajukan pertanyaan, seperti “seberapa sering Anda akan melakukan pelatihan ulang”, “bagaimana kami memasukkan data ke dalam model”, “bagaimana kami menggunakannya untuk berbagai sinyal dan mematikannya untuk sinyal lain yang bukan fokus kami saat ini , ”dan seterusnya.

Penyerahan ini biasanya menyebabkan gesekan, dan pada akhirnya mengakibatkan tidak dapat menerapkan model yang terlatih. Dengan LLM, karena tidak diperlukan pelatihan atau pembaruan, operator memegang kendali. Mereka dapat melakukan kueri dengan API, menambahkan sinyal yang ingin mereka deteksi anomalinya, menghapus sinyal yang tidak memerlukan deteksi anomali, dan mengaktifkan atau menonaktifkan layanan tanpa harus bergantung pada tim lain. Kemampuan operator untuk mengontrol deteksi anomali secara langsung akan mengubah dinamika sulit dalam penerapan dan dapat membantu membuat alat ini lebih mudah digunakan.

Saat meningkatkan kinerja LLM, kita tidak boleh menghilangkan keunggulan mendasarnya

Meskipun hal ini mendorong kita untuk memikirkan kembali deteksi anomali secara mendasar, teknik berbasis LLM belum berfungsi sebaik teknologi canggih yang ada. model pembelajaran mendalamatau (untuk 7 kumpulan data) model ARIMA dari tahun 1970an. Ini mungkin karena tim saya di MIT tidak menyempurnakan atau memodifikasi LLM dengan cara apa pun, atau membuat LLM dasar yang khusus dimaksudkan untuk digunakan dengan deret waktu.

Meskipun semua tindakan tersebut mungkin akan berdampak buruk, kita perlu berhati-hati dalam melakukan penyesuaian agar tidak mengkompromikan dua manfaat utama yang dapat diperoleh LLM dalam bidang ini. (Lagipula, meskipun masalah di atas nyata, masalah tersebut dapat dipecahkan.) Namun demikian, berikut adalah hal yang tidak dapat kami lakukan untuk meningkatkan akurasi deteksi anomali LLM:

• Sempurnakan LLM yang ada untuk sinyal tertentu, karena hal ini akan mengalahkan sifat “zero shot” mereka.
• Bangun LLM dasar untuk bekerja dengan deret waktu dan tambahkan lapisan penyesuaian untuk setiap jenis mesin baru.

Kedua langkah ini akan menggagalkan tujuan penggunaan LLM dan akan membawa kita kembali ke awal: Harus melatih model untuk setiap sinyal dan menghadapi kesulitan dalam penerapan.

Agar LLM dapat bersaing dengan pendekatan yang ada — deteksi anomali atau tugas ML lainnya — LLM harus mengaktifkan cara baru dalam melakukan tugas atau membuka serangkaian kemungkinan yang benar-benar baru. Untuk membuktikan bahwa LLM dengan lapisan tambahan apa pun masih merupakan suatu perbaikan, komunitas AI harus mengembangkan metode, prosedur, dan praktik untuk memastikan bahwa perbaikan di beberapa area tidak menghilangkan keunggulan LLM lainnya.

Untuk ML klasik, dibutuhkan waktu hampir 2 dekade untuk membangun praktik pelatihan, pengujian, dan validasi yang kita andalkan saat ini. Bahkan dengan proses ini, kami masih tidak selalu dapat memastikan bahwa performa model di lingkungan pengujian akan sesuai dengan performa sebenarnya saat diterapkan. Kami menemukan masalah kebocoran label, bias data dalam pelatihan, dan terlalu banyak masalah lain yang tidak dapat disebutkan di sini.

Jika kita memaksakan jalan baru yang menjanjikan ini terlalu jauh tanpa batasan khusus tersebut, kita mungkin akan kembali menemukan cara baru – mungkin bahkan lebih rumit lagi.

Kalyan Veeramachaneni adalah direktur MIT Data di AI Lab. Dia juga salah satu pendiri DataCebo.

Sarah Alnegheimish adalah peneliti di MIT Data to AI Lab.