Para peneliti keamanan siber menemukan dua model pembelajaran mesin (ML) berbahaya di platform Hugging Face yang menggunakan teknik unik untuk menghindari deteksi, yakni dengan memanfaatkan file pickle yang "rusak."

Dalam laporan yang dibagikan dengan The Hacker News, Karlo Zanki dari ReversingLabs menjelaskan bahwa file pickle yang diekstrak dari arsip PyTorch mengandung kode Python berbahaya di bagian awal file. "Dalam kedua kasus, muatan berbahaya tersebut berupa reverse shell yang dapat beroperasi di berbagai platform dan terhubung ke alamat IP yang telah ditentukan," ungkap Zanki.

Teknik ini kemudian diberi nama nullifAI, karena tampaknya dirancang khusus untuk mengelabui mekanisme keamanan yang biasanya mendeteksi model ML berbahaya. Dua repositori Hugging Face yang terkait dengan model ini adalah:

Berdasarkan analisis, model-model ini lebih cenderung sebagai bukti konsep (Proof-of-Concept/PoC) dibandingkan dengan serangan rantai pasokan yang aktif.

Format serialisasi pickle, yang sering digunakan dalam distribusi model ML, telah lama diketahui memiliki celah keamanan. Format ini memungkinkan eksekusi kode arbitrer segera setelah file dimuat dan didekompresi.

Dua model yang teridentifikasi oleh para peneliti menggunakan format PyTorch, yang sebenarnya adalah file pickle yang dikompresi. Biasanya, PyTorch menggunakan format ZIP untuk kompresi, tetapi model yang ditemukan ini menggunakan format 7z, sehingga lebih sulit terdeteksi oleh sistem keamanan standar.

Karena format kompresi yang tidak biasa ini, model tersebut berhasil menghindari pendeteksian oleh Picklescan, alat yang digunakan oleh Hugging Face untuk menganalisis file pickle yang mencurigakan.

Salah satu aspek menarik dari metode ini adalah bagaimana file pickle yang digunakan "rusak" setelah muatan berbahaya dieksekusi. Akibatnya, proses dekompilasi objek dalam file tersebut gagal.

Meskipun demikian, analisis lebih lanjut menunjukkan bahwa file pickle yang rusak masih bisa sebagian didekompresi karena adanya perbedaan dalam cara kerja Picklescan dan mekanisme deserialisasi standar. Hal ini memungkinkan kode berbahaya tetap dijalankan meskipun alat keamanan menampilkan pesan kesalahan.

Menurut Zanki, ini terjadi karena proses deserialisasi pada file pickle dilakukan secara berurutan. "Opcode pickle dieksekusi sesuai urutan kemunculannya, hingga semua instruksi selesai atau hingga ditemukan instruksi yang rusak," jelasnya.

Dalam kasus model yang ditemukan, kode berbahaya ditempatkan di awal aliran Pickle, sehingga eksekusi tetap berjalan tanpa dianggap berbahaya oleh alat keamanan yang ada di Hugging Face.

Sejak temuan ini dipublikasikan, komunitas keamanan telah memperbarui Picklescan untuk menutup celah keamanan tersebut. Namun, kejadian ini kembali menegaskan bahwa teknik serangan berbasis ML semakin berkembang dan membutuhkan langkah-langkah pencegahan yang lebih kuat.

Sumber:
Malicious ML Models on Hugging Face Leverage Broken Pickle Format to Evade Detection