Setelah hampir satu dekade mengawasi superinteligensi sebagai ilmuwan utama di startup kecerdasan buatan OpenAI, Ilya Sutskever meninggalkan perusahaannya pada bulan Mei. Satu bulan kemudian, ia mendirikan perusahaan AI baru — Safe Superintelligence Inc.
“Kami telah memulai laboratorium SSI langsung pertama di dunia, dengan satu tujuan dan satu produk: superinteligensi yang aman,” tulis Sutskever pada hari Rabu di X, yang sebelumnya dikenal sebagai Twitter. “Kami akan mencapainya melalui terobosan revolusioner yang dihasilkan oleh tim kecil yang hebat.”
Sutskever bergabung dalam usahanya yang baru dengan Daniel Gross, yang sebelumnya mengarahkan upaya AI di Apple, dan Daniel Levy, peneliti lain yang juga mantan karyawan OpenAI. Startup ini memiliki kantor di Tel Aviv dan Palo Alto, California.
Bersama Jan Leike — yang juga meninggalkan OpenAI pada bulan Mei dan sekarang bekerja di Anthropic, sebuah perusahaan AI yang didirikan oleh mantan karyawan OpenAI — Sutskever memimpin tim Superalignment di OpenAI. Tim ini fokus pada pengendalian sistem AI dan memastikan bahwa AI canggih tidak menimbulkan bahaya bagi umat manusia. Tim tersebut dibubarkan tidak lama setelah kedua pemimpin tersebut meninggalkan perusahaan.
Safe Superintelligence — seperti yang tertera pada namanya — akan berfokus pada upaya keselamatan yang serupa dengan apa yang dilakukan oleh tim lama Sutskever.
“SSI adalah misi kami, nama kami, dan seluruh peta jalan produk kami, karena itu adalah fokus utama kami,” tulis para pendiri perusahaan dalam sebuah surat publik. “Fokus tunggal kami berarti tidak ada gangguan oleh pengelolaan berlebihan atau siklus produk, dan model bisnis kami berarti keselamatan, keamanan, dan kemajuan terisolasi dari tekanan komersial jangka pendek.”
Perusahaan ini juga menjanjikan bahwa “fokus tunggal” mereka akan mencegah gangguan dari manajemen atau siklus produk yang menghalangi pekerjaan mereka. Beberapa anggota OpenAI, termasuk anggota pendiri Andrej Karpathy, telah meninggalkan perusahaan dalam beberapa bulan terakhir. Beberapa mantan staf bulan lalu menandatangani surat terbuka yang memperingatkan tentang “risiko serius” di OpenAI terkait masalah pengawasan dan transparansi.
Sutskever adalah salah satu anggota dewan OpenAI yang berusaha untuk menggulingkan sesama pendiri dan CEO Sam Altman pada bulan November, yang dengan cepat diangkat kembali. Para direktur memiliki kritik terhadap penanganan keselamatan AI oleh Altman dan tuduhan perilaku kasar. Mantan anggota dewan Helen Toner mengatakan bahwa perilaku manipulatif dan kebohongan Altman telah menciptakan budaya beracun yang dilabeli oleh para eksekutif sebagai “penyalahgunaan beracun”.
