Ttiga ratus dua puluh empat. Itulah skor yang diberikan kepada Mary Louis oleh alat seleksi penyewa berbasis kecerdasan buatan. Perangkat lunak tersebut, SafeRent, tidak menjelaskan dalam laporan setebal 11 halamannya bagaimana skor dihitung atau bagaimana skor tersebut mempertimbangkan berbagai faktor. Tidak disebutkan apa arti sebenarnya dari hasil tersebut. Dia hanya menunjukkan nomor Louis dan memutuskan bahwa nomor itu terlalu rendah. Dalam kotak di samping hasil, laporan tersebut berbunyi: “Rekomendasi skor: PENURUNAN.”
Louis yang bekerja sebagai satpam sempat melamar apartemen di kawasan timur. Massachusetts pinggiran kota. Pada saat dia melakukan tur ke unit tersebut, perusahaan manajemen mengatakan dia seharusnya tidak mengalami masalah untuk menerima permintaannya. Meskipun ia memiliki nilai kredit yang rendah dan beberapa hutang kartu kredit, ia mendapat referensi yang luar biasa dari pemiliknya selama 17 tahun, yang mengatakan bahwa ia secara konsisten membayar sewa tepat waktu. Pemerintah juga akan menggunakan voucher untuk penyewa berpenghasilan rendah, yang menjamin bahwa perusahaan pengelola akan menerima setidaknya sebagian dari pembayaran sewa bulanan dari pemerintah. Putranya, yang juga disebutkan dalam obligasi tersebut, memiliki nilai kredit yang tinggi, yang menunjukkan bahwa ia dapat berfungsi sebagai cadangan terhadap keterlambatan pembayaran.
Namun pada Mei 2021, lebih dari dua bulan setelah dia melamar apartemen, perusahaan manajemen mengirim email kepada Louis untuk memberi tahu dia bahwa program komputer telah menolak lamarannya. Anda harus memiliki skor minimal 443 agar lamaran Anda dapat diterima. Tidak ada penjelasan lebih lanjut atau cara untuk mengajukan banding atas keputusan tersebut.
“Mary, dengan menyesal kami menginformasikan kepada Anda bahwa layanan pihak ketiga yang kami gunakan untuk menyaring semua calon penyewa telah menolak sewa Anda,” kata email tersebut. “Sayangnya, skor penyewaan SafeRent layanan ini lebih rendah dari yang diizinkan berdasarkan standar penyewaan kami.”
Seorang penyewa menggugat
Louis harus menyewa apartemen yang lebih mahal. Manajemen di sana tidak menilainya secara algoritmik. Namun dia menyadari bahwa pengalamannya dengan SafeRent tidaklah unik. Dia adalah bagian dari lebih dari 400 penyewa kulit hitam dan Hispanik di Massachusetts yang menggunakan voucher perumahan dan mengatakan permohonan sewa mereka ditolak karena skor SafeRent mereka.
Pada tahun 2022, mereka bersatu untuk menuntut perusahaan tersebut berdasarkan Pameran tersebut Akomodasi Bertindak, menuduh SafeRent mendiskriminasi mereka. Louis dan penggugat lainnya, Monica Douglas, menuduh bahwa algoritme perusahaan memberikan peringkat yang tidak proporsional kepada penyewa kulit hitam dan Hispanik yang menggunakan voucher perumahan lebih rendah daripada pelamar kulit putih. Mereka menuduh bahwa perangkat lunak tersebut secara tidak akurat mempertimbangkan informasi akun yang tidak relevan tentang apakah mereka akan menjadi penyewa yang baik (nilai kredit, utang non-perumahan) namun tidak memperhitungkan bahwa mereka akan menggunakan voucher perumahan. Penelitian telah menunjukkan bahwa pemohon persewaan kulit hitam dan Hispanik lebih cenderung memiliki nilai kredit dan penggunaan voucher perumahan yang lebih rendah dibandingkan pemohon kulit putih.
“Hanya membuang-buang waktu menunggu penolakan,” kata Louis. “Saya tahu kredit saya tidak bagus. Namun AI tidak mengetahui perilaku saya: ia mengetahui bahwa saya terlambat membayar kartu kredit, namun tidak mengetahui bahwa saya selalu membayar sewa.”
Sudah dua tahun sejak kelompok tersebut pertama kali menggugat SafeRent, begitu lama hingga Louis mengatakan bahwa dia melanjutkan hidupnya dan hampir melupakan gugatan tersebut, meskipun dia adalah salah satu dari dua penggugat yang disebutkan. Namun tindakan mereka masih dapat melindungi penyewa lain yang menggunakan program perumahan serupa, yang dikenal sebagai voucher Bagian 8 untuk tempat mereka dalam kode hukum federal AS, dari kehilangan tempat tinggal karena skor yang ditentukan secara algoritmik.
SafeRent telah mencapai kesepakatan dengan Louis dan Douglas. Selain melakukan pembayaran sebesar $2,3 juta, perusahaan setuju untuk berhenti menggunakan sistem penilaian atau memberikan rekomendasi apa pun terkait calon penyewa yang menggunakan voucher perumahan selama lima tahun. Meskipun SafeRent tidak secara hukum mengakui kesalahannya, jarang sekali perusahaan teknologi menyetujui perubahan pada produk intinya sebagai bagian dari penyelesaian; Hasil paling umum dari perjanjian tersebut adalah penyelesaian finansial.
“Meskipun SafeRent terus percaya bahwa SRS Scores mematuhi semua undang-undang yang berlaku, litigasi memakan waktu dan biaya,” kata juru bicara perusahaan Yazmín López dalam sebuah pernyataan. “Menjadi semakin jelas bahwa mempertahankan Skor SRS dalam kasus ini akan mengalihkan waktu dan sumber daya yang dapat digunakan SafeRent dengan lebih baik untuk memenuhi misi intinya dalam menyediakan alat yang dibutuhkan penyedia perumahan untuk menyaring pelamar.”
Pemilik AI baru Anda
Sistem penyaringan penyewa seperti SafeRent sering digunakan sebagai cara untuk “menghindari interaksi” langsung dengan pelamar dan mengalihkan kesalahan penolakan ke sistem komputer, kata Todd Kaplan, salah satu pengacara yang mewakili Louis dan kelompok penggugat yang menggugat perusahaan. .
Perusahaan pengelola properti memberi tahu Louis bahwa hanya perangkat lunak yang memutuskan untuk menolaknya, tetapi laporan SafeRent menunjukkan bahwa perusahaan pengelolalah yang menetapkan ambang batas seberapa tinggi skor yang harus diperoleh seseorang agar memenuhi syarat diterima.
Namun, bahkan bagi orang-orang yang terlibat dalam proses aplikasi, cara kerja algoritme ini masih belum jelas. Manajer properti yang menunjukkan apartemen itu kepada Louis mengatakan dia tidak mengerti mengapa Louis kesulitan menyewa apartemen itu.
“Mereka memasukkan banyak informasi dan SafeRent membuat sistem penilaiannya sendiri,” kata Kaplan. “Hal ini mempersulit orang untuk memprediksi bagaimana SafeRent akan memandangnya. Bukan hanya penyewa yang melamar, bahkan tuan tanah pun tidak mengetahui seluk beluk skor SafeRent.”
Sebagai bagian dari perjanjian Louis dengan SafeRent, yang disetujui pada 20 November, perusahaan tidak dapat lagi menggunakan sistem penilaian atau merekomendasikan apakah akan menerima atau menolak penyewa jika mereka menggunakan voucher perumahan. Jika perusahaan memperkenalkan sistem penilaian baru, sistem tersebut harus divalidasi secara independen oleh organisasi perumahan adil pihak ketiga.
“Menghilangkan persetujuan dan penetapan persetujuan benar-benar membuat penyewa berkata, ‘Saya penyewa yang hebat,’” kata Kaplan. “Hal ini menjadikannya penentuan yang lebih individual.”
setelah promosi buletin
AI meluas ke bagian mendasar kehidupan
Hampir seluruh dari 92 juta orang yang dianggap berpenghasilan rendah di Amerika Serikat telah terpapar pada pengambilan keputusan AI dalam aspek-aspek penting kehidupan seperti pekerjaan, perumahan, obat-obatan, pendidikan atau bantuan pemerintah, menurut sebuah penelitian. Laporan baru tentang dampak buruk AI. oleh pengacara Kevin de Liban, yang mewakili masyarakat berpenghasilan rendah sebagai bagian dari Lembaga Bantuan Hukum. Pendiri organisasi keadilan AI baru menelepon Keadilan TechTonicDe Liban pertama kali mulai meneliti sistem ini pada tahun 2016, ketika ia didekati oleh pasien penyandang disabilitas di Arkansas yang tiba-tiba berhenti menerima perawatan di rumah yang didanai negara selama berjam-jam karena pengambilan keputusan otomatis yang mengurangi keterlibatan manusia. Dalam satu kasus, dispensasi Medicaid negara bagian didasarkan pada program yang menetapkan bahwa pasien tidak memiliki masalah dengan kakinya karena telah diamputasi.
“Hal ini menyadarkan saya bahwa kita tidak boleh menyerah pada (sistem AI) sebagai cara yang sangat rasional dalam mengambil keputusan,” kata De Liban. Dia mengatakan sistem ini didasarkan pada berbagai asumsi berdasarkan “ilmu statistik sampah” yang menghasilkan apa yang disebutnya “absurditas.”
Pada tahun 2018, setelah De Liban menggugat Departemen Layanan Kemanusiaan Arkansas atas nama pasien-pasien ini atas proses pengambilan keputusan di departemen tersebut, badan legislatif negara bagian memutuskan bahwa badan tersebut dapat tidak lagi mengotomatisasi menentukan tugas perawatan pasien di rumah. Keputusan De Liban merupakan kemenangan awal dalam perjuangan melawan dampak buruk yang disebabkan oleh pengambilan keputusan algoritmik, meskipun penggunaannya di seluruh negeri masih berlanjut di bidang lain seperti ketenagakerjaan.
Hanya sedikit peraturan yang menghentikan penyebaran AI meskipun ada kekurangannya
Undang-undang yang membatasi penggunaan AI, terutama dalam pengambilan keputusan penting yang dapat mempengaruhi kualitas hidup seseorang, masih sedikit, begitu pula dengan peluang pertanggungjawaban bagi orang-orang yang dirugikan oleh keputusan otomatis.
Sebuah survei yang dilakukan oleh Laporan Konsumenditerbitkan pada bulan Juli, menemukan bahwa sebagian besar orang Amerika “merasa tidak nyaman dengan penggunaan kecerdasan buatan dan teknologi algoritmik untuk pengambilan keputusan pada momen-momen penting dalam hidup terkait dengan perumahan, pekerjaan, dan layanan kesehatan.” Responden mengatakan mereka khawatir karena tidak mengetahui informasi apa yang digunakan sistem AI untuk mengevaluasi mereka.
Berbeda dengan kasus Louis, orang sering kali tidak diberi tahu ketika suatu algoritma digunakan untuk mengambil keputusan mengenai hidup mereka, sehingga sulit untuk mengajukan banding atau menentang keputusan tersebut.
“Undang-undang yang kami miliki saat ini dapat membantu, namun undang-undang tersebut terbatas pada apa yang dapat mereka tawarkan kepada Anda,” kata De Liban. “Kekuatan pasar tidak berfungsi jika menyangkut masyarakat miskin. “Pada dasarnya, seluruh insentif adalah untuk menghasilkan lebih banyak teknologi buruk, dan tidak ada insentif bagi perusahaan untuk menghasilkan pilihan yang baik bagi masyarakat berpenghasilan rendah.”
Regulator federal di bawah kepemimpinan Joe Biden telah melakukan beberapa upaya untuk mengejar ketertinggalan dari industri kecerdasan buatan yang berkembang pesat. Presiden mengeluarkan perintah eksekutif yang mencakup kerangka kerja yang dimaksudkan, antara lain, untuk mengatasi keamanan nasional dan risiko terkait diskriminasi dalam sistem kecerdasan buatan. Namun, Donald Trump telah berjanji untuk membatalkan pekerjaan tersebut dan mengurangi peraturan, termasuk perintah eksekutif Biden mengenai AI.
Hal ini mungkin membuat tuntutan hukum seperti yang diajukan Louis menjadi cara yang lebih penting untuk akuntabilitas AI dibandingkan sebelumnya. Sudah permintaannya mendapat minat dari Departemen Kehakiman AS dan Departemen Perumahan dan Pembangunan Perkotaan, yang mengelola kebijakan perumahan yang diskriminatif yang berdampak pada kelompok yang dilindungi.
“Sejauh ini merupakan kasus penting, hal ini berpotensi memberikan peta jalan tentang cara menangani kasus-kasus ini dan mendorong tantangan-tantangan lainnya,” kata Kaplan.
Namun, meminta pertanggungjawaban perusahaan-perusahaan ini tanpa adanya peraturan akan sulit, kata De Liban. Tuntutan hukum membutuhkan waktu dan uang, dan perusahaan dapat menemukan cara untuk menciptakan solusi atau produk serupa untuk orang-orang yang tidak tercakup dalam tuntutan hukum class action. “Anda tidak bisa membawa kasus seperti ini setiap hari,” katanya.
