Para pemimpin teknologi meminta Dewan Layanan Polisi Toronto untuk memperkuat kebijakan AI yang diusulkan

Penandatangan surat tersebut termasuk para ahli dari Shopify, ApplyBoard, PointClickCare, CIBC, dan TD.

Bulan lalu, sekelompok pemimpin teknologi Kanada menulis surat terbuka kepada Dewan Layanan Polisi Toronto (TPSB) yang menyerukan serangkaian perubahan untuk dibuat pada rancangan kebijakan kecerdasan buatan (AI), yang dirancang untuk mengatur bagaimana kekuatan menggunakan alat tersebut.

Surat 15 Desember itu datang sebagai tanggapan atas seruan TPSB untuk memberikan tanggapan publik atas rancangan kebijakan tersebut. Penandatangan surat tersebut termasuk 21 ilmu data, pembelajaran mesin (ML), dan pakar AI dan pengusaha dari perusahaan seperti Shopify, ApplyBoard, PointClickCare, CIBC, dan TD Bank, yang semuanya adalah anggota grup diskusi etika ML yang dibuat oleh startup Toronto Aggregate Intelek.

Penggunaan teknologi AI dalam kepolisian adalah topik yang kontroversial.

Rekomendasi surat itu termasuk merevisi kebijakan AI yang diusulkan untuk memperhitungkan data yang dikompromikan dengan lebih baik, memperkuat proses persetujuan dan peninjauan teknologi baru, dan menyesuaikan kategorisasi risiko alat tertentu.

21 penandatangan surat itu meliputi: Willie Costello, ilmuwan data di Shopify; Amir Feizpour, salah satu pendiri dan CEO Agregat Intelek; Kiran Kadekoppa, CTO dan salah satu pendiri di HUEX Labs; Suhas Pai, CTO Batuan Dasar AI; Sai Numar Nerella, insinyur pembelajaran mesin di Talem Health Analytics; Sina Dibaji, ilmuwan data di ApplyBoard; Soomin Aga Lee, manajer data dan tata kelola AI di PointClickCare; dan Frankline Ononiwu, ilmuwan data di TD Bank; diantara yang lain.

Feizpour memberi tahu BetaKit bahwa dia memutuskan untuk ikut menulis surat itu karena masalah yang dimainkan sangat penting bagi tim Agregat Intelek, yang anggotanya berasal dari latar belakang historis yang terpinggirkan dan dia mencatat telah mengalami bias mulai dari agresi mikro hingga “lingkungan yang tidak menarik bagi orang-orang yang terlihat ‘berbeda’, sampai ke agresi rasial yang terang-terangan.”

“Sebagai orang teknologi, saya mengerti dari dasar-dasar bagaimana AI dan data bekerja bahwa mesin hanya akan mereplikasi bias sosial kita dalam skenario kasus terbaik dan memperkuatnya dalam banyak kasus,” kata Feizpour. “Jadi, penting bagi saya secara pribadi untuk memastikan AI dimanfaatkan dengan pengetahuan kontekstual yang cukup dan dengan cara yang paling bertanggung jawab.”

Departemen kepolisian di seluruh dunia berinvestasi dalam alat AI seperti prediksi kejahatan dan perangkat lunak pengenalan wajah, tetapi penggunaan AI dalam kepolisian telah menjadi topik kontroversial karena terbukti melanggar undang-undang privasi, melanggengkan bias yang ada, dan menyebabkan penangkapan yang salah. .

TERKAIT: Komisaris privasi Kanada mengatakan penggunaan RCMP atas teknologi Clearview AI melanggar hukum privasi

TPSB mengatakan sedang mengembangkan kebijakan AI “untuk menciptakan transparansi tentang [TPS’] penggunaan teknologi AI, dan untuk memastikan bahwa teknologi AI digunakan dengan cara yang adil, merata, dan tidak melanggar privasi atau hak-hak anggota masyarakat lainnya.”

“Ada begitu banyak cara agar penggunaan “AI dalam kepolisian” bisa salah sehingga segera setelah kami melihat panggilan itu, kami secara bersamaan terkejut (karena semua yang terjadi di AS beberapa tahun terakhir) dan senang (karena setidaknya TPSB meminta pendapat para ahli),” kata Feizpour.

Sebagai bagian dari kebijakan, TPSB berencana untuk mempertahankan daftar publik dari semua teknologi AI berisiko tinggi, sedang, dan rendah yang digunakan, meluncurkan metode pengumpulan kekhawatiran publik tentang teknologi tertentu, dan menyiapkan jadwal peninjauan berkelanjutan untuk semua teknologi. tidak dianggap sebagai risiko minimal. TPSB mengklaim bahwa ini akan menjadi “Kebijakan pertama dari jenisnya di antara Dewan atau Komisi Polisi Kanada.”

“Kami menghargai seruan TPSB untuk umpan balik publik … namun ada juga beberapa aspek dari Kebijakan saat ini yang kami yakini harus ditingkatkan.”

“Kami memuji seruan TPSB untuk umpan balik publik pada rancangan Kebijakan, dan komitmen eksplisitnya terhadap transparansi, keadilan, kesetaraan, privasi, dan konsultasi publik,” kata surat itu. “Jenis penilaian dan pelaporan yang ditetapkan oleh Kebijakan ini memberikan kerangka kerja yang kuat untuk memastikan penerapan teknologi AI yang tepat dan dapat dipercaya oleh Kepolisian Toronto. Namun ada juga beberapa aspek dari Kebijakan saat ini yang kami yakini harus ditingkatkan.”

Misalnya, surat tersebut mengacu pada deskripsi kategori risiko saat ini sebagai “tidak memuaskan.”

Saat ini, rancangan kebijakan TPSB mengelompokkan teknologi AI ke dalam lima kategori berbasis risiko: risiko ekstrem, risiko tinggi, risiko sedang, risiko rendah, dan risiko minimal. Teknologi berisiko ekstrem mencakup perangkat lunak pengenalan wajah yang memperoleh data dari pengawasan massal, sedangkan kategori berisiko tinggi mencantumkan sistem analitik yang merekomendasikan “di mana unit harus dikerahkan untuk memaksimalkan penindasan kejahatan.”

Menurut kebijakan saat ini, teknologi berisiko ekstrem tidak akan dikenakan sanksi untuk digunakan, dan teknologi berisiko tinggi dan menengah akan tunduk pada serangkaian evaluasi dan konsultasi, sementara teknologi berisiko rendah dan minimal akan menghadapi pembatasan pelaporan yang lebih ringan.

Surat dari pakar AI Kanada meminta TPSB untuk menganggap teknologi AI apa pun yang menggunakan data yang bias atau berkualitas buruk dianggap sebagai risiko ekstrem, daripada risiko tinggi, karena “secara inheren dikompromikan.” Ini juga meminta TPSB untuk memperjelas bahwa data yang dikumpulkan melalui media sosial tidak boleh dianggap sebagai sumber yang layak, dan bahwa data yang diperoleh melalui perantara data “tidak dapat diklasifikasikan sebagai berisiko rendah.”

TERKAIT: Bedrock AI menerima $ 1 juta untuk mengekstrak informasi tersembunyi dari dokumen keuangan

Rekomendasi surat tersebut mengikuti keluarnya Kanada dari startup pengenalan wajah Amerika Clearview AI pada tahun 2020, setelah penyelidikan bersama dari otoritas privasi Kanada menentukan perangkat lunak perusahaan, dan penggunaannya oleh RCMP, melanggar undang-undang privasi dengan mengumpulkan foto orang Kanada tanpa sepengetahuan atau persetujuan mereka. melalui platform media sosial seperti Facebook dan LinkedIn.

Bulan lalu, laporan CBC menemukan bahwa Layanan Polisi Toronto, yang awalnya membantah kemudian mengaku menggunakan teknologi Clearview AI, menyebarkannya dalam 84 penyelidikan. TPSB adalah badan sipil yang mengawasi Layanan Polisi Toronto.

Surat industri teknologi juga meminta agar TPSB mempertimbangkan teknologi apa pun yang telah menimbulkan kekhawatiran signifikan di masyarakat atau yang telah ditolak oleh warga Toronto sebagai risiko ekstrem.

“Masalah paling mendasar yang saya lihat dengan proposal apa adanya adalah kurangnya ketentuan untuk interaksi yang lebih berkelanjutan dan mendalam dengan [the] publik dan yang terpenting para ahli.”
-Amir Feizpour, Agregat Intelek

Selain rekomendasi-rekomendasi ini, surat tersebut mengidentifikasi ruang untuk perbaikan dalam tinjauan formal dan proses persetujuan yang digariskan, menyoroti bahwa sebagaimana adanya, tidak ada pemeriksaan untuk memastikan proses penilaian risiko awal dilakukan oleh para ahli yang memenuhi syarat dan pemangku kepentingan terkait, termasuk independen dan perwakilan masyarakat.

Surat itu juga menyerukan pemantauan terus menerus daripada membatasi pemantauan hanya satu tahun setelah penyebaran penuh, dan menyerukan hasil pelaporan ini untuk dipublikasikan, dan termasuk rincian tentang struktur kepemilikan vendor dan setiap perubahan dalam kemitraan, tata kelola, atau kebijakan manajemen data.

“Masalah paling mendasar yang saya lihat dengan proposal apa adanya adalah kurangnya ketentuan untuk interaksi yang lebih berkelanjutan dan mendalam dengan [the] publik dan yang terpenting para ahli tentang bagaimana AI akan digunakan dalam jenis kegiatan pengawasan dan peradilan,” kata Feizpour. “Ini sangat sensitif dan benar-benar dapat merusak kepercayaan publik pada sistem jika ditangani dengan buruk sehingga saya pikir percakapan yang berkelanjutan dan transparansi ekstrem adalah satu-satunya cara untuk melakukan ini dengan benar.”

Meskipun proses seperti itu akan menciptakan rintangan logistik, Feizpour percaya bahwa “mengingat apa yang dipertaruhkan”, tingkat transparansi dan umpan balik ini diperlukan. “Jika dilakukan dengan buruk, ini dijamin akan merugikan beberapa demografi lebih dari yang lain, dan itulah hal terakhir yang kami inginkan sebagai masyarakat,” katanya.

Konsultasi publik TPSB tentang kebijakan AI yang diusulkan berakhir pada 15 Desember. TPSB berencana untuk menggunakan umpan balik yang dikumpulkan selama proses ini untuk lebih merevisi kebijakannya dan membawa draf akhir ke dewan untuk dipertimbangkan dan disetujui pada pertemuan Februari 2022.

Gambar fitur oleh Minh Cole melalui Unsplash

.

Author: wpadmin

Leave a Reply

Your email address will not be published.