1 poin oleh GN⁺ 2024-02-07 | 1 komentar | Bagikan ke WhatsApp
  • Eksperimen ini membandingkan LLM dengan Junior Lawyer dan legal process outsourcing (LPO) dalam peninjauan kontrak, dengan penilaian Senior Lawyer dijadikan standar kebenaran untuk mengevaluasi penentuan isu, identifikasi lokasi, kecepatan, dan biaya secara bersama-sama
  • Dalam penentuan isu hukum, GPT4-1106 mencatat F-score 0.871, hampir sama dengan LPO 0.874 dan lebih tinggi daripada Junior Lawyer 0.860, tetapi dalam identifikasi lokasi, LPO 0.770 unggul atas GPT4-32k 0.740
  • Eksperimen menggunakan 10 kontrak pengadaan yang telah dianonimkan, dan NDA dikecualikan karena dokumennya pendek sehingga tidak cocok untuk evaluasi yang kompleks, sambil memasukkan kontrak yurisdiksi AS dan Selandia Baru secara seimbang
  • Kecepatan peninjauan jauh lebih unggul pada LLM; waktu rata-rata adalah Junior Lawyer 56.17 menit dan LPO 201 menit, sedangkan GPT4-1106 4.70 menit, GPT4-32k 2.11 menit, dan Palm2 text-bison 0.73 menit
  • Biaya per kontrak dihitung sebesar 0.02 dolar untuk Claude 2.0 dan Claude 2.1, serta 0.25 dolar untuk GPT4-1106, menunjukkan penghematan biaya hingga 99.97% dibandingkan Junior Lawyer 74.26 dolar dan LPO 36.85 dolar

Apa yang dibandingkan dalam peninjauan kontrak

  • Tujuannya adalah menilai apakah LLM dapat melampaui atau setara dengan Junior Lawyer dan LPO dalam pekerjaan peninjauan kontrak skala besar dari sisi akurasi, kecepatan, dan efisiensi biaya
  • Tugas yang dibandingkan adalah menentukan isu hukum dalam kontrak dan menemukan lokasi klausul kontrak yang memengaruhi penilaian tersebut
  • Penilaian yang dibuat Senior Lawyer dijadikan standar kebenaran untuk membandingkan hasil LLM, Junior Lawyer, dan LPO
  • Pertanyaan penelitian diringkas menjadi tiga hal
    • Apakah LLM lebih baik daripada Junior Lawyer dan LPO dalam penentuan isu hukum dan identifikasi lokasi di dalam kontrak
    • Apakah LLM dapat meninjau kontrak lebih cepat
    • Apakah LLM dapat meninjau kontrak dengan biaya lebih murah

Dataset dan rancangan eksperimen

  • Dataset terdiri dari 10 kontrak pengadaan yang diambil dari kontrak hukum nyata dan dianonimkan demi menjaga kerahasiaan
  • Kontrak pengadaan dipilih karena merupakan jenis kontrak dengan volume peninjauan tinggi dalam praktik hukum, sedangkan NDA dinilai umumnya terlalu pendek untuk mengevaluasi kemampuan LLM dalam menentukan isu hukum yang kompleks
  • Yurisdiksi mencakup kontrak AS dan Selandia Baru secara seimbang
    • AS diperlakukan sebagai sistem yang menggabungkan hukum tertulis dan common law
    • Selandia Baru diperlakukan sebagai sistem berbasis common law
  • Setiap kontrak dianalisis dengan struktur dua elemen berupa skenario dokumen dan playbook peninjauan kontrak
    • Skenario dokumen memberikan konteks yurisdiksi, riwayat, skala organisasi, serta produk dan layanan para pihak dalam kontrak
    • Playbook peninjauan menyediakan daftar pemeriksaan terstandarisasi yang diturunkan dari kasus nyata
  • Senior Lawyer menilai apakah tiap kontrak memenuhi kriteria yang telah ditentukan sebelumnya, lalu menemukan dan mencatat bagian kontrak spesifik yang memengaruhi penilaian tersebut
    • Jika informasi terkait tidak ada dalam kontrak sehingga kriterianya tidak terpenuhi, hal itu juga dicatat secara eksplisit
    • Hasil dari beberapa Senior Lawyer dikumpulkan berdasarkan mayoritas pendapat
  • Penelitian dilakukan sesuai standar etika Onit Inc., termasuk pemberitahuan kepada partisipan, hak untuk menarik diri, anonimisasi, de-identifikasi data kontrak, serta keterlibatan dan audit komite etik

Pemilihan model dan prompt

  • Model dipilih dengan mempertimbangkan penyedia utama di bidang LLM, hasil uji pendahuluan, dan ukuran context window
  • Model yang tidak mampu menangani lebih dari 16.000 token dikeluarkan karena dianggap sulit menangani konteks kontrak secara utuh
    • LLaMA2 dan Amazon Titan mengharuskan dokumen dibagi menjadi beberapa bagian, dan pada tiap bagian skenario, playbook, serta klausul definisi harus diulang
    • Teknik seperti RAG juga ditinjau, tetapi dalam evaluasi pendahuluan dianggap menimbulkan keterputusan dalam pemahaman konteks kontrak sehingga kurang cocok untuk dibandingkan dengan pemahaman setingkat pengacara manusia
  • Model dan pengaturan yang dimasukkan dalam evaluasi adalah sebagai berikut
    • GPT4 32k: temperature 0.2, input 32,768 token, data pelatihan hingga September 2021
    • GPT4-1106: temperature 0.2, input 128,000 token, data pelatihan hingga April 2023
    • GPT3.5-turbo-16k: temperature 0.2, input 16,385 token, data pelatihan hingga September 2021
    • Claude 2.1: temperature 0.2, input 200,000 token, data pelatihan hingga awal 2023
    • Claude 2.0: temperature 0.2, input 100,000 token, data pelatihan hingga awal 2023
    • Palm2 Text-bison-32k-2: temperature 0.2, input 32,768 token, data pelatihan hingga pertengahan 2021
  • Prompt terdiri dari peran, tugas, dan konteks
    • Peran membuat model mengikuti persona pengacara
    • Tugasnya adalah meninjau kontrak berdasarkan kriteria yang diberikan dan menentukan ada tidaknya isu serta lokasinya
    • Konteks disusun mirip dengan instruksi yang diberikan kepada pengacara, LPO, dan peninjau kontrak, seperti pembaca target kontrak, latar belakang para pihak, dan skenario negosiasi

Akurasi: penentuan isu mendekati, identifikasi lokasi masih berjarak

  • Tingkat kesepakatan antar kelompok praktisi hukum dievaluasi dengan Cronbach’s Alpha
    • Tingkat kesepakatan seluruh partisipan tinggi, yaitu 0.923366
    • Tingkat kesepakatan antar Senior Lawyer adalah yang terendah, yaitu 0.719308
    • Junior Lawyer mencatat 0.765058
    • LPO menunjukkan kesesuaian jawaban sempurna sebesar 1.0
  • Pada penentuan isu hukum, hasil teratas berdasarkan F-score adalah LPO dan GPT4-1106
    • LPO: precision 0.933, recall 0.823, F-score 0.874
    • GPT4-1106: precision 0.835, recall 0.910, F-score 0.871
    • Junior Lawyer: precision 0.876, recall 0.845, F-score 0.860
    • Claude 2.0 dan GPT4-32k masing-masing mencatat F-score 0.817 dan 0.820
    • GPT3.5 berada di 0.657 dan Palm2 text-bison di 0.708, tergolong lebih rendah
  • Pada identifikasi lokasi isu, LPO mencatat F-score tertinggi
    • LPO: precision 0.915, recall 0.666, F-score 0.770
    • GPT4-32k: precision 0.847, recall 0.660, F-score 0.740
    • Claude 2.1: precision 0.911, recall 0.569, F-score 0.701
    • GPT4-1106: precision 0.857, recall 0.575, F-score 0.686
    • Junior Lawyer: precision 0.866, recall 0.542, F-score 0.667
    • Palm2 text-bison mencatat F-score terendah, yaitu 0.452
  • LLM dapat setara atau lebih baik daripada Junior Lawyer dan LPO dalam penentuan isu, tetapi untuk tugas menunjukkan lokasi klausul secara akurat, perbedaan antar model besar dan tidak selalu melampaui praktisi manusia

Kecepatan, biaya, dan kendala penerapan

  • Waktu rata-rata peninjauan kontrak oleh LLM jauh lebih singkat dibanding praktisi manusia
    • Senior Lawyer: 43.46 menit
    • Junior Lawyer: 56.17 menit
    • LPO: 201.00 menit
    • GPT4-1106: 4.70 menit
    • GPT4-32k: 2.11 menit
    • GPT3.5: 1.44 menit
    • Claude 2.1: 2.05 menit
    • Claude 2.0: 1.63 menit
    • Palm2 text-bison: 0.73 menit
  • Palm2 text-bison, LLM tercepat, dihitung menyelesaikan tugas peninjauan kontrak 276 kali lebih cepat daripada LPO dan 77 kali lebih cepat daripada Junior Lawyer
  • Penyiapan, pengujian, fine-tuning, dan validasi system prompt LLM memakan rata-rata 16 jam, yang setara dengan waktu yang dibutuhkan untuk memberi instruksi tugas serupa kepada Junior Lawyer dan LPO
  • Biaya rata-rata per kontrak menunjukkan perbedaan besar antara praktisi manusia dan LLM
    • Senior Lawyer: 75.92 dolar
    • Junior Lawyer: 74.26 dolar
    • LPO: 36.85 dolar
    • GPT4-1106: 0.25 dolar
    • GPT4-32k: 1.24 dolar
    • GPT3.5: 0.05 dolar
    • Claude 2.1: 0.02 dolar
    • Claude 2.0: 0.02 dolar
    • Palm2 text-bison: 0.03 dolar
  • Perhitungan biaya didasarkan pada rata-rata waktu kerja dan tarif per jam untuk praktisi manusia, serta rata-rata jumlah token input-output dan harga per token untuk LLM
    • Palm2 text-bison dihitung berdasarkan jumlah karakter, bukan token
  • LLM dengan kinerja identifikasi lokasi isu yang rendah dapat memiliki keterbatasan untuk menandai kontrak secara mandiri, sehingga dalam pekerjaan hukum pemilihan model sama pentingnya dengan kinerja dan biaya

1 komentar

 
GN⁺ 2024-02-07
Komentar Hacker News
  • Saya menjalankan startup pembuat kontrak hukum yang mengubah kontrak yang ditulis pengacara menjadi templat, dan saya juga pernah mencoba membuat sebagian fitur analisis GPT agar orang awam bisa membaca kontrak dan mengajukan pertanyaan
    Dalam peninjauan kontrak, GPT lebih kuat pada analisis dokumen daripada pembuatan dokumen, dan makalah ini juga mendukung poin itu. Namun, setelah mencoba beberapa startup peninjauan dokumen AI, kebanyakan runtuh begitu diminta jawaban yang spesifik. Makalah ini tampaknya bukan percakapan seperti antara pengacara dan klien, melainkan sebatas menemukan klausul yang relevan
    Karena GPT tidak punya tanggung jawab hukum meski memberikan jawaban yang salah, ia berguna ketika orang yang cerdas melakukan riset sendiri. Mirip seperti dulu orang yang cerdas juga bisa melakukan riset sendiri dengan Google
    Untuk pembuatan kontrak, dalam kebanyakan kasus menurut saya repositori kontrak standar yang ditulis dan ditinjau dengan baik lebih membantu daripada GPT yang setiap kali membuat kontrak unik secara spontan. Para pengacara memegang erat kontrak mereka, dan proses mencari pengacara yang mau menulis kontrak untuk kami jadikan templat juga sangat sulit. Pada akhirnya, itu berarti mengurangi sumber pendapatan masa depan mereka sendiri dan komunitas profesional mereka. Pelatihan GPT-4 menelan biaya ratusan juta dolar, tetapi seandainya hanya 10 juta dolar dipakai untuk membuat repositori kontrak yang ditinjau dengan baik, itu akan lebih berguna daripada melatih model pembuatan kontrak dengan uang yang sama
    Orang mengajukan cukup banyak pertanyaan beragam tentang hal yang ingin mereka lakukan dengan dokumen, dan GPT masih belum begitu baik. Dalam waktu dekat, tampaknya pekerjaan pengacara masih akan tetap ada

    • Fenomena pengacara yang tidak mau melepas kontrak juga terlihat di profesi lain, terutama di bidang yang membutuhkan investasi awal besar untuk pendidikan
      Misalnya sekitar 20 tahun lalu, setidaknya di tempat saya tinggal, para arsitek juga tidak ingin membuat desain yang bisa dijual murah kepada banyak orang. Mereka menganggap desain seperti itu akan mengecilkan pasar keluaran arsitektur. Namun mudah dilihat bahwa kebanyakan orang sebenarnya tidak membutuhkan desain yang benar-benar unik
      Pada akhirnya pasar tidak terlalu peduli, dan begitu ada yang bisa membuat pustaka desain yang layak serta model bisnisnya, masalah itu terselesaikan dengan sendirinya. Dari sisi arsitek, pilihannya tinggal bekerja sama dan menyelamatkan sebagian, atau kehilangan semuanya
      Saya pikir pengacara juga akan menempuh jalan yang sama. Pekerjaan yang paling mudah dan menguntungkan akan terotomasi, mereka akan melewati masa sulit, pasar layanan hukum akan menyusut, dan pekerjaan yang tersisa adalah tugas yang lebih kompleks yang tidak bisa ditangani otomatisasi
    • Baru-baru ini saya mencoba membuat surat wasiat dengan Willful dan hasilnya cukup mengecewakan. Templatnya terlalu kaku, sehingga kondisi yang semestinya jelas bisa diekspresikan seperti “jika X terjadi maka Y, jika tidak maka Z” pun sulit, dan pembagian aset juga tidak mengizinkan selain persentase dari keseluruhan
      Untuk hal yang menurut saya tidak terlalu penting, seperti perlakuan terhadap hewan peliharaan, justru terasa diberi porsi besar. Hasil akhirnya memang bisa saya edit lagi agar sesuai dengan kebutuhan saya, tetapi untuk layanan 150 dolar, saya berharap lebih banyak
    • Saya merasa LLM saat menghasilkan kode juga umumnya mirip. Berguna sebagai titik awal, tetapi tidak lebih dari itu. Untuk sementara, kami para programmer juga masih punya pekerjaan
    • Alasan peninjauan dokumen kontrak AI runtuh ketika diminta jawaban yang spesifik mungkin karena pada kenyataannya peninjauan akhir “dialihdayakan” ke pengacara sungguhan di Utah
      Perusahaan yang saya pikirkan mengisyaratkan dalam materi pemasarannya seolah-olah itu solusi berbasis AI sepenuhnya, tetapi tampaknya sebenarnya tidak berjalan murni hanya dengan AI
    • Ada yang mengatakan GPT tidak punya tanggung jawab hukum meski memberikan jawaban yang salah, tetapi saya memahami bahwa pengacara pun tidak otomatis bertanggung jawab secara hukum hanya karena memberikan jawaban yang salah
      Dalam kasus ekstrem, mungkin bisa menjadi masalah etika dan dikenai sanksi asosiasi pengacara, tetapi bukankah kebanyakan hanya berdampak pada reputasi. Apakah ada situasi di mana pengacara bisa dimintai tanggung jawab hukum atas kontrak yang disusun keliru?
  • Di antara bidang yang bisa dibantu LLM, bidang hukum terasa sangat menjanjikan. Dalam 5–10 tahun, bahkan melihat makalah ini rasanya kita sudah hampir sampai, saya mungkin bisa berbicara selama beberapa jam dengan LLM “pengacara” yang punya akses ke dokumen pajak, medis, asuransi, dan pernikahan saya, lalu mendapatkan saran dan informasi yang dipersonalisasi tanpa membayar 500 dolar per jam
    Akan ada gelombang orang biasa yang secara hukum lebih paham, dan saya sangat menantikannya

    • Saya tidak akan percaya buta pada apa yang dikatakan LLM, tetapi secara umum itu akan benar dan setidaknya bisa memberi saya kosakata eksplorasi untuk saya telusuri lebih lanjut. Atau saya bisa terus mengajukan pertanyaan untuk menggali lebih dalam
      Saya sudah pernah bertanya kepada LLM tentang lisensi terkait perangkat lunak dan konsekuensi hukumnya, dan untuk pertanyaan setingkat proyek hobi, saya bisa mendapatkan pijakan awal tanpa melibatkan pakar mahal
      Namun jika keputusan itu melibatkan uang besar, tentu saya akan menggunakan jasa profesional. Untuk topik seperti ini, “umumnya benar” tidak cukup
    • Kami sedang membuat hal seperti ini sekarang
      Bisnis inti kami adalah pembuatan dokumen hukum, dan berjalan dengan logika berbasis aturan, bukan AI. Sebagai hasil dari bisnis inti, kami sudah memiliki dokumen hukum pengguna, sehingga posisi kami sangat baik untuk membuat fitur chat AI pendamping yang terkait dengan dokumen tersebut
      Baru-baru ini kami menerapkan AI rekomendasi produk ke lingkungan produksi. Sebagiannya berbasis aturan, dan kalimat rekomendasi yang dipersonalisasi dibuat oleh GPT-4. Saat ini kami sedang membuat fitur chat AI yang membantu pengguna memahami berbagai dokumen hukum dan layanan kami. Kami ingin mengganti dukungan pelanggan lini pertama dengan chat AI ini, tetapi sebelum marah, mohon ketahui bahwa dukungan pelanggan lini pertama saat ini adalah AI berbasis aturan yang sangat buruk
      Situs web utama berbahasa Finlandia adalah https://aatos.app. Ada juga beberapa layanan untuk SE dan DK, dan baru-baru ini di UK kami lebih dulu membuka layanan tanda tangan elektronik saja
    • Sepertinya LLM yang mengurangi pengeluaran juga memungkinkan. Bisa dibayangkan LLM yang menelusuri semua riwayat belanja, mengetahui hukum, manfaat, organisasi, dan promosi saat ini, lalu menyarankan atau menjalankan hal-hal seperti mengganti pemasok listrik atau perusahaan asuransi, atau membeli dalam jumlah besar di toko lain
    • Ini juga bukan hanya masalah hukum. Saya mengunggah hasil tes darah dan data 23andMe saya ke ChatGPT, dan analisisnya lebih baik daripada dokter saya
    • Saya melihat banyak startup sedang membuat hal yang persis seperti itu, tetapi sejujurnya saya tidak berharap banyak. Semua orang masih terikat pada batas token, dan metode utama untuk mengakalinya, yaitu retrieval-augmented generation (RAG) dan graf pengetahuan, meski bisa mendekati bentuk yang diinginkan, menurut saya belum cukup dekat untuk benar-benar berguna
  • Saya akan menahan penilaian soal kemungkinan penerapan LLM di bidang hukum sampai diuji pada tugas selain peninjauan dokumen/kontrak. Dalam legal perusahaan besar, peninjauan kontrak sering dialihdayakan ke ratusan lulusan baru; ini lebih mirip pekerjaan koreksi yang hanya memakai kemampuan pengacara secara minimal, dan berfungsi meningkatkan pendapatan perusahaan
    Layanan hukum yang umumnya dibeli individu adalah hal-hal seperti perkara keluarga, perkara pidana, dan pengadilan gugatan kecil. Saya tidak melihat LLM dalam waktu dekat mampu menangani analisis spesifik fakta dan situasi yang diperlukan untuk menangani litigasi pidana kejahatan berat. Saya juga belum melihat bukti bahwa LLM dapat menjangkau dinamika keluarga yang individual, spesifik kasus, dan rumit yang dibutuhkan dalam perkara hak asuh anak atau perceraian yang dipersengketakan
    Tidak ada alasan untuk tidak menerima LLM sebagai alat yang digunakan pengacara, tetapi saya sama sekali tidak menganggap teknologi ini sudah siap diterapkan dalam praktik nyata di luar pekerjaan koreksi hukum yang berulang

    • Manusia juga tidak terlalu baik dalam menangani dinamika keluarga yang kompleks seperti hak asuh atau perceraian. Dilihat dari hasilnya, pandangan dan emosi pribadi hakim tampaknya memainkan peran besar dalam perkara seperti ini
      Tanpa emosi, pandangan pribadi, dan preseden yang dibangun di atas keduanya, saya tidak begitu tahu seperti apa perkara semacam ini nantinya
  • Saya memimpin data dan AI di perusahaan pialang asuransi komersial berbasis teknologi. Kami sedang membuat alat analisis kontrak mendalam dengan GPT-4 yang dikhususkan untuk persyaratan asuransi, dan ketika di Google saya juga membangun berbagai solusi LLM untuk tim hukum Google, dari klasifikasi paten hingga dukungan discovery
    Model bahasa sangat hebat dalam mencerna bahasa hukum dan menganalisis situasi. Namun banyak aplikasi hukum terkait dengan keputusan penting yang tidak boleh salah, seperti “apakah ini ditanggung secara kontraktual oleh program asuransi saat ini?” Karena itu, produk LLM di ranah hukum kami bangun dengan prinsip berikut
    Harus berupa alat human-in-the-loop yang digunakan bersama pakar. Jika memungkinkan, desainnya harus sebagai pendukung pengambilan keputusan, bukan otomatisasi, dan meski begitu tetap bisa menghemat waktu luar biasa besar
    Dibutuhkan transparansi dan kutipan. Jika alat dipakai bersama manusia, harus ada mekanisme untuk membangun kepercayaan. Entah dengan menyorot klausul dokumen yang dirujuk LLM, atau menjelaskan mengapa sebagian analisis tidak diberikan, mengutip dasar argumen itu penting
    Harus disetel untuk presisi, bukan recall. Dalam banyak use case hukum, false positive dan halusinasi sangat buruk, jadi menyetel model atau prompt agar berfokus pada presisi membantu mitigasinya

    • Ada petunjuk tentang cara membuat GPT-4 memberikan kutipan? Apakah caranya memakai prompt seperti “tolong kutip ulang persis bagian yang Anda kutip”, lalu menemukan lokasi di teks asli dan menyorotnya?
      Saya penasaran apakah “disetel untuk presisi” berarti prompt engineering, atau benar-benar melakukan fine-tuning pada GPT-4
  • Makalah ini bukannya sama sekali tidak punya kelebihan, tetapi terasa seperti dalih untuk membuat pernyataan berlebihan tentang seluruh kelompok profesi atau “industri”. Mungkin tujuannya meningkatkan visibilitas dan kemudian menjual sesuatu
    Bagian terburuknya adalah mereka hanya mengutip satu dokumen preprint sebagai riset terdahulu. Dokumen itu sendiri juga tentang penalaran hukum umum, bukan peninjauan kontrak. Sebagian LegalBench tentu merupakan “interpretasi” dan dibangun di atas benchmark peninjauan kontrak yang sudah ada, tetapi mereka semestinya bisa menemukan makalah yang lebih relevan
    Otomatisasi peninjauan dokumen hukum, termasuk tugas tanya-jawab, sudah sekitar 20 tahun menjadi bidang yang sangat aktif dalam natural language processing, dan sejak 2017 menjadi jauh lebih aktif lagi. Setidaknya alat seperti Kira dan Luminance, meski tidak berbasis LLM, sudah cukup luas digunakan oleh tim hukum dan firma hukum di seluruh dunia. Jadi para pengacara sudah mengetahui batasannya dalam praktik
    Namun alat sejenis Kira tidak mengukur kinerja model terbaru, dan juga tidak memakai benchmark yang transparan. Dalam hal itu, hasil benchmark makalah ini merupakan tambahan yang menggembirakan untuk pemanfaatan LLM
    Tetapi mengingat ruang lingkupnya terbatas pada peninjauan 10 dokumen dengan satu playbook peninjauan, tidak semestinya sampai menulis “implikasi bagi industri”. Cukup sok besar, dan lebih menunjukkan bahwa para penulis tidak memahami industri itu ketimbang masa depan industri layanan hukum
    Jika penasaran dengan fungsi dan batasannya, bacaan ringan tetapi bermanfaat ini juga saya rekomendasikan: https://kirasystems.com/science/, https://zuva.ai/blog/, https://www.atticusprojectai.org/cuad

    • Ada makalah tertentu yang bisa direkomendasikan? Tautan-tautan itu mengarah ke blog yang berisi banyak makalah
  • Saya penasaran argumen hukum seperti apa yang akan dibuat para pengacara untuk melemahkan teknologi yang mengancam industri mereka

    • Sebaliknya, biaya untuk menjadi pengacara sepertinya akan makin mahal. Karena sekarang dibutuhkan server untuk menjalankan inferensi AI, developer, dan layanan pihak ketiga
    • Setidaknya di AS, para pengacara menguasai pemerintah. Saya memperkirakan akan segera ada undang-undang yang melarang atau sangat membatasi penggunaan AI di bidang hukum
      Logikanya akan beragam, dari risiko pembelaan yang tidak efektif sampai “pikirkan anak-anak”. Apa pun yang membantu melindungi monopoli pasti akan dipakai
    • Itu bukan argumen yang dibuat-buat; namanya praktik hukum tanpa izin, dan itu tindak pidana
    • Hak cipta tampaknya menjadi jalur serangan utama
  • Melihat kasus-kasus terbaru ketika pengacara memakai ChatGPT untuk riset dan membantu menyusun dokumen litigasi lalu hasilnya buruk, saya tidak sepenuhnya yakin dengan optimisme di komentar-komentar ini

    • Teknologinya baik-baik saja. Pendidikan dan literasi pengguna nonteknis umum untuk memahami cacat dan batasannya adalah masalah terpisah
    • Mereka semua orang bodoh yang bahkan mencoba menghemat biaya GPT-4. Mereka terkena halusinasi
    • Itu kesalahan level pemula. Tidak memeriksa apakah putusan preseden itu benar-benar ada
      Membuat pipeline kecil generate→verify memang tidak sepele, tetapi juga bukan tidak mungkin. Kasus-kasus yang disebutkan tampak seperti gabungan associate yang sangat malas dan pemahaman yang sangat poor tentang apa yang dilakukan LLM
  • Secara teori, kalimat hukum seharusnya terstruktur mirip dengan kode. Karena memiliki struktur logis, ia bisa lebih mudah diterapkan pada LLM dibandingkan bahasa alami lainnya
    Memang sempat ada berita awal tentang pengacara yang menyerahkan preseden “palsu”, tetapi perombakan profesi hukum hanya soal waktu. Di firma hukum ada banyak orang yang mengerjakan tugas-tugas sederhana, seperti paralegal, dan LLM bisa melakukan pekerjaan itu. Mereka dianggap pekerja kerah putih, tetapi akan hilang
    Ini akan berjalan dengan cara yang mirip dengan coding. Rasanya seperti mendapatkan satu partner junior yang perlu diperiksa, dan ia bisa mengambil alih pekerjaan dokumen standar
    Tidak bisa dipercaya sepenuhnya, tetapi bukankah developer junior juga tidak dipercaya sepenuhnya. Tetap saja, ia membawa kita sampai ke titik 80%

    • Saya agak setuju bahwa ini akan berjalan mirip dengan coding, tetapi justru itu membuat saya makin bingung. Setidaknya di HN sering terlihat pembicaraan bahwa AI akan mengguncang profesi hukum dan membuat banyak pengacara kehilangan pekerjaan, tetapi jarang terlihat pembicaraan bahwa industri coding akan berubah dengan cara yang sama
  • Ini ruang masalah yang menarik. Ada satu teori hukum bergaya gangguan budaya yang mungkin bisa berlaku di sini
    Misalkan ada layanan pro se seharga 99 dolar per bulan yang melakukan dua hal. 1) Mengajari cara memindahkan semua aset ke instrumen yang aman. 2) Pada saat yang sama, memungkinkan orang membela diri sebagai pihak pro se. Tujuannya bukan menang, melainkan membuat sistem tersumbat. Setelah memberi sinyal kepada pihak lawan bahwa Anda secara hukum berada dalam kondisi bangkrut, lalu terus mengajukan permohonan dan membuat prosesnya sesakit mungkin, mereka mungkin sadar bahwa sampai proses banding bisa memakan waktu 5 tahun dan akhirnya menyerah begitu saja
    Memang benar para pengacara tidak ingin menyerahkan dokumen hukum mereka ke layanan template, tetapi terus terang, pergi ke pengadilan lalu mengumpulkan banyak berkas pengajuan dan melatih model dengan itu saja mungkin sudah cukup. Dalam strategi itu, dokumen yang hebat atau teori hukum yang kuat tidak selalu dibutuhkan. Cukup dokumen yang memenuhi persyaratan pengajuan pengadilan. Semacam, “Ya, kami perlu melakukan deposisi terhadap putri-putri pembantu rumah tangga Anda dengan tarif 400 dolar per jam, dan kalau ada masalah, silakan kita adakan sidang.” Jika cukup banyak orang melakukan ini, sistem hukum pada dasarnya akan berhenti, dan kekuasaan akan kembali kepada rakyat
    Mengenang Aaron Swartz, yang meninggal setelah berjuang untuk persoalan seperti ini

  • “Dalam semua penuntutan pidana, terdakwa berhak memperoleh bantuan penasihat hukum untuk pembelaannya” — Amandemen Keenam Konstitusi Amerika Serikat
    Jika LLM menjadi lebih kompeten daripada penasihat hukum manusia rata-rata, apakah klausul ini masih menuntut bantuan penasihat hukum manusia?

    • Pemerintah di seluruh dunia akan berusaha sekuat tenaga agar orang menerima usulan ini sebagai kebenaran, terutama agar mereka menggunakan LLM alih-alih pengacara manusia dalam pembelaan pidana. Mengapa begitu?
      Mungkin ciri terpenting seorang pengacara bukanlah pengetahuan teknisnya
    • Kegunaannya berbeda. Pengacara bisa menangani hal-hal seperti jalannya persidangan atas nama Anda
      LLM bisa membantu dalam persoalan fakta dan sejenisnya, dan jika dirancang dengan benar, bahkan bisa memberikan jaminan privasi yang lebih kuat daripada pengacara. Tentu saja, rasanya hal seperti itu tidak akan benar-benar terjadi
    • Ironisnya, pertanyaan ini mungkin lebih baik ditanyakan kepada GPT
    • Ya. LLM tidak gratis, dan tetap dibutuhkan pakar untuk memverifikasi keluarannya
    • Itu urusan pengadilan untuk memutuskan. Cukup masuk akal untuk menduga kasus seperti itu akan datang; pertanyaannya hanya seberapa cepat