Pendiri fintech didakwa atas tuduhan penipuan; aplikasi AI ternyata dioperasikan manusia di Filipina

• Albert Saniger, pendiri dan mantan CEO Nate, didakwa oleh Departemen Kehakiman AS atas tuduhan menipu investor
• Nate adalah startup fintech yang didirikan pada 2018 dan mengklaim menawarkan pengalaman “universal checkout” berbasis AI
• Perusahaan ini telah mengumpulkan total lebih dari $50 juta dari investor seperti Coatue dan Forerunner Ventures, dan pada 2021 meraih pendanaan Seri A senilai $38 juta yang dipimpin Renegade Partners

Aplikasi belanja AI yang sebenarnya dijalankan secara manual

• Nate mengklaim AI-nya dapat memproses pembelian secara otomatis di semua situs e-commerce, tetapi kenyataannya ratusan pekerja di pusat panggilan di Filipina memproses pesanan secara manual
• Departemen Kehakiman menuduh tingkat otomatisasi Nate pada dasarnya adalah 0%
• Untuk menarik investasi, perusahaan ini mempromosikan bahwa “AI memproses tanpa campur tangan manusia”, tetapi sebagian besar pekerjaan sebenarnya dilakukan oleh manusia
• Meski ada sebagian penerapan teknologi AI dan perekrutan data scientist, otomatisasi yang fungsional tidak pernah terwujud

Pengungkapan internal dan kejatuhan Nate

• Pada 2022, cara kerja Nate yang sebenarnya terungkap melalui laporan The Information
• Saniger tercantum di LinkedIn sebagai telah mundur dari posisi CEO sejak 2023
• Pada Januari 2023, Nate menjual asetnya karena kekurangan dana, dan para investor mengalami kerugian hampir total
• Saat ini Saniger tercantum sebagai managing partner di Buttercore Partners, tetapi belum ada pernyataan resmi

Kasus klaim berlebihan soal teknologi AI terus berlanjut

• Selain Nate, startup perangkat lunak “AI drive-thru” juga pernah dilaporkan oleh The Verge pada 2023 karena terutama menggunakan tenaga kerja di Filipina
• Baru-baru ini, Business Insider juga melaporkan bahwa startup unicorn legaltech AI EvenUp sebenarnya mengandalkan banyak pekerjaan manual oleh tenaga manusia

[aer0700]

Belakangan ini, kadang terlihat bisnis yang mempromosikan bahwa mereka mengotomatisasi pekerjaan yang selama ini sudah ditangani dengan baik menggunakan AI, atau mengimplementasikannya dengan Rust, dan sebagainya.
Mereka sedang melakukan ~.
Rasanya bukankah kita cukup menilai hanya dari satu hal ini saja. Entah memakai AI, entah diimplementasikan dengan Rust, yang seharusnya dinilai adalah seberapa baik mereka melakukan ~ itu; dari sudut pandang pengguna atau investor, rasanya tidak terlalu penting dengan cara internal seperti apa itu diwujudkan. Kalau kodenya dibuka ke publik, dari sudut pandang developer tentu bisa jadi menarik juga.

[GN⁺]

Komentar Hacker News

• Mengingatkanku pada artikel dari 2 tahun lalu dan komentar HN-ku. Ini jalur umum startup AI lainnya

  • Seseorang menemukan masalah menarik yang bisa diselesaikan dengan ML/AI lalu mencoba menyelesaikannya sendiri
  • Mereka berpikir, "Modelnya lumayan jalan. Cukup berguna sampai orang lain mau membayar untuk ini"
  • Mereka meluncurkan API berbayar, startup SaaS, dan sejenisnya, lalu mendapatkan beberapa pelanggan
  • Ternyata pendekatan ML/AI tidak bisa digeneralisasi. Karena reputasi penting, mereka mempekerjakan manusia untuk menyelesaikan masalahnya
  • Performa model menurun, dan pekerjaan manusia menjadi bagian penting dari seluruh alur kerja
  • Seseorang menulis artikel bahwa mereka memakai tenaga kerja murah

• Pernah ditandai sebagai calon pencuri lewat analisis rekaman CCTV di self-checkout supermarket. (Tentu saja analisisnya salah.) Saat keluar dari toko, aku bertanya-tanya apakah itu analisis perangkat lunak atau ada seseorang di India atau Filipina yang memantaiku secara real-time

• Aku penasaran kenapa tidak ada kekhawatiran dari DOJ saat Amazon Go melakukan hal yang sama

  • Amazon Go: sejak awal mereka secara jelas mengatakan sedang menguji teknologi "Just Walk Out", dan di komunitas teknologi orang tahu bahwa manusia meninjau edge case melalui video feed
  • Mereka berargumen bahwa teknologinya pada akhirnya akan membaik, dan cadangan manusia terutama untuk data pelatihan dan jaminan kualitas
  • Mereka tidak mengatakan, "Sekarang ini berjalan 100% dengan AI tanpa bantuan manusia"
  • Nate: mengklaim sudah sepenuhnya otomatis
  • CEO secara eksplisit mengatakan AI melakukan semua pekerjaan, dan hanya memakai pekerja kontrak untuk edge case yang jarang terjadi
  • Menurut DOJ, pada kenyataannya manusia melakukan semuanya dan AI hanya alat branding
  • Kepada investor dikatakan ini adalah platform perangkat lunak, padahal kenyataannya BPO

• Aku penasaran di titik mana ini dianggap "penipuan". Hampir semua aplikasi "AI" punya banyak cadangan manusia. Waymo punya pengemudi manusia yang bisa mengendalikan jarak jauh saat kendaraan berhenti. Toko Amazon Go pada praktiknya dijalankan oleh tim di India. Perusahaan-perusahaan sudah 10 tahun mengklaim "ditenagai AI"

  • Mungkin karena investor melihat margin lalu menemukan pos luar negeri yang besar. Kalau tidak, "tingkat otomatisasi" adalah angka yang terlalu samar untuk dilacak investor
  • Penipuan seperti ini menjadikan investor yang tidak bersalah sebagai korban

• Selama 5 tahun terakhir ada banyak startup dengan variasi tema "AI sekarang bisa mengotomatisasi interaksi Anda dengan perusahaan yang sebenarnya tidak ingin berinteraksi dengan Anda". Ini umum di healthcare, fintech, belanja konsumen, dan lain-lain

  • Akan mengotomatisasi ketersediaan penyedia, penjadwalan, dan booking dengan panggilan telepon AI
  • Akan menjual perangkat konsumen untuk mengotomatisasi semua interaksi aplikasi dengan "large action model"
  • Akan mengotomatisasi interaksi klaim perusahaan asuransi kesehatan rumah sakit dengan AI screen scraper
  • Setelah seorang karyawan melakukan tugas sekali di alat perangkat lunak bisnis, AI akan mengotomatisasikannya selamanya untuk menghubungkan semua sistem vendor tanpa pemrograman kustom
  • Bisa membeli otomatis di semua situs web dengan AI

• Sebagian besar startup bukanlah "penipuan". Mereka memulai dengan niat terbaik (pendiri teknis yang kompeten, target pasar nyata, pelanggan yang mau membayar jika ini berhasil), tetapi pada akhirnya gagal, pivot total, atau bergantung pada penipuan sebagai upaya keliru untuk bertahan hidup

  • Masalahnya adalah mereka mencoba menyelesaikan masalah manusia dengan teknologi. Kondisi dunia saat ini seperti itu karena penyedia layanan di sisi lain persamaan tidak ingin dimediasi atau dikomoditisasi. Mereka tidak akan patuh pada otomatisasi
  • Jika Anda menyempurnakan cara robot menelepon mereka, mereka tidak akan mengangkat telepon. Jika Anda menyempurnakan cara mengotomatisasi aplikasi iPhone mereka atas nama pengguna, mereka akan memblokir rentang alamat IP dan menampilkan captcha yang makin rumit. Jika Anda mengotomatisasi alur login, mereka akan beralih ke alur login lain atau memblokir pelanggan yang memakai otomatisasi. Pengalaman pelanggan, dalam skenario terbaik sekalipun, tidak konsisten, dan manusia tidak bisa dihapus dari loop. Ini berakhir sebagai kematian karena seribu luka kecil — bahkan jika pelanggan masih memohon untuk membayar layanannya

• Ulangan Mechanical Turk

• Artikel terkait dari pertengahan pandemi: startup belanja AI menunjukkan ekses dari ledakan pendanaan

• Seorang teman pernah diminta melakukan due diligence terhadap perusahaan ini sekitar tahun 2021. Pendiri itu mengklaim "tingkat keberhasilan checkout 100%" berbasis AI, tetapi itu jelas bohong. Pada saat yang sama dia juga menjalankan 2 startup lain

• "Saya komputer tapi akan bilang saya manusia" dan "Saya manusia tapi akan bilang saya komputer" sama-sama ide yang umum