Ringkasan AI ESPN yang tidak menyebut Alex Morgan dalam laga profesional terakhirnya

• Ringkasan pertandingan buatan AI dari ESPN melewatkan konteks kunci bahwa ini adalah laga pensiun Alex Morgan, menunjukkan bahwa ringkasan otomatis bisa saja benar soal hasil pertandingan tetapi tetap gagal menangkap cerita penting bagi pembaca
• San Diego Wave kalah 4-1 dari North Carolina Courage, dan Morgan bermain selama 15 menit, mengambil penalti, lalu menyampaikan terima kasih dan salam perpisahan kepada penonton
• Ringkasan dari ESPN Generative AI Services dipublikasikan di situs web dan aplikasi pada pukul 8:52 malam waktu Timur, dan selama 215 kata membahas gol serta alur laga, tetapi tidak sekali pun menyebut Morgan
• ESPN mengatakan setiap ringkasan AI ditinjau editor manusia, tetapi tidak jelas apakah kelalaian ini lolos dari proses peninjauan atau memang dikesampingkan dalam penilaian editorial
• Meski ada artikel terpisah yang membahas laga terakhir Morgan, ringkasan AI yang diberikan kepada penggemar olahraga dengan liputan minim harus punya kemampuan memilih konteks agar bisa dipercaya

---

Momen inti pertandingan yang terlewat oleh ringkasan AI

• Alex Morgan, salah satu pemain paling ikonik dalam sepak bola Amerika Serikat, memainkan laga profesional terakhirnya pada hari Minggu bersama San Diego Wave, dan timnya kalah 4-1 dari North Carolina Courage
• Di tengah pertandingan, Morgan melepas sepatunya di lini tengah dan melambaikan tangan sambil menangis kepada penonton di Snapdragon Stadium
  • Penonton meneriakkan nama Morgan, dan para pemain mengelilinginya sambil bertepuk tangan
  • Morgan bermain selama 15 menit dalam pertandingan dan mengambil penalti
  • Setelah laga, ia berterima kasih kepada penonton atas dukungan mereka dan menyampaikan salam perpisahan
• Pertandingan ini disiarkan secara simultan di beberapa jaringan dan layanan streaming

Kelalaian dalam ringkasan ESPN Generative AI Services

• ESPN Generative AI Services mulai menyediakan ringkasan pertandingan NWSL dan Premier Lacrosse League sejak pekan itu
• Ringkasan yang dimaksud dipublikasikan di situs web dan aplikasi ESPN pada pukul 8:52 malam waktu Timur
• Ringkasan tersebut secara standar merangkum hasil pertandingan, pencetak gol, dan alur laga, tetapi dalam seluruh 215 kata tidak menyebut Morgan sama sekali
  • Fakta bahwa ini adalah laga profesional terakhir Morgan, yang pernah dua kali menjuarai World Cup dan meraih medali emas Olimpiade, juga tidak dicantumkan
  • Ringkasan itu memuat kalimat bahwa "[Kennedy] Wesley dari San Diego adalah standout player yang berkontribusi baik dalam bertahan maupun menyerang"

Pertanyaan yang ditinggalkan oleh peninjauan editor manusia

• Dalam pengumuman layanannya, ESPN menyatakan bahwa setiap ringkasan buatan AI diperiksa oleh editor manusia untuk kualitas dan akurasi
• Alasan Morgan tidak disebutkan masih belum jelas
  • Bisa jadi editor manusia tidak menyadari bahwa Morgan terlewat
  • Bisa juga diputuskan bahwa konteks terkait Morgan tidak layak disebutkan
• Walaupun fakta-fakta dalam ringkasan itu sendiri akurat, penghilangan Morgan dan pentingnya malam itu membuatnya gagal menyampaikan konteks penuh pertandingan

Artikel terpisah dan perbaikan yang terlambat

• ESPN memublikasikan artikel terpisah berfokus pada Morgan yang ditulis oleh Jeff Kassouf
• Artikel tersebut membahas malam terakhir Morgan yang emosional, tetapi berada di menu samping ringkasan buatan AI sehingga mudah terlewat
• Pada Senin, 9 September, pukul 8:59 pagi waktu Timur, ESPN memperbarui ringkasan pertandingan dan menambahkan penyebutan Alex Morgan

Batasan ringkasan AI dalam olahraga dengan liputan minim

• ESPN mengatakan ringkasan buatan AI dimaksudkan untuk memperkuat liputan olahraga yang kurang mendapat layanan dan memberi penggemar konten yang sebelumnya tidak tersedia
• Ringkasan pertandingan yang melewatkan konteks penting menunjukkan bahwa sekadar menyusun daftar fakta saja tidak cukup
• Penulis manusia bisa melihat bukan hanya hasil pertandingan, tetapi juga momen yang penting bagi pemain, liga, dan penggemar, sedangkan ringkasan AI ini gagal menjalankan peran tersebut

[GN⁺]

Komentar Hacker News

• Cukup lucu menjadikan ini sebagai contoh untuk menyerang konten buatan AI. Perusahaan konten olahraga berbasis web sudah membuat konten artikel secara otomatis setidaknya selama 10 tahun, jauh sebelum LLM menjadi terkenal.
  Biasanya alasannya adalah peringkat pencarian, karena makin banyak konten yang tampak cukup relevan, makin menguntungkan untuk optimisasi mesin pencari.
  Hal seperti ini kemungkinan besar sudah terjadi berkali-kali sebelum AI, hanya saja tidak terlihat atau tidak banyak diperhatikan. Kasus ini lebih terlihat seperti ESPN kehilangan kepekaan lapangan dan gagal memastikan seorang copywriter memperbarui artikel tersebut secara manual. ESPN sudah lama dikenal sebagai tempat yang lebih mengutamakan kuantitas daripada kualitas.
  Sumber: pernah bekerja sebagai developer di sisi teknis untuk perusahaan yang membuat konten semacam ini.

  • Meski begitu, dalam kasus ini AI tidak membuatnya menjadi lebih baik.
    Fakta bahwa konten generik seperti ini, yang hanya dicampuri istilah olahraga, bisa menghasilkan uang itu sendiri cukup menyedihkan.
  • Jadi maksudnya AI sama buruknya dengan cara sebelumnya, tetapi membutuhkan lebih banyak data dan konsumsi energi yang lebih tinggi?
  • Dari bagian “memastikan salah satu copywriter memperbarui artikel khusus ini secara manual”, tampaknya sistem seperti itu memang tidak pernah benar-benar ada sebelumnya, dan melihat hasil artikel ini, jelas juga tidak ada sekarang.
    Banyak artikel olahraga memang tampak seperti mengisi bagian yang kosong. Jadi mereka langsung memasang artikel AP, lalu reporter yang benar-benar bertugas menerbitkan artikel terpisah pada malam itu atau keesokan paginya.
  • Kemerosotan ESPN sudah berlangsung jauh sebelum LLM, dan penggunaan AI yang makin terang-terangan hanya mempercepat spiral penurunan itu.
  • Entah web seperti apa yang kamu lihat selama lebih dari 5 tahun terakhir. Bukan hanya “konten” olahraga; semua jenis konten terkubur dalam halaman optimisasi mesin pencari berkualitas rendah.
    Entah dibuat otomatis atau tidak, sama-sama tidak berguna, dan LLM hanya membuatnya lebih murah.

• Pertandingan ini disiarkan ESPN di ESPN2 dan ESPN+. Jadi kemungkinan besar mereka membayar dua komentator profesional untuk menambahkan konteks dan menjelaskan momen penting sebelum, selama, dan sesudah pertandingan.
  Apakah mereka tidak menyediakan itu sebagai transkrip subtitle untuk diberikan ke bot penulis? Karena komentarnya sudah diproses sebagai subtitle langsung, ini tampak seperti perbaikan yang sangat mudah.

  • Karena penasaran, saya mencobanya sendiri. Saya mentranskripsikan pertandingan dengan whisper-small.en, lalu meminta ChatGPT merangkumnya dengan prompt netral.
    “Berikut adalah transkrip pertandingan sepak bola. Dengan gaya reporter olahraga profesional yang berpengalaman, tuliskan artikel 200 kata tentang pertandingan ini.”
    Ringkasannya dimulai dengan: “Dalam pertandingan profesional terakhirnya, Alex Morgan menampilkan permainan penuh emosi dan ketangguhan, tetapi San Diego Wave kalah 3-1 dari North Carolina Courage. Pertandingan yang digelar di Snapdragon Stadium, San Diego, ini bukan sekadar laga, melainkan penghormatan kepada salah satu sosok ikonis sepak bola.”
    Skornya salah. Sisanya ada di sini: https://chatgpt.com/share/de8c60d1-69ab-4291-99dc-d4d95af3d3...
  • Dalam olahraga ada sangat banyak data terstruktur, dan terutama untuk merek seperti ESPN, standar untuk menjelaskannya secara akurat juga tinggi.
    Jika memasukkan transkrip berdurasi beberapa jam ke LLM, ada risiko halusinasi karena komentator bersemangat membicarakan peluang gol atau kejadian yang pada akhirnya tidak terjadi.
    Sebaliknya, tugas sederhana seperti “ubah daftar gol, waktu, pencetak gol, pemberi assist, dan sebagainya menjadi kalimat” bisa dilakukan dengan algoritme deterministik tanpa LLM, dan mungkin itu juga yang terjadi kali ini. Sebagian masalah tata bahasa di teks asli lebih terasa seperti aturan substitusi gaya pra-LLM yang digabungkan dengan keliru.
    Sistem yang berulang kali memverifikasi hasil awal LLM dari rangkuman transkrip panjang, lalu membandingkannya dengan data terstruktur yang sudah diketahui untuk memastikan akurasinya, bisa dibuat. Mungkin juga bisa menghasilkan konten yang lebih kaya dengan tingkat kesalahan yang dapat diterima, dan para engineer machine learning kelas dunia bisa membuat prototipenya dalam hackathon.
    Namun bagi organisasi besar yang menghindari risiko, itu sama sekali bukan hal mudah. Karena sulit mengalahkan logika bahwa “yang ada sekarang memang tidak sempurna, tetapi setidaknya faktanya tidak salah”.
  • Saya pernah berkonsultasi dengan beberapa tempat yang menganggap diri mereka sebagai perusahaan “media/jurnalisme”, dan yang selalu mengejutkan adalah tim teknologi sering terpisah dari tim konten dan memiliki hak akses media yang sangat rendah.
    Ini cukup berbeda dari pendekatan “bisa mengakses semuanya” yang diharapkan di perusahaan teknologi, atau dari akal sehat pada umumnya.
    Saya sama sekali tidak tahu bagaimana ESPN bekerja; ini hanya dugaan berdasarkan apa yang saya lihat di tempat lain.
  • Saya juga berpikir begitu. Sepertinya ini masih tahap awal.

• Jika informasi “ini adalah pertandingan terakhir Alex Morgan” tidak ada di input maupun prompt mana pun, bagaimana mungkin ringkasan AI memasukkan hal itu ke dalam artikel pertandingan?
  Bahkan jika seorang intern remaja hanya diberi tabel berisi pencetak gol dan waktu gol, ia mungkin akan menulis artikel serupa. Namun itu bukan alasan bagi media dan situs olahraga untuk memakai AI generatif untuk semuanya, dan bisa dimengerti mengapa orang kesal pada ESPN

  • Jika informasi itu tidak ada, ia tidak bisa menghasilkannya, dan itulah masalahnya. Salah satu nilai jual besar AI generatif adalah mengeluarkan manusia dari proses penulisan, tetapi jika seseorang tetap harus benar-benar menonton pertandingan dan menjelaskan apa yang terjadi di prompt, apa gunanya teknologi itu?
    Penerapan AI generatif memang seperti ini: menggunakan input berkualitas rendah untuk membuat sesuatu yang tampak seperti artikel. Inilah masa depan gemilang yang dibawakan OpenAI
  • Inti kritiknya bukan “seberapa bodohnya AI”, melainkan lebih ke contoh yang menunjukkan bagaimana konten AI bisa kurang memadai, bahkan jika, seperti klaim ESPN, ada manusia yang meninjaunya
  • Ini lebih dekat ke soal cara menggunakan AI dengan lebih baik, bukan keterbatasan inheren AI
    Alih-alih sekadar memasukkan peristiwa pertandingan ke LLM dan memintanya meringkas, ada jalur perbaikan yang jelas: menyertakan ringkasan 10 artikel terbaru tentang pemain, pelatih, dan pihak lain yang terlibat dalam pertandingan, bahkan mungkin ringkasan 10 artikel penting sepanjang sejarah, ke dalam prompt
    Lalu minta AI meringkas pertandingan, sambil menggunakan informasi lain sebagai rujukan untuk meningkatkan kualitas artikel. Bukankah ini justru terlihat seperti hal yang bisa dilakukan LLM dengan baik?
  • Siapa pun yang akan membaca artikel ini tentu sudah tahu bahwa ini adalah pertandingan terakhir Alex Morgan. Jika ESPN, yang punya pengaruh luas di media olahraga, tidak mampu menangkap hal ini dan mencerminkannya dalam artikel, saya tidak tahu mengapa penerbit harus memakai layanan ringkasan ESPN alih-alih startup Y Combinator mana saja
  • Untuk memasukkan informasi semacam ini ke prompt, mereka perlu membangun semacam sistem retrieval-augmented generation. Bisa dibuat semiotomatis, tetapi butuh lebih banyak upaya pada sistemnya

• ESPN menekankan bahwa “setiap ringkasan yang dihasilkan AI ditinjau oleh editor manusia untuk memastikan kualitas dan akurasi”, tetapi itu sulit dipercaya
  Tujuan utama menyuruh AI menulis artikel adalah mengurangi jumlah orang yang harus dibayar, jadi kemungkinan membayar profesional terlatih untuk meninjau setiap artikel dengan saksama tidak ada dalam pilihan
  Mereka bisa berkompromi dengan menurunkan ketelitian peninjauan, menurunkan keahlian editor, atau tidak melibatkan manusia di semua artikel, tetapi mereka tidak akan membayar editor profesional untuk bekerja dengan benar. Saya berani memastikan itu

  • Menurut saya logika itu kurang tepat. Memakai artikel generatif memang bisa menghemat banyak uang, tetapi jika kontennya tidak akurat, mereka kehilangan kepercayaan pengiklan, yaitu pelanggan mereka
    Dengan hanya 1 editor untuk setiap 10 reporter yang digantikan pun, penghematan biayanya masih besar
    Mungkin setelah beberapa generasi lagi editor juga akan digantikan, tetapi menurut saya kita belum sampai di sana

• ESPN mengeluarkan manusia dari peliputan, dan AI mengeluarkan manusia dari isi liputan
  Dalam pengumuman layanannya, ESPN menekankan bahwa “setiap ringkasan yang dihasilkan AI ditinjau oleh editor manusia untuk memastikan kualitas dan akurasi”. Tidak jelas apakah editor manusia tidak menyadari absennya Morgan, atau menganggapnya tidak layak disebut
  Selama 100 tahun terakhir, menyalahkan intern adalah kambing hitam yang sangat berguna

  • Tafsir saya juga mirip. Rasanya seperti “seorang remaja di India menelusuri cepat 1.000 artikel buatan AI per hari, hanya mencari ungkapan menghina atau hal yang bisa memicu gugatan, dan itu saja”

• Saya benar-benar tidak suka ringkasan pertandingan AI untuk pertandingan WTT (World Table Tennis)
  Highlight AI terputus di tengah reli, melewati seluruh poin atau bahkan seluruh set. Ia juga tidak menangkap peristiwa penting yang terjadi di antara poin, dan kadang memotong komentar seru atau selebrasi setelah poin, bahkan jabat tangan di akhir pertandingan

  • Saya benci semua yang dihasilkan AI. Apakah di teks juga ada semacam uncanny valley?

• Bagaimana ringkasan AI seperti ini dibuat? Saya penasaran apakah mereka memasukkan seluruh file video pertandingan lalu AI mengeluarkan ringkasan, atau memasukkan catatan skor buatan manusia yang berisi timestamp gol lalu AI menambahkan kalimat untuk menjadikannya artikel

  • Dulu, sebelum AI, saat membuat hal seperti ini, semua informasi pertandingan ada di API, lalu dimasukkan ke template
    Sekarang mungkin cukup memasukkan panggilan API mentah dan memakai prompt seperti “tulis artikel ringkasan pertandingan menggunakan data ini”, maka hasilnya keluar. Tentu saya berasumsi prompt-nya dibuat lebih serius dari itu. Atau mungkin tidak, karena ini ESPN
    Namun saya sama sekali tidak ingat retiring_players pernah ada dalam respons API
    Sebagai tambahan, ringkasan play-by-play benar-benar didokumentasikan dengan sangat ekstrem. Sampai mengejutkan. Untuk olahraga populer seperti Gridiron Football atau Basketball, posisi pemain bahkan bisa tersedia per detik. Data ini berasal dari feed seperti SportsRadar
    Mereka mungkin tidak memasukkan data sedetail itu ke prompt, tetapi ada informasi ringkasan yang cukup bagus, seperti siapa memasukkan berapa tembakan tiga angka dan dari mana melemparnya
  • Jika saya membuat prototipe ini, untuk input saya akan mulai hanya dengan catatan play-by-play berupa teks semiterstruktur
    Jika ditambah daftar pemain, cedera, dan jadwal, lalu memakai prompt yang cukup mendasar, kemungkinan hasilnya akan jauh lebih baik
    Data seperti ini sekarang ada untuk sebagian besar pertandingan langsung lewat berbagai layanan web. ESPN juga pasti punya cukup sumber daya internal untuk mengambil informasi semacam itu
  • Ada beberapa perusahaan yang menyediakan data olahraga real-time lewat API atau ringkasan pascapertandingan, jadi kemungkinan besar mereka memakai itu
  • Mereka memakai box score dan event play-by-play
  • Kesenjangan antara harapan dan kenyataan soal “AI generatif” kini terlalu besar untuk diabaikan
    Jika sistem bernilai miliaran dolar gagal karena “kesalahan manusia”, mungkin kemampuannya memang sangat dilebih-lebihkan. Jika yang dibutuhkan adalah kueri yang dibuat hati-hati yaitu “prompt engineering”, data 100% bebas kesalahan, daya listrik sangat besar, dan proses manusia meninjau ulang output, saya tidak tahu apa sebenarnya yang kita dapatkan
    Bukankah sudah saatnya mengakui bahwa fase AI ini adalah gelembung?

• Situs-situs web seperti ini penuh pelacak dan iklan, dan pada dasarnya hanya memanjangkan artikel dengan upaya sangat minim yang melaporkan hal-hal yang umumnya tidak terlalu berarti hingga menjadi sangat panjang