Nitter kembali berfungsi

 (github.com/zedeus)
1 poin oleh GN⁺ 2023-07-11 | 1 komentar | Bagikan ke WhatsApp
  • PR #927 “Fix everything” dari zedeus/nitter digabungkan ke master pada 10 Juli 2023, membawa perubahan untuk memulihkan fungsi yang rusak
  • Pemulihan dilakukan dengan menggunakan bearer token baru dan kumpulan endpoint yang diperbarui, serta parser juga ikut diperbarui
  • Fitur pencarian belum pulih sepenuhnya; berdasarkan commit, pencarian pengguna diaktifkan tetapi pencarian tweet dinonaktifkan
  • Perubahan tambahan mencakup multi-user timelines yang untuk sementara dinonaktifkan, serta perbaikan parsing pinned tombstone
  • RSS berfungsi, tetapi dinonaktifkan di nitter.net, sehingga ketersediaannya bergantung pada konfigurasi instance

Cakupan perbaikan yang digabungkan

  • PR #927 “Fix everything” dari zedeus/nitter digabungkan dari branch elon-fix ke master
    • Tanggal penggabungan: 10 Juli 2023
    • Total mencakup 4 commit
    • Setelah digabungkan, branch elon-fix dihapus

Metode pemulihan utama

  • Inti perubahan adalah penggunaan bearer token baru dan kumpulan endpoint yang diperbarui
  • Parser juga diperbarui agar dapat bekerja sesuai struktur respons yang berubah
  • Dalam penjelasan awal, fungsi yang disebut masih hilang adalah search

Perubahan terkait pencarian dan timeline

  • Pencarian hanya pulih sebagian
    • Melalui commit Enable user search, disable tweet search, pencarian pengguna diaktifkan
    • Pencarian tweet dinonaktifkan
  • Melalui commit Disable multi-user timelines for now, multi-user timelines dinonaktifkan untuk sementara

Perbaikan parsing

  • Commit Fix parsing of pinned tombstone disertakan
  • Masalah parsing terkait pinned tombstone diperbaiki secara terpisah

Status RSS

  • Dalam komentar, ada pertanyaan apakah RSS berfungsi
  • zedeus menjawab bahwa RSS berfungsi tetapi dinonaktifkan di nitter.net
  • Karena itu, dukungan RSS itu sendiri terpisah dari status aktifnya di nitter.net

Bacaan terkait

1 komentar

 
GN⁺ 2023-07-11
Komentar Hacker News

  • Peringatan: ini panjang dan mungkin terdengar seperti pamer yang agak terkait, tapi ringkasnya, melewati rate limit Twitter tidak terlalu sulit
    Saya tidak ingin mengutak-atik certificate pinning Twitter yang menyebalkan, jadi saya mengunggah APK Twitter ke Corellium, menyalakan “network monitor” di sana, lalu membuka aplikasi Twitter yang bisa digunakan bahkan tanpa login
    Saat mencari dan melihat tweet sambil memeriksa log request, ada prosedur guest token yang mirip dengan situs web, hanya dengan beberapa perbedaan
    Dengan mereproduksi request-request ini, satu IP bisa membuat beberapa token OAuth tanpa masa berlaku per hari. Token ini untuk pengguna yang tidak terautentikasi, jadi tidak punya izin tulis, tetapi di sini itu memang tidak diperlukan
    Jika membeli bandwidth sekitar 1GB dari penyedia proxy dengan pool IP besar, dengan bandwidth yang sangat kecil saja Anda bisa dengan mudah memperoleh ribuan token/secret, dan masing-masing punya rate limit terpisah. IP mana yang dipakai untuk benar-benar menggunakan token itu tidak penting
    Setelah itu saya mengikuti https://docs.google.com/document/d/1xVrPoNutyqTdQ04DXBEZW4ZW..., dan dengan memanfaatkan fakta bahwa /statuses/lookup.json masih bisa mengembalikan 100 tweet sekaligus, saya merekonstruksi sesuatu yang mendekati Twitter 50% Firehose
    Twitter juga tidak memblokir IP data center. Saya sempat ingin menampilkan datanya di https://firehose.lol, tetapi karena perlu ratusan request per detik, saya merasa tidak nyaman dan akhirnya mematikan programnya tanpa menjalankannya lebih dari beberapa menit
    Melihat sebagian Firehose selama beberapa menit itu menarik. Awalnya saya lupa menyembunyikan tweet yang ditandai possibly_sensitive, jadi selama beberapa detik saya juga melihat materi yang cukup vulgar; meski Twitter diblokir di Tiongkok, ada banyak iklan judi berbahasa Mandarin; ada akun promosi investasi mencurigakan, akun-akun dengan nama pengguna seperti FirstnameLastname3781264872 yang saling men-tweet tiga kata acak setiap beberapa detik, dan beberapa tweet lucu

    • Dengan memakai archive.md, efisiensinya jauh lebih rendah, tetapi Anda bisa melewati rate limit dengan lebih sederhana. archive.md tidak terkena dampak rate limit, jadi berguna saat Anda hanya ingin sesekali melihat beberapa tweet tanpa akun

  • Ini adalah proyek Nim paling mengesankan yang pernah saya lihat sejauh ini. Membuat ulang frontend utama, membuat autentikasi berfungsi, hingga menangani perilaku aneh API privat adalah pekerjaan yang luar biasa
    Sebagai konteks, jika ini di internal Twitter, praktis akan ada tim berisi lebih dari 20 orang yang ditugaskan untuk mendukung fitur ini. Tepuk tangan untuk penulis yang berhasil melakukannya

    • Frontend-nya memakai Karax, yang merupakan library frontend/single-page app favorit saya di antara bahasa apa pun. Ada beberapa bagian yang agak kasar, tetapi benar-benar menyenangkan dipakai
      https://github.com/karaxnim/karax
    • Tentu saja di Twitter akan ada tim berisi lebih dari 20 orang, tetapi itu juga karena jika Nitter tumbang, tidak ada yang terlalu peduli

  • Lucu bahwa efek rate limit hampir tidak berdampak pada bot dan scraper, tetapi justru merugikan basis pengguna biasa situs tersebut secara serius

    • Ini sangat anekdotal, tetapi di akun-akun saya, aktivitas bot meningkat bulan lalu lalu berhenti total setelah kebijakan rate limit baru-baru ini
    • Jika memakai mode teori konspirasi, bagaimana kalau sejak awal memang itu tujuannya? Twitter adalah ruang penting untuk mengorganisasi protes seperti Arab Spring atau Occupy Wall Street
      Salah satu orang terkaya di dunia, yang juga sangat anti-serikat pekerja, membeli ruang itu dan membuatnya tidak bisa digunakan pada saat ketimpangan makin parah dan kohesi sosial runtuh
      Tidak ada lagi ruang untuk berorganisasi, dan satu ancaman terhadap modal pun berkurang
    • Dalam banyak kasus itu benar. Hampir setiap pembatasan yang ditambahkan hanya merugikan pengguna biasa yang ringan, sementara penyerang biasanya bukan pengguna ringan
    • Sejak Elon membeli situs itu, bot tampaknya malah terus bertambah. Saya menerima semakin banyak DM dari akun spam, dan entah bagaimana ada juga yang dari Jepang
      Apa pun yang dilakukan Elmo sepertinya tidak berjalan dengan benar

  • Setelah perubahan API, bearer token bawaan yang saya pakai juga berhenti, tetapi setelah mengubahnya dengan cara yang sama, aplikasi pengunduh Twitter Spaces saya juga kembali berjalan normal
    0: https://github.com/Chiplis/moonbird

  • Tanpa login, profil atau balasan di Twitter masih tidak bisa dilihat, dan ini benar-benar hebat
    Saya sudah menjadi pengguna Nitter selama 4 tahun, dan akan terus memakainya selama masih berfungsi

    • RSS juga bisa dipakai. Cukup tambahkan /rss di belakang URL

  • Kita sebenarnya tidak boleh membicarakan Fight Club

    • Tapi halaman Nitter terindeks di Google, jadi ini bukan rahasia juga

  • Apakah ini benar-benar permanen? Saya ingin tahu lebih banyak tentang bearer token ini
    Di thread issue GitHub lain, setiap kali ditemukan cara untuk melewati proteksi Twitter, tampaknya cara itu kemudian diblokir
    Sepertinya token itu benar-benar di-hardcode di source code, yang berarti ribuan instance Nitter di seluruh dunia dan ribuan pengguna akan memakai token yang sama
    Perusahaan AI juga berpotensi memakai token itu, jadi saya tidak tahu bagaimana ini bisa terus berfungsi

    • Token ini sepertinya dipakai oleh aplikasi web/mobile resmi Twitter. Jadi menurut saya Twitter sulit untuk begitu saja menonaktifkan atau memblokirnya
    • Saya penasaran mengapa API “tidak resmi” dibiarkan tetap berjalan, meski hanya sesekali. Saya bersyukur bisa memakai Nitter, tetapi rasanya ada sesuatu yang tidak sepenuhnya masuk akal
    • Sepertinya API lama kembali berfungsi
    • Jadi itu sebabnya NewPipe sepertinya sering kali tidak berjalan dengan baik. Kalaupun bisa, lambatnya tidak masuk akal

  • Artinya akses anonim telah dipulihkan. Nitter toh tidak memakai Twitter API yang sudah hilang. Memang sempat pulih sebentar
    Twitter seharusnya menyediakan portal web interoperabel noscript/basic (x)html

  • Jadi apakah AI Scrapocalypse bukan lagi isu yang sangat kritis?

    • Sejak awal saya skeptis bahwa itu alasan sebenarnya di balik rate limit
    • Mungkin dia mengancam besar-besaran akan memecat para peri pekerja, lalu para peri itu bekerja semalaman dan tidur di kasur tua kantor untuk Make Twitter Scale Again, dan kini dunia load balancer kembali tenteram

  • Ini mirip dengan celah analog. Selama data dikirim dari server ke klien, scraping akan selalu mungkin dilakukan
    Namun Apple berusaha membuatnya lebih sulit: https://developer.apple.com/documentation/devicecheck/prepar...

    • Saya bukan developer iOS, tetapi saya penasaran apa makna App Attest dalam kaitannya dengan celah yang digunakan di sini