Show HN: MarkdownDown, merapikan dan mengonversi halaman web menjadi Markdown

 (markdowndown.vercel.app)
3 poin oleh GN⁺ 2024-04-15 | 1 komentar | Bagikan ke WhatsApp
  • MarkdownDown adalah alat untuk mengubah halaman web apa pun menjadi dokumen Markdown yang rapi
  • Mendukung pengunduhan gambar pada hasil konversi, sehingga gambar yang disimpan secara lokal dapat ditautkan di Markdown
  • Menyediakan opsi menghapus elemen non-konten untuk mengurangi elemen yang tidak terkait dengan isi utama
  • Juga menyediakan pilihan untuk menerapkan GPT Filter pada hasil Markdown
  • Berguna bagi pengguna yang ingin menyimpan isi halaman web dalam Markdown atau merapikan gambar sekaligus

Merapikan halaman web menjadi Markdown

  • MarkdownDown mengonversi halaman web menjadi Markdown yang rapi
  • Selama proses konversi, gambar dapat diunduh dan tautan gambar lokal dapat disertakan dalam hasilnya

Opsi konversi

  • Perapian berfokus pada isi utama

    • Opsi Remove non-content elements menghapus elemen yang bukan konten

  • Pemrosesan gambar

    • Opsi Download images locally and link them menyimpan gambar secara lokal dan menautkannya

  • Menerapkan GPT Filter

    • Opsi Apply GPT Filter on Markdown memungkinkan GPT Filter diterapkan pada hasil Markdown

Bacaan terkait

1 komentar

 
GN⁺ 2024-04-15
Komentar Hacker News

  • Ada tiga masalah berbeda dalam mengubah situs web menjadi Markdown: mengambil seluruh konten halaman tanpa ada yang terlewat, menghapus iklan dan konten tambahan, serta mendapatkan tata letak dan format bagian yang tepat
    Untuk ekstraksi konten yang presisi dan pemformatan, solusi berbasis Trafilatura, Newspaper4k, dan python-readability bekerja paling baik dalam kondisi default; untuk pengambilan yang lengkap, kombinasi layanan scraping dan Selenium cocok digunakan
    Penasaran apa yang dilakukan alat ini secara berbeda atau lebih baik. Bidang ini sudah cukup lama stagnan, jadi ingin mendengar pelajaran yang didapat

    • Khususnya di lingkungan tanpa JavaScript runtime, atau ketika tidak ingin menggunakannya, scraping menyeluruh itu sulit
      Untuk ekstraksi konten, pendekatan pustaka Postlight cukup rapi. Setiap node HTML diberi skor dengan heuristik seperti panjang teks, kepadatan tautan, dan kelas CSS, lalu node dengan skor tertinggi dipilih. Saya pernah mencoba mem-porting-nya ke Swift saat membuat aplikasi read-it-later pribadi
      https://github.com/postlight/parser
    • Scraper artikel saya saat ini beralih ke Playwright dan pemblokir iklan, lalu menjalankan readability milik Mozilla pada halaman, dan hasilnya diperiksa oleh LLM
      Jika pemeriksaan gagal, alurnya adalah memotong konteks HTML halaman penuh, mengonversinya ke Markdown dengan Pandoc, lalu LLM mengekstrak isi artikel dari Markdown

  • Vercel, ya. Sekarang kalau trafik membludak, harus hati-hati dengan tagihannya. Semoga tidak memakainya dengan cara yang terus didorong Vercel agar orang tetap menggunakan layanan mereka

    • Agak pahit melihat dokumentasinya secara umum mendorong orang untuk memakainya. Padahal kadang satu WebP saja sudah cukup
      Persis seperti meme bus itu: yang bahagia adalah pengguna dan Vercel, yang sedih adalah dompet
      Tentu saja pengecualian berlaku jika memang membutuhkan scaling dan resizing dinamis
    • Pada kenyataannya cukup tahan banting, dan biayanya juga bisa diabaikan
      Tidak ada yang saya lakukan secara khusus untuk menangani trafik HN; itu hanya aplikasi Next.js standar

  • Menyediakan unduhan gambar dan pemfilteran berbasis GPT adalah ide bagus
    Tahun lalu saya membuat alat serupa, tetapi tidak punya fitur seperti itu: https://url2text.com/
    UI-nya mungkin lambat, tetapi Anda bisa melihat contoh output di halaman utama
    API dasarnya adalah API screenshot situs web dari Urlbox; jika dipakai langsung, performanya jauh lebih baik. Anda bisa meminta Markdown sekaligus bersama HTML hasil rendering JavaScript, metadata, dan screenshot: https://urlbox.com/extracting-text
    Hasilnya juga bisa langsung disimpan ke storage yang kompatibel dengan S3: https://urlbox.com/s3
    Bisa juga diterima lewat webhook: https://urlbox.com/webhooks
    Di side project, saya merender lebih dari 1 juta kali per bulan dengan fitur Markdown Urlbox, dan Markdown seperti ini jauh lebih berguna untuk embedding dan prompt
    Jika ingin men-scrape seluruh situs web dengan cara seperti ini, alat baru dari dctanner juga layak dilihat: https://usescraper.com/

    • Saya pendiri https://usescraper.com. Sekarang ada juga opsi scraping URL tunggal: https://docs.usescraper.com/api-reference/scraper/scrape
      Biayanya $0,001 per halaman dan menggunakan browser headless Chrome. Hasilnya cepat, dan Anda hanya membayar sesuai pemakaian
    • Terlihat lumayan, tetapi url2text tampaknya tidak punya API, dan urlbox tampaknya tidak punya opsi untuk melewati screenshot saat hanya menginginkan teks
      Jika hanya butuh teks, kelihatannya cukup mahal

  • Jika situs web menampilkan pesan cookie, alat ini tampaknya berhenti di situ dan tidak dapat mem-parse konten sebenarnya
    Misalnya, ketika saya memasukkan https://www.cnbc.com/, Markdown yang dihasilkan hanya berisi pesan cookie dan teks legal di sekitarnya

    • Mengakali hal seperti itu tidak mudah, tetapi bisa bekerja seperti ini: https://url2text.com/u/wYVake
      Saya beruntung karena bisa membangunnya di atas API yang matang yang sudah menangani banyak edge case dari berbagai jenis rendering halaman

  • Konversi HTML→Markdown dengan htmltidy dan Pandoc saja sudah cukup bisa dipakai
    http://www.html-tidy.org/
    https://pandoc.org/

    • Baru pertama kali mendengar tidy, tetapi terlihat menjanjikan
      Saya tertarik sekaligus agak takut untuk menjalankan seluruh HTML template akhir melalui alat ini guna menemukan struktur keliru yang tersisa. Bergantung pada seberapa struktural hasil perbaikannya, mungkin bisa dijadikan test suite

  • Saya juga membuat sesuatu yang sangat mirip, smort.io. Jika Anda menambahkan smort.io/ di depan URL artikel apa pun, Anda bisa dengan mudah mengedit, memberi anotasi, dan membagikannya
    Ini juga bekerja untuk makalah ArXiv
    Post Show HN Smort ada di sini: https://news.ycombinator.com/item?id=30673502

  • Saya mencobanya pada halaman pemasaran yang kompleks, dan hasilnya sangat baik
    Jika boleh dibagikan, saya penasaran seberapa besar beban yang ditimbulkan pada host. Apakah masih pada level yang bisa terus dioperasikan gratis, atau pada akhirnya akan menjadi tidak efisien dari sisi biaya?

    • Karena menjalankan instance headless Chrome, ini agak berat. Bagian ini akan saya lihat untuk optimasi
      Selain itu, GPT-4 memang mahal, tetapi sejauh ini biayanya bisa diabaikan, jadi saya optimistis. Sepertinya bisa dipertahankan dalam jangka panjang

  • Ini salah satu kasus ketika AI tidak diperlukan. Ada algoritme yang bekerja sangat baik untuk mengekstrak konten dari halaman, dan salah satu implementasinya adalah https://github.com/buriy/python-readability

    • Beberapa tahun lalu, saat membandingkan alat penghapus boilerplate, seingat saya jusText memberikan hasil terbaik dalam kondisi default
      Saya juga pernah mencoba readability dan beberapa library lain. Saya penasaran seperti apa state-of-the-art saat ini
    • Di sini AI bersifat opsional. Saya menggunakan readability untuk merapikan HTML sebelum mengubahnya menjadi Markdown
    • Terakhir kali saya mencoba readability, itu bekerja baik untuk artikel, tetapi kesulitan pada jenis halaman lain
      Itu menghapus jauh lebih banyak konten daripada yang saya inginkan
    • Saya penasaran bagaimana hal yang sama bisa dicapai di sini hanya dengan alat itu, tanpa AI
    • Jujur saya mengira sebagian besarnya akan berupa ilmu hitam, tetapi inti proyek ini tampaknya seperti sekumpulan regex yang pasti dibangun dengan susah payah. Keren

  • Pandoc (https://pandoc.org/) yang selalu luar biasa melakukan pekerjaan semacam ini dengan sangat baik. Bahkan, praktis hampir semua format dokumen lain juga didukung

    • Setuju. Pandoc adalah salah satu alat paling berguna yang ada, tetapi hampir tidak pernah disebut
      Luar biasa, mudah digunakan, dan bekerja dengan baik. Alat baru di bidang ini sering bermunculan, tetapi untuk membuat saya memakai sesuatu selain Pandoc, rasanya alat itu harus punya fitur yang benar-benar unik dan meyakinkan, atau sangat dioptimalkan untuk use case tertentu

  • Keren. Saya ingin ada ekstensi browser yang menerapkan ini ke semua halaman yang saya baca dan menyimpannya di suatu tempat

    • SingleFile untuk Firefox: https://addons.mozilla.org/en-US/firefox/addon/single-file/
    • Opsi yang saya pakai secara manual adalah Markdown clipper
      https://github.com/deathau/markdown-clipper
      Sepertinya ada puluhan ekstensi alternatif serupa
    • Kombinasi Wallabag + Obsidian + Wallabag Browser Ext bagus. Pemicunya manual, tetapi sangat bagus
    • Omnivore menggunakan arsip web untuk menyimpan salinan
      https://omnivore.app/
    • Saya rasa aplikasi seperti Pocket, Readwise Reader, dan Matter sudah melakukan hal semacam itu
      Edit: saya membaca terlalu cepat. Saya melewatkan bagian tentang pemrosesan secara otomatis dan sistematis