- Alat baris perintah berbasis Python yang mengubah data email yang diterima di Gmail menjadi basis data SQLite agar bisa dikelola dan dianalisis secara sistematis
- Dikembangkan sebagai open source sehingga baik individu maupun perusahaan dapat bebas memperluas dan menyesuaikannya
- Dibandingkan pengelolaan email biasa, memungkinkan kueri cepat dan analisis mendetail dengan kata kunci atau kondisi yang diinginkan
- Migrasi data mudah dilakukan, serta sangat unggul untuk backup dan pengarsipan email dalam jumlah besar secara efisien
- Dibandingkan open source sejenis, memiliki sedikit dependensi, konfigurasi yang sederhana, serta kenyamanan penggunaan yang unggul seperti pengindeksan otomatis
1 komentar
Komentar Hacker News
Yang membuat penasaran adalah kenapa header tertentu dipisahkan tersendiri di skema Misalnya, field seperti recipients, subject, sender juga sebenarnya bisa dimasukkan semuanya ke satu item JSON bernama headers, jadi penasaran kenapa harus dipisah terpisah Kalau alasannya performa, headers tetap bisa disimpan sebagai blob JSON, lalu hanya field yang diperlukan saja yang diekstrak sebagai generated column untuk dipakai Menurut saya ini model yang sangat kuat karena pengguna bisa bebas menambahkan generated column terindeks lewat alter table sesuai kueri yang mereka butuhkan Misalnya, kalau perlu kueri status DKIM, bisa ditambahkan lewat ALTER TABLE dan indeksnya juga mudah dibuat Karena field bisa diperluas sesuka hati, pendekatan ini cocok untuk berbagai penggunaan
Sebenarnya generated column pun tidak wajib, SQLite bisa langsung membuat indeks pada expression Jadi misalnya indeks untuk subject bisa langsung dibuat dengan
json_extract, lalu indeks itu bisa dipakai di kueri kapan pun diperlukan Saya merasa membuat indeks terpisah seperti ini lalu memakainya lewat view lebih berguna daripada mengubah tabel utama dengan ALTERMenambahkan indeks hanya untuk kueri sekali pakai rasanya bukan kebiasaan yang terlalu baik Biasanya saya lebih suka mengekstrak terpisah hanya kolom yang memang pasti akan dipakai secara konsisten ke depan, apalagi kalau strukturnya stabil seperti header email Menumpuk semua header ke dalam satu JSON memang bisa memudahkan perubahan skema nanti, tapi pada akhirnya kerja keras saat penulisan dipindahkan lagi ke kueri pembacaan, dan dalam beberapa kasus malah membiarkan kegagalan diam-diam terjadi
Saya juga sering memakai pola serupa di Postgres Mula-mula saya keluarkan sebagai kolom hanya field yang jelas pasti dibutuhkan, lalu metadata tambahan saya tumpuk ke kolom JSON Setelah 2 bulan, saya menyesuaikan lagi dengan mengisi ulang field yang ternyata benar-benar dibutuhkan dari JSON, menjaga API tetap kompatibel, atau membuat view sesuai kebutuhan Ini sangat berguna untuk menghindari masa pertumbuhan yang menyakitkan karena di awal asal menumpuk semuanya ke Mongo atau sistem file lalu menyesal belakangan
Kelihatannya kolom dkim dibuat sebagai NOT NULL, jadi saya penasaran bagaimana penanganannya kalau email sama sekali tidak memiliki header Dkim-Signature
Baru-baru ini saya mencoba integrasi Gmail di aplikasi saya Saya menghabiskan sangat banyak waktu untuk proses ini, tetapi akhirnya menyerah mendukung Gmail Dikatakan Gmail to SQLite selesai dalam 6 tahap kredensial, tetapi kenyataannya tidak begitu Setelah 6 tahap selesai, Google kembali memberi tahu bahwa aplikasi saya belum dipublikasikan, lalu setelah dipublikasikan muncul lagi pemberitahuan bahwa karena saya bukan pengguna Workspace maka aplikasi internal tidak bisa dipakai Kalau diubah menjadi aplikasi eksternal, mereka kembali meminta proses verifikasi tambahan terpisah (meminta domain, alamat, detail, alasan untuk izin yang diminta, penjelasan video, waktu untuk peninjauan, dan lain-lain) Menurut saya keterlaluan kalau proses serumit ini dibebankan ke pengguna biasa oleh Google Saya cukup syok mengalaminya sendiri
Pakai saja cara lama: IMAP dengan app password Lebih baik menghindari prosedur merepotkan yang diminta Google
Proses yang harus dilewati untuk mendapatkan satu API key dari Google benar-benar gila repotnya Penasaran apakah ada yang tahu kenapa dibuat serumit ini
Beberapa tahun lalu saya pernah membuat alat untuk memvisualisasikan email besar seperti Gmail: https://github.com/terhechte/postsack
Ini benar-benar keren Rasanya seperti alat visualisasi kapasitas disk, tetapi fokus pada volume email itu sendiri Apakah ada opsi tampilan ukuran untuk melihat siapa pengirim yang paling banyak memakan ruang penyimpanan saya? Sebagai catatan, sertifikat SSL situs webnya sudah kedaluwarsa
Terlihat menarik Tautan gmvault di readme sepertinya sudah tidak berfungsi lagi, apakah tautan yang benar ini: https://github.com/gaubert/gmvault ?
Kelihatannya sangat menarik Saya juga pernah membuat sesuatu yang mirip secara DIY dengan qdirstat, tetapi dalam kasus ini email harus diurutkan berdasarkan struktur folder atau tanggal, dan sulit untuk menyusunnya ulang menurut berbagai kriteria Sebagai catatan, file cache qdirstat sangat mudah dibuat, jadi cukup berguna saat memvisualisasikan data seperti banyak file
Sangat disayangkan sekarang bahkan login hanya dengan app password pun tidak lagi cukup, dan harus melewati proses rumit seperti pendaftaran klien OAuth Rasanya seperti Google mengambil standar terbuka yang seharusnya bisa saya akses sendiri untuk email saya
Spam yang saya terima di alamat Gmail gratis jauh lebih banyak daripada di alamat berbayar untuk kerja lepas, dan spam yang datang dari server Gmail juga lebih banyak masuk ke akun non-Gmail saya Apalagi setelah merasa email freelance saya sering diperlakukan sebagai spam oleh sistem email pihak lain, keinginan saya untuk makin keluar dari ekosistem Google jadi semakin besar Hanya saja saya bingung bagaimana melepaskan diri dari rutinitas yang bergantung pada Google, rasanya berat
Saya kurang paham Dengan app password saja, bukankah IMAP memberi akses penuh ke seluruh email?
Saya penasaran kenapa app-specific password dianggap standar terbuka, sementara OAuth tidak dianggap demikian
Keren sekali Permintaan fitur baru: akan bagus jika ada fungsi untuk mengekstrak tautan berhenti berlangganan dari isi email agar bisa dengan mudah unsubscribe dari pengirim yang sering masuk
Saya juga mencoba hal yang sama kemarin, karena ingin membuat daftar jumlah email yang diterima per domain Kualitas kodenya rendah, tetapi ada di sini: https://github.com/hugoferreira/gmail-sqlite-db
Saya tidak tahu ini memungkinkan, terima kasih
Ini sedikit mengingatkan saya pada Archiveopteryx (server IMAP berbasis Postgres): https://github.com/aox/aox Skema AOX selalu terlihat sangat bagus bagi saya, meskipun saya belum pernah benar-benar punya kesempatan memakainya dengan serius Saya terutama ingin memakainya untuk analisis atau pencarian email
Saya penasaran berapa biaya bandwidth yang terlibat di sini Penyimpanan Gmail saya saja sudah lebih dari 40GB, jadi saya ingin tahu apakah memakai alat ini akan membuat saya kena tagihan karena lalu lintas transfer Tentu saja kalau pakai Google Takeout (unduh seluruh email gratis), tinggal parsing file saja jadi mudah diselesaikan Meski begitu, alat ini tampaknya jauh lebih cepat dan mudah untuk mulai dipakai
Rasanya nama yang lebih tepat mungkin semacam "imap to sqlite" Saya penasaran kenapa dibatasi hanya untuk penyedia email tertentu
Alasannya karena alat ini memang dioptimalkan untuk Gmail Karena memanfaatkan OAuth dan akses API Google Pendekatan IMAP jauh lebih rumit dan lambat, serta juga terkena batas bandwidth Google
Sebagai catatan, saya sudah mencoba mencadangkan akun gmail saya lewat imap selama bertahun-tahun (bahkan dengan alat yang khusus untuk gmail), tetapi tidak pernah sekali pun berhasil Bahkan alat sinkronisasi yang lumayan baik biasanya berjalan sekitar sebulan lalu akhirnya macet karena gagal mengambil email tertentu Mungkin karena email itu berada di cold storage Karena itu saya merasa memakai API khusus Google mungkin akan lebih baik Saat ini saya sangat senang karena lewat Google Takeout saya bisa langsung mendapatkan mbox dan melakukan pencadangan penuh dengan cepat tanpa masalah (sekitar setengah hari) Kekurangannya adalah tidak ada pembaruan otomatis berkelanjutan Sebagai catatan, saya sudah pindah ke layanan email lain (Infomaniak), dan saya sangat bersyukur sudah punya domain independen dari awal