Saat spreadsheet tidak lagi cukup: pindahkan data marketplace ke PostgreSQL
Panduan praktis merancang pipeline pertama di Spyliner Hub, dari akses tujuan hingga mapping, write mode, dan monitoring.
Spreadsheet adalah alat operasional yang hebat, tetapi bukan lapisan data mentah yang ideal ketika banyak toko, riwayat panjang, dashboard, dan aplikasi internal bergantung pada file yang sama.
Spyliner Hub menghubungkan dataset marketplace ke tabel PostgreSQL yang sudah ada. Nilai utamanya ada pada tiga keputusan: bentuk tabel, mapping kolom, dan cara menulis record yang muncul lagi.
Gunakan tujuan yang tepat
PostgreSQL cocok ketika data dipakai banyak sistem
Pilih Database Sync jika dashboard BI, proses transformasi, aplikasi internal, atau beberapa tim membutuhkan sumber stabil. Tetap gunakan Google Sheets ketika kebutuhan utamanya adalah ruang kerja yang fleksibel dan terlihat.
Mulailah dengan satu toko dan satu dataset pada tabel non-kritis. Buktikan bentuk dan perilaku update sebelum memperluasnya.
Keamanan sebelum kenyamanan
Siapkan tujuan yang layak untuk produksi
- ✓Gunakan role database khusus dengan akses minimum.
- ✓Gunakan jalur jaringan yang disetujui; jangan membuka database terlalu luas.
- ✓Buat kolom tujuan yang kompatibel dengan field yang benar-benar dibutuhkan.
- ✓Jauhkan connection string dari tiket, screenshot, source code, dan chat.
Di dalam alur Hub
Buat dan uji mapping dari sumber ke tabel
- 1
Tambahkan PostgreSQL
Buka Destinations, tambahkan PostgreSQL, beri nama, masukkan koneksi, lalu uji dan simpan.
- 2
Pilih sumber
Buka Syncs, buat sync, lalu pilih toko dan dataset.
- 3
Pilih tabel
Pilih destination, schema, dan tabel yang sudah ada setelah Hub memeriksa kolomnya.
- 4
Petakan dan uji
Cocokkan field sumber dengan kolom kompatibel dan jalankan Test write access.
- 5
Atur jadwal
Periksa konfigurasi, pilih jadwal, lalu buat sync.
Keputusan yang mengatur record berulang
Gunakan upsert untuk record yang berubah; insert-only untuk log append
Order dan data performa sering berubah. Upsert menambahkan baris baru dan memperbarui baris yang cocok melalui conflict key; kolom tujuan memerlukan unique constraint atau index yang sesuai.
Insert-only membiarkan baris lama dan menambahkan record masuk, mengikuti constraint PostgreSQL. Gunakan jika perilaku append memang disengaja.
- ✓Petakan spylinerSyncKey ke text atau varchar sebagai identitas default.
- ✓Buat kolom identitas unik jika digunakan sebagai target conflict upsert.
- ✓Dokumentasikan write mode dan pemilik pipeline.
Jawaban singkat
Pertanyaan yang sering muncul
Apakah Spyliner Hub mendukung MySQL atau data warehouse?+
Saat ini tujuan database yang didukung adalah PostgreSQL.
Apakah manual run memiliki pengaturan berbeda?+
Tidak. Run manual dan terjadwal memakai sumber, mapping, destination, dan write mode yang sama.
Write mode mana yang cocok untuk order?+
Biasanya upsert karena status order dapat berubah. Pastikan conflict key memiliki unique constraint yang kompatibel.
