AI Class

Otomasi Analisis Kompetitor & Harga dengan n8n + AI: Pipeline Scrape, Normalisasi, Alert, dan Rekomendasi Repricing

· 4 menit baca

Otomasi Analisis Kompetitor & Harga dengan n8n + AI: Pipeline Scrape, Normalisasi, Alert, dan Rekomendasi Repricing

Ringkasan: Artikel ini memberikan panduan langkah-demi-langkah membangun pipeline otomasi untuk analisis kompetitor dan pemantauan harga menggunakan n8n dan komponen AI. Mulai dari strategi scraping aman, normalisasi data, enrichment AI, hingga pemberitahuan dan rekomendasi repricing—semua dijelaskan dengan contoh workflow, best practice, dan perhatian hukum.

Mengapa Automasi Analisis Kompetitor & Harga penting?

Di era e-commerce dan omnichannel, harga dan positioning kompetitor berubah cepat. Manual monitoring tidak scalable. Dengan n8n + AI kita bisa membangun pipeline yang:

  • Memantau perubahan harga secara periodik
  • Menormalkan data dari banyak sumber berbeda
  • Menggunakan AI untuk mengelompokkan produk dan mendeteksi anomali
  • Menghasilkan rekomendasi repricing dan notifikasi otomatis

Arsitektur high-level

Pipeline yang direkomendasikan terdiri dari beberapa lapisan:

  1. Ingest (Scraping/API) — HTTP request, headless browser, atau feed API.
  2. Staging & Queue — Redis/Message Queue untuk mengendalikan throughput.
  3. Normalisasi & Matching — Function/Transformer untuk menyamakan atribut (size, color, SKU).
  4. Enrichment AI — LLM atau model klasifikasi untuk mengelompokkan produk, ekstraksi atribut, dan deteksi anomali.
  5. Storage — Postgres/Timescale untuk histori harga; object store untuk snapshot HTML.
  6. Alert & Action — Slack/Email/Webhook; rekomendasi repricing ke sistem internal.

Langkah 1 — Data Ingest: Scraping yang aman dan skalabel

Metode yang umum digunakan:

  • API publik (jika tersedia): paling stabil dan legal.
  • HTTP Request + parsing HTML: cocok untuk situs sederhana.
  • Headless browser (Playwright/Puppeteer): untuk halaman yang render JS.

Best practices:

  • Hormati robots.txt dan Terms of Service.
  • Gunakan rate limiting dan backoff (diatur di n8n Cron + Function atau external queue).
  • Rotasi IP/proxy dan User-Agent untuk menghindari blokir, tapi jangan menyalahgunakannya.
  • Snapshot HTML disimpan untuk audit dan debugging.

Langkah 2 — Normalisasi & Produk Matching

Masalah utama: nama produk bervariasi antar toko (brand, SKU, varian). Teknik:

  • Tokenisasi nama produk: hapus stopwords, normalisasi casing, hapus simbol tak perlu.
  • Use fuzzy matching (Levenshtein / trigram) untuk mencocokkan SKU atau nama mirip.
  • Jika tersedia identifier (UPC, EAN, ASIN) prioritaskan itu.

Contoh pseudo-code transformasi di node Function n8n:

function normalizeTitle(title) {
  return title.toLowerCase()
    .replace(/[^a-z0-9\s]/g,'')
    .replace(/\s+/g,' ')
    .trim();
}

Langkah 3 — Enrichment & Insight dengan AI

Di sinilah LLM/AI membantu:

  • Ekstraksi atribut harga, diskon, kondisi (refurbished/new).
  • Klasifikasi kategori produk & mapping ke katalog internal.
  • Deteksi anomali harga (penurunan drastis, loss-leader).
  • Ringkasan peristiwa harga harian untuk stakeholder.

Contoh prompt untuk OpenAI/GPT (di node OpenAI n8n):

"Extract structured fields from this product listing:\n
Title: {title}\nPrice: {price}\nDescription: {desc}\nReturn JSON with keys: price, currency, discount_percent, condition, attributes[]"

Langkah 4 — Penyimpanan Historis & Time Series

Simpan setiap snapshot harga dengan timestamp. Pilihan storage:

  • Relational DB (Postgres) untuk join dan query kompleks.
  • Time-series DB (TimescaleDB, InfluxDB) jika fokus analisis tren.
  • Elasticsearch untuk pencarian full-text dan aggregasi.

Langkah 5 — Alerting, Dashboard & Rekomendasi Repricing

Trigger notifikasi ketika aturan terpenuhi:

  • Harga kompetitor turun > X% → Kirim Slack + simpan alert.
  • Produk baru muncul di kompetitor → Kirim email ke product manager.
  • Anomali mendeteksi potensi kesalahan harga internal → Batalkan publish otomatis dan tag untuk review.

Rekomendasi repricing dapat berupa rule-based atau AI-driven:

  • Rule-based: selisih harga, margin minimal, stok.
  • AI-driven: model ML/regresi yang memperhitungkan permintaan, kompetisi, dan elasticity.

Contoh Workflow n8n (high-level)

Berikut contoh alur sederhana di n8n:

// 1. Cron trigger (setiap 15 menit)
// 2. HTTP Request -> get product page
// 3. Function -> parse dan normalisasi
// 4. OpenAI -> ekstraksi atribut & classify
// 5. Postgres -> insert history
// 6. Function -> cek rule alert
// 7. Slack -> kirim notifikasi

Contoh node mapping: Cron -> HTTP Request -> HTML Extract -> Function -> OpenAI -> Postgres -> Slack

Monitoring, Observability & Cost Control

Pantau metrik penting:

  • Throughput per job dan rata-rata latensi scraping.
  • Rate limit / error response dari target website.
  • Biaya inference AI (optimalkan dengan caching dan batch requests).

Tips menghemat biaya AI:

  • Gunakan model kecil untuk ekstraksi sederhana, simpan hasil di DB.
  • Batch multiple listings ke satu request LLM jika memungkinkan.
  • Caching hasil AI untuk snapshot yang identik.

Aspek Hukum & Etika

Scraping dan pemantauan kompetitor membutuhkan kehati-hatian:

  • Periksa Terms of Service & robots.txt target.
  • Hindari mengumpulkan PII dan simpan data sensitif dengan enkripsi.
  • Jika menggunakan data pihak ketiga, pastikan lisensi dan izin penggunaannya.

Kesalahan Umum & Cara Mengatasinya

  • Block IP: Implementasikan retry exponential, rotasi proxy, dan respect rate limits.
  • Data mismatch: Tingkatkan normalisasi, gunakan fuzzy matching dan human-in-the-loop untuk kasus edge.
  • Biaya AI membengkak: Caching, batching, fallback ke heuristik rule-based.

Summary: Implementasi cepat (Checklist)

  • Identifikasi halaman/produk target & validasi legalitas.
  • Buat Cron/Queue di n8n untuk ingest terjadwal.
  • Normalisasi dan match produk ke katalog internal.
  • Gunakan AI untuk ekstraksi, klasifikasi, dan deteksi anomali.
  • Simpan histori, bangun alert, dan buat rekomendasi repricing.
  • Monitor, optimalkan biaya, dan tambahkan human review untuk edge cases.

Penutup: Dengan n8n sebagai orkestrator dan AI sebagai lapisan intelligence, Anda bisa membangun pipeline analisis kompetitor yang otomatis, dapat diaudit, dan actionable. Mulailah dari skala kecil, buktikan nilai (quick wins), lalu ekspansi ke model ML lebih canggih dan integrasi real-time.

Jika ingin, saya bisa membantu membuat template workflow n8n yang siap pakai (JSON export) untuk use case ini—sebutkan target situs dan preferensi storage Anda.

Artikel terkait