Program Reseller Cloud: Jual kembali Cloud VPS & Residential Proxy di bawah brand Anda 100% Whitelabel. Pelajari Reseller
Catatan rekayasa · 4 menit baca

Membangun AI Agent Pemantau Harga Marketplace yang Etis dengan Residential Proxy dan Dahono Router

Bangun agent Python yang memantau harga produk di marketplace: halaman publik diambil lewat Residential Proxy Dahono, lalu dibaca model AI di Dahono Router untuk mengekstrak nama, harga, dan stok. Lengkap dengan pengecekan robots.txt dan pembatasan kecepatan.

Penulis
Dahono Engineering
Terbit
Waktu baca
4 menit
Membangun AI Agent Pemantau Harga Marketplace yang Etis dengan Residential Proxy dan Dahono Router

Memantau harga produk di marketplace secara manual cepat membosankan. Sementara itu, scraper tradisional yang mengandalkan selector CSS sering rusak setiap kali tampilan halaman berubah.

Kombinasi dua layanan Dahono bisa mengatasinya:

Artikel ini membangun agent sederhana dengan Python. Agent ini mematuhi robots.txt dan membatasi kecepatan request, karena pemantauan harga hanya bermanfaat jika dilakukan dengan cara yang tidak merugikan situs tujuan.


Arsitektur Singkat

  1. Cek izin. Agent membaca robots.txt situs tujuan. Jika URL tidak diizinkan, agent melewatinya.
  2. Ambil halaman. Halaman produk publik diambil lewat residential proxy dengan IP negara yang sesuai, misalnya Indonesia.
  3. Bersihkan teks. HTML diubah menjadi teks polos agar token yang dikirim ke model tetap kecil.
  4. Ekstrak dengan AI. Model di Dahono Router mengembalikan JSON berisi nama produk, harga, dan status stok.
  5. Simpan dan bandingkan. Hasilnya disimpan dan dibandingkan dengan harga sebelumnya.

Persiapan

pip install requests beautifulsoup4 openai

export DAHONO_PROXY_USER="USERNAME-country-id"
export DAHONO_PROXY_PASS="PASSWORD"
export DAHONO_API_KEY="sk-xxxxxxxxxxxxxxxx"

Kredensial proxy dibuat di dashboard Proxy, sedangkan API key model dibuat di menu API Keys. Keduanya dibayar dari saldo yang sama, yang bisa diisi lewat QRIS.


Kode Agent

import json
import os
import time
import urllib.robotparser
from urllib.parse import urlparse

import requests
from bs4 import BeautifulSoup
from openai import OpenAI

USER_AGENT = "PriceWatcherBot/1.0 (+https://contoh-perusahaan-anda.id/bot)"
DELAY_SECONDS = 5  # jeda antar request ke domain yang sama

proxy = (
    f"http://{os.environ['DAHONO_PROXY_USER']}:{os.environ['DAHONO_PROXY_PASS']}"
    "@proxy.dahono.com:6969"
)
PROXIES = {"http": proxy, "https": proxy}

llm = OpenAI(
    base_url="https://gateway.dahono.com/v1",
    api_key=os.environ["DAHONO_API_KEY"],
)

_robots = {}

def allowed(url):
    """Ikuti robots.txt situs tujuan."""
    host = urlparse(url)
    root = f"{host.scheme}://{host.netloc}"
    if root not in _robots:
        rp = urllib.robotparser.RobotFileParser()
        rp.set_url(root + "/robots.txt")
        try:
            rp.read()
        except Exception:
            return False  # ragu? jangan ambil
        _robots[root] = rp
    return _robots[root].can_fetch(USER_AGENT, url)

def fetch_text(url):
    r = requests.get(url, proxies=PROXIES, timeout=30,
                     headers={"User-Agent": USER_AGENT})
    if r.status_code == 429:
        raise RuntimeError("Situs meminta kita melambat (HTTP 429). Berhenti dulu.")
    r.raise_for_status()
    soup = BeautifulSoup(r.text, "html.parser")
    for tag in soup(["script", "style", "noscript", "svg"]):
        tag.decompose()
    return " ".join(soup.get_text(" ").split())[:12000]

def extract(text):
    resp = llm.chat.completions.create(
        model="dahono/deepseek-v4.1-flash",
        messages=[
            {"role": "system", "content":
                "Ekstrak data produk dari teks halaman. Balas HANYA JSON dengan kunci "
                "nama (string), harga_rupiah (angka atau null), tersedia (true/false/null)."},
            {"role": "user", "content": text},
        ],
    )
    raw = resp.choices[0].message.content.strip().strip("`")
    raw = raw.removeprefix("json").strip()
    return json.loads(raw)

def run(urls):
    hasil = []
    for url in urls:
        if not allowed(url):
            print("Dilewati (robots.txt):", url)
            continue
        data = extract(fetch_text(url))
        data["url"] = url
        hasil.append(data)
        print(data)
        time.sleep(DELAY_SECONDS)
    return hasil

if __name__ == "__main__":
    run([
        "https://toko-contoh.id/produk/123",
        "https://toko-contoh.id/produk/456",
    ])

Jalankan skrip ini dengan cron atau workflow n8n, misalnya sekali sehari. Simpan hasilnya ke database, lalu kirim notifikasi jika harga turun di bawah ambang tertentu.


Kenapa Memakai Model AI, Bukan Selector CSS?

  • Tahan perubahan tampilan. Model membaca teks halaman seperti manusia, sehingga perubahan nama class atau tata letak tidak langsung merusak agent.
  • Satu kode untuk banyak toko. Prompt yang sama bisa dipakai di berbagai situs dengan struktur HTML berbeda.
  • Hemat. Halaman yang sudah dibersihkan biasanya hanya beberapa ribu token. Model flash di Dahono Router dihitung per 1 juta token dalam Rupiah. Cek tarif terbaru di halaman Model AI.

Untuk hasil yang konsisten, tetap validasi output model. Misalnya, pastikan harga_rupiah berupa angka positif sebelum disimpan.


Aturan Main Pemantauan Harga yang Etis

Pemantauan harga adalah kebutuhan bisnis yang sah. Supaya tetap begitu, ikuti prinsip berikut:

  1. Hormati robots.txt. Kode di atas melewati URL yang tidak diizinkan. Jangan menghapus pengecekan ini.
  2. Batasi kecepatan. Satu request setiap beberapa detik per domain sudah cukup untuk memantau harga harian. Jika situs membalas HTTP 429, berhenti dan coba lagi nanti.
  3. Identifikasi diri. Gunakan User-Agent yang jujur dan cantumkan kontak, agar pengelola situs bisa menghubungi Anda.
  4. Hanya data publik. Jangan login ke akun, jangan melewati paywall, dan jangan mengumpulkan data pribadi penjual atau pembeli. Data pribadi dilindungi UU PDP.
  5. Utamakan API resmi. Jika marketplace menyediakan API atau program afiliasi, gunakan jalur itu.
  6. Patuhi ketentuan situs. Residential proxy membantu mengurangi blokir yang salah sasaran, tetapi bukan alat untuk menembus larangan yang sengaja dipasang. Proxy juga tidak menjamin lolos CAPTCHA.

Kesimpulan

Dengan residential proxy untuk mengambil halaman publik dan model AI untuk membacanya, Anda bisa membangun pemantau harga yang tahan perubahan tampilan hanya dengan satu skrip Python. Kedua layanan tersedia dalam satu akun Dahono dan dibayar dengan saldo yang diisi lewat QRIS.

Mulai dari Residential Proxy Dahono (mulai Rp 15.000/GB, kuota tidak hangus) dan pilih model yang cocok di katalog model Dahono Router.

Kategori

  • ai agent pemantau harga
  • price monitoring marketplace
  • scraping harga etis
  • residential proxy python
  • llm ekstraksi data
  • robots.txt scraping
  • dahono router
  • dahono proxy