Rekayasa

Di dalam adZoic: arsitektur di balik jutaan keputusan iklan per hari

Animasi: permintaan iklan mengalir dari exchange melalui lapisan ingress, bidder Go, serta lapisan cache dan model menuju keputusan tawaran (bid), sementara bilah anggaran waktu terisi di dalam batas waktu lelang.

Sebagian besar perusahaan ad tech merahasiakan arsitektur mereka. Kami percaya keterbukaan membangun lebih banyak kepercayaan. Jika Anda mempercayakan anggaran iklan kepada kami, Anda berhak tahu cara kerja mesin yang membelanjakannya. Jadi, inilah dia — dibagikan dengan cara blog engineering yang kami kagumi, terutama Netflix. Bahasa sederhana. Tanpa versi atau konfigurasi (kami jelaskan alasannya di bagian akhir).

Diperbarui 13 Oktober 2026: context engine, yang bergabung ke sistem setelah artikel ini pertama kali terbit, kini tercantum di daftar stack, diagram, dan penjelasan alurnya, dan konektor kanal dijelaskan sesuai cara kerjanya saat ini.

Stack yang kami jalankan

Semua yang ada di bawah ini sudah disebutkan di lowongan kerja kami sendiri, jadi tidak ada rahasia baru di sini. Namun melihatnya di satu tempat memberi gambaran tentang cara kami membangun:

  • Bidder ditulis dalam Go. Go cepat dan dapat diprediksi — dan seluruh anggaran waktu kami untuk satu keputusan hanya beberapa milidetik.
  • Machine learning menggunakan Python — XGBoost, LightGBM, dan PyTorch. Model yang sudah dilatih kami ekspor ke ONNX, sebuah format terbuka. Dengan begitu, model yang dilatih di Python berjalan dengan kecepatan penuh di dalam bidder. Tidak ada Python di jalur kritis (hot path).
  • Dasbor berupa API Laravel (PHP) dengan front end React. Alat yang membosankan dan matang — memang disengaja. Kampanye, anggaran, dan penagihan tidak boleh salah.
  • Redis menyimpan cache kampanye dan fitur. Bidder membacanya di setiap permintaan.
  • Redpanda → ClickHouse adalah pipeline data kami. Redpanda menggunakan protokol Kafka; setiap event lelang mengalir melaluinya ke ClickHouse, tempat miliaran baris data menjadi laporan dalam hitungan detik.
  • PostgreSQL adalah sistem pencatatan utama di balik dasbor. Kampanye, anggaran, dan penagihan disimpan di sini — angka-angka yang tidak boleh salah.
  • Sebuah layanan Python kecil — konektor kanal iklan kami — mengelola kampanye yang dalam sebuah rencana juga dijalankan di jaringan mitra: video, pencarian, dan media sosial. Perubahan kampanye dikirim keluar; laporan performa kembali masuk ke ClickHouse, sehingga setiap kanal berakhir di analitik yang sama. Layanan ini sepenuhnya berada di luar jalur bidding.
  • Layanan Python kedua — context engine kami — membaca situs dan aplikasi sebelum lelang. Masing-masing diprofilkan sekali, menjadi deskripsi singkat dan kesimpulan tentang topiknya, dan kesimpulan itu ditulis ke Redis agar bidder dapat mencarinya dengan satu kali baca cache; profilnya disimpan di ClickHouse. Bidder memberi tahu situs dan aplikasi mana saja yang sedang dilihatnya, melalui Redpanda, dan dasbor memberinya arahan tentang apa yang dicari pengiklan. Cara kami membangunnya ulang, dan apa manfaatnya bagi pengiklan.
  • Semuanya berjalan di Kubernetes di AWS (EKS), tersebar di beberapa zona data center. Seluruh infrastruktur ditulis sebagai kode dengan Terraform — tidak ada server yang dirakit manual.

Sistemnya, dalam satu halaman

Diagram arsitektur: halaman penerbit (publisher) dan ad exchange melewati load balancer dan lapisan ingress tipis menuju pod bidder Go yang stateless, yang memvalidasi setiap permintaan sendiri. Bidder membaca Redis dan ClickHouse serta mengirim event ke Redpanda di dalam lapisan data bersama yang juga berisi PostgreSQL. Context engine berbasis Python, yang mendapat arahan dari dasbor, membaca situs dan aplikasi sebelum lelang — diberi daftar situs dan aplikasi yang telah dilihat bidder, melalui Redpanda — lalu menulis kesimpulannya ke Redis dan profilnya ke ClickHouse. Dasbor membaca dan menulis ke keempat penyimpanan. Model ONNX berjalan di samping bidder dan dilatih ulang dari lapisan data. Ad-channel-connector Python yang terpisah mengelola kampanye di jaringan mitra dan menarik laporan performa kembali ke ClickHouse, di luar jalur bidding. Semuanya di AWS EKS, dikelola dengan Terraform.

Ikuti satu permintaan melalui gambar tersebut. Sebuah permintaan bid tiba — dari exchange, atau dari ad SDK kami di halaman penerbit. Load balancer menyebarkan trafik. Lapisan ingress yang tipis mengakhiri koneksi TLS dan meneruskan permintaan ke sebuah pod bidder. Bidder sendiri memeriksa setiap permintaan — apakah valid, apakah diizinkan — sebelum melakukan pekerjaan apa pun. Sengaja tidak ada produk API gateway yang berat di depannya: setiap lompatan tambahan di jalur ini memakan waktu yang tidak kami miliki. Bidder tidak pernah menyentuh database selama lelang. Data kampanye berasal dari Redis — begitu juga kesimpulan tentang topik situs atau aplikasi, yang sudah dihitung sebelumnya oleh context engine, sehingga memahami konten hanya menambah satu kali baca cache bagi lelang. Nilai impresi berasal dari model ONNX yang berada tepat di samping kode bidding. Bidder memutuskan, menjawab, lalu lanjut.

Setelah jawaban dikirim, seluruh cerita lelang tersebut mengalir ke Redpanda, tiba di ClickHouse, dan muncul di dasbor beberapa saat kemudian. Dasbor membaca dan menulis di seluruh lapisan data — PostgreSQL untuk catatan, ClickHouse untuk analitik, Redis dan Redpanda untuk data live. Data pelatihan mengalir kembali keluar untuk membangun model berikutnya. Situs dan aplikasi yang telah dilihat bidder mengalir ke context engine, yang memprofilkan situs atau aplikasi yang belum pernah ditemuinya, sebelum permintaan berikutnya datang. Siklusnya pun tertutup.

Satu-satunya aturan desain

Tidak ada yang lambat yang boleh berjalan saat lelang berlangsung. Database, pelatihan model, laporan — semuanya terjadi sebelum atau sesudah, tidak pernah selama lelang. Selama lelang hanya ada Go, satu kali baca cache, dan satu kali inferensi model. Aturan inilah yang menjadi alasan utama angka-angka di bawah ini bisa dicapai.

Keamanan sejak desain

Inilah keamanan kami dalam bahasa sederhana. Kami menjelaskan lapisan dan prinsip — bukan versi, alamat, atau aturan. Memublikasikan hal-hal itu akan membantu penyerang, jadi kami tidak melakukannya.

  • Terenkripsi di mana-mana. TLS di setiap koneksi dari luar, dan juga antar-layanan.
  • Hak akses minimum. Setiap layanan hanya mendapat akses yang dibutuhkannya. Tidak ada kunci master bersama.
  • Iklan dalam sandbox. Iklan ditampilkan di dalam iframe yang di-sandbox, sehingga iklan tidak bisa menyentuh halaman di sekitarnya. Anda bisa melihat ini di ad SDK publik kami.
  • Persetujuan didahulukan. SDK membaca status persetujuan (consent) halaman (TCF, GPP, US privacy) dan server menghormatinya. Tanpa persetujuan berarti iklan non-personalisasi.
  • Infrastruktur sebagai kode. Setiap aturan firewall dan izin akses disimpan di Terraform, sehingga perubahannya ditinjau seperti kode. Ketika kode dan sistem yang berjalan ternyata tidak sinkron, kami memperlakukan perbedaannya sebagai bug — ini salah satu contohnya.
  • Pintu terbuka bagi peneliti. Kami memublikasikan security.txt. Jika Anda menemukan sesuatu, kami ingin mendengarnya.

Cara sistem ini diskalakan

Trafik iklan datang bergelombang, dan jawaban yang terlambat berarti lelang yang kalah. Begini cara kami menanganinya:

  • Bidder stateless. Pod mana pun bisa menjawab permintaan apa pun. Kubernetes menambah pod saat trafik naik dan menguranginya saat trafik turun.
  • Cache lebih dulu. Bidder membaca dari Redis dan memorinya sendiri, bukan dari database. Lonjakan trafik hanya berarti lebih banyak pembacaan cache yang murah.
  • Hitung lebih awal. Apa pun yang bisa dihitung sebelum lelang — topik sebuah situs atau aplikasi, kelayakan kampanye, file model — sudah disiapkan sebelumnya dan tinggal dicari.
  • Sisanya asinkron. Logging, penagihan, dan analitik terjadi setelah jawaban dikirim. Laporan yang lambat tidak akan pernah memperlambat lelang.
  • Beberapa zona sekaligus. Jika satu zona data center gagal, kami kehilangan sebagian kapasitas — bukan layanannya.

Cepat tanpa tagihan besar

Tagihan cloud bisa menggerus margin ad tech, jadi biaya per permintaan sama pentingnya dengan kecepatan. Pilihan yang sama yang membuat sistem cepat juga membuatnya murah. Go menggunakan sedikit memori, sehingga satu server bisa mengerjakan lebih banyak. ONNX berarti tidak perlu armada GPU hanya untuk menjalankan model. Caching menjaga database tetap kecil. Autoscaling berarti kami membayar untuk trafik yang benar-benar datang — bukan trafik yang mungkin datang suatu hari nanti. Saat ini arsitektur ini menangani hampir sepuluh juta permintaan iklan per hari — beberapa ratus per detik, dengan puncak di bawah 400 — dengan skala infrastruktur yang terjangkau bagi perusahaan tahap seed.

Catatan tentang angka

Angka itu berasal dari load test kami sendiri, bukan trafik produksi yang telah diaudit. Kami sengaja menyampaikannya — kami lebih memilih mengklaim terlalu rendah daripada terlalu tinggi. Mitra yang serius dipersilakan meminta penjelasan detail secara privat.

Yang sengaja tidak kami bagikan

Keterbukaan punya batas, dan lebih jujur jika kami menyebutkannya. Tiga hal tidak akan pernah muncul di blog ini: cara kerja deteksi fraud kami (itu akan mengajari pelaku penipuan cara bersembunyi), cara kerja penetapan harga bid kami (itulah produknya), dan versi perangkat lunak atau konfigurasi (itu peta gratis bagi penyerang). Selebihnya — bentuk sistem, trade-off, dan pelajarannya — akan terus kami bagikan.

Ingin membangun hal seperti ini dari Dhaka, untuk Asia? Kami sedang merekrut (lamaran segera dibuka kembali). Penasaran untuk apa semua kecepatan ini? Mulailah dengan cara kerja lelang iklan atau minta demo.

A
Tim adZoic
Membuat pembelian iklan lebih masuk akal, dari Dhaka.
Baca juga

Panduan terkait

Garis waktu lelang dengan bilah tawaran yang berlomba dan tawaran pemenang berwarna hijau toskaDasar

Penjelasan RTB: lelang iklan dalam ~100 ms

Dari halaman yang terbuka hingga iklan pemenang muncul — lelang yang dijawab oleh arsitektur ini.

Jun 2026 · 5 menit baca
Kurva prediksi dengan titik sampel dan puncak tawaran terbaik yang ditandaiAI

Cara ML menentukan nilai sebuah impresi

Model-model yang dijalankan arsitektur ini — predictive bidding, dijelaskan dengan sederhana.

Jun 2026 · 6 menit baca
Perisai dengan tanda centang, dikelilingi petak iklan yang diblokir dan dicoretKeamanan merek

Brand safety 101: menjauhkan iklan Anda dari lingkungan yang buruk

Bagaimana filter pre-bid memblokir fraud dan konten tidak aman — separuh lainnya dalam memahami sebuah halaman.

Jun 2026 · 5 menit baca

← Kembali ke semua artikel