Rekayasa

Cara kami melakukan load test pada bidder — dan apa yang disembunyikan tes kami sendiri

Animasi: bid request sintetis mengalir dari satu sumber, sebagian besar terpental oleh batas laju (rate limit), dan hanya aliran tipis yang mencapai bidder, yang tetap menganggur. Keterangan: kami mengukur limiter, bukan bidder.

Setiap pull request ke bidder kami menjalani load test sebelum boleh di-merge. Jika ujung lambat kurva latensi memburuk, atau error meningkat, build gagal dan perubahan tidak dirilis. Gerbang ini sudah kami pakai berbulan-bulan. Baru-baru ini kami duduk dan membaca salah satu laporannya dengan saksama — dan ternyata yang diukur selama ini berbeda dari yang kami kira.

Inilah yang dilakukan harness tersebut, apa yang kami salah pahami tentangnya, dan apa yang benar-benar ditangani platform.

Mengapa load test menahan merge

Bidder punya satu janji mutlak: menjawab sebelum lelang ditutup. Exchange memberi Anda kira-kira sepersepuluh detik, dan jawaban yang terlambat sama saja dengan tidak menjawab — Anda kehilangan impresinya begitu saja.

Karena itu, kelambatan adalah masalah kebenaran, bukan masalah kenyamanan. Dan kelambatan biasanya datang diam-diam: lookup baru, alokasi tambahan, lock yang ditahan sedikit terlalu lama. Tidak satu pun yang membuat unit test gagal. Jadi kami menaruh load test di depan tombol merge, tempat ia bisa menghentikan perubahan sebelum mencapai produksi, bukan sesudahnya.

Apa yang sebenarnya dilakukan harness

Harness membuat bid request OpenRTB sintetis dan mengirimkannya ke instance bidder sungguhan, lalu melaporkan apa yang kembali.

  • Request yang realistis, bukan mainan. Banner, video, native, dan connected TV, dalam campuran yang realistis. Ukuran banner standar IAB, versi protokol VAST yang nyata, pembagian perangkat antara in-app dan web, serta sebaran negara. Trafik palsu yang sama sekali tidak mirip trafik nyata tidak memberi tahu Anda apa pun.
  • Run yang bisa diulang. Setiap run memakai seed. Seed sama, trafik sama — jadi ketika sebuah angka bergeser, Anda membandingkan hal yang setara, dan Anda bisa memutar ulang persis run yang gagal.
  • Opsi "berantakan" yang disengaja. Pengaturan chaos membuat sebagian request sengaja rusak: field hilang, tipe salah, nilai mustahil, JSON terpotong. Bidder seharusnya menolaknya dengan rapi. Jika malah mengembalikan server error atau macet, itu bug, dan kami lebih suka menemukannya di sini.
  • Lulus atau gagal, bukan setumpuk teks. Run keluar dengan kode non-zero jika ekor lambat atau tingkat error melewati ambang yang kami tetapkan. Itulah yang membuatnya menjadi gerbang, bukan laporan yang tidak dibaca siapa pun.
  • Sekaligus mengisi dasbor. Trafik yang sama mengalir melalui event pipeline ke analytics, sehingga sisi pelaporan punya baris data nyata untuk ditampilkan.

Apa yang disembunyikan tes kami sendiri

Inilah bagian yang layak dicatat.

Load generator mendorong trafik dengan keras dari satu sumber. Bidder, dengan tepat, memiliki rate limit yang membatasi berapa banyak yang bisa dikirim oleh satu sumber — itu perlindungan dasar untuk apa pun yang terhubung ke internet publik.

Jadi sebagian besar trafik dalam run itu sama sekali tidak pernah mencapai logika bidding. Trafik itu tertahan di limiter dan kembali sebagai penolakan, persis seperti yang dirancang. Angka latensi di laporan memang nyata, tetapi angka itu menggambarkan request yang lolos, yang hanya sebagian kecil dari yang kami kirim.

Jika dibaca dengan benar, run itu membuktikan dua hal yang berguna: rate limiter bekerja di bawah tekanan, dan request yang dilayani, dilayani dengan cepat. Run itu tidak membuktikan hal ketiga yang selama ini kami asumsikan — bahwa platform sanggup menyerap volume pekerjaan bidding nyata sebesar itu. Hal itu memang tidak pernah ada di datanya.

Pelajaran yang berlaku di mana saja

Baca status code sebelum Anda membaca latensi. Load test yang trafiknya sebagian besar ditolak adalah tes untuk jalur penolakan Anda. Hasilnya bisa tampak sempurna — respons cepat, nol error, build hijau — padahal sama sekali tidak memberi tahu Anda soal kapasitas. "Dikirim" dan "dilayani" adalah dua angka berbeda, dan hanya salah satunya yang merupakan throughput.

Apa yang kami ubah

  • Laporan dibuka dengan komposisi status. Sukses, penolakan, dan error, berdampingan di bagian atas. Jika penolakan mendominasi, itulah judul utama run tersebut, bukan catatan kaki di bawah persentil.
  • Kapasitas diukur di tempat kapasitas itu berada. Trafik nyata datang dari banyak sumber, sehingga batas per sumber tidak pernah mengikat seperti pada satu generator. Produksi, dengan instrumentasinya sendiri, adalah tempat yang jujur untuk membaca throughput — generator satu sumber menjawab pertanyaan yang berbeda.
  • Gerbang tetap menjalankan tugas aslinya. Ia adalah pendeteksi regresi untuk jalur yang dilayani dan pemeriksa ketahanan terhadap input yang rusak. Itu benar-benar berharga. Kami hanya berhenti mengajukan pertanyaan yang memang tidak pernah dijawabnya.

Apa yang benar-benar ditangani platform

Jadi inilah angka sebenarnya, dibaca dari monitoring produksi kami sendiri selama 24 jam hingga 3 September 2026 — dasbor yang sama dengan yang dilihat engineer kami, bukan hasil laboratorium. Angka ini menggambarkan rentang waktu itu, dan tidak lebih dari itu.

  • Hampir sepuluh juta permintaan iklan hari itu. Rata-ratanya beberapa ratus per detik, dan dalam rentang itu lima menit tersibuk tetap di bawah 400 per detik.
  • Sama sekali tidak ada server error dalam rentang itu. Bukan tingkat yang rendah — nol.
  • Bidder menyesuaikan skalanya sendiri mengikuti trafik. Bidder tidak menyimpan state di antara request, jadi menambah skalanya cukup dengan menjalankan lebih banyak salinan; autoscaler menambah dan mengurangi salinan seiring berjalannya hari, di antara batas bawah dan batas atas yang kami tetapkan.

Dan bagian yang benar-benar penting, latensi dalam rentang yang sama, diukur terhadap tenggat yang diberikan exchange kepada kami:

p50 ~18 ms
p95 ~48 ms
p99 di bawah 90 ms
tenggat exchange pada umumnya ≈ 100 ms →

Latensi tawaran selama 24 jam hingga 3 September 2026. Potret hari itu, bukan tingkat layanan — lihat catatan tentang angka di bawah.

Bacalah dengan jujur. Dalam rentang itu, separuh dari semua bid request dijawab dalam waktu di bawah sekitar 20 milidetik, dan sembilan puluh sembilan dari seratus dalam 90 — di bawah tenggat, tetapi dengan selisih yang tidak terlalu lega. Batang terakhir itulah yang sedang kami garap, dan itulah alasan gerbang ini ada: di ekor lambat itulah bidder diam-diam mulai kalah lelang jauh sebelum ada yang tampak rusak. Angka itu juga yang paling banyak bergeser saat trafik bertambah, dan justru karena itulah kami mencantumkan tanggalnya.

Sebuah koreksi

Versi sebelumnya dari artikel arsitektur kami menyebut kapasitas ini sebagai jutaan request per jam. Itu keliru — yang benar jutaan per hari — dan kekeliruan itu berasal dari membaca laporan load test dengan cara yang dijelaskan di atas. Kami sudah mengoreksi halaman tersebut. Mempublikasikan angka yang tidak bisa Anda tarik dari dasbor justru kebiasaan yang ditentang artikel ini, jadi tidak pantas jika kami memperbaikinya diam-diam tanpa berkata apa-apa.

Pelajaran yang kami ambil

  • Build hijau bukan bukti. Tes yang lulus memberi tahu Anda bahwa ambang batas tidak terlampaui. Tes itu tidak memberi tahu Anda apakah pertanyaan yang diajukannya sudah tepat.
  • Periksa apa yang sebenarnya terjadi pada trafik Anda sebelum membaca seberapa cepat trafik itu. Latensi yang dihitung dari sebagian kecil yang lolos adalah angka nyata tentang sampel yang tidak representatif.
  • Ukur klaim yang ingin Anda buat. Jika Anda ingin mengatakan "kami menangani X", yang diukur harus X — dalam kondisi di mana X memang mungkin terjadi.
  • Publikasikan angka yang bisa Anda jalankan ulang. Setiap angka di atas bisa ditarik dari dasbor kapan saja diminta. Itulah ujian yang sekarang kami terapkan sebelum apa pun dimuat di situs ini.
  • Pertahankan tes yang menjalankan tugas aslinya. Tes kami tidak pernah sia-sia — hanya salah label di kepala kami. Itu dua masalah berbeda dengan perbaikan yang berbeda.

Jika Anda ingin gambaran lebih luas tentang bagaimana semua bagian saling terhubung, bacalah artikel arsitektur. Untuk contoh lain tentang tes yang lulus padahal menutupi bug nyata, ada postmortem jitter.

Catatan tentang angka

Angka produksi di atas dibaca dari monitoring kami sendiri selama 24 jam hingga 3 September 2026, dan sengaja dibulatkan. Angka-angka ini adalah potret bertanggal tentang apa yang dilakukan platform dalam rentang itu — bukan tingkat layanan yang dijamin dan bukan janji tentang hari lain mana pun. Trafik dan latensi sama-sama bergerak, dan pengukuran berikutnya akan berbeda; p99 khususnya mengikuti seberapa banyak trafik yang masuk. Kami sengaja memberikan angka yang dibulatkan, bukan angka persis. Kami juga tidak menyertakan detail rate limit, ambang batas, dan konfigurasi kami — menjelaskan bahwa limiter itu ada berguna bagi pembaca; mempublikasikan letak batasnya hanya berguna bagi orang yang ingin mengujinya. Tidak ada data klien, mitra, atau per pengiklan yang ditampilkan di sini.

A
Tim AdZoic
Membuat pembelian iklan masuk akal, dari Dhaka.
Baca juga

Bacaan terkait

Animasi: permintaan iklan mengalir melalui lapisan ingress, bidder Go, serta cache dan model, menjadi keputusan tawaran dalam tenggat lelangRekayasa

Di dalam adZoic: arsitektur di balik jutaan keputusan iklan per hari

Stack, desain sistem, postur keamanan, dan pendekatan scaling kami — dibagikan secara terbuka, lengkap dengan diagram.

Agu 2026 · 8 menit baca
Animasi: pertanyaan seseorang dikirim ke agen AI, yang membandingkan tiga opsi rekaan dan mengunci jawaban terbaik berwarna tealAI

Saat pembelinya bot: arti AI agent bagi pengiklan di Asia

Iklan kini ada di dalam asisten AI, dan agen sudah mulai menyelesaikan pembelian.

Agu 2026 · 8 menit baca
Linimasa lelang dengan batang tawaran yang berlomba dan tawaran pemenang berwarna tealDasar

Real-time bidding, dijelaskan

Apa yang terjadi dalam hitungan milidetik antara halaman terbuka dan iklan muncul.

Jun 2026 · 5 menit baca

← Kembali ke semua artikel