Pratinjau WAFio v2: ditulis ulang dari Go ke Rust, deteksi 90,61 % pada sampel blazehttp milik SafeLine
WAFio v2 memindahkan WAF agent dari Go ke Rust dan hanya mengandalkan mesin semantiknya. Kami mengukurnya dengan blazehttp, alat uji dari pembuat SafeLine, pada 33.669 sampel yang sama.

WAFio v2 hadir dengan WAF agent yang baru. Agent pada WAFio v1 ditulis dalam Go. Agent pada v2 ditulis dalam Rust, dan menilai setiap request hanya dengan mesin semantik buatan kami, tanpa OWASP Core Rule Set. Artikel ini menjelaskan mengapa kami berpindah, apa yang berubah pada mesinnya setelah itu, dan bagaimana kami mengukur hasilnya. WAFio v2 direncanakan rilis paling lambat 20 November 2026, kalau tidak ada keterlambatan.
Untuk pengukuran itu kami memakai blazehttp, alat uji web application firewall yang diterbitkan Chaitin, perusahaan pembuat SafeLine. Alat ini mengirim sekumpulan request serangan dan request normal melalui sebuah WAF, lalu menghitung mana yang diblokir. Pada 15 November 2026 kami menjalankannya dengan 33.669 sampel yang sama terhadap WAFio v2, WAFio v1, dan rilis SafeLine yang sekarang, 9.4.4, semuanya di satu mesin.
Ringkasnya:
- WAFio v2 memblokir 521 dari 575 sampel serangan, 90,61 %. WAFio v1 dengan mesin semantiknya saja memblokir 425, 73,91 %.
- WAFio v2 salah memblokir 20 dari 33.094 sampel normal, 0,06 %. WAFio v1 salah memblokir 282 dengan mesin semantik saja, dan 2.768 dengan Core Rule Set diaktifkan.
- SafeLine 9.4.4 dengan pengaturan default memblokir 356 sampel serangan dan 17 sampel normal. Dalam hal salah blokir dan waktu respons, SafeLine lebih baik daripada WAFio v2.
Selebihnya artikel ini memuat alasannya, tabel lengkap, mesin yang dipakai, perintah yang dijalankan, dan hal-hal yang tidak dibuktikan oleh pengujian ini.
Mengapa kami menguji, dan apa yang bukan tujuannya
Pengujian ini tidak dimaksudkan untuk menunjukkan produk mana yang lebih baik. Kami menjalankannya karena butuh tolok ukur untuk pekerjaan kami sendiri. WAFio v2 mengubah cara request dinilai, dan kami ingin tahu, dengan angka yang bisa diperiksa siapa pun, apakah mesin yang baru memblokir lebih banyak serangan dan lebih sedikit mengganggu lalu lintas normal dibanding yang lama.
blazehttp cocok untuk keperluan itu karena tiga hal. Alat dan sampelnya terbuka, jadi siapa pun bisa mengulang pengujiannya. Sampelnya tetap, jadi dua pengujian bisa dibandingkan. Pembuat SafeLine juga menerbitkan hasil mereka sendiri dengan alat ini, sehingga ada titik acuan yang bukan berasal dari kami. Kami berterima kasih karena alat dan sampelnya dibuka untuk umum.
Setiap produk punya kelebihan dan kelemahannya sendiri, dan satu kumpulan sampel hanya memperlihatkan sebagian kecil darinya. Pada pengujian ini SafeLine memblokir lebih sedikit request normal daripada WAFio dan menjawab lebih cepat. SafeLine juga punya bagian-bagian yang sama sekali tidak tersentuh pengujian ini. Bacalah angka di bawah sebagai pengukuran atas satu hal pada satu hari, bukan sebagai peringkat.
Mengapa WAF agent pindah dari Go ke Rust
WAF agent pada rilis yang beredar sekarang, WAFio v1, ditulis dalam Go. Build yang diuji di sini adalah penggantinya, ditulis dalam Rust, dan menjadi WAF agent di WAFio v2. Untuk melihat apa yang didapat dari perpindahan ini, kami menjalankan kedua agent melalui pengujian blazehttp yang diuraikan di bagian bawah: mesin yang sama, batas yang sama yaitu 2 CPU dan 4 GB, backend yang sama, sampel yang sama.
| Baris | WAFio v1 (Go), aturan default dengan CRS | WAFio v1 (Go), mesin semantik saja | WAFio v2 (Rust) |
|---|---|---|---|
| Total sampel | 33.669 | 33.669 | 33.669 |
| Error | 0 | 0 | 0 |
| Tingkat deteksi | 75,13 % (432 dari 575) | 73,91 % (425 dari 575) | 90,61 % (521 dari 575) |
| False positive | 8,36 % (2.768 dari 33.094) | 0,85 % (282 dari 33.094) | 0,06 % (20 dari 33.094) |
| Akurasi | 91,35 % | 98,72 % | 99,78 % |
| Waktu rata-rata | 32,89 ms | 12,16 ms | 6,63 sampai 7,44 ms |
Agent Go pada pengujian ini dibangun dari branch utama kami, yaitu jalur kode rilis 1.10, dengan OWASP Core Rule Set 4.9.0 yang diunduh oleh installer. Seperti pengujian WAFio v2, agent ini berjalan tanpa control plane serta dengan block policy dan batas L7 flood dimatikan.
WAFio v2 tidak lagi bergantung pada OWASP Core Rule Set. Di WAFio v1, sebuah request melewati dua penilai: Core Rule Set dan mesin semantik buatan kami. Tabel di atas memperlihatkan sumbangan masing-masing pada sampel ini. Kumpulan aturan itu menambah 7 serangan yang diblokir, 432 berbanding 425, dan menambah 2.486 request normal yang ikut diblokir, 2.768 berbanding 282. Sebagian besar waktu juga habis di sana. Core Rule Set adalah karya yang teliti dan dipakai luas, dan ia menangkap lewat pola hal-hal yang harus dipelajari satu per satu oleh mesin berbasis makna. Namun setelah pekerjaan pada mesin yang diuraikan di bawah, mesin semantik kami sendirian memblokir lebih banyak serangan ini daripada kedua penilai itu bersama-sama, dengan salah blokir yang jauh lebih sedikit. Karena itulah kami sekarang cukup percaya diri untuk mengandalkan mesin semantik saja.
Selain deteksi, ada tiga hal lain yang menentukan perpindahan ke Rust.
- CPU per request. Pada 13 November 2026 kami menjalankan kedua agent di mesin yang sama, dibatasi 1,5 CPU. Untuk menganalisis sampel blazehttp, agent Rust memakai 0,149 kali waktu CPU agent Go, kira-kira sepertujuh.
- Request per detik. Dengan dua worker thread di masing-masing agent, agent Rust melayani 2,8 kali lebih banyak request per detik daripada agent Go sebelum jenuh.
- Satu jalur deteksi. Tanpa kumpulan aturan itu, hanya ada satu tempat sebuah request dinilai dan satu tempat yang diperbaiki ketika penilaiannya keliru.
Perpindahannya dikerjakan dalam dua tahap. Pertama, agent Rust harus memberi keputusan yang sama dengan agent Go pada 130.509 request yang direkam, supaya setiap perbedaan hanya bisa berasal dari perubahan yang kami sengaja. Baru setelah itu mesin deteksinya mulai kami ubah.
Ada harganya. Di bawah beban, pemakaian memori puncak agent Rust lebih besar: 201 sampai 209 MiB, sedangkan agent Go 155 sampai 157 MiB. Persentil ke-99 waktu responsnya 2,7 ms, padahal target kami 1 ms. Keduanya masih kami kerjakan.
Apa yang berubah pada mesin semantik
Sebelum mesinnya dikerjakan, agent Rust memutuskan sama seperti agent Go dengan mesin semantiknya saja. Pada kumpulan sampel blazehttp yang lebih baru (658 sampel serangan, 33.219 sampel normal), dengan sampel dimasukkan langsung ke analyzer, hasilnya 452 serangan diblokir, 68,69 %, dan 299 sampel normal diblokir, 0,90 %. Setelah dikerjakan, hasilnya 604 serangan diblokir, 91,79 %, dan 20 sampel normal diblokir, 0,06 %. Lewat HTTP, build yang sama memblokir 603 dan 20.
- SQL. Sebuah sinyal baru dihitung kalau nilainya berlanjut sebagai SQL. Satu kata kunci di tengah kalimat tidak dihitung. Salah blokir turun dari 165 menjadi 1.
- PHP. Yang dihitung hanya kode yang memang akan dijalankan PHP, bukan potongan mirip PHP di dalam teks atau data. Salah blokir turun dari 39 menjadi 0.
- XSS. Yang dihitung hanya markup dan script yang akan dijalankan browser. Salah blokir turun dari 38 menjadi 5.
- Perintah, path, URL, template. Teks yang hanya mirip sintaks shell, path, URL, atau template tidak lagi dibaca sebagai serangan. Salah blokir pada mesin-mesin ini turun dari 56 menjadi 5.
- Payload tersembunyi. Teks di balik base64 didekode lalu dipindai, dengan anggaran tetap per request, dan pemanggilan lewat indeks terhitung pada objek global kini dikenali. Bersama pekerjaan deteksi lainnya, jumlah serangan yang diblokir naik dari 452 menjadi 604.
Pekerjaan deteksi itu juga menambah 8 salah blokir yang sebelumnya tidak ada: 7 pada teks dengan sintaks filter LDAP dan 1 pada dokumen XML.
Setelah perubahan selesai, peninjau kedua membaca diff-nya dengan satu tugas: mencari serangan yang kini lolos akibat perbaikan false positive. Hasilnya tujuh celah. Satu di antaranya serius: URL file:// yang berakhiran nama gambar atau stylesheet dianggap tidak berbahaya walaupun menunjuk ke host lain. Celah itu dan tiga celah lain sudah ditutup, masing-masing dengan tes yang gagal sebelum perbaikan. Tiga celah kecil masih terbuka.
Dari mana angka SafeLine berasal
Angka pembanding bukan hasil pengukuran kami. Angka itu berasal dari tabel hasil di README blazehttp: README_EN.md di chaitin/blazehttp. README SafeLine memuat ulang baris deteksi, false positive, dan akurasi: chaitin/SafeLine.
Tabel itu ditulis untuk 33.669 sampel: 575 sampel serangan dan 33.094 sampel normal. Kumpulan sampel di repositori sudah bertambah sejak itu, jadi kami mengambil sampel dari commit dde33c98 tanggal 6 Juni 2024, commit terakhir sebelum sampelnya berubah. Isinya tepat 575 file berakhiran .black dan 33.094 file berakhiran .white.
Kami tidak memasang ModSecurity atau CloudFlare. Angka keduanya di bawah ini disalin dari README. Untuk SafeLine kami memuat dua-duanya: angka README tahun 2024, dan hasil pengukuran kami sendiri atas versi 9.4.4 di mesin yang menjalankan WAFio.
Hasilnya
Tingkat deteksi: bagian sampel serangan yang diblokir (makin tinggi makin baik)
False positive: bagian sampel normal yang ikut diblokir (makin rendah makin baik)
Akurasi: sampel yang ditangani dengan benar, dari seluruh sampel (makin tinggi makin baik)
Baris bertanda README: tabel hasil di README blazehttp. Baris bertanda measured: hasil ukur kami pada 15 November 2026 di satu mesin.
| Baris tabel README | SafeLine, balance (README, 2024) | SafeLine 9.4.4, default (diukur) | SafeLine 9.4.4, strict (diukur) | WAFio v2 (diukur) |
|---|---|---|---|---|
| Total sampel | 33.669 | 33.669 | 33.669 | 33.669 |
| Berhasil | 33.669 | 33.669 | 33.669 | 33.669 |
| Error | 0 | 0 | 0 | 0 |
| Tingkat deteksi | 71,65 % (412 dari 575) | 61,91 % (356 dari 575) | 69,22 % (398 dari 575) | 90,61 % (521 dari 575) |
| False positive | 0,07 % (23 dari 33.094) | 0,05 % (17 dari 33.094) | 0,14 % (45 dari 33.094) | 0,06 % (20 dari 33.094) |
| Akurasi | 99,45 % | 99,30 % | 99,34 % | 99,78 % |
| Waktu rata-rata | 70,05 ms | 6,20 ms | 4,95 ms | 6,63 sampai 7,44 ms |
Isi tabel itu, baris demi baris:
- Deteksi. WAFio v2 memblokir 521 dari 575 sampel serangan. SafeLine 9.4.4 memblokir 356 dengan pengaturan default dan 398 dalam mode strict. README melaporkan 412.
- False positive. SafeLine 9.4.4 dengan pengaturan default lebih baik: 17 sampel normal diblokir, sedangkan WAFio v2 memblokir 20. Terhadap angka README, yaitu 23, WAFio v2 lebih baik. Selisihnya tiga sampel di kedua arah.
- Akurasi. WAFio v2 menangani 99,78 % dari seluruh sampel dengan benar, SafeLine 9.4.4 menangani 99,30 %.
- Waktu rata-rata. SafeLine 9.4.4 menjawab dalam 4,95 sampai 6,20 ms, WAFio v2 dalam 6,63 sampai 7,44 ms. Pada baris ini SafeLine lebih baik.
- Satu kolom lain dari README. ModSecurity pada paranoia level 4 memblokir lebih banyak serangan daripada WAFio v2, 94,61 %, tetapi juga memblokir 52,46 % sampel normal.
Apa yang diuji
- Build-nya. WAF agent WAFio v2, yaitu proxy dan mesin deteksinya, dibangun dari branch utama kami pada 15 November 2026. Build ini belum masuk rilis. Rilis yang bisa diunduh hari ini adalah WAFio v1 dengan agent Go, dan rilis itu belum mencapai angka ini.
- Modenya. Mode block. Request yang diblokir dijawab dengan status 403 dan tidak pernah sampai ke backend.
- Aturannya. Aturan default yang diterima aplikasi baru dari control plane: blokir pada skor 150, catat pada skor 80, dengan ambang default tiap mesin, tanpa OWASP Core Rule Set. Tidak ada yang disetel khusus untuk pengujian ini.
- Dua perlindungan dimatikan. Block policy (sebuah alamat diblokir setelah 100 request terblokir) dan batas L7 flood (500 request per 60 detik per alamat). blazehttp mengirim semua sampel dari satu alamat, sehingga kalau keduanya aktif, yang terukur adalah pembatasan laju, bukan deteksi.
- Yang tidak ikut diuji. Proxy berjalan tanpa control plane. Daftar bot jahat, GeoIP, dan reputasi IP tidak dimuat.
- Backend-nya. nginx 1.29.8 yang menjawab 200 untuk setiap request.
Lingkungan pengujian
- Mesin virtual KVM dengan 4 CPU virtual (AMD EPYC 9354P) dan memori 15 GiB. Mesin ini juga menjalankan layanan lain.
- Ubuntu 24.04.5 LTS, kernel 6.8.0, Docker 29.8.1.
- Proxy WAFio di dalam container yang dibatasi 2 CPU dan memori 4 GB, dibangun dengan Rust 1.95.0.
- blazehttp dibangun dari source dengan Go 1.22.12 dan dijalankan dengan nilai default 10 worker bersamaan.
- blazehttp, proxy, dan backend berada di mesin yang sama dan berkomunikasi lewat antarmuka loopback.
Perintah yang dijalankan
Ambil blazehttp, bangun binary-nya, lalu ekspor kumpulan sampel tabel README ke direktori tersendiri:
git clone https://github.com/chaitin/blazehttp
cd blazehttp
docker run --rm -v "$PWD":/src:ro -v "$PWD/..":/out -w /src \
-e CGO_ENABLED=0 -e GOFLAGS=-buildvcs=false golang:1.22-alpine \
go build -o /out/blazehttp-bin ./cmd/blazehttp
mkdir ../samples
git archive dde33c98 testcases | tar -x -C ../samples
find ../samples/testcases -name '*.go' -delete
find ../samples/testcases -name '*.black' | wc -l # 575
find ../samples/testcases -name '*.white' | wc -l # 33094
Jalankan backend yang menjawab 200 untuk semua request. Berikut konfigurasi nginx yang kami pakai dan perintah untuk menjalankannya:
server {
listen 127.0.0.1:18081;
client_max_body_size 0;
large_client_header_buffers 8 64k;
access_log off;
location / { return 200 "ok\n"; }
}
docker run -d --net=host --cpus=1 --memory=256m \
-v "$PWD/upstream.conf":/etc/nginx/conf.d/default.conf:ro nginx:alpine
Pasang WAFio di depannya dalam mode block. Pada pengujian kami, proxy mendengarkan di 127.0.0.1:18080 dan meneruskan ke http://127.0.0.1:18081. Periksa dua jalur itu secara manual sebelum pengujian: request normal harus lolos, serangan harus diblokir.
curl -s -o /dev/null -w '%{http_code}\n' http://127.0.0.1:18080/index.html
# 200
curl -s -o /dev/null -w '%{http_code}\n' \
'http://127.0.0.1:18080/item?id=1%27%20UNION%20SELECT%20username,password%20FROM%20users--'
# 403
Setelah itu jalankan blazehttp ke proxy dengan sampel yang sudah diekspor:
../blazehttp-bin -t http://127.0.0.1:18080 -g ../samples/testcases
Untuk mengulanginya pada instalasi WAFio Anda sendiri, arahkan -t ke aplikasi yang berada dalam mode block, lalu matikan block policy dan batas L7 flood aplikasi itu selama pengujian.
Keluaran pengujian WAFio
blazehttp mencetak hasilnya dalam bahasa Mandarin. Arti tiap barisnya:
Total sampel: 33669 berhasil: 33669 error: 0
Tingkat deteksi: 90.61% (sampel serangan: 575, diblokir: 521, lolos: 54)
False positive: 0.06% (sampel normal: 33094, diloloskan: 33074, salah blokir: 20)
Akurasi: 99.78% (serangan diblokir + request normal diloloskan) / total sampel
Waktu rata-rata: 7.44 ms
Satu pengujian penuh selesai dalam sekitar 25 detik. Kami menjalankannya dua kali pada build ini. Jumlahnya sama di kedua pengujian; waktu rata-ratanya 6,63 ms dan 7,44 ms.
SafeLine 9.4.4 di mesin yang sama
Kami memasang SafeLine 9.4.4, rilis terbaru pada 15 November 2026, di mesin yang sama, dengan file compose rilis itu dan image chaitin/safeline-*-g:9.4.4. Ini edisi gratis, instalasi baru, tanpa penyetelan apa pun.
- Satu aplikasi: semua nama host, port 18082, diteruskan ke backend nginx yang sama dengan yang dipakai WAFio.
- Pengujian pertama: modul deteksi sebagaimana terpasang. 15 dari 17 modul berada pada mode default dan dua modul (
m_response,m_scanner) mati. Kami menganggap ini setara dengan mode balance di README. - Pengujian kedua: ke-17 modul diatur ke
strict, termasuk dua modul yang defaultnya mati. Ini bisa lebih ketat daripada mode strict di README. - Binary blazehttp dan direktori sampel yang sama dengan pengujian WAFio.
curl -s -o /dev/null -w '%{http_code}
' http://127.0.0.1:18082/index.html
# 200
curl -s -o /dev/null -w '%{http_code}
' 'http://127.0.0.1:18082/item?id=1%27%20UNION%20SELECT%20username,password%20FROM%20users--'
# 403
../blazehttp-bin -t http://127.0.0.1:18082 -g ../samples/testcases
Hasil kedua pengujian, diterjemahkan baris demi baris:
SafeLine 9.4.4, pengaturan default
Total sampel: 33669 berhasil: 33669 error: 0
Tingkat deteksi: 61.91% (sampel serangan: 575, diblokir: 356, lolos: 219)
False positive: 0.05% (sampel normal: 33094, diloloskan: 33077, salah blokir: 17)
Akurasi: 99.30%
Waktu rata-rata: 6.20 ms
SafeLine 9.4.4, semua modul strict
Total sampel: 33669 berhasil: 33669 error: 0
Tingkat deteksi: 69.22% (sampel serangan: 575, diblokir: 398, lolos: 177)
False positive: 0.14% (sampel normal: 33094, diloloskan: 33049, salah blokir: 45)
Akurasi: 99.34%
Waktu rata-rata: 4.95 ms
SafeLine 9.4.4 mendeteksi lebih sedikit daripada yang dilaporkan README-nya sendiri: 61,91 % berbanding 71,65 %. Kami tidak tahu sebabnya. Kumpulan sampelnya sama dengan yang dipakai README, jadi perbedaannya ada pada versi produk atau pada pengaturan yang tidak kami temukan. Kalau Anda tahu pengaturan yang dipakai README, kabari kami dan pengujiannya akan kami ulang.
Cara blazehttp menilai
- Sebelum mulai, blazehttp mengirim satu request yang tidak berbahaya dan satu serangan yang jelas ke target. Kalau keduanya mendapat kode status yang sama, pengujian berhenti: tidak ada WAF di depan target. Kalau berbeda, kode status untuk serangan itu menjadi kode blokir. Untuk WAFio kodenya 403.
- Setiap sampel adalah satu request HTTP mentah di dalam sebuah file. File berakhiran
.blackadalah serangan, yang berakhiran.whiteadalah lalu lintas normal. - Sebuah sampel dihitung diblokir kalau jawabannya membawa kode blokir. Sampel yang jawabannya tidak terbaca dihitung sebagai error.
- Tingkat deteksi adalah serangan yang diblokir dibagi seluruh serangan. False positive adalah sampel normal yang diblokir dibagi seluruh sampel normal. Akurasi adalah serangan yang diblokir ditambah sampel normal yang diloloskan, dibagi seluruh sampel.
Yang tidak dikatakan angka ini
- Ini bukan uji buta. Kami memakai kumpulan sampel ini selama mengerjakan mesin deteksi. Hasil pada sampel yang belum pernah ditemui mesin bisa lebih rendah. Hal yang sama berlaku bagi produk mana pun yang pembuatnya memiliki kumpulan sampel tersebut.
- Pengujian SafeLine kami hanya satu konfigurasi. Instalasi baru edisi gratis dengan pengaturan default. Orang yang menguasai produknya mungkin bisa mendapat hasil lebih baik.
- Waktu rata-rata hanya perkiraan kasar. Semua pengujian yang kami ukur berjalan lewat antarmuka loopback di satu mesin yang sedang mengerjakan hal lain. Angka 70 ms di README berasal dari susunan yang tidak dijelaskan.
- Kumpulan sampel bukan lalu lintas Anda. 33.094 sampel normal hanya sebagian kecil dari apa yang dikirim aplikasi sungguhan. Jalankan WAF dalam mode monitor pada lalu lintas Anda sendiri sebelum memindahkannya ke mode block.
- Pengaturan menentukan hasil. Dengan ambang yang lebih rendah daripada aturan default, build yang sama memblokir 120 sampel normal, yaitu 0,36 %. Sebuah angka benchmark hanya berlaku untuk satu konfigurasi.
Yang masih keliru
54 sampel serangan lolos. Di antaranya: unggahan file yang isinya tidak ditandai, SQL satu baris yang membaca tabel sistem atau memanggil fungsi database (SELECT * FROM all_tables, dbms_pipe.receive_message), HTML yang memuat sumber daya dari luar tanpa script (<body background>, <meta http-equiv="refresh">), dan request yang parameter ujinya kosong di baris request.
20 sampel normal ikut diblokir: 7 teks yang memuat sintaks filter LDAP, 5 potongan markup dengan tag script atau URL javascript: sebagai isi, 3 path yang mirip directory traversal, 2 URL yang menunjuk ke localhost, 1 teks yang terbaca sebagai SQL, 1 dokumen XML dengan entity, dan 1 request yang melebihi batas ukuran body. Inilah pekerjaan kami berikutnya.
Cara kerja deteksinya dijelaskan di halaman Semantic WAF, dan alasan WAFio memindai berdasarkan makna menjelaskan pertimbangan di baliknya.
Sumber
- blazehttp, alat uji dan tabel hasilnya: github.com/chaitin/blazehttp, README_EN.md
- Kumpulan sampel untuk tabel itu: testcases pada commit dde33c98
- SafeLine dan angka yang sama di README-nya: github.com/chaitin/SafeLine