Benchmark kedua: WAFio v2, SafeLine, dan ModSecurity diuji dengan tiga alat
Kami menjalankan WAFio v2, SafeLine 9.4.4, dan ModSecurity dengan OWASP Core Rule Set lewat blazehttp, GoTestWAF, dan WAFtester di satu mesin dengan batas yang sama. Angkanya, titik lemahnya, dan apa yang tidak dikatakan alat-alat itu.

Ini lanjutan dari benchmark pertama kami. Tulisan itu mengukur satu build WAFio v2 dengan satu alat, blazehttp, dan mengambil angka produk lain dari README blazehttp. Kali ini kami menjalankan sendiri tiga produk, di satu mesin, lewat tiga alat uji.
Mesin deteksinya juga sudah berkembang sejak tulisan pertama. Pada sampel blazehttp yang sama, tulisan itu melaporkan deteksi 90,61 % dengan false positive 0,06 %. Build yang diuji di sini mencapai 94,78 % dengan 0,02 %.
Apa yang diukur
- WAFio v2: WAF agent dan mesin semantiknya, dibangun pada 17 November 2026 dari branch utama (commit agent
61edcfd). Agent berjalan dengan aturan bawaan produk, dengan dua hal dimatikan karena semua uji datang dari satu alamat: block policy dan batas L7 flood. Yang diuji adalah proxy beserta mesinnya, tanpa control plane, jadi tidak ada daftar bot, GeoIP, maupun reputasi IP dalam pengujian ini. - SafeLine 9.4.4, edisi komunitas, dalam dua pengaturan: mode bawaannya, dan ketujuh belas modul deteksi diatur ke strict.
- ModSecurity v3.0.17 dengan OWASP Core Rule Set 4.30.0, image container resminya, dalam mode blocking dengan ambang anomali bawaan, pada paranoia level 1 (bawaan) dan level 4.
- Tiga alat: blazehttp dengan set sampel milik pembuat SafeLine (575 sampel serangan dan 33.094 sampel normal), GoTestWAF 0.5.8, dan WAFtester 2.9.50.
- Satu mesin: mesin virtual dengan 4 CPU virtual (AMD EPYC 9354P 32-Core Processor) dan memori 15,6 GiB. Setiap produk mendapat batas yang sama, 2 CPU dan 4 GB, dan backend yang sama, yaitu nginx yang menjawab 200. Hanya satu produk yang berjalan pada satu waktu.
blazehttp: deteksi dan false positive pada 33.669 sampel
| Produk | Deteksi (diblokir / serangan) | False positive (diblokir / normal) | Akurasi | Waktu rata-rata |
|---|---|---|---|---|
| WAFio v2 | 94,78 % (545 / 575) | 0,02 % (8 / 33.094) | 99,89 % | 7,43 ms |
| ModSecurity CRS, level 1 | 70,78 % (407 / 575) | 18,22 % (6.030 / 33.094) | 81,59 % | 37,92 ms |
| ModSecurity CRS, level 4 | 93,91 % (540 / 575) | 50,98 % (16.870 / 33.094) | 49,79 % | 65,81 ms |
| SafeLine, default | 61,91 % (356 / 575) | 0,05 % (17 / 33.094) | 99,30 % | 5,95 ms |
| SafeLine, strict | 69,22 % (398 / 575) | 0,14 % (45 / 33.094) | 99,34 % | 6,13 ms |
Warna: hijau: terbaik hijau muda: kedua kuning: tengah oranye: kedua terakhir merah: terakhir di antara kelima produk pada kolom itu. Nilai yang sama mendapat warna yang sama; jika kelimanya sama, tidak ada yang diwarnai.
Tingkat deteksi (makin tinggi makin baik)
Tingkat false positive (makin rendah makin baik)
ModSecurity di level 4 menemukan serangan hampir sebanyak WAFio, 93,91 % dibanding 94,78 %, tetapi juga memblokir 50,98 % sampel normal. Di level 1, ModSecurity memblokir 18,22 % sampel normal dan menemukan 70,78 % serangan. SafeLine memblokir sangat sedikit sampel normal, 0,05 % pada mode bawaan dan 0,14 % pada strict, serta menemukan 61,91 % dan 69,22 % serangan.
Ada satu hal yang menguntungkan WAFio dan SafeLine di sini, dan kami mengukur seberapa besar. Alat uji menyapa WAF lewat alamat IP-nya, dan Core Rule Set menambah poin untuk setiap request yang header Host-nya berupa angka. Ketika alat uji memakai nama host, ModSecurity memblokir lebih sedikit sampel normal: 14,79 % di level 1 dan 48,91 % di level 4. Deteksinya tidak berubah, begitu pula angka WAFio dan SafeLine.
ModSecurity juga yang paling lambat dalam pengujian ini: rata-rata 37,92 ms dan 65,81 ms, dibanding 7,43 ms pada WAFio dan 5,95 ms pada SafeLine. ModSecurity memakai seluruh jatah 2 CPU-nya selama pengujian.
GoTestWAF: 675 serangan dan 141 request normal
| Produk | Serangan diblokir / dikirim | Request normal diblokir / dikirim | Skor keseluruhan dari alat |
|---|---|---|---|
| WAFio v2 | 633 / 675 | 0 / 141 | 98,42 |
| ModSecurity CRS, level 1 | 325 / 675 | 13 / 141 | 63,39 |
| ModSecurity CRS, level 4 | 502 / 675 | 141 / 141 | 68,66 |
| SafeLine, default | 314 / 675 | 0 / 141 | 58,28 |
| SafeLine, strict | 400 / 675 | 3 / 141 | 75,30 |
Warna: hijau: terbaik hijau muda: kedua kuning: tengah oranye: kedua terakhir merah: terakhir di antara kelima produk pada kolom itu. Nilai yang sama mendapat warna yang sama; jika kelimanya sama, tidak ada yang diwarnai.
WAFio memblokir 633 dari 675 serangan dan tidak satu pun dari 141 request normal. ModSecurity di level 4 memblokir 502 serangan, dan semua request normal. SafeLine pada mode strict memblokir 400 serangan dan 3 request normal.
WAFio belum lengkap di sini. WAFio meloloskan 13 dari 24 kasus mail injection, lima kasus command injection ber-body besar dari set komunitas, dua dari tiga kasus command injection lewat raw request, dan tiga dari tujuh kasus XML injection. Tabel di bawah memuat semua set uji.
| Set uji | WAFio v2 | ModSecurity level 1 | ModSecurity level 4 | SafeLine default | SafeLine strict |
|---|---|---|---|---|---|
| community (body size cases) | 10 / 15 | 12 / 12 | 12 / 12 | 0 / 5 | - |
| community/community-lfi | 8 / 8 | 8 / 8 | 8 / 8 | 2 / 8 | 2 / 8 |
| community/community-lfi-multipart | 1 / 2 | - | - | 0 / 2 | 0 / 2 |
| community/community-rce | 4 / 4 | 2 / 4 | 4 / 4 | 0 / 4 | 4 / 4 |
| community/community-rce-rawrequests | 1 / 3 | 3 / 3 | 3 / 3 | 0 / 3 | 3 / 3 |
| community/community-sqli | 12 / 12 | 12 / 12 | 12 / 12 | 8 / 12 | 8 / 12 |
| community/community-user-agent | 8 / 9 | 6 / 9 | 6 / 9 | 1 / 9 | 1 / 9 |
| community/community-xss | 99 / 104 | 98 / 104 | 104 / 104 | 82 / 104 | 96 / 104 |
| community/community-xxe | 2 / 2 | 0 / 1 | 1 / 1 | 0 / 2 | 0 / 2 |
| owasp/crlf | 7 / 7 | 6 / 7 | 7 / 7 | 0 / 7 | 0 / 7 |
| owasp/ldap-injection | 24 / 24 | 2 / 24 | 18 / 24 | 0 / 24 | 0 / 24 |
| owasp/mail-injection | 11 / 24 | 3 / 24 | 15 / 24 | 0 / 24 | 0 / 24 |
| owasp/nosql-injection | 50 / 50 | 12 / 50 | 33 / 50 | 10 / 50 | 10 / 50 |
| owasp/path-traversal | 19 / 20 | 6 / 20 | 14 / 20 | 2 / 20 | 2 / 20 |
| owasp/rce | 6 / 6 | 2 / 6 | 5 / 6 | 0 / 6 | 2 / 6 |
| owasp/rce-urlparam | 6 / 9 | 3 / 9 | 9 / 9 | 3 / 9 | 3 / 9 |
| owasp/rce-urlpath | 3 / 3 | 1 / 3 | 2 / 3 | 0 / 3 | 1 / 3 |
| owasp/shell-injection | 32 / 32 | 6 / 32 | 24 / 32 | 0 / 32 | 8 / 32 |
| owasp/sql-injection | 48 / 48 | 20 / 48 | 32 / 48 | 48 / 48 | 48 / 48 |
| owasp/ss-include | 24 / 24 | 12 / 24 | 15 / 24 | 0 / 24 | 0 / 24 |
| owasp/sst-injection | 24 / 24 | 11 / 24 | 15 / 24 | 8 / 24 | 8 / 24 |
| owasp/xml-injection | 4 / 7 | 2 / 7 | 7 / 7 | 0 / 7 | 0 / 7 |
| owasp/xss-scripting | 216 / 224 | 90 / 223 | 142 / 223 | 144 / 223 | 194 / 223 |
| owasp-api/graphql | - | - | - | - | - |
| owasp-api/graphql-post | - | - | - | - | - |
| owasp-api/grpc | - | - | - | - | - |
| owasp-api/non-crud | 2 / 2 | 2 / 2 | 2 / 2 | 1 / 2 | 1 / 2 |
| owasp-api/rest | 7 / 7 | 4 / 7 | 7 / 7 | 3 / 7 | 5 / 7 |
| owasp-api/soap | 5 / 5 | 2 / 5 | 5 / 5 | 2 / 5 | 4 / 5 |
Warna: hijau: terbaik hijau muda: kedua kuning: tengah oranye: kedua terakhir merah: terakhir di antara kelima produk pada baris itu. Nilai yang sama mendapat warna yang sama; jika semuanya sama, dan untuk tanda strip, tidak ada warna.
Setiap sel menampilkan persentase serangan yang diblokir dan, di bawahnya, diblokir / serangan yang bisa dinilai alat. Total yang lebih kecil daripada kolom lain, atau tanda strip, berarti ada request yang tidak bisa dinilai alat. Bacalah warnanya bersama tabel di atas: ModSecurity di level 4 hijau di banyak baris dan juga memblokir semua request normal.
WAFtester: 3.473 uji dalam 24 kategori
WAFtester mengirim dua jenis uji. Yang pertama adalah serangan, yang seharusnya diblokir WAF. Yang kedua adalah sekitar 412 request yang menurut alat tidak berbahaya, yang seharusnya diloloskan. WAF yang baik memblokir banyak serangan dan sedikit request yang seharusnya lolos. Tabel di bawah memisahkan keduanya.
| Produk | Serangan yang diblokir | Request yang seharusnya lolos, tetapi diblokir | Uji yang dilewati alat |
|---|---|---|---|
| WAFio v2 | 83,48 % (2.497 dari 2.991) | 123 dari 412 | 75 |
| ModSecurity CRS, level 1 | 83,62 % (2.558 dari 3.059) | 140 dari 411 | 2 |
| ModSecurity CRS, level 4 | 100,00 % (3.061 dari 3.061) | 412 dari 412 | 0 |
| SafeLine, default | 33,17 % (930 dari 2.804) | 17 dari 410 | 99 |
| SafeLine, strict | 39,00 % (987 dari 2.531) | 20 dari 412 | 575 |
Warna: hijau: terbaik hijau muda: kedua kuning: tengah oranye: kedua terakhir merah: terakhir di antara kelima produk pada kolom itu. Nilai yang sama mendapat warna yang sama; jika kelimanya sama, tidak ada yang diwarnai.
ModSecurity di level 4 memblokir semua serangan, tetapi juga semua 412 request yang seharusnya lolos. WAF yang memblokir apa saja tidak bisa dipakai, jadi angka 100 % itu bukan hasil yang baik. Skor bawaan WAFtester tidak memisahkan kedua jenis uji: setiap uji yang diblokir dihitung sebagai keberhasilan. Karena itu level 4 mendapat skor 100,00 % di laporan alat, dan karena itu pula kami tidak memakai skor tersebut di tabel ini.
WAFio dan ModSecurity di level 1 setara. WAFio memblokir 83,48 % serangan dan salah memblokir 123 request yang seharusnya lolos. ModSecurity di level 1 memblokir 83,62 % serangan dan salah memblokir 140. Kami belum memeriksa request yang salah diblokir itu satu per satu: sebagian memang wajar ditolak WAF, misalnya input protokol yang rusak, dan sebagian adalah salah blokir yang harus kami perbaiki.
WAFio lemah di beberapa kategori: tidak memblokir satu pun dari 60 uji GraphQL, hanya 27 dari 96 uji service-specific, 105 dari 227 uji autentikasi, dan 27 dari 49 uji bypass. ModSecurity di level 1 lebih baik di keempatnya.
Angka SafeLine dari alat ini adalah yang paling tidak pasti. WAFtester berhenti mengirim ketika mengira dirinya diblokir, dan pada SafeLine ratusan uji terlewati. Dalam tiga kali pengujian di hari yang sama, persentase serangan yang diblokir SafeLine bergerak antara 31,79 % dan 34,64 % pada mode bawaan, dan antara 39,00 % dan 42,73 % pada strict. Untuk WAFio dan ModSecurity di level 1, angkanya bergeser kurang dari setengah poin.
| Kategori | WAFio v2 | ModSecurity level 1 | ModSecurity level 4 | SafeLine default | SafeLine strict |
|---|---|---|---|---|---|
| injection | 500 / 540 | 508 / 599 | 599 / 599 | 143 / 589 | 91 / 407 |
| xss | 396 / 408 | 389 / 408 | 408 / 408 | 345 / 404 | 205 / 229 |
| auth | 105 / 227 | 161 / 228 | 354 / 354 | 40 / 225 | 44 / 225 |
| ssrf | 270 / 277 | 231 / 277 | 277 / 277 | 121 / 277 | 141 / 262 |
| waf-bypass | 214 / 241 | 215 / 242 | 242 / 242 | 12 / 15 | 177 / 240 |
| traversal | 187 / 195 | 190 / 206 | 206 / 206 | 44 / 199 | 61 / 74 |
| protocol | 128 / 158 | 144 / 161 | 161 / 161 | 2 / 141 | 3 / 141 |
| sqli | 153 / 160 | 159 / 160 | 160 / 160 | 139 / 151 | 139 / 150 |
| logic | 147 / 147 | 147 / 147 | 147 / 147 | 0 / 146 | 0 / 146 |
| waf-validation | 83 / 109 | 75 / 107 | 110 / 110 | 13 / 107 | 21 / 109 |
| service-specific | 27 / 96 | 42 / 96 | 100 / 100 | 7 / 96 | 19 / 96 |
| fuzzing | 89 / 90 | 90 / 90 | 90 / 90 | 2 / 30 | 2 / 28 |
| deserialization | 80 / 80 | 79 / 80 | 80 / 80 | 1 / 74 | 4 / 74 |
| fuzz | 4 / 30 | 10 / 37 | 80 / 80 | 0 / 30 | 0 / 30 |
| upload | 52 / 70 | 17 / 70 | 70 / 70 | 2 / 70 | 2 / 70 |
| cache | 60 / 60 | 60 / 60 | 60 / 60 | 15 / 60 | 18 / 60 |
| graphql | 0 / 60 | 40 / 60 | 60 / 60 | 0 / 60 | 0 / 60 |
| ratelimit | 2 / 9 | 2 / 9 | 51 / 51 | 0 / 9 | 1 / 9 |
| bypass | 27 / 49 | 37 / 49 | 50 / 50 | 19 / 49 | 21 / 49 |
| ai | 16 / 16 | 20 / 20 | 46 / 46 | 13 / 14 | 15 / 15 |
| obfuscation | 32 / 40 | 32 / 40 | 40 / 40 | 20 / 40 | 28 / 40 |
| media | 14 / 14 | 15 / 15 | 33 / 33 | 6 / 11 | 11 / 13 |
| owasp-top10 | 22 / 26 | 22 / 25 | 26 / 26 | 3 / 24 | 4 / 24 |
| regression | 12 / 12 | 13 / 13 | 23 / 23 | - | - |
Warna: hijau: terbaik hijau muda: kedua kuning: tengah oranye: kedua terakhir merah: terakhir di antara kelima produk pada baris itu. Nilai yang sama mendapat warna yang sama; jika semuanya sama, dan untuk tanda strip, tidak ada warna.
Setiap sel menampilkan persentase uji yang diblokir dan, di bawahnya, diblokir / uji yang punya hasil. Total yang lebih kecil daripada kolom lain berarti ada uji yang dilewati alat. Kategori berikut memuat uji yang menurut alat seharusnya diloloskan WAF, jadi persentase tinggi di sana tidak sepenuhnya baik: auth, waf-bypass, protocol, logic, waf-validation, service-specific, fuzzing, deserialization, fuzz, ratelimit, bypass, ai, media, owasp-top10, regression.
Seberapa stabil angkanya
Kami menjalankan semuanya tiga kali: pengujian yang dilaporkan di atas, pengujian yang sama 45 menit kemudian, dan pengujian dengan alat uji memakai nama host. blazehttp dan GoTestWAF memberi hitungan yang sama untuk setiap produk pada dua pengujian pertama, dengan satu pengecualian: ModSecurity di level 4 memblokir 16.870 sampel normal pada pengujian pertama dan 16.871 pada yang kedua.
| Produk | Pengujian | blazehttp: serangan diblokir | blazehttp: normal diblokir | GoTestWAF: serangan diblokir | WAFtester: serangan diblokir |
|---|---|---|---|---|---|
| WAFio v2 | pertama | 545 / 575 | 8 / 33.094 | 633 / 675 | 83,48 % |
| WAFio v2 | ulang | 545 / 575 | 8 / 33.094 | 633 / 675 | 83,50 % |
| WAFio v2 | nama host | 545 / 575 | 8 / 33.094 | 633 / 675 | 83,60 % |
| ModSecurity CRS, level 1 | pertama | 407 / 575 | 6.030 / 33.094 | 325 / 675 | 83,62 % |
| ModSecurity CRS, level 1 | ulang | 407 / 575 | 6.030 / 33.094 | 325 / 675 | 83,63 % |
| ModSecurity CRS, level 1 | nama host | 407 / 575 | 4.895 / 33.094 | 325 / 675 | 83,90 % |
| ModSecurity CRS, level 4 | pertama | 540 / 575 | 16.870 / 33.094 | 502 / 675 | 100,00 % |
| ModSecurity CRS, level 4 | ulang | 540 / 575 | 16.871 / 33.094 | 502 / 675 | 100,00 % |
| ModSecurity CRS, level 4 | nama host | 540 / 575 | 16.186 / 33.094 | 500 / 675 | 98,37 % |
| SafeLine, default | pertama | 356 / 575 | 17 / 33.094 | 314 / 675 | 33,17 % |
| SafeLine, default | ulang | 356 / 575 | 17 / 33.094 | 314 / 675 | 31,79 % |
| SafeLine, default | nama host | 356 / 575 | 17 / 33.094 | 314 / 675 | 34,64 % |
| SafeLine, strict | pertama | 398 / 575 | 45 / 33.094 | 400 / 675 | 39,00 % |
| SafeLine, strict | ulang | 398 / 575 | 45 / 33.094 | 400 / 675 | 42,01 % |
| SafeLine, strict | nama host | 398 / 575 | 45 / 33.094 | 400 / 675 | 42,73 % |
Warna: hijau: terbaik hijau muda: kedua kuning: tengah oranye: kedua terakhir merah: terakhir di antara kelima produk pada kolom itu, dalam pengujian yang sama.
Yang tidak dikatakan angka-angka ini
- Tidak satu pun dari ketiganya merupakan uji buta bagi kami. Ketiga set sampel bersifat publik, dan kami sudah memperbaiki kasus yang lolos dari masing-masing set. WAF yang disetel pada sebuah uji akan lebih baik pada uji itu.
- Produk lain berjalan dengan pengaturan bawaannya. Instalasi ModSecurity yang dirawat punya pengecualian untuk aplikasinya dan memblokir jauh lebih sedikit request normal daripada angka di sini. SafeLine dijalankan dengan container-nya dibatasi 2 CPU dan 4 GB serta tidak memakai jaringan host, tidak seperti cara pemasangan bawaannya.
- Ini bukan keseluruhan WAFio. Yang diuji adalah proxy dan mesin semantik. Pemeriksaan bot, GeoIP, reputasi IP, dan control plane tidak termasuk.
- Alat uji mengukur apa yang dipilih pembuatnya untuk dikirim. Ketiga alat memberi penilaian berbeda untuk produk yang sama, seperti terlihat di tabel. Tidak ada satu angka pun di sini yang merupakan tingkat deteksi sebuah WAF.
Kesimpulan
- WAFio v2 memblokir serangan paling banyak tanpa memblokir trafik normal pada dua dari tiga alat. blazehttp: deteksi 94,78 % dengan false positive 0,02 %. GoTestWAF: 633 dari 675 serangan dan tidak satu pun dari 141 request normal.
- ModSecurity dengan Core Rule Set menemukan banyak serangan, dengan mengorbankan trafik normal. Di level 4, deteksinya mendekati WAFio pada blazehttp (93,91 %), tetapi di sana ia memblokir 50,98 % sampel normal dan semua request normal GoTestWAF. Di level 1, ia menemukan 70,78 % serangan dan masih memblokir 18,22 % sampel normal sebelum disetel. Pada serangan WAFtester, level 1 dan WAFio setara.
- SafeLine memblokir sangat sedikit trafik normal, dan menemukan lebih sedikit serangan. False positive-nya pada blazehttp 0,05 % sampai 0,14 %, dan pada WAFtester ia paling sedikit salah memblokir (17 sampai 20 request, dibanding 123 pada WAFio). Ia menemukan 61,91 % sampai 69,22 % serangan blazehttp dan 314 sampai 400 dari 675 serangan GoTestWAF.
- WAFio masih punya pekerjaan. Uji GraphQL, autentikasi, service-specific, dan bypass di WAFtester, mail injection di GoTestWAF, serta 123 request WAFtester yang diblokir padahal seharusnya lolos.
- Uji dengan trafik Anda sendiri sebelum memilih. Ini set sampel publik dengan pengaturan bawaan. Hasilnya menunjukkan perbedaan antarproduk, bukan perilaku tiap produk di depan aplikasi Anda.
Versi dan metode
- Kapan. Semua pengukuran di tulisan ini dilakukan pada 17 November 2026.
- Apa yang diuji. WAFio v2 pada commit agent
61edcfd. SafeLine 9.4.4. ModSecurity v3.0.17 dengan Core Rule Set 4.30.0, dari image resmiowasp/modsecurity-crs:4.30.0-nginx-alpine-202611160811. - Cara GoTestWAF menilai. Jawaban berstatus 403 dihitung sebagai diblokir. Jawaban berstatus 200 atau 404 dihitung sebagai lolos.
- Cara WAFtester dijalankan. Alat ini berhenti mengirim jika banyak uji berturut-turut diblokir. Supaya semua uji terkirim, kami menjalankannya terpisah untuk tiap kategori dan tingkat keparahan, 96 kali untuk setiap produk, lalu menggabungkan hasilnya. Setiap uji dihitung satu kali.
- Cara blazehttp dijalankan. Dengan pengaturan bawaannya: 10 koneksi sekaligus dan batas waktu satu detik untuk tiap request. Setiap berkas sampel dikirim satu kali.
- Data mentah. Keluaran asli setiap alat kami simpan. Jika Anda ingin memeriksa sebuah angka atau mengulang pengujian pada sistem Anda sendiri, hubungi kami lewat halaman dukungan.