Cara Menyediakan Kumpulan Kawalan untuk Percubaan Perbandingan

Prinsip asas konfigurasi kumpulan kawalan ialah "garis dasar sebagai panduan, pemisahan mengikut keperluan dan mengawal pembolehubah." Berdasarkan objektif pengesahan anda, pilih skema yang betul. Tiga reka bentuk kumpulan yang popular untuk memenuhi pelbagai keperluan disenaraikan di bawah:

 

1. Jenis Pengesahan Asas (hanya mengesahkan bahawa teknik baharu mengatasi pendekatan konvensional): Yang paling mudah dan berkesan, sesuai untuk kebanyakan situasi.

Bilangan Kumpulan

Nama Kumpulan

Konfigurasi Algoritma

Fungsi

satu

Kumpulan Kawalan di Baseline

Kaedah perbandingan ambang tetap konvensional

memberi anda penanda aras prestasi yang sesuai dengan rancangan semasa anda.

dua

Kumpulan Eksperimen

Algoritma baharu yang dioptimumkan, seperti algoritma gabungan dinamik + 3σ + EWMA berperingkat, perlu disahkan.

menilai prestasi algoritma baharu dengan membandingkannya dengan garis dasar.

Senario Berkenaan: Ia tidak perlu menganalisis kesan setiap modul pengoptimuman untuk menentukan sama ada kaedah baharu itu lebih baik daripada yang sebelumnya. Pilihan terbaik untuk mengesahkan pengubahsuaian kejuruteraan kerana ia mempunyai pembolehubah yang paling sedikit dan hasil yang paling mudah difahami.

 

2. Jenis Penguraian Modul: Sesuai untuk Pembangunan dan Penalaan Algoritma (Mengesahkan Keuntungan Individu Setiap Modul Pengoptimuman). Gunakan teknik pengumpulan ini untuk menentukan jumlah peningkatan prestasi yang setiap modul ("ambang berperingkat, kemas kini 3σ, pampasan EWMA") menyumbang secara berasingan:

Bilangan Kumpulan

Nama Kumpulan

Konfigurasi Algoritma

Matlamat

satu

Kumpulan Kawalan di Baseline

Ambang tetap konvensional (tiada pengoptimuman)

Garis dasar awal

dua

Kumpulan 1 Eksperimen Pengoptimuman Tunggal

Hanya ambang dinamik berperingkat (tiada kemas kini penyesuaian)

Semak sama ada ambang berperingkat sahaja mempunyai kesan pengurangan positif palsu.

3

Kumpulan 2 Eksperimen Pengoptimuman Dwi

Kemas kini ambang 3σ ditambah ambang dinamik berperingkat (tiada garis dasar EWMA)

Semak keuntungan tambahan selepas kemas kini 3σ.

4

Kumpulan 3 Eksperimen Pengoptimuman Penuh

Pampasan garis dasar EWMA + 3kemas kini σ + ambang dinamik berperingkat (algoritma bersepadu penuh)

Semak hasil keseluruhan algoritma.

Senario Berkenaan: Apabila anda ingin menjadikannya lebih mudah untuk menyingkirkan modul yang tidak cekap dan menumpukan perhatian pada pengoptimuman yang cekap sepanjang fasa pembangunan algoritma dengan menggariskan sumbangan setiap modul pengoptimuman.

 

3. Perbandingan Kompetitif: Sesuai untuk memilih senario, kaedah ini membandingkan faedah dan kelemahan banyak algoritma yang popular.

Gunakan teknik pengumpulan ini untuk memilih algoritma terbaik daripada beberapa algoritma yang telah ditetapkan:

Bilangan Kumpulan

Nama Kumpulan

Konfigurasi Algoritma

Fungsi

satu

Kumpulan Kawalan di Baseline

Ambang tetap konvensional

Rujukan mudah

dua

Kumpulan 1 Penyelesaian Arus Perdana

Kemas kini 3σ ditambah ambang dinamik berperingkat

Menilai keberkesanan penyelesaian popular yang telah digunakan

3

Kumpulan 2 Penyelesaian Arus Perdana

Algoritma pampasan penyesuaian untuk EWMA

membezakan kebaikan dan keburukan penyelesaian popular yang berbeza

Pilihan

Kumpulan Penyelesaian Unggul

Pengesanan anomali dengan pembelajaran mesin

Menilai keterjangkauan penyelesaian premium

Situasi yang boleh digunakan termasuk perolehan dan pemilihan, membuat keputusan tentang penyelesaian, dan situasi yang perlu untuk mentakrifkan dengan tepat perbezaan prestasi antara beberapa algoritma yang telah ditetapkan.

Idea asas untuk menganjurkan kumpulan:

Hanya satu pembolehubah disimpan oleh setiap kumpulan: penemuan tidak dapat disimpulkan jika semua kumpulan mempunyai perkakasan, keadaan operasi dan kitaran ujian yang sama, kecuali algoritma.

Semua hasil mesti berlabuh pada jawapan asal untuk menunjukkan keunggulan atau rendah diri; perbandingan tanpa garis dasar tidak bermakna.

Ia tidak selalunya berfaedah untuk mempunyai lebih banyak kumpulan: Reka bentuk ringkas "1 kumpulan kawalan + 1 kumpulan eksperimen" adalah memadai dalam senario bukan-pengoptimuman pembangunan; terlalu banyak kumpulan akan meningkatkan beban kerja ujian.