Cara Merekabentuk Eksperimen Perbandingan untuk Menilai Prestasi Algoritma

Mengawal pembolehubah tunggal, menangani senario asas dan mengukur variasi dalam hasil adalah komponen asas untuk mencipta eksperimen perbandingan. Berikut ialah proses reka bentuk yang komprehensif dan boleh dilaksanakan:

 

I. Menyediakan Eksperimen: Menjelaskan Kawalan dan Pengumpulan Pembolehubah

1. Reka Bentuk Kumpulan (Menjadikan Kawalan Jelas)

Adalah perlu untuk menyediakan kumpulan ujian dan kumpulan kawalan garis dasar. Jika perlu, lebih banyak kumpulan kawalan boleh ditambah:

Menyusun

Penerangan tentang Pengelompokan

Matlamat

Kumpulan Kawalan di Baseline

menggunakan algoritma konvensional yang sedang digunakan, seperti kaedah perbandingan ambang tetap.

menawarkan standard prestasi untuk membezakan akibat pengoptimuman.

Kumpulan Ujian

Menggunakan algoritma baharu yang ingin anda sahkan, seperti algoritma gabungan dinamik + 3σ + EWMA berperingkat.

menilai prestasi sebenar algoritma baharu.

Kumpulan Kawalan Perantaraan adalah pilihan.

menggunakan pendekatan pengoptimuman separa (cth, hanya ambang dinamik berperingkat, tiada kemas kini penyesuaian).

rosak dan mengesahkan keuntungan unik setiap modul pengoptimuman.

2. Kawal selia dengan ketat faktor tidak penting (untuk menjamin keadilan)

Untuk mengalih keluar gangguan daripada faktor bukan-algoritma, semua kumpulan mesti mematuhi keperluan berikut:

Perkakasan adalah sama: PLC yang sama untuk pengumpulan data, tapak pemasangan yang sama dan sepasang penderia yang sama.

Parameter barisan pengeluaran, produk dan proses semuanya sama, dan tiada pengubahsuaian proses dibuat semasa ujian.

Kitaran ujian mestilah betul-betul sama untuk kedua-dua kumpulan (adalah dinasihatkan untuk menguji secara berterusan selama sekurang-kurangnya dua minggu untuk menampung kitaran pengeluaran yang mencukupi).

 

II. Mencipta tiga senario ujian asas yang merangkumi setiap aspek prestasi

Senario yang dibuat khusus untuk mengesahkan sepenuhnya-kestabilan jangka panjang algoritma, penggera palsu dan penggera terlepas:

1. Ujian anti-gangguan pembuatan tradisional (pengesahan teras kadar penggera palsu)

Metodologi ujian: Pengeluaran berterusan standard; algoritma-makluman yang dicetuskan dicatat dan setiap kesahihan penggera disahkan secara peribadi.

Matlamat statistik adalah untuk menentukan kadar penggera palsu kedua-dua kumpulan dan membandingkan pengurangan berikut pengoptimuman.

Kriteria penghakiman: Pengoptimuman yang berkesan ditunjukkan oleh penurunan kadar penggera palsu sekurang-kurangnya 60% jika dibandingkan dengan kumpulan kawalan garis dasar.

2. Ujian Simulasi Kerosakan Buatan (Kadar Negatif Palsu dan Pengesahan Kelajuan Tindak Balas)

Setiap daripada tiga masalah penderia industri biasa berikut sengaja dicipta dan diuji tiga kali:

Jenis Kerosakan

Kaedah Simulasi

Penunjuk Pengesahan

Piawaian Penerimaan

Hanyutan Serta-merta Gangguan

Berikan satu penderia offset segera sebanyak 0.1%FS, kemudian pulihkan selepas satu saat.

Amaran Palsu

Ia tidak sesuai untuk menghidupkan penggera.

Penuaan Lambat Malar

Setiap hari, gunakan offset 0.01%FS pada satu sensor, membina sehingga 0.1%FS.

Ketepatan Masa Penggera dan Kadar Negatif Palsu

Pengesanan 100% dan tiada penggera palsu boleh diterima.

Langkah-seperti Abrupt Drift

Berikan penderia tunggal offset berterusan sebanyak 0.2%FS.

Kelewatan dalam Respons Penggera

Kelewatan kurang daripada sepuluh saat dianggap boleh diterima.

3. Ujian untuk-Kebolehsuaian Penuaan Jangka Panjang (Mengesahkan-Kestabilan Jangka Panjang)

Kaedah Ujian: Pengiraan kadar penggera palsu bulanan; operasi berterusan selama tiga bulan tanpa pengubahsuaian parameter manual.

Matlamat Statistik: Tentukan cara kadar penggera palsu berubah sepanjang tiga bulan pertama.

Kriteria Lulus: Algoritma baharu dianggap boleh dilalui jika kadar penggera palsunya Kurang daripada atau sama dengan 2%, yang jauh lebih rendah daripada kumpulan kawalan garis dasar.

 

III. Statistik Data dan Penilaian Hasil

Untuk mencapai kesimpulan yang pasti, data statistik dikumpulkan mengikut protokol yang ditetapkan:

Rakaman Data Mentah Lengkap: Masa, peringkat proses, nilai sisihan dan jika amaran dimatikan semuanya disimpan dalam jadual yang ditentukan. Ketulenan penggera ditanda dengan teliti.

Pengiraan Penunjuk Teras: Formula standard digunakan untuk mengira penggera palsu. Kadar perubahan dalam purata masa tindak balas, kadar penggera palsu, kadar negatif palsu dan kadar penggera palsu

Penentuan kepentingan: Jika kadar penggera palsu algoritma baharu menurun sekurang-kurangnya 60% jika dibandingkan dengan garis dasar dan kadar negatif palsu kurang daripada 1%, adalah jelas bahawa prestasi adalah lebih baik (senario kejuruteraan cukup ketat).

Gunakan chi-ujian kuasa dua untuk mengesahkan sama ada perubahan itu kecil: h<0.05 shows that the difference is genuine and effective rather than a random fluctuation.

 

IV. Langkah Keselamatan untuk Eksperimen

Elakkan menukar algoritma dan perkakasan pada masa yang sama. Keputusan tidak akan muktamad jika algoritma tidak diubah.

Saiz sampel yang terlalu kecil akan mengakibatkan kesilapan statistik, jadi tempoh ujian tidak boleh lebih pendek daripada satu minggu.

Setiap penggera perlu diperiksa secara manual. Untuk mengelakkan berat sebelah statistik, jangan gunakan penemuan klasifikasi algoritma secara langsung.