Cara Mereka Bentuk Eksperimen Perbandingan untuk Mengesahkan Prestasi Algoritma

Mengawal pembolehubah tunggal dan mengukur hasil perbandingan adalah komponen asas untuk membina eksperimen perbandingan. Ini boleh dipraktikkan dengan menggunakan langkah "kumpulan eksperimen - kumpulan kawalan → mengawal pembolehubah → mereka bentuk senario ujian → penunjuk statistik → keputusan keputusan." Berikut adalah langkah-langkah yang tepat:

 

1. Pengumpulan Eksperimen (Tentukan Perhubungan Kawalan Dengan Jelas) Cipta dua hingga tiga kumpulan perbandingan untuk menunjukkan bagaimana algoritma berbeza berbeza antara satu sama lain:

Kumpulan Kawalan 1: Teknik perbandingan ambang tetap konvensional (penyelesaian semasa, garis dasar)

Kumpulan Eksperimen: Algoritma yang dioptimumkan yang perlu disahkan, seperti "algoritma gabungan dinamik + 3σ + EWMA" berperingkat yang anda ingin uji

Algoritma tunggal yang dioptimumkan (cth, ambang dinamik berperingkat ringkas, untuk mengesahkan keuntungan kemas kini penyesuaian) ialah kumpulan kawalan pilihan kedua.

 

2. Mengawal faktor tidak penting untuk mengekalkan ekuiti. Untuk mengelakkan gangguan daripada faktor bukan-algoritma, syarat berikut mesti dikekalkan semasa percubaan:

Perkakasan yang konsisten: Jangan ubah perkakasan; sebaliknya, gunakan set PLC pemerolehan yang sama, lokasi pelekap yang sama dan sepasang penderia yang sama.

Keadaan operasi yang konsisten: Jangan ubah produk atau ubah suai proses; sebaliknya, uji pada barisan pengeluaran yang sama menggunakan parameter produk dan proses yang sama.

Kitaran ujian yang konsisten: Untuk jumlah masa yang sama, kedua-dua kumpulan menjalani ujian berterusan (cth, setiap satu berjalan selama dua minggu, meliputi bilangan kitaran pengeluaran yang mencukupi).

 

3. Cipta tiga jenis senario ujian yang menangani setiap aspek prestasi. Buat senario terutamanya untuk mengesahkan sepenuhnya keupayaan algoritma:

(1) Ujian anti-gangguan untuk keadaan pengendalian konvensional (mengesahkan kadar penggera palsu)

Prosedur ujian: Pengilangan tetap, rakaman berterusan semua penggera, dan pengesahan manual kesahihan setiap penggera.

Penunjuk statistik: Tentukan kadar penggera palsu kedua-dua kumpulan dan jejaki penurunan peratusan dalam kadar penggera palsu algoritma yang dioptimumkan.

Hasil yang dijangkakan: Jika dibandingkan dengan ambang tetap, kadar penggera palsu algoritma yang dioptimumkan harus menurun sekurang-kurangnya 60%.

(2) Ujian simulasi kerosakan (mengesahkan masa tindak balas dan kadar amaran terlepas) Ulang ujian tiga kali untuk setiap kumpulan dengan mensimulasikan tiga kerosakan sensor industri biasa secara manual:

Jadual: Teknik Simulasi Jenis Kerosakan Simulasi Sifar Serta-merta-Penunjuk Pengesahan Point Drift Tambahkan offset serta-merta sebanyak 0.1%FS pada salah satu output penderia, kemudian pulihkan selepas satu saat. Semak untuk melihat sama ada terdapat amaran palsu (biasanya tidak sepatutnya ada). Penuaan Lambat Malar Setiap hari, tambahkan 0.01%FS offset pada satu output sensor, yang menambah sehingga 0.1%FS. Semak penggera terlepas dan penggera tepat pada masanya. Step Drift: Mengimbangi output satu sensor secara berterusan sebanyak 0.2%FS. Semak sama ada ia boleh ditemui dalam masa dan kelewatan tindak balas penggera. Piawaian Penerimaan: Dengan tiada penggera terlepas, kelewatan respons kurang daripada sepuluh saat dan penggera palsu untuk gangguan serta-merta, algoritma yang dioptimumkan mengesan semua masalah berterusan 100% pada setiap masa.

(3)-Ujian Kebolehsuaian Penuaan Jangka Panjang (Sahkan-Kestabilan Jangka Panjang) Kaedah Ujian: Kira kadar penggera palsu sebulan sekali dan jalankan secara berterusan selama tiga bulan tanpa melaraskan parameter secara manual. Petunjuk Statistik: Tentukan berapa banyak kadar penggera palsu telah berubah dalam tempoh tiga bulan. Kriteria Penerimaan: Kadar perubahan algoritma ambang tetap biasanya melebihi 5%, manakala algoritma yang dioptimumkan dengan kemas kini penyesuaian mempunyai kadar perubahan kadar penggera palsu Kurang daripada atau sama dengan 2%.

 

4. Statistik Data dan Penentuan Keputusan

Berikutan percubaan, garis panduan berikut digunakan untuk mengumpulkan data dan menilai prestasi:

Penunjuk Teras Diutamakan: Prestasi algoritma yang dioptimumkan dianggap lebih baik jika kadar penggera palsunya Kurang daripada atau sama dengan 5%, iaitu Lebih besar daripada atau sama dengan 60% lebih rendah daripada kumpulan kawalan, dan jika kadar penggera palsunya Kurang daripada atau sama dengan 1%.

-Pengesahan Kestabilan Jangka Panjang: Mekanisme penyesuaian berkesan dan berprestasi lebih baik dalam jangka panjang berbanding kumpulan kawalan jika variasi kadar penggera palsu kurang daripada 2% selepas tiga bulan.

Tambahan Kepraktisan Kejuruteraan: Pemeriksaan statistik masa penyahpepijatan dan kekerapan penyelenggaraan; kepraktisan yang lebih baik ditunjukkan dengan pengurangan kekerapan penyelenggaraan sekurang-kurangnya 30% selepas pengoptimuman.

Langkah berjaga-jaga untuk Eksperimen

Elakkan menukar algoritma dan perkakasan pada masa yang sama. Penemuan akan menjadi samar-samar jika algoritma adalah satu-satunya pembolehubah.

Untuk menampung kitaran pengeluaran yang mencukupi agar data menjadi ketara secara statistik, tempoh ujian tidak boleh terlalu singkat-ia hendaklah sekurang-kurangnya satu hingga dua minggu.

Setiap penggera perlu diperiksa secara manual. Untuk mengelakkan berat sebelah statistik, penggera algoritma tidak boleh dianggap sebagai data sebenar.