Jedro nastavljanja nastavitev nadzorne skupine je "izhodišče kot vodilo, razdelitev po potrebi in nadzor spremenljivk." Izberite ustrezno shemo glede na vaše cilje potrjevanja. Spodaj so trije pogosto uporabljeni načrti skupin za pokrivanje različnih potreb:
1. Osnovni tip preverjanja veljavnosti (samo preverjanje, ali je novi algoritem boljši od tradicionalnega algoritma): najenostavnejši in najučinkovitejši, primeren za večino scenarijev.
|
Številka skupine |
Ime skupine |
Konfiguracija algoritma |
funkcija |
|
1 |
Osnovna kontrolna skupina |
Tradicionalni primerjalni algoritem s fiksnim pragom |
Zagotavlja merilo uspešnosti, ki ustreza vaši trenutni obstoječi shemi. |
|
2 |
Eksperimentalna skupina |
Nov optimiziran algoritem, ki ga je treba potrditi (npr. fazni dinamični + 3σ + kombinirani algoritem EWMA) |
Preizkusi dejansko delovanje novega algoritma v neposredni primerjavi z izhodiščem. |
Veljavni scenariji: samo potrditi je treba, ali je novi algoritem boljši od starega algoritma, ne da bi bilo treba razčleniti učinek vsakega optimizacijskega modula. Prva izbira za validacijo inženirskih sprememb z najmanj spremenljivkami in najbolj jasnimi rezultati.
2. Vrsta razčlenitve modula (preverjanje posameznega dobička vsakega modula za optimizacijo): primerno za razvoj algoritmov in nastavitev. Če želite izvedeti, koliko izboljšanja zmogljivosti prinaša posamezen modul ("stopenjski prag, posodobitev 3σ, kompenzacija EWMA"), uporabite ta način združevanja:
|
Številka skupine |
Ime skupine |
Konfiguracija algoritma |
Namen |
|
1 |
Osnovna kontrolna skupina |
Tradicionalni fiksni prag (brez optimizacije) |
Prvotna osnovna linija |
|
2 |
Preizkusna skupina ene same optimizacije 1 |
Samo postopni dinamični prag (brez prilagodljive posodobitve) |
Preverite lažno pozitiven učinek zmanjšanja samo stopenjskega praga |
|
3 |
Preizkusna skupina dvojne optimizacije 2 |
Postopen dinamični prag + 3σ posodobitev praga (brez osnovne vrednosti EWMA) |
Preverite dodatno pridobitev po posodobitvi 3σ |
|
4 |
Preizkusna skupina popolne optimizacije 3 |
Postopen dinamični prag + 3σ posodobitev + EWMA osnovna kompenzacija (celoten kombinirani algoritem) |
Preverite končni učinek celotnega algoritma. |
Veljavni scenariji: Med fazo razvoja algoritma, ko želite razjasniti prispevek vsakega optimizacijskega modula, s čimer boste lažje odstranili neučinkovite module in se osredotočili na učinkovite optimizacije.
3. Konkurenčna primerjava (primerjava prednosti in slabosti različnih običajnih algoritmov): primerno za izbirne scenarije.
Če morate med več zrelimi algoritmi izbrati najprimernejši algoritem, uporabite to metodo združevanja:
|
Številka skupine |
Ime skupine |
Konfiguracija algoritma |
funkcija |
|
1 |
Osnovna kontrolna skupina |
Tradicionalni fiksni prag |
Osnovna referenca |
|
2 |
Glavna skupina rešitev 1 |
Postopna dinamična posodobitev praga + 3σ |
Testiranje zmogljivosti trenutnih mainstream rešitev |
|
3 |
Glavna skupina rešitev 2 |
Algoritem prilagodljive kompenzacije EWMA |
Primerjava prednosti in slabosti druge glavne rešitve |
|
Neobvezno |
High{0}}Resolution Group |
Odkrivanje anomalij strojnega učenja |
Preizkušanje stroškovne-učinkovitosti vrhunskih-rešitev |
Veljavni scenariji: izbira in nabava, odločanje-o rešitvi, kjer je treba jasno opredeliti razlike v zmogljivosti med različnimi zrelimi algoritmi.
Osnovna načela za ustanovitev skupine:
Vsaka skupina obdrži samo eno spremenljivko: vse skupine morajo imeti enako strojno opremo, pogoje delovanja in preskusne cikle, razlikujejo se le v algoritmu; sicer rezultati niso dokončni.
Ohraniti je treba osnovno kontrolno skupino: Primerjave brez osnovne vrednosti so nesmiselne; vsi rezultati morajo biti povezani z izvirno rešitvijo, da se dokaže superiornost ali manjvrednost.
Več skupin ni nujno boljše: v scenarijih brez-optimizacije razvoja zadostuje osnovna zasnova "1 kontrolna skupina + 1 poskusna skupina"; preveč skupin bo povečalo obremenitev testiranja.
