Skip to main content

Analisi costi Tester Leader

Nell'ottica di rendere comprensibile e chiaro il nuovo algoritmo di calcolo payout per i Tester Leader abbiamo effettuato alcune analisi atte a trovare il costo medio per tipologia di campagna.

Vecchie regole (09/20 - 12/20)​

La prima versione implementata per il pagamento dei TL si basava sulle seguenti regole:

Variabile bug a scaglioni​

Variabile bug vecchie regole Il variabile bug si basava su scaglioni legati al numero di bug, ad ogni scaglione corrispondeva un premio, come è possibile vedere dall'immagine qui a fianco.

Nel payout bug era considerato l'effort di gestione dei bug, dei tester e di produzione del report.

Attività extra​

Per alcune attività non sempre richieste ai TL c'erano alcuni bonus specifici:

  • Svolgimento Smoke Test: €10
  • Report TL non richiesto: -€20
Bonus prestazioni​

Erano previsti alcuni bonus per premiare i tester più attenti e bravi:

  • Completamento report entro 1 giorno dal termine della CP: €10/€20/€30 in base alla quantità di bug
  • Tutti i tester completano la campagna: €20
  • Tutti i tester caricano almeno 5 bug: €30

Problematiche legate al vecchio modello​

Raccogliendo feedback dai CSM e dai TL sono emersi alcuni aspetti interessanti che hanno messo in crisi sotto vari punti il vecchio sistema di payout:

  • un TL che rivedeva 51 bug riceveva lo stesso premio base di uno che ne rivedeva 99, e così via per tutti gli scaglioni
  • il bonus completamento report entro il giorno successivo portava i TL a portare a termine il report frettolosamente
  • il bonus "Tutti i tester caricano almeno 5 bug" e "Tutti i tester completano la campagna" erano molto difficili da raggiungere e difficilmente erano attribuibili alle azioni del TL
  • Non c'erano regole che modificassero il payout in base alla qualità del lavoro dei TL

Nuove regole di payout​

Mettendo a terra soluzioni pratiche ai problemi riscontrati abbiamo strutturato un sistema di payout più raffinato e modulabile, trovate tutti i dettagli al seguente link:

Con le nuove regole di payout abbiamo quindi molti aspetti positivi:

  • La formula e i parametri del calcolatore del payout sono molto flessibili, quindi se qualcosa non andrà come desiderato potranno essere raffinati e modificati semplicemente cambiando alcuni parametri

  • Il payout base medio non aumenta in quanto abbiamo posto la curva del nuovo payout per lo più al di sotto di quella del vecchio payout, come mostrato dal grafico qui sotto.

Confronto vecchio nuovo payout

  • Il payout è piu fair in quanto viene calcolato per il numero esatto di bug e si tagliano quindi tutti i surplus dovuti agli scaglioni.
  • Su campagne con molti bug il payout sale (ma man mano si attenua, il 100° bug rivisto vale meno del 10° e così via in quanto la formula è logaritmica; questo perchè è previsto un effort iniziale di setup che man mano aumentano i bug diventa meno significativo) e vengono quindi prese in considerazione anche campagne con molti bug, anche se improbabili e ben lontane dal caso medio.
  • Il bonus qualità è pensato per incentivare i TL a lavorare al massimo e quindi i premi alti (+30/50%) sono molto difficili da raggiungere (se la valutazione CSM è fatta con attenzione), se un TL ha fatto un lavoro perfetto su tutti i fronti significa che l'effort richiesto al CSM sarà ridotto al minimo e quindi a fronte di un aumento del costo del TL ci sarà un risparmio in termini di ore lavoro del CSM.

Costi medi​

Dopo un'introduzione generale riguardante la struttura del payout dei TL arriviamo ora ad un calcolo del costo medio per tipologia di campagna.

Ipotesi​

Per poter calcolare il costo medio su una cp sono state fatte alcune ipotesi previsionali sulla distribuzione di bonus qualità e attività extra.

Bonus qualità​
Ipotesi distribuzione bonus qualità su totale CP
Perfetto
Ottimo
Buono
Sufficiente
Insufficiente
Attività extra e report​
Ipotesi distribuzione attività extra e report sul totale CP
Ipotesi completamento smoke test
Ipotesi completamento manuale
Ipotesi bonus coinvolgimento tester
Ipotesi campagne senza report

Calcolo costo medio​

Applicando le ipotesi e ponderando le varie medie si arriva ad un costo medio TL per tipologia CP.

Tutti i dettagli nella tabella di seguito.

Si è tenuto anche il vecchio payout per poter effettuare il confronto.

COSTO MEDIO TL PER TIPOLOGIA CP
Tipo CP
Functional Testing (Bug Hunting)
Special Project
Test Book Testing
Device Compatibility Testing
Bug Hunting & Customer Feedbacks
Explorative Testing
Localization Testing [1 country]
New OS Testing
QL on Site
Community

Come si può notare il nuovo payout oltre che essere più meritocratico e prevedere logiche legate alla qualità, è anche più economico rispetto al precedente.

Nel caso ci fossero nuove attività che aumentano l'effort richiesto ai TL basterà modificare il coefficiente di payout per adattarlo alle esigenze.