Skip to main content

Agile Campaigns

<big>Nuovo nome del progetto interno: DIBY (sostituisce Agile e altri naming interni)</big>

Nel percorso intrapreso dal Crowd Team per rendere sempre più grande e qualificata la community, ci siamo accorti che è possibile percorrerestrade fino ad ora inesplorate per fornire ai nostri clienti e ai nostri tester possibilità di crescita.

In quest’ottica nascono le agile campaigns: una serie di strumenti pronti all’uso gestiti dal Crowd team e da migliaia di tester sparsi per il mondo.

Punto di partenza​

A livello di community c'erano diverse necessità:

  • formare i nuovi tester
  • potenziare le competenze delle risorse del crowd team (Tester Leader, Tester Coach, ecc)
  • coinvolgere e attivare il più possibile la community
  • gestire attività di test fuori standard non gestibili dai CSM

Abbiamo quindi iniziato a svolgere campagne di training, gestite dal crowd team e con tester nuovi; abbiamo scoperto di avere tutte le competenze interne per poter gestire interamente una campagna e soprattutto che anche i nuovi tester potevano portare valore con i loro bug e le loro segnalazioni.

Per arrivare a questa conclusione abbiamo fatto diversi esperimenti e attività di formazione, ad esempio:

  • Cp3044: [ITA] Training Campaign: Sunglasses ecommerce
  • Cp3045: [UK] Training Campaign: Sunglasses ecommerce
  • Cp3046: [FR] Training Campaign: Sunglasses ecommerce
  • Cp3047: [DE] Training Campaign: Sunglasses ecommerce
  • Cp3092: Unicredit App I
  • Cp3128: Unicredit App II
  • Cp3149: Happy New Test
  • Cp3186: Training Campaign: Bennet ecommerce

In parallelo abbiamo supportato i CSM con attività fuori standard, come per esempio le Super Fast Campaign, che ci hanno permesso di conoscere gli aspetti più pratici delle campagne cliente gestite dai Tester Leader. Per approfondire di seguito i riferimenti:

Mission​

A seguito della prima fase di sperimentazione abbiamo capito che potevamo soddisfare le necessità con una serie di nuovi servizi appostiti, che rispondessero alle singole esigenze portando valore ad AQ e ritorno economico.

Questi nuovi servizi sono le Agile campaigns e permettono di:

  • Fare training ai tester inesperti
  • Fare engagement e strutturare i ruoli dei tester
  • Targettizzare nuove buyer personas (costi e tempi delivery ridotti mantenendo inalterata la qualità)
  • Nuovi prodotti che vanno a coprire le esigenze emerse dai clienti stessi

Possiamo riassumere il tutto con la mission del progetto:

Per andare incontro alle esigenze di tutte le realtà che necessitano di **servizi light, economici e veloci**, vogliamo costruire una serie di strumenti AGILE inseriti in un processo **ingegnerizzato e crowdbased**, sempre improntato alla **massima qualità.**

Al momento le cp che rientrano in questo pacchetto sono:

  • Functional Testing (Bug Hunting) (anche chiamato "Instant Test")
  • Bug Fix Verification (anche chiamato "Verification Test")
  • User Testing (anche chiamato "Usability Test")
  • Market Research

Agile Campaigns

Verranno approfondite singolarmente di seguito, ma di base tutte poggiano su alcune caratteristiche specifiche, necessarie per rimanere AGILE e contenere costi e tempi:

  • NO CALL, comunicazione diretta al minimo
  • raccolta dati e informazioni tramite specifici WIZARD
  • AUTOMAZIONE (di processi, pricing, risultati)
  • PERSONALIZZAZIONE dei servizi

Inoltre per raccogliere tutti i servizi e le informazioni legate al progetto avremo una pagina dedicata sul sito AQ dalla quale si potranno raggiungere le specifiche sezioni. (coming soon)

In particolare oltre a tutte le informazioni riguardanti la metodologia e i servizi si potrà accedere a:

  • Questionario di profilazione: al primo accesso verranno sottoposte al cliente una serie di domande per capire in primis le necessità operative, ma soprattutto la struttura del team di sviluppo/design (ad esempio se il team è agile, quale framework utilizza, quanto dura uno sprint, quanto investe nel fixing o nel design, ecc); queste informazioni saranno fondamentali per la personalizzazione dei servizi (ad esempio se le risorse sono disponibili al fix per 8ore/sprint non avrà senso coinvolgere 100 tester ma probabilmente 10 sono meglio, in modo da contenere i costi e non sovraccaricare l’output) Una volta compilato il questionario verrà assegnata una figura commerciale di riferimento per eventuali dubbi o necessità (chat/email)
  • WIZARDS: ogni attività avrà uno specifico wizard per poter essere attivata, il wizard serve per raccogliere i dettagli dell’attività, le necessità e gli obiettivi fissati (è possibile vederne un esempio qui per i test funzionali), unendo le informazioni sulla specifica attività e quelle generali (dalla profilazione) sarà possibile creare un servizio “su misura”.

Wizard per l'esecuzione delle campagne DIBY​

INSTANT Cp > Functional Testing (Bug Hunting)​

Dettagli​

Campagna funzionale esplorativa con tester esperti, l’obiettivo è trovare bug & problematiche su un prodotto. Il test dura 48h dalla ricezione del wizard ai risultati finali (il prodotto deve essere accessibile al momento dell'invio del wizard, al contrario le 48h partiranno dall'arrivo del prodotto).

Nello specifico una volta arrivate le informazioni tramite wizard:

  1. uno dei nostri TL esperto attiverà immediatamente la cp (entro 12h dalla ricezione) coinvolgendo i tester più attivi ed esperti
  2. i tester avranno 24h di tempo per portare a termine l’attività.
  3. terminato il test il TL completerà la review delle segnalazioni, che per tutta la durata del test saranno visibili in real time sulla dashboard AQ dedicata ai clienti, e entro 12h l’output completo e revisionato sarà presente sulla dashboard con la possibilità di esportare report automatici o categorizzare le segnalazioni a piacimento.

In casi specifici può essere attivata una chat diretta TL/cliente per facilitare la comunicazione durante il test (Slack/Telegram).

Strumenti​

Il fattore critico è il tempo: 48h per setup, test e output sono un obiettivo sfidante che necessità di alcuni strumenti/accorgimenti a supporto.

  • Bug Parade: per evitare bug duplicati usiamo la bug parade -> ridotti i costi (i duplicati non esistono e quindi non vengono pagati), ridotto lo sforzo di revisione
  • Bug Limit: viene fissato un massimo numero di bug per la cp sopra il quale i tester non possono più caricare nuovi bug -> la variabilità del numero di bug è rimossa, quindi i costi sono più prevedibili e l'effort di gestione ridotto
  • Dashboard funzionale: tutti i risultati sono accessibili esclusivamente sulla dashboard AQ -> nessun effort per presentazione ppt o call dei risultati
  • Tester esperti e sistema payout più motivante: nella campagna verranno coinvolti esclusivamente tester esperti funzionali e affidabili, essendo inseriti in una sfida (bug parade) non ci sarà un payout base ma un variabile bug più stimolante (10€ critical, €5 high, €3 medium, €1 low)
  • Tipologia di campagna fissata: l'instant campaign è un test esplorativo in cui il cliente tramite wizard può indicare gli obiettivi del test e le macro sezioni da testare ma non potrà entrare troppo nel dettaglio -> questo ci permetterà di poter partire ogni volta da un template di test esplorativo standard e adattarlo molto velocemente alla situazione durante lo smoke test in base alle specifiche fornite dal cliente

Costi​

Entriamo ora nel dettaglio dei costi della singola cp INSTANT.

Tester​

Le regole di payout, messe a confronto con la distribuzione media delle severity dei bug caricati in piattaforma ci porta ad un payout medio per bug.

Regole payoutDistribuzione severity tester espertiDistribuzione media severity 2020
Critical10€Critical
High5€High
Medium3€Medium
Low1€Low
PAYOUT MEDIO BUG: **4,04€**

Prendendo quindi il costo medio per bug e moltiplicandolo al numero di bug (fissato in fase di setup), arriviamo ai costi medi totali dei tester.

Numero massimo di bugPayout medio bug per numero massimo di bugRitenuta 20%Totale costo tester
1040,48,0848,48
1560,612,1272,72
2080,816,1696,96
2510120,2121,2
30121,224,24145,44
35141,428,28169,68
40161,632,32193,92
45181,836,36218,16
5020240,4242,4
55222,244,44266,64
60242,448,48290,88
65262,652,52315,12
70282,856,56339,36
Tester Leader​

Per i costi di setup, gestione e review tutto ricade sul Tester Leader assegnato al progetto.

Come nelle campagne con i CSM, anche in questo caso abbiamo una formula che calcola il variabile in base ai bug presenti nella cp (il parametro al denominatore è stato abbassato a 0,45 per adattarsi alla situazioni) sommato ad un premio fisso per il setup dell'attività.

PAYOUT SETUP ATTIVITA: 20€
CALCOLATORE PER VARIABILE: =(NUM_BUG*(1/(0,45*(LOG10(NUM_BUG)))))

Arriviamo anche in questo caso a dei costi medi:

Numero bugPayout variabileExtra (manuale, smoke test)Ritenuta 20%Totale costo TL
1022,22208,4450,67
1528,34209,6758,01
2034,162010,8364,99
2539,742011,9571,69
3045,132013,0378,16
3550,372014,0784,45
4055,482015,1090,58
4560,492016,1096,59
5065,402017,08102,48
5570,232018,05108,27
6074,982019,00113,98
6579,682019,94119,61
7084,312020,86125,17
7588,892021,78130,66
Totali​

Unendo le informazioni fino a qui mostrato si può arrivare al costo totale dipendente dal numero di bug fissati:

Numero massimo bugCosto massimo testerCosto TLTotale costi
1048,4850,6799,15
1572,7258,01130,73
2096,9664,99161,95
25121,271,69192,89
30145,4478,16223,60
35169,6884,45254,13
40193,9290,58284,50
45218,1696,59314,75
50242,4102,48344,88
55266,64108,27374,91
60290,88113,98404,86
65315,12119,61434,73
70339,36125,17464,53

Prezzi​

Potenzialmente è possibile arrivare ad un calcolatore/preventivatore in cui il cliente inserisce le sue necessità e personalizza il test arrivando ad attivare la campagna e pagando direttamente l'importo. In questa prima fase ci sarà il supporto dei sales e quindi di seguito una proposta semplificata di prezzi per le INSTANT CP.

INSTANT TEST
Numero massimo bugNumero tester espertiCosto totale massimo
305€223,60
5010€344,88
7015€464,53

NOTA: il prezzo minimo è calcolato con gross margin = 55%, mentre quello suggerito con gross margin =70% (obiettivo aziendale)

Case Studies​

Per arrivare all'impostazione attuale delle INSTANT CP sono stati fatti vari esperimenti, soprattutto per capire se l'idea di comprimere così tanto i tempi fosse fattibile senza intaccare le prestazioni e la qualità.

Super Fast Campaign

  • Cp3119: Super Fast Campaign - GSD
  • Cp3118: Super Fast Campaign - Primigi
  • Cp3110: Super Fast Campaign - Longines
  • Cp3080: Super Fast Campaign - Friuli Venezia Giuli
  • Cp3048: Super Fast Campaign - Landing page Edison Webpage
  • Cp3004: Super Fast Campaign - Landing page knowhow Webpage

INSTANT Cp

  • Cp3094: Up2You Website - BugParade+1 ROUND 1 (Case Study pubblico coming soon)
  • Cp3137: Bee Plugin Headings & Custom Attribute & Coediting

VERIFICATION Cp > Bug Fix Verification​

Dettagli​

Campagna funzionale atta a verificare la presenza di segnalazioni note, la definiamo la “+1” in quanto i tester riceveranno una serie di bug e dovranno dire se si presentano o meno anche sui loro dispositivi. Con questa attività possiamo andare a coprire due casistiche:

  • Compatibility Test: da svolgere subito dopo un instant test o campagna funzionale qualsiasi (deve esserci una lista di bug) in modo da capire quanto sono diffusi i problemi sui vari dispositivi
  • Regression Test: da svolgere dopo una fase di fixing per verificare se i bug sono ancora presenti

L’attività dura 72 ore, in quanto una volta ricevuta la lista dei bug i nostri TL attiveranno in 12 ore i tester e la campagna, che richiederà 48 ore per essere svolta (ogni tester replica le segnalazioni su tutti i dispositivi a disposizione quindi è necessario più tempo), a valle del test i risultati definitivi verranno forniti entro 12 ore tramite una dashboard cliente dedicata a questo genere di attività.

Nello specifico una volta arrivate le informazioni tramite wizard (in cui verrà richiesta la lista dei bug da verificare):

  1. uno dei nostri TL esperto attiverà immediatamente la cp (entro 12h dalla ricezione) coinvolgendo tester di tutti i livelli di esperienza
  2. i tester avranno 48h di tempo per portare a termine l’attività.
  3. terminato il test il TL completerà la review delle segnalazioni, che per tutta la durata del test saranno visibili man mano in real time sulla jotform dashboard dedicata all'attività, e entro 12h l’output completo e revisionato sarà presente sulla dashboard con la possibilità di esportare i dati raw o vedere direttamente le statistiche generali.

In casi specifici può essere attivata una chat diretta TL/cliente per facilitare la comunicazione durante il test (Slack/Telegram).

Strumenti​

  • Multi-device: i tester verranno attivati con tutti i dispositivi che hanno a disposizione (limitati a quelli possibili per il tipo di prodotto)
  • Form +1: con un semplice jotform verrà chiesto ai tester di replicare la segnalazione e di fornire tutti i dettagli di quello che succede sul loro dispositivo (video/screen + dettagli del dispositivo)
  • Dashboard jotform: tutti i risultati sono accessibili esclusivamente sulla jotform dashboard del progetto -> oltre alle statistiche generali sarà possibile scaricare i raw data in formato excel
  • Sistema payout fisso per replica: nella campagna verranno coinvolti tester senza particolari caratteristiche, la tipologia si presta comunque molto bene alla formazione (mostrare i bug formalmente corretti e replicarli aiuta i tester nuovi a capire come funziona AQ), il payou è fissato a €0,25 sia che il problema si presenti, sia che il problema non si presenti, in modo da disincentivare comportamenti sbagliati e per verificare la vera distribuzione della problematica

Costi​

Entriamo ora nel dettaglio dei costi della singola cp di VERIFICATION.

Tester​

Le regole di payout sono molto semplici, indipendentemente dalla replica o meno, ogni ticket approvato (i media devono confermare quanto segnalato) viene ricompensato allo stesso modo:

PAYOUT REPLICA **0,25€**

Dagli esperimenti fatti risulta che mediamente i tester hanno a disposizione 2 dispositivi ognuno.

Tester Leader​

Per i costi di setup, gestione e review tutto ricade sul Tester Leader assegnato al progetto.

PAYOUT SETUP ATTIVITA: 20€
PAYOUT PER REPLICA RIVISTA: 0,15€
Totali​

Unendo le informazioni fino a qui mostrate si può arrivare al costo totale dipendente dal numero di segnalazioni da replicare e dai dispositivi/tester coinvolti.

Di seguito alcuni esempi:

Numero testerMassimo numero di bug da replicareNumero medio di dispositivi per testerTotale dispositivi copertiNumero massimo di replicheCosto massimo replicheCosto base TL (setup, inviti e selezione)Costo variabile massimo TL (massimo repliche per costo singola review €0,15)Totale netto CROWDTotale lordo CROWD
530210300€75,00€2045€140,00€168,00
1025220500€125,00€2075€220,00€264,00
1520230600€150,00€2090€260,00€312,00
2020240800€200,00€20120€340,00€408,00
30182601080€270,00€20162€452,00€542,40
40182801440€360,00€20216€596,00€715,20
501821001800€450,00€20270€740,00€888,00
601521201800€450,00€20270€740,00€888,00
701221401680€420,00€20252€692,00€830,40
801221601920€480,00€20288€788,00€945,60

Prezzi​

Potenzialmente è possibile arrivare ad un calcolatore/preventivatore in cui il cliente inserisce le sue necessità e personalizza il test arrivando ad attivare la campagna e pagando direttamente l'importo. In questa prima fase ci sarà il supporto dei sales e quindi di seguito una proposta semplificata di prezzi per le VERIFICATION CP.

VERIFICATION TEST
Numero di segnalazioni da replicareNumero di device su cui fare le verificheNumero di tester
102010
153015
205025
257035
3010050

NOTA: il prezzo minimo è calcolato con gross margin = 55%, mentre quello suggerito con gross margin =70% (obiettivo aziendale)

Case Studies​

Per arrivare all'impostazione attuale delle VERIFICATION CP sono stati fatti alcuni esperimenti, anche su clienti attivi.

Di seguito alcuni riferimenti:

  • Cp3194: Internal App Store - Bug Fix Verification
  • Cp3155: Bee Plugin Headings & Custom Attribute & Coediting - ROUND 2
  • Cp3095: Up2You Website - BugParade+1 ROUND 2

USABILITY Cp > User Testing​

Dettagli​

Per quanto riguarda le attività esperienziali possiamo riassumere il tutto con un test adattivo, in particolare sempre adottando il modello di raccolta informazioni con WIZARD potremo proporre una serie di attività per ogni esigenza, ad esempio:

  • A/B testing, gli utenti interagiscono con diversi template (statici o dinamici) e vengono sottoposti a domande di tipo qualitative su scelte di design, attitudini e comportamenti.
  • Tree testing, agli utenti viene fornito l’albero (struttura) del sito web o dell’app e vengono sottoposti a domande per determinare l’intuitività della struttura, la scelta delle CTAs e la logica della struttura.
  • Questionari, mostrando delle schermate statiche o wireframe, si sottopongono gli utenti a domande riguardo le loro attitudini, i loro comportamenti, scelte di design e paragoni con i competitors.
  • Desirability Studies, all’interno dei questionari viene chiesto all'utente di fornire 3 aggettivi riguardanti pro e 3 aggettivi riguardanti contro del prodotto testato, che si andranno poi ad analizzare nel clustering.
  • Thinking Aloud, all’interno del wizard può essere incluso un brevissimo task di thinking aloud se può essere utile a raggiungere gli obiettivi previsti dal test.

Il test potrà essere componibile in base alle necessità, questionari e task potranno essere presi da template e script predefiniti e integrati con domande specifiche. Stiamo infatti lavorando ad un DB di task e domande più o meno standard per poter velocizzare e rendere più efficace la creazione degli script.

I risultati quantitativi verranno automaticamente analizzati e saranno visibili in una jotform dashboard dedicata al progetto.

Per quanto riguarda invece il materiale qualitativo potrà essere analizzato tramite Clustering automatico, se non applicabile verranno forniti dati raw (ad esempio per i video del thinking aloud).

L’attività dura 72 ore, in quanto una volta ricevuti i dettagli i nostri TL attiveranno in 12 ore i tester e la campagna, che richiederà 48 ore per essere svolta, a valle del test i risultati definitivi verranno forniti entro 12 ore.

Nel wizard potrà essere anche indicato un cluster di utenti specifico da coinvolgere, nel caso di casistiche standard (cluster per età, localizzazione o sesso) i tempi non verranno intaccati, mentre per casistiche più particolari sarà necessario attivare un recruiting specifico con voce di costo aggiuntiva e specifica attività extra.

Strumenti​

  • UXTL: tester leader esperto di UX che gestisce il test dall'inizio alla fine
  • Dashboard jotform: per visualizzare in tempo reale i dati quantitativi provenienti dai form, graficati e presentati automaticamente. LINK A ESEMPIO
  • Dashboard UX: per il thinking aloud è previsto l'utilizzo della modalità UX della piattaforma AQ
  • Payout personalizzato in base alla tipologia: i tester prenderanno un premio in base alla tipologia di cp, calcolato in base all'effort stimato per la navigazione del prodotto e la risposta ai questionari/produzione dei video

Costi​

Entriamo ora nel dettaglio dei costi per tipologia di cp di USABILITY.

Per ogni attività viene stimato un effort in minuti richiesto al tester, che ovviamente sarà legato all'effort richiesto allo UXTL per la gestione e soprattutto revisione del materiale creato.

PAYOUT AL MINUTO PER TESTER: 0,5€
PAYOUT AL MINUTO PER UXTL: 0,3€

Per calcolare l'effort dei tester si usa una stima in base alla nostra esperienza e ad un calcolo di questo tipo:

  • domanda chiusa 30sec

  • domanda aperta 1min

Quindi per esempio nel questionario effort 10 min sono comprese:

  • navigazione prodotto

  • 10 domande chiuse

  • 5 domande aperte

Per quanto riguarda lo UXTL invece il calcolo è:

Minuti necessari al setup dell'attività + effort di gestione tester (5min*numero tester) + effort di revisione (numero tester*(minuti attività tester/X)

I minuti di setup variano in base alla tipologia, così come x varia in base al tipo di review (review video richiede piu tempo che review questionari).

Si arriva quindi ad una tabella come la seguente:

Numero tester coinvoltiTotale minuti attività testerTotale minuti attività UXTLCosto totale
A/B testing10250280€250,80
15375330€343,80
20500380€436,80
Questionari10100250€150,00
15300315€293,40
20600400€504,00
Tree testing10200270€217,20
Desirability Studies1575120€88,20
Thinking Aloud5150268€186,30
10300355€307,80
15450443€429,30

Prezzi​

Potenzialmente è possibile arrivare ad un calcolatore/preventivatore in cui il cliente inserisce le sue necessità e personalizza il test arrivando ad attivare la campagna e pagando direttamente l'importo. In questa prima fase ci sarà il supporto dei sales e quindi di seguito una proposta semplificata di prezzi per le USABILITY CP.

USABILITY TEST
Numero tester coinvoltiTotale minuti attività tester
A/B testing10250
15375330
20500380
Questionari10100
15300315
20600400
Tree testing10200
Desirability Studies1575
Thinking Aloud5150
10300355
15450443

NOTA: il prezzo minimo è calcolato con gross margin = 55%, mentre quello suggerito con gross margin =70% (obiettivo aziendale)

Case Studies​

Per arrivare all'impostazione attuale delle USABILITY CP sono stati fatti alcuni esperimenti:

  • Cp3211 - SBOSTATS App Prototype Survey
  • Cp3210 - SBOSTATS App Prototype Thinking Aloud

Market Research​