Flusso TL

Di seguito vedremo nel dettaglio il flusso relativo alle attività dei TL sulle campagne di test

🆕 UPDATE 17/04/2023: Nuovo flusso di Chiusura CP from Prospect

🆕 UPDATE 17/04/2023: Nuove regole di invitation e selection sulle CP! (AGGIORNATO con nuovi TID)

Descrizione generale del flusso Tester Leader

In questo primo elenco una macro view del flusso per coinvolgere i Tester Leader in una campagna AQ, dal momento dell'ingaggio alla chiusura della CP con relativo pagamento.

1. Ricezione della mail contenente il form “Disponibilità TL” quando viene richiesta una nuova CP dai CSM
2. Selezione del TL per la CP in base a: disponibilità, attività attualmente in corso e attività nel precedente periodo
3. Assegnazione del task su ClickUp (dove è presente tutto il dettaglio per il setup dell’attività) al TL selezionato
4. Condivisione automatica canale Slack e link al task ClickUp al CSM
5. CSM crea la CP sulla piattaforma e la assegna al TL
6. Setup della campagna (edit cp, preview, manuale, inviti e selezione dei tester)
7. Svolgimento CP con aggiornamento periodico via chat e avanzamento real time del report (real time con il test)
8. 🆕 Chiusura CP da Prospect per i tester e attribuzione payout (non più tardi di 10 giorni dopo la fine del test)
9. CSM e TL compilano i survey di valutazione CP
10. Community/OPS lavora la valutazione del TL e assegna il payout per le attività

Sarà estremamente importante durante tutto il flusso aggiornare il task su ClickUp, nei vari stati che vedremo più avanti, che diventa il riferimento principale per lo "status" della campagna in corso, sia per i CSM, sia per Community/OPS. Nel resto della pagina si entra poi nello specifico di alcune delle singole attività.

Nuove figure operative di supporto al TL

Vengono introdotte 2 nuove figure operative, il "CP Setupper" e il "Manual Writer". Come suggeriscono i nomi, queste nuove figure saranno di supporto al TL principale della CP. Potranno, nella gestione delle singole CP, essere 2 figure distinte e separate o in alcuni casi potranno essere attività svolte da una stessa persona (più probabile).

Il Manual Writer si occuperà della stesura del manuale di test, in base alle specifiche condivise lui dal TL stesso (che a sua volte le riceve o dal CSM o dal team Operations/Community). La stesura del manuale CP viene eseguita solitamente tra 5gg e 3gg prima della partenza del test.

Il CP Setupper si occuperà di tutto il setup della campagna (edit cp, preview, manuale, inviti e selezione dei tester) da eseguire almeno 3gg prima della partenza del test.

Questionario disponibilità per CP

Il CSM, tramite la compilazione di un wizard di richiesta CP, attiva un automatismo che invia ai TL un form di disponibilità.

Le disponibilità dei TL vengono raccolte da Community/OPS, che successivamente assegnerà il TL alla CP.

Si richiede ai TL la disponibilità per ogni singola campagna in partenza SE richiesta correttamente tramite il wizard “All-In-One” (accessibile ai CSM), applicando quindi poi una logica di candidatura/selezione.

Le disponibilità vengono raccolte fino ad un massimo di 24 ore, in base alle necessità di urgenza che richiede il progetto in partenza.

Regole selezione TL e creazione channel Slack

Community/OPS, in base alle candidature dei TL, decide quale assegnare secondo delle regole:

• Se un TL ha già seguito un determinato prodotto/progetto, verrà preferito nella selezione per quella data CP
• Se viene espressamente richiesto (dal CSM) un TL “esperto”, verrà preferito il TL che tra i più esperti ha meno attività in corso e/o nel periodo precedente la richiesta
• Se non vengono espresse preferenze per la scelta di un TL, verrà preferito il TL che ha meno attività in corso e/o nel periodo precedente la richiesta
• Ove possibile, dipendentemente dalla difficoltà dei progetti, non verranno assegnate allo stesso TL più di 2 CP contemporaneamente e/o più di 4 CP a settimana

Queste regole sono, ovviamente, fortemente condizionate dalla effettiva disponibilità che i TL danno quando arriva un progetto.

Tutte le assegnazioni vengono attentamente calibrate sull'esperienza e le capacità dei TL disponibili al momento della richiesta. In rari casi particolari quindi, alcune regole di cui sopra potrebbero venire meno.

L**'obiettivo a lungo termine** sarà quello di avere un team di Full TL che siano tutti a un alto livello di esperienza.

Canale Slack

Una volta che il CSM inoltra la richiesta di campagna, viene automaticamente creato un channel Slack con il seguente naming:

cpXXXX_nomecliente_nomeprodotto

Il link del canale verrà pubblicato all’interno del task ClickUp e inviato via mail al CSM che ha richiesto la CP. Così facendo CSM e TL possono mettersi in contatto velocemente e in autonomia.

Dashboard Tester Leader

Strumento utile, che verrà usato da Community/OPS, per capire il carico di lavoro dei TL in quel determinato istante è la dashboard dedicata che mostra i progetti in corso per i singoli TL.

I dati vengono presi dalla piattaforma AQ, quindi fare attenzione ad informazioni non tracciate in piattaforma.

Verrà creata anche una dashboard secondaria su ClickUp per tracciare tutte le attività che vengono avviate senza passare dal wizard "All-In-One" e che vengono assegnate in autonomia ai TL.

Vai alla pagina: Dashboard TL

[NOTA: la dashboard Tester Leader è in continuo aggiornamento in modo da arrivare a tracciare sempre più parametri di prestazioni e KPI specifici, qualsiasi proposta o spunto sul tema è ben accetto]

Assegnazione TL alla CP

• Il CSM, che a questo punto avrà già creato la CP in piattaforma, assegna il TL tramite apposita funzione nell'edit campaign e lo aggiunge come tester selezionato alla campagna per permettere la view del manuale di test e facilitare la successiva chiusura.Importante assegnare tutti i permessi necessari alla gestione completa della CP, quali:
  • appq_bug
  • appq_campaign_dashboard
  • appq_campaign
  • appq_mail_merge
  • appq_manual
  • appq_preview
  • appq_task_dashboard
  • appq_task
  • appq_tester_selection

Setup CP

Creazione report

• Il TL dovrà creare la cartella di progetto contenente tutti i file relativi alla campagna.

Link alla guida per creazione cartella drive per nuova CP

Allineamento post kick off

Nelle fasi preliminari del test il CSM raccoglierà tutte le info utili ai fini del test dal cliente tramite una call detta di kick off.

Dovrà quindi esserci un interazione tra CSM e TL al fine di allinearsi su tutte le info utili e i macro dettagli dell'attività, ovviamente nel canale Slack dedicato alla CP.

Tutti i dettagli sull'allineamento a questo link.

Oltre alle informazioni del kick off è necessario che:

• Il CSM condivida la deadline per la chiusura del report quando nota.
• Il TL provvederà ad aggiornare il report della campagna inserendo tutti i dettagli generali nel foglio "Home" e che poi dovrà costantemente aggiornare inviando update giornalieri al CSM tramite canale Slack. Inoltre provvederà a terminarlo compilando tutti i fogli entro la deadline definita.

Gestione CP

Una volta ricevute tutte le info dal CSM il TL dovrà procedere con tutte le attività necessarie al setup della campagna.

Tutte le attività spiegate nel dettaglio possono essere trovate nella sezione Fase PRE-TEST

Riepilogando le macro attività sono:

• Aggiornamento dati cp in piattaforma
• Creazione preview
• Coinvolgimento tester (inviti)
• Supporto alla creazione del manuale (smoke test/redazione manuale) e inserimento in piattaforma
• Selezione dei tester
• Gestione Mail Merge per invio comunicazioni varie (per avvio attività, per pianificate per push programmati e per segnalare la chiusura della fase di test)
• Avvio del test

Molto importante ai fini di porre il TL come unico punto di riferimento verso i tester è inserirsi come "contact" sia in preview che manuale, in questo modo il tester contatterà solo il TL, senza passare dal CSM, evitando quindi di creare entropia e diversi canali di comunicazione e semplificando la vita a tutti (tester, TL, CSM). La guida a questo link.

🆕 Regole di gestione Invitation e Selection Q2 2023

Per effettuare l’invitation ad una CP esiste un algoritmo di selezione che, per il momento, possiamo continuare ad utilizzare.

QUI trovate l’algoritmo. Molto semplice ed intuitivo da utilizzare, bisogna utilizzarlo sempre in modalità “INVITO” e NON Selezione.

Come funziona l’algoritmo?

L’algoritmo effettua una selezione dei tester categorizzandoli in 3 gruppi:

• 33% Inesperti (come vedrete leggendo più avanti, NON ci interessano questi tester)
• 33% Intermedi (Tester tra 1000 e 5000 punti esp OPPURE tra 30 e 150 bug approvati)
• 33% Esperti (Tester oltre i 5000 punti esp OPPURE con più di 150 bug approvati)

Da questa selezione che otterremo dall’algoritmo, per l’invito tester, noi utilizzeremo SOLO gli Intermedi e gli Esperti, riconoscibili nel foglio generato dai punti esperienza e dal tag “intermedi”, “esperti”.

Per quanto invece riguarda gli altri tester da invitare, andremo ad utilizzare una lista di tester “nuovi” caratterizzati da un TID superiore al T69840, quindi >T69840.

Lista NEW USERS

Troverete QUI una lista di Tryber con TID superiore al 69840, aggiornata giornalmente, dalla quale attingere per aggiungere la restante percentuale all’Invitation per la campagna di riferimento. Il consiglio è di pescare utenti in maniera random all’interno del foglio, mai solo dal fondo o solo dalla cima.

Regole sugli INVITI

D’ora in avanti gli inviti (e anche le selezioni, come vedrete più avanti) verranno basati sulla tipologia di campagna che stiamo andando ad affrontare, se Functional, UX o Special.

Ovviamente se necessario un target specifico (esempio: clienti di, utenti con dispositivo X o altro), cercate di avvicinarvi il più possibile a una invitation/selection mirata ma date la precedenza al target da rispettare.

Functional

Nel caso di campagna Functional, andremo ad invitare 4 volte gli utenti richiesti, secondo il seguente dettaglio:

Esempio CP con 15 complete necessari. Quindi, 60 utenti invitati.

TID > 69840	15	25%
Intermedi	25	42%
Esperti	20	33%

UX

Nel caso di campagna UX, andremo ad invitare 4 volte gli utenti richiesti, secondo il seguente dettaglio:

Esempio CP con 12 complete necessari. Quindi, 48 utenti invitati.

TID > 69840	12	25%
Intermedi	20	42%
Esperti	16	33%

Special

Nel caso di campagna Special, andremo ad invitare 3 volte gli utenti richiesti, secondo il seguente dettaglio:

Esempio CP con 100 complete necessari. Quindi, 300 utenti invitati.

TID > 69840	120	40%
Intermedi	90	30%
Esperti	90	30%

Regole sulla SELEZIONE

Anche qui, come per l’invitation, faremo 3 esempi basandoci sulla tipologia di campagna che andremo a gestire. Le nostre selezioni adesso si baseranno sui livelli di gamification presenti in piattaforma, visibili per tutti i tester candidati dalla NEW Tester Selection presente in piattaforma.

Ovviamente se necessario un target specifico (esempio: clienti di, utenti con dispositivo X o altro), cercate di avvicinarvi il più possibile a una invitation/selection mirata ma date la precedenza al target da rispettare.

Functional

Nel caso di campagna Functional:

Esempio CP con 15 Tryber da selezionare

TID > 69840	2	13%
Bronze	2	13%
Silver	2	13%
Gold	3	20%
Platinum	3	20%
Diamond / Legendary	3	20%

Dove non applicabili, a causa delle numeriche dei candidati, rimpolpare le posizioni mancanti con livelli Basic e/o altri livelli o TID >59300 disponibili.

UX

Nel caso di campagna UX:

Esempio CP con 12 Tryber da selezionare

TID > 69840	2	17%
Bronze	2	17%
Silver	2	17%
Gold	2	17%
Platinum	2	17%
Diamond / Legendary	2	17%

Dove non applicabili, a causa delle numeriche dei candidati, rimpolpare le posizioni mancanti con livelli Basic e/o altri livelli o TID >59300 disponibili.

Special

Nel caso di campagna Special:

Esempio CP con 100 Tryber da selezionare

TID > 69840	35	35%
Bronze	10	10%
Silver	10	10%
Gold	15	15%
Platinum	15	15%
Diamond / Legendary	15	15%

Dove non applicabili, a causa delle numeriche dei candidati, rimpolpare le posizioni mancanti con livelli Basic e/o altri livelli o TID >67400 disponibili.

IMPORTANTE!

Nel caso di campagne che si discostano, come numeriche, dagli esempi riportati, sfruttate le percentuali nelle tabelle per determinare quanti utenti invitare e selezionare. Gli inviti e le selezioni sulle campagne verranno monitorati in fase di valutazione campagna.

Creazione canale Telegram per tester

• Il TL crea il canale Telegram (nome: "CPXXXX - CP Title | AQ | Status") con il Community Staff, i tester (quando selezionati) e il CSM. Qui avvengono le comunicazioni principali ai tester. (push, cambio obiettivi ecc..) e lo linka nel manuale di test.
• Il TL farà push e supporto sul singolo tester attraverso chat privata Telegram.

Link alle policy di comunicazione verso i tester

🆕 Ricerca Telegram

Tramite il seguente LINK sarà possibile effettuare una ricerca per TID e trovare il contatto Telegram e il numero telefonico associato all'utenza, se l'utente lo ha inserito all'interno del suo profilo.

🆕 Nuovo flusso attivazione Tester - solo per determinate CP

Su campagne UX, Special e Funzionali NON standard andremo ad applicare un flusso di attivazione differente rispetto allo standard.

Per disambiguazione:

• flusso di attivazione standard si intende:
  • invito alla CP e candidatura senza alcun form in preview
  • selezione dei tester e invio mail contenente link al manuale
  • accesso al canale Telegram nel primo Use Case della campagna
• per CP Funzionali NON standard si intende:
  • CP che necessitano un certo numero di complete
  • CP che hanno account specifici per testare, che richiedono quindi attivazione di un certo numero di tester
  • CP dove bisogna portare a termine determinate azioni in un certo periodo di tempo

Per tutte le campagne che non rientrano nelle caratteristiche sopra citate, andremo ad applicare un nuovo flusso di attivazione.

Il flusso consisterà in una serie di step che i tester dovranno portare a termine sia per candidarsi, sia per attivarsi sulla campagna e garantire la loro partecipazione. Così facendo potremo anticipare eventuali sostituzioni senza ridurci all'ultimo minuto utile. Di seguito il dettaglio:

1. In fase di setup della campagna, impostare una End Date della campagna anticipata di 24 ore rispetto alla deadline ufficiale. Se quindi la campagna ha previsto 3 giorni di test a disposizione, anticipiamo la chiusura a 2 giorni. Ovviamente quando applicabile. Es: se un test funzionale prevede 3 azioni specifiche in 3 giorni distinti, non sarà possibile applicare questo cambiamento, in questo caso skippate questo step.

2. In fase di preview e candidatura dei tester, inserite sempre il form di pre-selezione domandando il contatto Telegram ai tester, indicandolo come necessario tra i requisiti della campagna. Chiunque non indicherà il contatto Telegram NON verrà selezionato all'interno della campagna. Se necessario inserire un JotForm in preview invece, inserite la domanda all'interno del JF, indicandola come requisito necessario alla selezione quello di avere e indicare il proprio contatto Telegram.

3. Create il canale Telegram dedicato alla campagna e inserite al suo interno: un messaggio di benvenuto con il link al manuale della campagna e un sondaggio di attivazione. Potete impostare il sondaggio come meglio preferite, ad esempio potete domandare le giornate di attivazione (giorno X o giorno Y) o le ore di attivazione (24 ore oppure >24 ore). Le risposte al sondaggio saranno anonime, ma a noi interessano solo le numeriche, non è di nostro interesse il nome esatto di chi ha votato, come vedremo più avanti.

4. Effettuata la selezione dei tester, quando inviate la mail di avvenuta selezione NON linkate il manuale della campagna, ma inserite all'interno della mail di selezione link al canale Telegram, indicando che troveranno al suo interno il link al manuale di campagna. Così facendo spingiamo gli utenti attivi ad accedere subito al canale Telegram e indicarci l'attivazione in campagna.

5. Quando impostate i push di attivazione in campagna, fate un double check sulle numeriche di attivazione in campagna e le numeriche indicate nel sondaggio su Telegram. Così facendo potete farvi un'idea se tutti gli attivi hanno già iniziato il test come indicato, e farvi un'idea se saranno necessarie sin da subito sostituzioni o meno. Inserite all'interno del push di attivazione indicazione che i non attivi verranno sostituiti in X ore, in base alla situazione che vi trovate ad affrontare.

6. Come sempre, confrontate i selezionati e i non attivi ed effettuate le sostituzioni, se necessario contattate i tester singolarmente con i contatti Telegram che tutti i selezionati vi hanno condiviso. Siate infine consapevoli che in caso di necessità potete sfruttare quel "giorno extra" che avete tolto ai tester nello step 1.

In caso di dubbi SE attivare o meno questi extra step, confrontatevi sempre con CSM e PM che seguono la campagna.

Svolgimento CP

Una volta partita l'attività i TL lavoreranno alla review dei bug man mano arrivano e aggiornano il report mentre raccolgono informazioni e dati utili.

Fondamentale è, durante lo svolgimento della CP, il channel Slack che mette in contatto CSM e TL, nel quale ci saranno due diversi tipi di interazione:

• Confronto bidirezionale tra CSM e TL su vari temi, ad esempio dubbi su segnalazioni, problemi bloccanti da evidenziare al cliente, cambi da apportare al manuale, cambio data di partenza, ecc. ;
• Aggiornamento periodico TL->CSM sull'avanzamento della bug review e in generale dell'attività, tale aggiornamento segue un template, visibile di seguito. Inoltre può essere utile dare un feedback qualitativo sullo stato di avanzamento della CP in modo da condividere anche quei feedback poco rappresentabili da numeri e statistiche.

🆕 Tutte le guide e le informazioni per affrontare nel dettaglio questa fase e la successiva sono spiegate nella sezione Fase TEST e POST-TEST.

Aggiornamento task ClickUp

Man mano che lo status della campagna avanza dall**assegnazione TL*, al setup, alla partenza del test, sarà *estremamente importante' mantenere aggiornata la task su ClickUp e vedremo tra poco il motivo.

Sono presenti diversi stati: Gli status assegnabili sono:

• New CP, quando arriva una nuova richiesta di campagna, la task finisce qui e un automatismo fa partire la mail di disponibilità ai TL
• Assigning, Community/OPS la sposta in questo stato quando è in fase di "scelta" del TL. Scelto il TL e assegnato al task della campagna, partirà automaticamente una mail di selezione avvenuta, sia a tutti i TL per informarli dell'avvenuta selezione, sia al CSM interessato
• Setup, il TL sposterà il task nello stato setup, indicante che sta svolgendo la parte di aggiornamento dati CP, stesura manuale, invito tester e tutto ciò che determina la fase di setup
• Running, una volta terminato il setup e partita effettivamente la campagna di test, bisognerà spostarla in questo status
• Closing, terminata la campagna, spostando il task in questo status indica che si sta lavorando la chiusura della CP
• To be evaluated, una volta completata la chiusura per i tester, bisognerà spostare la task in questo status. Così facendo partiranno 3 mail automatiche: 1 al TL per valutare la CP, 1 al CSM per valutare il lavoro del TL, 1 a Community/OPS per verificare il lavoro del TL. Qui termina il lavoro del TL e l'aggiornamento delle task su ClickUp
• Closed, la task CP verrà spostata in questo status, da Community/OPS, una volta che il payout è stato assegnato al TL, una mail automatica informerà il TL della valutazione

Lo status "Create CP" è al momento TBD (To be defined).

Risulta così estremamente importante mantenere le task aggiornate su ClickUp, perché a quasi ogni status sono collegate delle automazioni necessarie per il corretto funzionamento di tutto il flusso.

Termine campagna, chiusura CP e attribuzione Payout TL

Una volta terminato il test verrà mandata la mail "Inizio fase di review" programmata ad inizio campagna tramite il Mail Merge.

Il giorno successivo al termine della cp solitamente va terminata la bug review (dipende da quanto definito con il CSM) e quindi il 100% dei bug saranno gestiti.

A valle del termine della review bisogna attendere qualche giorno (solitamente 3/4 giorni) in modo da permettere al cliente di revisionare i bug ed eventualmente intervenire chiedendo maggiori informazioni ai tester e in parallelo permettere agli ultimi tester "ritardatari" di aggiornare i bug in review.

Gestiti completamente tutti i bug (quindi in stato "Approved" o "Refused") il TL andrà a creare la 🆕 chiusura Prospect della CP in modo da dare feedback specifici sull'operato ai singoli tester e fornendo il dato sui payout in base alle regole definite ad inizio cp (presenti in preview e manuale).

🆕 Guida alla creazione della chiusura CP

Una volta lavorato il prospect dovrà essere rivisto dal PM o dal CSM responsabile dell'attività e successivamente andrà inviata la comunicazione ai tester tramite la mail "Valutazione CP".

La Valutazione CP deve essere mandata entro la Close Date della campagna.

Successivamente:

• Il PM o il CSM farà un check sulla chiusura lavorata dal TL e andrà poi a compilare la valutazione dell'operato del TL (🆕 LINK), questa valutazione verrà inviata automaticamente a Community/OPS per un check finale
• Il TL andrà a compilare la valutazione CP (🆕 LINK), necessaria a Community/OPS per avere un quadro generale dell'attività svolta dal TL
• Nel frattempo il PM o il CSM assegna i payout ai tester tramite la funzionalità prospect andando quindi a chiudere la campagna di test. Il payout di tester e TL è del tutto slegato
• OPS valuterà infine il lavoro svolto dal TL e assegnerà il payout finale per l'attività svolta

Link utili:

• 🆕 Link alla pagina Chiusure CP TL
• Link al questionario valutazione operato TL
• Link alle regole di payout per i TL

🆕 Nuovo Report funzionale in PPT

Al termine di una campagna funzionale, se richiesto, verrà compilato un report funzionale. In passato questo report veniva fatto su un foglio di calcolo, adesso si lavora il report funzionale direttamente su un template PPT.

Il report risulta abbastanza semplice da compilare e ci sono dei testi placeholder che vi aiutano nella compilazione del report, che andranno eliminati una volta completato.

LINK AL TEMPLATE - Qui trovate il template del report, copiatelo nel vostro drive e lavoratelo come necessario. NON modificate il template, mi raccomando!

LINK ALLA VIDEO SPIEGAZIONE - Qui trovate invece un video che vi spiega come lavorare il template e dove trovare determinate informazioni.

Troverete comunque, a partire da fine Luglio 2022 in avanti, il template del report linkato ad un commento sulle task che vi vengono assegnate su ClickUp. Ma nel caso fosse necessario, lo trovate anche qui.

Dettagli aggiuntivi generali

• Nella mail di "Avvenuta selezione" è necessario spingere affinché il tester percepisca l’importanza di entrare nel canale Telegram e dell'interazione con il TL, il campo "username Telegram" nel profilo utente aiuterà il TL a raggiungere i tester singolarmente.
• Il TL dovrà essere seguito nelle campagne dal CSM di riferimento, sia per accelerare la sua indipendenza, sia perchè ci sia sempre allineamento tra CSM/TL. Lato community abbiamo un processo di analisi e review del lavoro dei singoli TL a posteriori, oltre che ad un supporto per eventuali dubbi o problemi durante le campagne.
• Il TL sarà l’unico punto di riferimento per il tester. Ogni campagna deve avere un TL di riferimento.
• Il TL rimarrà a disposizione per eventuali dubbi sul report o le segnalazioni anche nei giorni successivi alla chiusura del report.

---

Pagine correlate

• Guida al report Tester Leader
• Processo di analisi attività TL[Editable by::users](editable by/users)[Editable by::users](editable by/users)