Alberto Mucignat

Alberto Mucignat


Random thoughts around web stuffs (è tutto un equilibrio sopra la follia)

agosto: 2019
L M M G V S D
« Ott    
 1234
567891011
12131415161718
19202122232425
262728293031  

Categorie


Il mito dell’eye tracking

AlbertoAlberto

Un test di usabilità piuttosto in voga di recente è quello chiamato eye tracking (ET). In pratica, oltre ad audio/video e browser vengono registrati e analizzati anche i movimenti degli occhi degli utenti.

In questo modo si può capire dove l’utente ha guardato e produrre una serie di grafichetti e immagini piuttosto affascinanti (specie per i manager, che amano i visual molto cool).

La verità è che il test con ET non mi ha mai convinto, mi è sempre sembrato uno strumento che distoglie l’attenzione da quello che l’utente fa, per concentrarla su un’idea accattivante di presentazione dei risultati.

Infatti, la cosa più difficile di un test di usabilità è interpretarne i risultati.

Avendo fatto ormai parecchi test, dico sempre che sono un’indagine qualitativa, per cui i risultati sono mediati con l’esperienza del consulente. L’analisi e l’esperienza sono quindi componenti fondamentali.

Nel caso dell’ET, sapere anche cosa guarda l’utente non semplifica il lavoro, anzi aggiunge una variabile alla complessità.

Insomma, lo dico: per fare test con eye tracking e tirar fuori dei risultati seri, devi essere veramente bravo.

Sarà per questo che uno come Jared Spool non ama l’ET e Jackob Nielsen li prende sempre un po’ con le molle?

Mi sono sempre tenuto queste considerazioni per me, pensando che il mio fosse il classico snobismo verso uno strumento che piace molto ai markettari e che ha costi che non mi potevo permettere.

Ora, per puro amore della discussione (e della polemica), segnalo questa onesta presentazione che ha il coraggio di porre qualche dubbio sul mito dell’eye tracking (inteso come tool definitivo per l’usabilità).

What You Need To Know About Eye Tracking

Le conclusioni sono interessanti (le osservazioni tra parentesi sono mie):

Forse l’ultimo punto riassume anche il mio pensiero.

Comments 14
  • Folletto Malefico
    Posted on

    Folletto Malefico Folletto Malefico

    Author

    A me ha fatto piuttosto impressione la slide dei costi: “Recruitment for 100 users”.

    Eh?

    Io di solito lavoro in sessioni di al massimo 10 persone (solitamente 5) e spesso già la quarta persona inizia a ripetere cose già evidenziate.

    Ok, prosegue dicendo che ci sono due tipi di test… uhm… qualitativo e quantitativo. Ma sinceramente, parlare di “quantitativo” lo trovo ridicolo. E rigetto abbastanza di netto che “sia scienza” come dice lui.

    Vabbeh, sto divagando un po’.

    I punti per me sono:
    1. Test su circa 5-10 persone.
    2. Il test è *assolutamente* qualitativo e va interpretato.
    3. Dissociare task e tracking è ridicolo.

    Però dico… questo tizio si è sentito di fare una presentazione così. Mi state quindi dicendo che c’è seriamente gente che pensa cose come quelle contraddette nella presentazione? O_o

    *argh*

    Cmq, io se posso fare un test con eye-tracking preferisco, perché mi permette un insight migliore sui dati. Il problema purtroppo è che a volte mi è capitato di chiedere test con eye-tracking e di ricevere i “risultati” prodotti da qualcun altro, spesso con la persona che conduceva le interviste che – io testimone dietro il vetro – condizionava le scelte delle persone. Mah.

    Ho messo troppa carne al fuoco? 😀


  • Alberto
    Posted on

    Alberto Alberto

    Author

    anche noi facciamo test con 5-8 utenti e solitamente i pattern emergono dopo 3-4 utenti.
    in realtà, però, non starei qui a parlare se l’ET sia più qualitativo o quantitativo (quando ho letto ho avuto i tuoi stessi dubbi), il problema è quanto efficace sia quel “insight sui dati” rispetto a quello che ti serve sapere e al costo del test.
    in ogni caso, sottoscrivo il tuo *argh*, caromio.


  • Alberto
    Posted on

    Alberto Alberto

    Author

    ps: cosa intendi per “3. Dissociare task e tracking è ridicolo”?


  • Luca Schibuola
    Posted on

    Luca Schibuola Luca Schibuola

    Author

    Ciao Alberto,
    è vero – per varie esperienze dirette – che esiste una diffusa aberrazione che fa richiedere ai marketing manager test di eye tracking o studi di eye tracking, come se lo (uno) strumento fosse il fine. E confermo che si vende bene :D, non c’è quasi brief che non lo contenga.
    Per questo apprezzo lo spirito della presentazione, che mi sembra un caveat molto comprensibile dei pericoli di una adesione acritica allo strumento.
    Ma, dico, sostenere che i dati di eye tracking vanno interpretati nel contesto del task somministrato mi sembra di una ovvietà disarmante: non vale certo solo per l’eye tracking.
    Il problema – come sempre – riguarda i vari sedicenti esperti piuttosto che lo strumento: se utilizzi il sempre e solo il software di Tobii per tirare fuori qualche heatmap e qualche istogramma, è chiaro che ottieni solo grafichetti decorativi.

    Concludo facendoti qualche esempio di quello che non ottieni senza eye tracking:
    – analisi di una landing page (o di una comparazione di landing page): pensa a chi investe migliaia di euro al giorno in una campagna di keyword advertising: è essenziale rilevare come viene scandita la pagina prima del click, che se avviene è questione di pochi secondi. Per esempio: ci sono condizioni particolari che devono essere osservate, ma senza prevaricare la call to action?
    – osservazione VS azione: ci sono elementi che ricevono molte fissazioni (magari di ritorno) e che poi non vengono cliccati? Magari si tratta di link o bottoni fondamentali per il completamento di task notevoli. Se rilevi la cosa puoi dedicarti a valutare se sia un problema di posizione dell’elemento o di etichetta.
    – analisi del contesto della pagina: il processo di acquisto in un ecommerce funziona quando sono armonizzati i molti elementi di cui è composto (tecnico-informatici, di layout, di contenuto, di navigazione etc.). La maggior pate degli utenti – soprattutto se poco esperti – ha difficoltà a isolare tutti gli elementi che hanno rappresentato un problema. Pensa al “visore” che indica gli step di acquisto, che, se reso male e quindi poco osservato, impedisce una intuizione diretta della fase in cui la persona si trova, causando un disagio.
    – studio di usabilità di mock-up solo grafici. Pensa a come può variare il comportamento se il mock-up enfatizza aspetti cosiddetti emozionali, o funzionali, o tipografici…

    @Folletto Malefico: probabilmente lo conosci già, ma un alertbox è dedicato proprio ai test quantitativi (e ai suoi rischi): http://www.useit.com/alertbox/quantitative_testing.html
    Ci sono diversi casi – penso al test che abbiamo fatto su Virgilio Ricerca o all’attuale progetto di ricerca sui quotidiani online – in cui è uno strumento obbligato.


  • Folletto Malefico
    Posted on

    Folletto Malefico Folletto Malefico

    Author

    @Alberto
    Intendo dire che non si possono guardare i dati dell’eye-tracking in modo cumulato, ma devono essere sempre associati al task che è stato dato. Lo dice anche nella presentazione e ci sono fiore di ricerche in psicologia cognitiva che lo dimostrano: se ti assegno un compito differente, il tuo pattern di sguardi cambia radicalmente! 🙂

    Come dice poco sopra Luca: è di una ovvietà disarmante. Concordo. E ripeto infatti l’*argh*. 🙂

    @Luca:
    No, non lo conoscevo ma conoscevo la su opinione in merito. Ottimo a sapersi cmq che se uno volesse un test quantitativo lui comunque, anche in questo caso, non consiglia più di 20 persone.

    Per il resto Luca hai fatto un’ottimo elenco, condivido. 🙂


  • Alberto
    Posted on

    Alberto Alberto

    Author

    luca, la verità è che degli esempi che fai, solo nel primo riconosco un’importanza diretta dell’ET.

    negli altri casi l’uso dell’ET è secondo me molto opinabile, perché l’interpretazione dei risultati è molto difficile e non dipende dal fatto di avere i dati di eye tracking.

    inoltre, pur riconoscendo il valore dell’impatto grafico o del posizionamento degli elementi all’interno della pagina, etc, la mia esperienza (per esempio all’interno di un funnel di conversione o durante un task) è che nel 90% dei casi i problemi derivano da *deficit informativi*: mancano informazioni, sono scritte o spiegate male, etc.
    e questo è un dato per cui non serve l’eye tracking.


  • Stefano Dominici
    Posted on

    Stefano Dominici Stefano Dominici

    Author

    Ciao Alberto, proprio stamattina sono andato a una demo di un sistema di eye tracking. Strumento molto completo quello della SMI, più sofisticato di quello della Tobii, soprattutto nel software di analisi. Quando sono uscito, dopo un’ora e mezza, la domanda che mi sono fatto è stata questa: mi serve questo strumento per il mio lavoro? La risposta è stata no. L’apporto che l’eye tracking può dare a un test di usabilità è molto modesto, quasi nullo e in questo concordo con te. Ma, come sai, non mi piace dare giudizi senza argomentarli e prendo spunto da una delle slide della presentazione, la n. 21, per un’analisi più dettagliata.

    Delle tre fonti dati illustrate nella slide, “cosa guardano”, “cosa dicono”, “cosa fanno”, quella più debole è proprio il cosa guardano: da sola, infatti, non ci dice assolutamente nulla sul perché un elemento viene guardato più intensamente di un altro. Per esempio, il partecipante fissa intensamente un testo perché è estremamente interessante o perché è incomprensibile? Senza l’aiuto del thinking aloud, non lo sapremo mai. Ma sappiamo anche che, bisogna diffidare sempre di quello che viene detto da un partecipante durante un test di usabilità. Spesso, infatti, dicono una cosa e ne fanno una completamente diversa. Per questo, l’aspetto più importante in un test di usabilità, è l’osservazione, ossia “il cosa fanno”. Un moderatore esperto sa riconoscere il momento in cui fare la domanda giusta, quella che illumina l’angolo buio. È evidente, quindi, che nell’economia di un test di usabilità, il sapere cosa sta guardando il partecipante, è assolutamente secondario.

    Un altro aspetto da considerare è che, i casi di studio non fanno altro che evidenziare l’ovvio. In questo esempio, presentato da Google, http://googleblog.blogspot.com/2009/02/eye-tracking-studies-more-than-meets.html, i risultati sono di una banalità sconcertante. Ho davvero bisogno dell’eye tracking per sapere che nella pagina dei risultati i più visti sono i primi della lista? Ho davvero bisogno dell’eye tracking per sapere che le immagini non sono l’elemento a cui delegare il compito di attirare l’attenzione su una pagina web? No, di certo. Un bravo ed esperto progettista grafico queste cose le sa. Inoltre, non c’è certo bisogno dell’eye tracking per testare delle landing page. A parte progettarle come si deve, basta un semplice A/B test per capire quale funziona meglio. Per intenderci tutte le cose che l’eye tracking fa, nella lista stilata da Luca, le possono fare un bravo e capace progettista grafico e un esperto valutatore di interfacce, a un costo decisamente minore. Probabilemte queste figure, sono merce rara di questi tempi.

    Ma l’eye tracking a qualcosa servirà? Certo che si, basta visitare il sito web del Software Usability Research Laboratory (http://www.surl.org/) per capirlo. Test di usabilità quantitativi che usano l’eye tracking con una metodologia chiara, obiettivi definiti e un alto numero di partecipanti per valutare strutture di pagine web e definire pattern di progettazione.


  • Federico Badaloni
    Posted on

    Federico Badaloni Federico Badaloni

    Author

    Ciao Alberto,

    sono completamente d’accordo con te e aggiungo un aneddoto.

    Quando seguii il seminario londinese del Nielsen-Norman Group, al termine di una conferenza sulle meraviglie dell’eyetrack mi avvicinai a Hoa Lorager (coautrice con Nielsen di “Prioritizing Web Usability”) e le feci presente i miei dubbi sul rapporto costi/benefici del metodo e sulla difficoltà nell’interpretazione dei risultati.

    La sua risposta fu spiazzante. Disse più o meno: “quel che dici è vero. Tieni conto che in realtà l’eytrack non è poi così utile: nella maggior parte delle situazioni è più che sufficiente dare un task agli utenti, chiedere loro di pensare a voce alta mentre navigano e osservarne le azioni. Per questo tipo di test bastano i software gratuiti di screencasting”.

    Chissà, forse se le avessi rivolto le stesse osservazioni in pubblico e non a quattr’occhi non mi avrebbe detto le stesse cose. Sta di fatto che uscii fuori dalla sala convegni e c’erano almeno quattro postazioni di eytrack di varie marche con altrettanti venditori piazziati lì a fare demo ai partecipanti.


  • Luca Schibuola
    Posted on

    Luca Schibuola Luca Schibuola

    Author

    Che il fattore più importante di un test di usabilità sia quello che un utente fa, piuttosto di quello che vede, credo sia universalmente riconosciuto presso qualunque decente esperto di usabilità.
    Ma non mi sembra il punto della questione.
    Il punto sollevato mi sembra: l’eye tracking non serve a niente e qualunque cosa si possa scoprire con l’eye tracking, lo si può scoprire con altro. Io non sono d’accordo su nessuno dei 2 punti.
    L’impressione che ho, Alberto e Stefano, è che sosteniate che quello che un utente fa sia di gran lunga più importante di quello che vede. Ma questo è pacifico :).
    Che lo think aloud sia uno strumento alternativo e spesso più valido, è altrettanto pacifico.
    Meglio senza dubbio un test di usabilità con 2 o 3 piccole iterazioni con think aloud che un mega-test diagnostico con eye tracking. Del resto si facevano test di usabilità prima che l’eye tracking comparisse.
    L’eye tracking – per come la vedo io, laicamente – è uno *strumento* di *supporto* utile in vari contesti, per diagnosticare con più precisione i problemi o per evidenziarne di probabili nuovi.
    Diverse versioni di nuovo mock-up, in cui si enfatizzano aspetti diversi (più spinta sulla grafica, più sulla tipografia, con una griglia a n elementi in un caso o n+3 nell’altro etc.) possono dare lo stesso risultato quanto a comportamento dell’utente (dato lo stesso task): tutti o quasi cliccano quel link, indifferentemente dalla versione.
    Si può domandare agli utenti quale hanno preferito… ma sono dati che come dici anche tu Stefano vanno presi con le molle.
    Quello che cambia – radicalmente – è la fissazione oculare degli elementi. La qualità dell’attenzione che gli utenti riservano all’interfaccia. Per semplificare: la call to action è sempre vista? È tra i primi elementi della pagina a essere scandita? O in una versione è ignorata?
    Voi non terreste conto di questi dati se li aveste?
    Discorso analogo sull’A/B test. Che è un ottimo strumento, ma *non spiega* le ragioni di un diverso comportamento su diverse versioni. Non fornisce informazioni strategico-tattiche utili per esempio per un restyling della landing page o per una campagna PPC analoga o altro.

    Poi fate come volete eh 🙂

    @Stefano: quello che nello studio di Google sembra banale intanto fissa uno stato di cose obiettivo che può essere considerato un momento 0, da utilizzare come benchmark in test su versioni diverse dell’interfaccia di Google.
    Tra l’altro, proprio il pattern di lettura a F scoperto via eye tracking è servito enormemente nell’introduzione della Universal Search: dovrei ripescare il post in cui l’ho letto, ma in sostanza si è notato che nella Universal Search l’introduzione di elementi grafici o video rompe lo schema di lettura a F, portando l’utente ad azzerarlo, e genera uno schema a E che porta a una consultazione di maggiori informazioni della SERP. Risultato: probabile miglioramento dell’efficienza della SERP.

    Non vorrei sembrare il paladino dell’eye tracking: non lo sono.
    Parlo per aver usato estesamente sia l’eye tracking che lo think aloud. E non sono d’accordo nel considerare il primo uno strumento del tutto inutile.


  • Alberto
    Posted on

    Alberto Alberto

    Author

    luca, grazie per la tua precisazione.

    semplifico il discorso: per me la cosa fondamentale è riuscire a capire “perché l’utente ha agito in quel modo”.
    detto questo, le statistiche web, l’A/B testing, la multivariata, e, probabilmente, anche l’ET non aiutano “a capire perché”, anche se forniscono informazioni importanti e aiutano a focalizzare il “dove”.

    peraltro, nel mio caso, utilizziamo i test con think aloud prevalentemente come “correttore” dei problemi (ovvero ogni ciclo di design si chiude con il test). e in questo caso avere anche l’ET mi complicherebbe la vita, rallentando le iterazioni di design.

    a questo punto, mi verrebbe da dire che possiamo utilizzare ET nella fase di ricerca/visioning/concept del servizio. in realtà, anche qui, credo che i metodi classici di ricerca (interviste e ricerca etnografica) possano già dare risultati importanti, anche se possono sembrare banali (“come fai a sapere cosa vogliono milioni di utenti con una decina di interviste?” è un’osservazione piuttosto comune).

    anyway, mi pare stia nascendo una discussione interessante. 🙂


  • Luca Schibuola
    Posted on

    Luca Schibuola Luca Schibuola

    Author

    Se diciamo il tuo impianto di lavoro per i test è perlopiù quello che descrivi, sono d’accordo anch’io sul fatto che probabilmente l’eye tracking non ti serve, in effetti. Però questo è diverso dal dire che non serve a nessuno, no?
    È vero anche che l’eye tracking è utile soprattutto in fase di progettazione o diciamo di diagnosi complessiva, o quando serve una fotografia strategica che serva da indirizzo futuro.
    Sicuramente gli strumenti classici di ricerca che citi sono utili (avendo tempo di farli dentro un GANTT e quando si trovano aziende disposte a finanziarli…), per esempio quando si tratta di internazionalizzare un sito (e non erroneamente di tradurlo), però terrei ferma la distinzione che Nielsen fa tra attitudinal e behavioral studies: uno strumento che rileva una intenzione o una opinione non è equivalente a uno che misura un comportamento.
    Comunque sì interessante dimostrazione di punti di vista. Poi quando esce il libro di Nielsen in proposito scoccheranno scintille 🙂


  • Stefano Dominici
    Posted on

    Stefano Dominici Stefano Dominici

    Author

    @Luca: come ho evidenziato nel mio commento, le ricerche con l’ET che portano alla definizione dei pattern, come quelle del SURL, sono molto importanti e sono tra le letture che preferisco. Non credo invece, come Alberto, all’utilizzo dell’ET come efficace strumento di supporto alla progettazione. Certo, se lo si ha lo si usa, se non lo si ha e si ritiene importante per un progetto si chiede a chi lo ha, altrimenti se ne può fare a meno, e questo riguarda, a mio parere, il 90% del nostro lavoro. Perché, e lo ribadisco, non ho bisogno dell’ET per sapere se la call to action è bene in vista o è ignorata. Ma questa, probabilmente, è l’eredità della mia formazione come progettista grafico.
    P.S. Se il cliente chiede l’ET e non condividiamo la scelta, rinunciamo al progetto. Non ha nessun senso lavorare per qualcuno che non accetta i nostri consigli iniziali sulla validità della metodologia proposta. Potrebbe, allo stesso modo, non essere soddisfatto dei risultati finali.
    P.P.S. L’ultima volta che è capitato ho indicato voi come alternativa 😉


  • Luca Schibuola
    Posted on

    Luca Schibuola Luca Schibuola

    Author

    @Stefano: grande! come si dice, sei un signore! 😀
    Scherzi a parte, il tema che sollevi sui clienti e sull’opportunità di prenderli o no è spinoso e non lo discuto neppure.
    Poi capisco il tuo punto di vista sull’ET. Mi viene da dire che neppure gli strumenti, che sono pezzi di tecnologia, sono elementi neutri, ma dipendono fortemente dal proprio metodo di lavoro e da come lo si vuole applicare.
    Ciao.