Esperimenti sulla percezione audio--aptica

---

Disclaimer: Il contenuto di questo post è un estratto della mia tesi di laurea, realizzata nel 2006. Alcuni esempi potrebbero risultare obsoleti, tuttavia la componente teorica resta un buon riferimento per chi deve approcciarsi alla materia.

---

Introduzione

L’applicazione, completa nelle sue componenti di simulazione aptica e audio, è stata utilizzata per effettuare degli esperimenti di percezione audio–aptica. Questo ha due obiettivi: il primo è verificare la correttezza dell’applicazione, cioè serve a capire se effettivamente riesce ad infondere nei soggetti le sensazioni che noi vogliamo simulare, in particolare quella di controllare un corpo che striscia su una superficie; il secondo obiettivo è capire come avviene nei singoli soggetti la percezione bimodale audio–aptica, quale senso prevale tra tatto, vista e udito, quali caratteristiche della scena virtuale vengono prese in considerazione e quali invece vengono trascurate.

La percezione visiva non rientra nell’oggetto del nostro studio, infatti per questo motivo la scena presentata è graficamente molto semplice, l’essenziale per permettere una corretta interazione tramite l’uso del Phantom  Omni ; tuttavia in alcuni casi, come vedremo nel seguito, alcuni soggetti sono stati influenzati lo stesso nelle loro percezioni dalla componente grafica.

Il tipo di percezione uditiva che si vuole studiare riguarda l’ascolto dei suoni di tutti i giorni; in particolare non si vuole che l’utente riconosca la sorgente del suono, bensì le caratteristiche della sorgente (la sua ruvidità) e dell’evento che genera il suono (un rotolamento o uno sfregamento).

Studi precedenti

Sebbene gli esperimenti di percezione vengano svolti da più di trent’anni, solo negli ultimi tempi la tecnologia ha reso possibile l’utilizzo di strumenti che permettano l’interazione con un ambiente virtuale. Quando tali dispositivi non erano disponibili, gli esperimenti di percezione aptica venivano condotti facendo interagire i soggetti con oggetti reali usando direttamente le mani; i suoni erano reali e non simulati; se non si volevano fornire suggerimenti visivi, l’oggetto veniva nascosto.

Lederman – Percezione uditiva delle tessiture (1978)

Susan Lederman (Lederman, S. J., 1979) nel 1978 ha svolto un insieme di tre studi mirati a investigare il ruolo del suono prodotto dal tocco nella percezione della tessitura di una superficie, nei quali ai soggetti era data la possibilità di giudicare la ruvidità della superficie solamente basandosi sul suono. Questi giudizi si sono dimostrati simili, ma non uguali a quelli dati solo in base alle sensazioni aptiche. Negli esperimenti in cui venivano forniti entrambi i tipi di sensazioni, i soggetti tendevano ad usare maggiormente le informazioni aptiche.

Esperimento 1

Nel primo esperimento i soggetti devono stimare la ruvidità di un insieme di piatti di diversa dimensione basandosi solamente sul suono prodotto dal tocco di questi; il suono viene generato dallo sperimentatore. Dai risultati è emerso che la ruvidità percepita decresce leggermente all’aumentare della grandezza del piatto, mentre è proporzionale alla pressione esercitata con le dita, e tale effetto è più evidente quanto più grande è il piatto.

Esperimento 2

Nel secondo esperimento viene chiesto ai soggetti di giudicare la ruvidità degli stessi piatti, ma in due condizioni diverse. Nella prima la stima viene basata solo sulla percezione aptica (il suono viene mascherato); nella seconda invece ogni utente ha a disposizione sia gli stimoli aptici che gli stimoli uditivi, entrambi prodotti dall’utente stesso nella sua esplorazione dei piatti.

Non si sono verificate differenze significative tra i risultati nelle due modalità, e gli effetti riscontrati sono simili a quelli del primo esperimento, a differenza del fatto che la dimensione influisce ancora di più sulla ruvidità percepita, mentre la pressione esercitata ha un effetto minore. Rispetto al primo esperimento invece si è notato che la diminuzione della ruvidità percepita è più marcata quando vengono avvertite solo le sensazioni aptiche rispetto a quando vengono avvertite solo quelle uditive. Dato che i risultati delle due modalità (solo tatto e tatto più udito) non sono molto diversi, si deduce che in questo secondo esperimento gli utenti non hanno usato molto le informazioni sul suono prodotto per discriminare le diverse ruvidità.

Esperimento 3

In questo terzo esperimento sono stati usati piatti di ruvidità variabile, e i soggetti dovevano giudicare in tre diverse condizioni: solamente ascoltando il suono prodotto dallo sperimentatore, solamente esplorando con le dita la superficie dell’oggetto e infine avendo a disposizione entrambi i tipi di sensazioni.

La ruvidità percepita tende a crescere monotonicamente con l’aumentare dell’ampiezza delle scanalature sulla superficie dei piatti; quando sono presenti entrambi gli stimoli, i soggetti tendono a dare giudizi simili a quelli dati utilizzando solo il tatto, mentre la superficie viene giudicata più ruvida quando è presente solo lo stimolo uditivo. Sono stati analizzati anche gli effetti della forza applicata dalle dita e la velocità di movimento delle stesse sulla superficie durante l’esplorazione: la ruvidità stimata è tanto maggiore quanto maggiore è la forza applicata, e ciò indipendentemente dalle informazioni sensoriali coinvolte. Se si analizzano le differenze nelle stime effettuate applicando una maggiore o minore forza con le dita, si nota come queste siano più evidenti quando è presente solo lo stimolo uditivo e le dita vengono mosse lentamente; se il movimento è veloce, le differenze nelle stime sono più o meno le stesse in tutte le tre modalità.

Osservazioni generali

Considerando i risultati di tutti e tre gli esperimenti, i giudizi dei soggetti riflettono la loro abilità nel riconoscere i cambiamenti dovuti alle alterazioni di dimensioni, scanalature, pressione e velocità di movimento. Molto probabilmente i due aspetti degli stimoli acustici che hanno influito di più sulle stime sono l’altezza (frequenza fondamentale) e l’ampiezza; è stato notato infatti che l’altezza del suono tende a decrescere all’aumentare della profondità delle scanalature e della forza esercitata con le dita. Infine l’aumento della velocità di esplorazione provoca un aumento dell’altezza e dell’ampiezza.

Guest, Catmur e Lloyd – Interazioni audio–aptiche nella percezione della ruvidità (2002)

Negli studi di Guest, Catmur e Lloyd (Guest, S., Catmur, C., Lloyd, D., & Spence, C., 2002) si è posta l’attenzione sulla cosiddetta illusione pelle–pergamena, cercando di dimostrarla attraverso tre esperimenti.

L’attrezzatura sperimentale prevede l’applicazione di fogli di carta abrasiva su un disco di plastica, il quale ruota grazie ad un motore. Tutto ciò è contenuto all’interno di una scatola di legno sulla quale è prevista un’apertura per poter inserirvi la mano, in modo da nascondere alla vista ciò che si tocca. Premendo un apposito pulsante posto sulla scatola, l’utente può avanzare di esperimento in esperimento. Il suono viene catturato da un microfono, processato in modo diverso a seconda del tipo di esperimento e inviato al soggetto tramite un paio di cuffie.

Esperimento 1

Ai soggetti è stato chiesto di riconoscere ripetutamente quale tra due campioni è quello ruvido e quale quello liscio, trascurando il suono e basandosi esclusivamente sulle sensazioni date dal tocco della carta; tuttavia il suono prodotto viene modificato effettuando un’amplificazione o un’attenuazione in frequenza. Sono state proprio queste modifiche a cambiare le stime dei soggetti. In particolare, per il campione di carta liscia, amplificare le alte frequenze ha prodotto un forte incremento di stime errate rispetto all’attenuazione delle stesse frequenze; per il campione ruvido invece accade il contrario: amplificare le alte frequenze porta a meno errori nelle stime rispetto a quando le frequenze vengono attenuate.

Esperimento 2

In questo caso il microfono cattura il suono prodotto mentre il soggetto si sfrega le mani; questo dovrà poi giudicare, oltre al livello di ruvidità, se il suono dà una sensazione di mani asciutte o umide.

Per quanto riguarda l’analisi della ruvidità, la manipolazione dell’ampiezza del suono o delle frequenze non porta a cambiamenti significativi nelle stime. Quest’ultime invece cambiano quando entrambi gli effetti vengono applicati simultaneamente; in particolare, quando il livello di attenuazione è di -40dB, viene percepita una ruvidità via via maggiore al crescere delle amplificazioni in frequenza. Per l’analisi della ruvidità invece si ha che un suono più forte porta a percepire le mani come più asciutte, e lo stesso effetto si ha con un’amplificazione in alta frequenza.

Esperimento 3

Rispetto al secondo esperimento, si è introdotta l’analisi degli effetti provocati da un ritardo applicato al suono percepito. E’ risultato che con un ritardo di 150 e 300 millisecondi viene percepita una ruvidità maggiore rispetto a quando l’audio risulta perfettamente sincronizzato, mentre si ha la sensazione di mani meno asciutte. In entrambi i casi però l’effetto è più marcato quando il ritardo corrisponde a 150 millisecondi; il fatto che le percezioni non cambiano linearmente con l’aumentare del ritardo può essere spiegato dal fatto che lo sfregamento delle mani è un movimento periodico, e un ritardo di circa 300 millisecondi potrebbe riportare l’audio in fase con l’azione compiuta dal soggetto.

Lederman, Klatzky, Morgan e Hamilton – Integrazione delle informazioni multimodali sulla tessitura di una superficie tramite una sonda (2002)

In uno studio del 1986 (Lederman, S. J., Thorne, G., & Jones, B., 1986), Lederman ha analizzato le relazioni che intercorrono nella percezione della ruvidità tra le sensazioni tattili e quelle visive . Agli utenti è stato chiesto di giudicare l’aspetto della superficie mediante il tocco, e la sensazione tattile che potrebbe fornire solo utilizzando la vista; nel 70% dei casi è stato il tatto a fornire maggiori informazioni sulla natura della superficie. Quando invece è stato chiesto di giudicare la densità spaziale della stessa, è stato il senso della vista a fornire più informazioni nel 70% dei casi. Ciò ha dimostrato che la risoluzione spaziale del sistema visivo umano è maggiore rispetto a quella del sistema cutaneo, mentre quest’ultimo è più preciso nella stima della ruvidità. Successivamente invece è stata presa in considerazione l’interazione tra tatto e udito (Lederman, S. J., Klatzki, R. L., Hamilton, C., & Morgan, T., 2002); contrariamente alle ricerche già citate, questa volta la superficie veniva esplorata usando una sonda in plastica rigida al posto delle dita. Dato che il suono generato dal contatto tra una superficie e una sonda rigida è più forte del suono generato quando sono le dita ad entrare in contatto con la stessa superficie, ci si potrebbe aspettare che le informazioni sonore giochino un ruolo più importante nella percezione bimodale. Ai soggetti è stato chiesto di giudicare la ruvidità di una superficie in tre distinte modalità: solo tramite il tatto, solo tramite l’udito e infine sfruttando entrambi i sensi.

Le stime maggiori sono state ottenute quando si poteva utilizzare solo il tatto, quelle minori invece quando era disponibile solo lo stimolo acustico (come è possibile vedere in figura); è stato calcolato che il peso delle informazioni tattili è del 62%, rispetto ad un 38% di quelle acustiche, anche se queste percentuali variano da soggetto a soggetto: in alcuni si è verficata una dominanza del senso del tatto, in pochi altri la dominanza dell’udito.

Variando la distanza tra le asperità della superficie, è stato notato che la ruvidità percepita cresce al crescere della distanza variata fino ad un certo valore; distanze oltre a questo valore portano ad un decremento della ruvidità percepita. In modo simile, al crescere dell’intervallo tra le asperità diminuisce la sicurezza con la quale i soggetti hanno compiuto le loro stime.

Aspetti innovativi

Il nostro esperimento è stato strutturato traendo spunto da tutte queste ricerche e basandosi in modo particolare su quelle di Susan Lederman. E’ stata ripresa l’idea di analizzare la percezione audio–aptica in diverse modalità, anche se in una concezione diversa. Se con gli esperimenti precedenti ai soggetti venivano presentati prima solo gli stimoli aptici, poi solo quelli uditivi e infine entrambi, nel nostro caso vengono sempre presentati tutti gli stimoli contemporaneamente. Ciò che cambia è che nella prima serie di esperimenti gli stimoli audio e aptico variano concordemente, mentre nelle successive viene variato solo uno dei due stimoli a seconda della superficie esplorata, mentre l’altro viene mantenuto costante; in tal modo si creano le condizioni per investigare come e quanto i sensi del tatto e dell’udito si influenzano l’un l’altro. E’ stato possibile realizzare ciò grazie al fatto che, rispetto agli studi precedenti, la superficie che il soggetto deve analizzare non è una superficie reale, bensì una rappresentazione virtuale tridimensionale di una superficie. Inoltre tale rappresentazione resta immutata al variare della ruvidità simulata, rendendo così possibile mascherare importanti informazioni visive senza mascherare la superficie stessa. Mascherare l’intera superficie avrebbe sicuramente creato problemi agli utenti durante l’esplorazione; infatti l’esplorazione “cieca” di un oggetto con l’uso delle mani è una cosa naturale, acquisita nelle esperienze di vita, ma l’uso di un dispositivo aptico è nuovo alla maggior parte degli utenti, così come l’esplorazione di un ambiente virtuale. Si capisce così come sia utile al soggetto avere un riferimento visivo per effettuare un’interazione corretta con gli oggetti simulati.

L’uso di un dispositivo aptico come sonda di esplorazione e oggetti virtuali al posto di oggetti reali introduce un’importante differenza rispetto agli esperimenti effettuati in passato: infatti non si può parlare di stimoli del senso del tatto negli stessi termini usati nella descrizione delle prove fatte usando l’esplorazione con le dita. Il sistema cutaneo e il dispositivo aptico hanno delle risoluzioni diverse; sicuramente il primo ha una risoluzione maggiore di quella che può fornire il secondo. Inoltre la nostra pelle è sensibile a pressioni, vibrazioni e deformazioni locali, ed è da tutti questi eventi che traiamo informazioni circa la natura dell’oggetto che tocchiamo. Il dispositivo aptico può trasmette solo forze e vibrazioni, non deformazioni locali, rendendo quindi più difficile la discriminazione di tessiture a trame fitte; inoltre tale discriminazione è più difficile quanto più bassa è la risoluzione del dispositivo, implicando che le sensazioni trasmesse dipendono dal dispositivo utilizzato e dalla qualità dell’implementazione software della simulazione.

Queste ultime considerazioni possono essere applicate anche agli stimoli uditivi; anche in questo caso infatti lo stimolo trasmesso non è prodotto da un’interazione reale, ma è simulato, e risulta tanto più verosimile quanto più accurati sono i modelli fisici usati e quanto più efficiente è la loro implementazione. Tuttavia ciò introduce una notevole flessibilità rispetto all’uso di campioni audio preregistrati; questi ultimi infatti devono subire complesse elaborazioni se vogliono essere usati per simulare materiali o caratteristiche diverse di uno stesso oggetto, mentre con l’uso dei modelli fisici è sufficiente variare pochi parametri per ottenere suoni notevolmente diversi.

L’uso di un ambiente virtuale porta ad un ulteriore elemento nuovo rispetto agli esperimenti precedenti: proprio perché quasi tutti i soggetti sono nuovi a tale tipo di esplorazione (e quelli che non sono nuovi hanno avuto solo poche esperienze occasionali), la memoria di esperienze passate viene a giocare un ruolo di minore importanza.

Attrezzature e organizzazione sperimentale

Gli esperimenti sono stati eseguiti utilizzando un notebook dotato di processore Intel  Core  Duo T2400, 2 gigabyte di memoria RAM e acceleratore grafico ATI .

Il soggetto è seduto di fronte al notebook, con il dispositivo Phantom  Omni  alla sua destra; tramite quest’ultimo viene trasmesso il feedback aptico, mentre il feedback sonoro è trasmesso attraverso un paio di cuffie stereo.

L’interfaccia grafica dell’applicazione è mostrata nella figura; il rettangolo più chiaro rappresenta la superficie da esplorare, mentre il piccolo cono azzurro rappresenta l’estremità del dispositivo aptico. Il pannello sulla destra contiene due insiemi di pulsanti radio (cioè mutuamente esclusivi): il primo gruppo costituisce una scala divisa in sei gradazioni (da molto liscia a molto ruvida) per la stima della ruvidità di una superficie, mentre nel secondo gruppo è possibile scegliere il grado di sicurezza relativa alla scelta della ruvidità.

Ad ogni soggetto è stato illustrato il funzionamento generico del dispositivo aptico e come interagire con l’applicazione; non è stato svelato tuttavia lo scopo dell’esperimento, il dettagli dell’implementazione e della variazione dei parametri. Ad ogni esperimento, l’utente ha avuto la possibilità di esplorare la superficie virtuale per il tempo che credeva necessario; terminata l’esplorazione doveva scegliere dal pannello a destra un grado per la ruvidità percepita e il grado di sicurezza della risposta. Successivamente, cliccando sul pulsante Avanti si passa allo scenario successivo: graficamente non varia nulla, ma vengono variate le proprietà aptiche della superficie e i parametri di generazione del suono. Per fare in modo che l’utente si renda conto dell’effettivo cambiamento, è stato aggiunto un contatore autoincrementante che riporta l’indice della scena corrente. I pulsanti radio vengono selezionati tramite l’uso del mouse o del touchpad; è stata implementata anche la possibilità di effettuare la selezione tramite il dispositivo aptico: infatti, nel momento in cui viene spostato il cursore al di fuori dello scenario tridimensionale posizionandolo in un altro punto della finestra, su un altra finestra o sul desktop, si va a controllare il cursore del mouse. Tuttavia tale funzione è stata poi disabilitata in quanto sembrava indurre confusione negli utenti.

Ogni esperimento prevede l’esplorazione di un totale di 36 scenari: 9 sono gli scenari distinti, ed ognuno viene ripresentato 4 volte. I primi 9 scenari costituiscono una fase di training implicito: tutti i diversi scenari vengono presentati in ordine di ruvidità crescente, e sono utili al soggetto per prendere confidenza con il dispositivo aptico e con l’applicazione; di conseguenza, le percezioni relative a questi scenari non sono considerate, anche se l’utente non è consapevole di ciò. Successivamente vengono presentate tre serie composte dagli stessi scenari in ordine sparso.

I nove stimoli sono stati scelti empiricamente, valutando nove diverse combinazioni tra l’esponente \(\beta\) del rumore \(1/f^\beta\) e il fattore di amplificazione tali da produrre una sensazione di ruvidità crescente:

scenario 1:

\(\beta=0.2\), \(fattore~di~amplificazione=0.0010;\)

scenario 2:

\(\beta=1.2\), \(fattore~di~amplificazione=0.0012;\)

scenario 3:

\(\beta=2.0\), \(fattore~di~amplificazione=0.0030;\)

scenario 4:

\(\beta=0.6\), \(fattore~di~amplificazione=0.0080;\)

scenario 5:

\(\beta=1.4\), \(fattore~di~amplificazione=0.0100;\)

scenario 6:

\(\beta=1.8\), \(fattore~di~amplificazione=0.0120;\)

scenario 7:

\(\beta=1.6\), \(fattore~di~amplificazione=0.0160;\)

scenario 8:

\(\beta=1.8\), \(fattore~di~amplificazione=0.0180;\)

scenario 9:

\(\beta=2.0\), \(fattore~di~amplificazione=0.0210;\)

Per ogni soggetto e per ogni scenario distinto, i tre valori di ruvidità percepita raccolti sono stati sottoposti ad un’elaborazione preliminare, prima di essere utilizzati per una loro rappresentazione grafica. Per prima cosa è stata fatta una media di questi tre valori; successivamente i valori medi sono stati normalizzati, dividendo ognuno di questi valori per la media dei valori percepiti dal soggetto e moltiplicando per la media complessiva relativa a tutti i soggetti. Sulle stime così ottenute è stata svolta una analisi ANOVA.

Una volta terminato l’esperimento, all’utente è stato presentato un semplice questionario contenente le seguenti domande, quasi tutte con risposta a scelta multipla:

1. Cosa ti è sembrato variasse tra i diversi scenari? [La parte aptica | L’audio | Entrambi]

2. Su cosa ti sei basato prevalentemente per giudicare la ruvidità? [Sulla parte aptica | Sul suono | Su entrambi]

3. Una superficie ruvida è caratterizzata da asperità; secondo te, nelle superfici che hai percepito come ruvide, la distanza tra le varie asperità: [Rimane sempre costante per tutte le superfici ruvide | Varia da superficie a superficie ma resta costante sulla stessa superficie | Varia sempre, anche per la stessa superficie]

4. L’aspetto grafico ha influenzato le tue valutazioni? [Sì | No]

5. Se sì, in che modo? A cosa ti ha fatto pensare? [Risposta aperta]

6. In base a quanto hai percepito, secondo te il cursore: [Striscia sempre sulla superficie | Rotola sempre sulla superficie | In alcuni casi rotola, in altri striscia (in tal caso dire approssimativamente i casi in cui hai avvertito l’uno o l’alto tipo di movimento)]

7. Secondo te, tra i vari scenari: [Varia solo il materiale della superficie | Varia solo il materiale del cursore | Variano i materiali di entrambi | Non variano i materiali]

Tutti i soggetti hanno gentilmente offerto la loro partecipazione senza ricevere alcun compenso.

Esperimento 1

In questa prima serie di esperimenti vengono variati concordemente gli stimoli aptici e sonori. I partecipanti sono 20 soggetti, di età compresa tra i 21 e i 32 anni, 13 ragazzi e 7 ragazze. Quasi tutti i partecipanti hanno riportato delle stime concordi con i livelli di ruvidità simulati, come si può notare dal grafico 1, il quale riporta la dipendenza tra ruvidità simulata (in ascissa) e la media della ruvidità percepita dai soggetti per lo stesso livello (in ordinata). Nei primi scenari (quelli utilizzati come training implicito), tutti i soggetti tendono a sovrastimare la ruvidità, giudicando molto ruvide anche le superfici più lisce. Tale problema viene però risolto dal training, il quale permette all’utente di capire bene la variazione della scala; negli scenari successivi infatti i soggetti iniziano ad utilizzare tutti i livelli di ruvidità a disposizione.

Analizzando il grafico si nota un andamento piuttosto lineare che spazia lungo tutti i valori possibili della scala data, la quale va da 0 a 5, dove 0 indica una superficie molto liscia e 5 una superficie molto ruvida.

Il grafico 2 dimostra invece che per alcuni scenari le stime variano considerevolmente; questa condizione è molto evidente ad esempio per il livello di ruvidità 7, e una spiegazione può essere ricercata analizzando la successione nella quale gli scenari vengono presentati all’utente. Gli scenari con livello di ruvidità 7 infatti vengono quasi sempre presentati subito dopo uno scenario di livello di ruvidità inferiore, ed è ipotizzabile quindi che sia questo ad influenzare la percezione. Se una superficie ruvida viene presentata subito dopo una superficie molto liscia, la prima viene stimata come più ruvida di quello che è in realtà; se invece vengono presentate successivamente due superfici poco diverse tra loro si otterranno stime simili per le due. Queste considerazioni trovano riscontro se si analizza la varianza dei risultati relativi al livello di ruvidità 5: gli scenari che simulano tale livello di ruvidità seguono sempre scenari che simulano ruvidità poco diverse, ed infatti le stime variano in un intervallo più limitato.

Due soggetti sono stati scartati dall’analisi in quanto considerabili come outlier, ovvero soggetti la cui media delle stime si discosta troppo dalla media di tutti gli altri partecipanti: entrambi non hanno saputo utilizzare pienamente la scala a disposizione.

Esperimento 2

Nella seconda serie di esperimenti i partecipanti sono 20 soggetti di età compresa tra i 19 e i 30 anni, dei quali 14 ragazzi e 6 ragazze. Lo stimolo acustico viene variato mentre quello aptico viene mantenuto costante ad un livello tale da simulare una superficie ruvida o poco ruvida (\(\beta=0.8\), nessuna amplificazione).

Anche in questo caso è stata confermata l’utilità del training implicito come strumento che permette all’utente di prendere confidenza con il dispositivo e con la scala imposta.

Dall’analisi delle stime è stato notato che la variazione discorde dei due stimoli ha creato molta confusione nei soggetti che si sono sottoposti a questa serie di esperimenti; infatti è risultato che:

• più della metà degli utenti (11 soggetti) ha basato la propria stima o solo sullo stimolo acustico o su una combinazione di entrambi gli stimoli, producendo risultati variabili e concordi con la variazione della stimolo acustico (tali soggetti verrano indicati come primo gruppo);

• alcuni soggetti non hanno preso in considerazione lo stimolo acustico o si sono fatti influenzare da questo in minima parte, producendo quindi stime della ruvidità che variano nel piccolo intervallo della scala compreso tra “poco ruvido” e “molto ruvido” (tali soggetti verrano indicati come secondo gruppo).

I grafici 3 e 4 si riferiscono alle stime date dal primo gruppo. Nel primo dei due grafici è evidente un andamento lineare delle percezioni simile a quello ottenuto nel primo esperimento; tuttavia si nota come le variazioni più ampie si hanno in corrispondenza dei primi due scenari, ovvero quelli in cui la discordanza tra stimolo aptico e uditivo è maggiore (mentre l’audio simula una superficie liscia, il dispositivo aptico ne simula una ruvida). Inoltre, i quartili e le estensioni dei dati si allargano nelle due direzioni intorno al livello 5 (livello centrale), cioè aumentano le variazioni delle stime man mano che aumenta l’incoerenza tra gli stimoli: questo sembra supportare l’idea che la coerenza tra le modalità influenza la stima.

La stessa osservazione può essere fatta per il secondo gruppo. In questo caso però non sono state ottenute delle stime altrettanto lineari (grafici 5 e 6), e la maggior parte di tali stime si colloca tra i livelli 3 e 4. L’andamento non lineare delle stime relative ai livelli dal quarto al nono può essere giustificato se si pensa che, basandosi solo sulla percezione aptica (che resta invariata), la scala delle risposte possibili diventa troppo ampia ed è difficile associare sempre lo stesso livello di ruvidità agli stessi scenari; l’alternanza infatti è sempre compresa tra i livelli 3 e 4, i quali corrispondono a superficie “poco ruvida” e “ruvida”.

Infine 4 soggetti sono stati considerati outlier in quanto non hanno saputo utilizzare correttamente la scala a disposizione.

Esperimento 3

Alla terza serie di esperimenti hanno partecipato 14 soggetti, di età compresa tra i 20 e i 35 anni, 10 ragazzi e 4 ragazze. A differenza degli esperimenti precedenti, in questo caso viene variato solo lo stimolo aptico, mentre lo stimolo acustico resta costante (\(\beta=0.8\), nessuna amplificazione). Nuovamente il training implicito si è rivelato utile. Rispetto alla seconda serie di esperimenti, la variazione discorde degli stimoli ha indotto meno confusione nei partecipanti: alcuni di loro sono riusciti a discriminare correttamente le due variazioni, mentre molti hanno dichiarato di aver basato le loro percezioni maggiormente sullo stimolo aptico. Ciò si riflette nella linearità del grafico in figura:

Anche qui è stato riscontrato un fenomeno simile a quello verificatosi nel secondo esperimento (anche se in misura minore): nei primi scenari (quelli dove la discordanza tra i due stimoli è massima) l’intervallo di variazione delle stime è molto ampio. In questo caso bisogna aggiungere che alcuni soggetti, ad esperimento finito, sostenevano di essere stati messi in difficoltà da una scala dei valori di ruvidità troppo ampia. Due soggetti non sono stati in grado di utilizzare i valori della scala e pertanto sono stati considerati outlier.

Risultati sulla confidenzialità delle risposte

Per esprimere il grado di sicurezza relativamente alle stime date, ogni soggetto poteva scegliere fra tre risposte: “molto sicuro”, “sicuro” e “poco sicuro”. Nella maggior parte dei casi i partecipanti hanno scelto l’opzione intermedia (cioè si sentivano “sicuri” della loro stima). Raramente invece si sono dichiarati “poco sicuri” (6 partecipanti al primo esperimento non hanno mai scelto questa risposta); per alcuni ciò è avvenuto in corrispondenza della stima di una superficie molto ruvida subito dopo una molto liscia, mentre qualcun altro invece si è dichiarato poco sicuro sulla percezione di una superficie di ruvidità poco diversa dalla precedente.

Nel secondo esperimento si è verificato un decremento della sicurezza, imputabile sicuramente alla variazione discorde degli stimoli. Il decremento della sicurezza nel terzo esperimento invece è stato molto più lieve.

Tutto ciò sembrerebbe confermare il fatto che le persone sono influenzate maggiormente dal senso del tatto rispetto a quello dell’udito. Tuttavia non è possibile effettuare una analisi esauriente di questo tipo basandosi sulla confidenzialità delle risposte, in quanto molti soggetti, in base a loro dichiarazioni al termine dell’esperimento, non hanno saputo utilizzare questo strumento.

Risultati sul questionario post–esperimento

Esperimento 1

La maggior parte dei partecipanti (15 su 18) hanno percepito una variazione di entrambi gli stimoli tra i diversi scenari, mentre 11 soggetti hanno dichiarato di aver basato le loro stime sia sullo stimolo aptico che sullo stimolo acustico. Tre soggetti, pur avendo percepito la variazione di entrambi gli stimoli, hanno basato la loro stima solo sulla percezione uditiva, dimostrando una scarsa confidenza nei confronti di ciò che hanno avvertito tramite il dispositivo aptico. Due soggetti hanno percepito solo una variazione della parte aptica, basando le loro stime solo su questa, mentre un solo soggetto ha avvertito una variazione solo dello stimolo acustico, e pertanto ha basato le sue stime solo su questo.

Riguardo alla distribuzione delle asperità sulla superficie, secondo il 50% dei partecipanti questa varia da superficie a superficie restando costante sulla stessa, mentre per il rimanente 50% si ha una variazione anche sulla stessa superficie. Dato che il profilo della superficie viene ricavato da un rumore frattale, la distribuzione delle asperità è del tutto casuale e varia anche sulla stessa superficie; tuttavia l’illusione di una distribuzione costante può essere dovuta al fatto che le asperità sono molto fitte.

Nonostante l’interfaccia grafica sia stata mantenuta la più semplice ed essenziale possibile, 5 soggetti hanno dichiarato di essere stati influenzati dall’aspetto grafico; tuttavia tale influenza dello stimolo visivo consiste semplicemente nel constatare la concordanza tra il movimento del dispositivo aptico e del cursore sullo schermo.

Per più della metà dei soggetti (12 su 18) il cursore strisciava sulla superficie, 2 sostengono che il cursore rotola, mentre secondo i restanti 4 tale sensazione varia: in corrispondenza di superfici più ruvide hanno avvertito un moto di sfregamento, mentre per le superfici lisce il cursore sembra rotolare.

Esperimento 2

Pur avendo una variazione solo dello stimolo acustico, 11 soggetti su 16 hanno percepito una variazione di entrambi gli stimoli; tuttavia molti di loro hanno dichiarato di aver percepito una variazione minima della parte aptica in confronto alla parte acustica. I rimanenti partecipanti invece sostengono che varia solamente quest’ultima.

Due soggetti facenti parte del secondo gruppo hanno dichiarato di essersi basati prevalentemente sullo stimolo acustico per giudicare la ruvidità, anche se, analizzando le loro stime, si capisce come invece siano stati fortemente influenzati dallo stimolo aptico. Per contro, tre utenti del primo gruppo sostengono di aver basato le loro stime prevalentemente sullo stimolo aptico, mentre l’analisi delle stime dimostra che sono stati influenzati fortemente dall’audio. Sempre nel primo gruppo, i soggetti che hanno percepito una variazione di entrambi gli stimoli hanno basato le loro stime su entrambi, mentre quelli che hanno percepito solo una variazione dello stimolo acustico hanno basato le stime su questo.

Anche in questo esperimento le risposte relative alla distribuzione delle asperità si distribuiscono in modo uguale tra distribuzione regolare sulla stessa superficie e distribuzione variabile anche sulla stessa superficie.

Solo due partecipanti dichiarano di essere stati influenzati dall’aspetto grafico: per entrambi la visione di una superficie sempre liscia ha creato difficoltà nel capire come variava la ruvidità.

Secondo dodici soggetti il cursore striscia sempre sulla superficie; due hanno riportato invece che a volte il cursore sembra rotolare e altre volte strisciare (sulle superfici più lisce rotola mentre su quelle più ruvide striscia). Per altri due infine il cursore è sembrato rotolare sempre.

Rispetto al primo esperimento, è stato ritenuto opportuno chiedere ai partecipanti se hanno percepito una variazione dei materiali di cursore e superficie, in quanto superfici costituite di diverso materiale ma aventi livello di ruvidità simile producono suoni diversi. La maggioranza ha percepito una variazione del materiale della superficie; secondo tre soggetti invece variano i materiali di entrambi, mentre per altri tre i materiali non variano né per la superficie né per il cursore.

Esperimento 3

Secondo una metà dei partecipanti, tra i vari scenari cambia solo lo stimolo aptico, mentre l’altra metà ha avvertito una variazione di entrambi gli stimoli. Solo 3 soggetti hanno basato le loro stime su entrambi gli stimoli, tutti gli altri si sono basati esclusivamente sullo stimolo aptico; inoltre, i soggetti che nel questionario hanno dichiarato di aver basato le loro stime su entrambi gli stimoli hanno poi specificato di essere stati influenzati in minima parte dallo stimolo acustico, basandosi principalmente su quello aptico.

Per 4 utenti le asperità sono distribuite in modo non costante anche sulla stessa superficie, mentre per tutti gli altri la distribuzione resta costante all’interno di una stessa superficie.

Nessuno è stato influenzato dall’aspetto grafico. I due terzi dei partecipanti hanno avvertito un moto di sfregamento tra cursore e superficie; i rimanenti, come è successo negli esperimenti precedenti, hanno dichiarato che sulle superfici più lisce il cursore sembrava rotolare, mentre in presenza di superfici ruvide hanno avvertito uno sfregamento.

Secondo la maggior parte dei soggetti (7 su 12) tra i vari scenari viene variato il materiale della superficie, mentre quello del cursore resta costante. Un solo soggetto ha avvertito una modifica del materiale del cursore, mentre per tutti gli altri i materiali non cambiavano mai.

Conclusioni sperimentali

Negli studi condotti è stata confermata la predominanza del senso del tatto sull’udito, anche nel caso in cui l’utente non sia chiamato ad esplorare oggetti reali con l’uso delle mano ma oggetti virtuali con l’uso di un dispositivo aptico. Nonostante questa predominanza, si è visto come lo stimolo acustico in molti casi modula quello aptico: infatti, più della metà dei partecipanti ha avvertito una variazione di entrambi gli stimoli quando invece solo uno dei due veniva variato tra i diversi scenari.

La scala dei valori di ruvidità utilizzata si è rivelata troppo ampia per molti soggetti: questi si sono trovati in difficoltà a scegliere tra i valori “molto liscia” e “liscia” e tra “poco ruvida” e “ruvida”. Questa difficoltà è stata anche riscontrata nei partecipanti classificati come outlier; pur non avendo questi soggetti riportato osservazioni in proposito, analizzando le loro stime più nel dettaglio si nota una confusione nell’utilizzo dei valori estremi della scala. Non sappiamo però se una scala ristretta a quattro valori (invece dei sei attuali) possa risultare corretta o troppo restrittiva.

L’indagine sulla confidenzialità delle risposte non è stata condotta nel modo ottimale. Come abbiamo visto, molti utenti non hanno prestato molta attenzione a tale domanda, ritenendola poco importante o, in alcuni casi, addirittura noiosa. Probabilmente poteva essere sufficiente formulare solamente un quesito sul tema nel questionario post–sperimentale.

Al di là di questi accorgimenti, come è emerso soprattutto dai risultati del primo esperimento, è stato raggiunto l’obiettivo di creare un’applicazione di realtà virtuale per l’interazione continua e bimodale con superfici simulate. La componente aptica influenza molto la percezione dell’utente, mentre la componente sonora, oltre ad aumentare il realismo degli scenari virtuali, fornisce informazioni utili quando i limiti del dispositivo aptico non permettono un’analisi accurata della tessitura caratterizzante la superficie esplorata.

Riferimenti

1. Lederman, S. J. (1979). Auditory texture perception. Perception, 8(1), 93–103.
2. Guest, S., Catmur, C., Lloyd, D., & Spence, C. (2002). Audiotactile interactions in roughness perception. Experimental Brain Research, 146(2), 161–171.
3. Lederman, S. J., Thorne, G., & Jones, B. (1986). Perception of texture by vision and touch: Multidimensionality and intersensory integration. Journal of Experimental Psychology: Human Perception and Performance, 12(2), 169–180.
4. Lederman, S. J., Klatzki, R. L., Hamilton, C., & Morgan, T. (2002). Integrating Multimodal Information about Surface Texture via a Probe: Relative contributions of haptic and touch produced sound sources. In 10th Annual meeting of Haptic Interfaces for Teleoperator and Virtual Environment Systems. IEEE.

Pubblicato il February 26th, 2019 by Andrea Maglie