Mixed reality per la formazione del personale

Una delle sfide più importanti e delicate nell’ambito della formazione di un personale é la creazione di un ambiente nella quale l’utente può istruirsi in modo sicuro e isolato dall’ambiente produttivo dell’azienda.

La struttura può differire a seconda della tipologia di formazione, ma in ogni caso bisogna riprodurre un ecosistema il più simile possibile al caso reale di modo da non disorientare l’utente durante la sua entrata effettiva nel mondo pratico.

La formazione può richiedere costi e risorse non indifferenti a seconda del lavoro (pratica con la riparazione di un motore di automobile, pratica con un’operazione chirurgica, etc…) rappresentando quindi una sfida impegnativa che bisogna superare al meglio.

Sarebbe possibile simulare la formazione andando quindi a semplificare l’installazione delle infrastrutture dedite alla formazione? La realtà mista potrebbe essere una valida soluzione per creare un simulatore del lavoro da svolgere in modo affidabile e credibile.

Ma cosa é la realtà mista?

Realtà aumentata, virtuale e mista

Prima di spiegare cosa é la realtà mista, é bene citare altre due realtà concettualmente opposte ma che insieme formano la realtà mista.

pokemon go

Augmented reality

Realtà aumentata

Magari questo termine non dice nulla a qualcuno, ma basta pensare ad un’applicazione in particolare per dare un ottimo esempio di quello che rappresenta la realtà aumentata: PokémonGo.

Quest’applicazione permette di combattere e catturare diversi tipi di Pokémon andando semplicemente in giro per le strade e città. Una funzionalità molto particolare dell’applicazione é la possibilità di piazzare un Pokémon sopra superfici piane come tavoli o comodini ed é una sintesi di quello che fa la realtà aumentata.

Questa tecnologia si basa principalmente sul mondo reale che viene rappresentato, per esempio, attraverso la fotocamera del telefono. In seguito, il mondo reale viene “aumentato” con l’aggiunta di componenti virtuali (i Pokémon). L’applicazione, tramite analisi delle immagini, riesce a capire che nel video ci sono delle superfici piane dove il Pokémon può essere sovrapposto per dare la sensazione che l’avatar virtuale si trovi effettivamente sopra il tavolo.

Ci sono altre tecniche che possono aggiungersi per dare più realismo e coerenza all’avatar virtuale, come l’aggiunta dell’ombra in linea con la superficie piana. È importante però notare che non si può avere nessuna interazione tra il mondo reale e quello virtuale. Tutto quello che fa la realtà aumentata é quello di aggiungere valore/informazioni al mondo reale.

htc vive

Virtual reality

Realtà virtuale

Al lato opposto esista la realtà virtuale dove invece di usare il mondo reale come fondamenta, ne crea uno nuovo totalmente virtuale. Per ottenere ciò, esistono dei caschi speciali (Oculus Rift, HTC Vive) con lo scopo di “ingannare” il cervello dell’utente per fargli credere di trovarsi da un’altra parte. L’utente é quindi munito di un casco che rileva i movimenti della testa dell’utente e di due controller ugualmente tracciati di modo da poter usare le mani per interagire con i componenti virtuali presentati dal casco. Le possibilità date dalle applicazioni sono praticamente infinite e si riesce ad ottenere un realismo (pur sapendo di essere in un mondo finto) notevole grazie all’accuratezza dei movimenti catturati dai dispositivi. Nella realtà virtuale non c’é quindi nessuna traccia di elementi reali.

hololens2

Mixed reality

Realtà mista

La realtà mista é l’unione delle caratteristiche delle due realtà precedentemente descritte. Il mondo reale è la scena principale dove l’utente opera ma, contrariamente alla realtà aumentata, si ha una conoscenza più profonda di quello che circonda la persona e si può offrire un’interazione tra elementi reali e virtuali.

Microsoft sta lavorando da anni su un casco chiamato HoloLens che permette di lavorare con la realtà mista.

Il casco di Microsoft utilizza delle lenti semi-trasparenti per poter mostrare sul vetro i componenti virtuali sotto forma di ologrammi sovrapposti al mondo reale. Per poter piazzare oggetti virtuali in modo intelligente e plausibile, il casco dispone di diversi sensori posti attorno alla testa con il solo scopo di mappare l’area circostante e di convertirla in un formato digitale. Questo processo viene chiamato “Spatial Mapping” ed è una funzionalità chiave nel mondo della realtà mista. Lo “Spatial Mapping” permette in altre parole di informare le applicazioni su quello che circonda l’utente (muri, tavoli, sedie, pavimento, etc…). Migliori sono le informazioni a disposizione, migliori saranno gli ologrammi perché saranno posizionati in modo preciso nel mondo reale.

Nella prima versione dell’HoloLens, l’utente aveva un solo gesto possibile per interagire con i componenti digitali limitando quindi la naturalezza con qui l’utente si approcciava con la parte virtuale.

spatialmapping

airtapCon l’arrivo della seconda versione del Microsoft HoloLens, l’interazione con i componenti digitali è diventata più ricca e naturale grazie a un riconoscimento dei movimenti delle dita e delle mani. Grazie a questa nuova funzionalità l’utente riesce a manipolare gli elementi virtuali in modo istintivo senza dover imparare a utilizzare il casco.

hand tracking

Simulazione tramite realtà mista

Come può quindi la realtà mista essere usata per simulare un ambiente in cui una persona può formarsi?

Il primo passo è quello di informare il casco sulla zona in cui avrà luogo la formazione. Nel caso in cui la “morfologia” della zona di formazione non sia complicata e particolare (una normale stanza con degli oggetti facilmente riconoscibili), il processo “Spatola Mapping” viene usato. Però nella maggioranza dei casi, si deve lavorare su un oggetto o macchinario specifico che deve necessariamente essere riprodotto il più precisamente possibile in formato digitale (per esempio un motore di un’automobile). In questi casi bisogna fare affidamento ad un’altra tecnica.

Prendiamo allora un esempio: la formazione di un meccanico sulla manutenzione di un determinato motore per automobili.

car engine

Si potrebbe avere un motore fisico dove bisognerà effettuare delle operazioni manuali. Il simulatore all’interno Dell’HoloLens può informare l’utente su queste operazioni passo per passo indicando la posizione dei componenti a cui bisogna lavorare e mostrando anche l’azione da compiere. Altri elementi dimostrativi possono aggiungersi come uno schermo nel quale si può riprodurre un video di esempio con anche un testo esplicativo.

Per poter fare tutto ciò, è necessario che il casco conosca esattamente il tipo di motore, quindi deve conoscerne le dimensioni e il posizionamento di tutti i componenti interni. In questo caso, il casco potrebbe non essere in grado di creare una mappatura precisa e dettagliata del motore, soprattutto per il fatto che alcuni componenti sono all’interno e invisibili dall’esterno. In questo caso ci si può affidare ad una rappresentazione fedele del motore in formato digitale che viene sovrapposto alla controparte reale. In questo modo il casco interagisce con il modello digitale (invisibile e sovrapposto al motore reale) mentre l’utente vede solamente le interazioni in relazione al motore fisico.
Infine grazie al tracciamento dei movimenti delle mani, l’applicazione sa esattamente in che modo l’utente stia interagendo con il motore e può intervenire in caso stia facendo qualcosa di sbagliando o in caso abbia bisogno di aiuto.

Facciamo un altro esempio di formazione nel campo della medicina/chimica: la manipolazione di un fluido mediante due provette.

laminarflow cabinet

Durante i vari processi necessari alla creazione di un farmaco é necessario effettuare delle manipolazioni di fluidi in un ambiente sterile e controllato. Un’infrastruttura speciale permette agli utenti di manipolare i fluidi all’interno di una corrente d’aria verticale che permette di limitare la contaminazione di questi fluidi.

Le operazioni e i movimenti che avvengono dentro il flusso sono molto limitati e devono avvenire in modi molto specifici al fine di non “rompere” il flusso d’aria andando quindi ad intaccare la qualità e la purezza del fluido. Per poter lavorare in queste condizioni, é necessaria una fase di formazione per abituare la persona a muoversi in modo corretto. Il flusso verticale é invisibile all’occhio umano ed é quindi più complicato istruire la persona sulle conseguenze dei suoi movimenti senza un riscontro visivo. Utilizzando la realtà mista però, si può simulare il comportamento fisico del flusso verticale e di visualizzarne i movimenti di modo da facilitare l’apprendimento di questo fenomeno fisico.

Il compito del simulatore all’interno del casco HoloLens sarebbe quello di rilevare i movimenti delle mani dell’utente all’interno dell’infrastruttura per influenzare la corrente verticale informando quindi l’utente in caso stesse procedendo correttamente o se é necessario correggere. Alla fine della procedura, l’utente può essere valutato in base al suo comportamento mostrando un resoconto delle operazioni corrette o sbagliate al fine di migliorare.

Considerazioni finali

La realtà mista é ancora una tecnologia relativamente nuova e poco adoperata e che quindi evolve lentamente. Tuttavia dai risultati ottenuti finora sembra una soluzione molto promettente soprattutto se utilizzata nel campo dell’istruzione/accademico. Microsoft sta spendendo molte risorse per avanzare in questo mondo e con l’avanzare della qualità dei tracciamenti dei movimenti (non solo braccia e mani!) e dalla potenza di calcolo, é sempre più possibile approcciarsi al mondo virtuale in modo naturale aiutando quindi l’ergonomia delle applicazioni.
Siamo ancora lontani dall’utilizzo di questa tecnologia nella vita quotidiana, ma poco a poco si potrebbe cominciare a optare per questa soluzione anche per piccole cose ricevendo in cambio delle ottime sorprese.