Introduzione

Il SiLAB, Laboratorio Segnali e Immagini dell’ISTI-CNR di Pisa ha competenze consolidate nel settore dell’elaborazione e dell’analisi di segnali e immagini. In particolare, la missione del laboratorio si incentra sullo studio e sullo sviluppo di metodologie, tecnologie e strumenti innovativi nel campo dell'acquisizione e della formazione di segnali e immagini e della comprensione del contenuto informativo di dati multimediali. Le principali tematiche includono quindi la visione artificiale, l’elaborazione in real-time, l’ausilio alle decisioni, i sistemi embedded e le reti di sensori multimediali. Il SiLAB comprende nella sua struttura la sezione del Body Sensing Laboratory, che si occupa di ricerca e sviluppo nel campo dell’interazione uomo macchina tramite dispositivi di rilevamento gestuale e sensori elettromedicali di vario genere (EEG, ECG, EMG etc.). In questa sezione del SILab sono cioè studiati e realizzati dispositivi che hanno la capacità d’intercettare la presenza e i movimenti delle persone e di comandare, in funzione di queste “percezioni” raccolte, altri dispositivi informatici in grado di compiere azioni corrispondenti, quali l’emissione di suoni e o immagini. Questi sistemi possono trovare impiego in presentazioni e demo multimediali di grande impatto scenografico, per utilizzi museali, didattici o spettacolari oppure in campo riabilitativo. Negli ultimi anni il SiLab ha, infatti, utilizzato queste tecnologie di interazione uomo macchina per un innovativo sistema per trattamento di bambini affetti da disturbi dello spettro autistico. Dopo una preliminare fase di sperimentazione (con un parizale finanziamento da parte di privati)il del sistema SiREMI (Sistema per la rieducazione) espressiva del Movimento e dell'Interazione) è stato installato presso l’Istituto Comprensivo Massarosa 1, presso il quale è stato utilizzato per due stagioni scolastiche consecutive (2011-2012 e 2012-2013) in una serie di sedute di trattamento rieducativo. Successivamente, grazie al contributo della Fondazione Telecom Italia, ha sviluppato una versione domiciliare dello stesso sistema (SiDOREMI), sperimentato direttamente nelle famiglie di alcuni bambini affetti da disturbi dello spettro autistico.
Nel 2016 ha iniziato una collaborazione con la Fondazione MAIC di Pistoia, che si occupa da anni del trattamento dell'autismo. Questa collaborazione che ha portato allo sviluppo di SEMI, Sistema Espressivo Multimediale Interattivo. Questo progetto eredita l'esperienza della precedente attività svolta con SiREMI/SiDOREMI, arricchendola con nuove modalità di interazione che comprendono anche il canale visivo.

Presupposti del trattamento

In questo progetto si propone di realizzare un sistema innovativo costituito da speciali strumenti di interazione gestuale basati su tecnologie non invasive, contactless e a basso costo, in grado di fornire un feedback audio-visivo al movimento del corpo. In questo modo si intende favorire, in forma ludica, la coscienza della propria capacità di interazione con l'ambiente circostante (sistema propriocettivo). SEMI prevede lo sviluppo di un insieme di giochi interattivi organizzati per livelli di difficoltà, in base al profilo sensoriale del singolo bambino. L’obiettivo del progetto è quello di fornire alla Fondazione MAIC un prototipo da inserire all'interno di una terapia riabilitativa per bambini con ASD e disprassie. In particolare il prototipo sarà pensato per migliorare la motricità globale e fine, la coordinazione motoria e il potenziamento degli aspetti imitativi, per favorire l’interazione sociale e le autonomie personali del bambino; I soggetti beneficiari saranno bambini con ASD e disprassie prevalentemente nella fascia di età 6-10 anni. Al termine del progetto, il sistema potrà essere utilizzato dalla Fondazione MAIC per tutte quelle disabilità correlate ad un disturbo di tipo disprassico. Il numero indicativo di beneficiari potenziali di Pistoia e provincia è di oltre 150 soggetti.

Sistema informatico utilizzato presso la Fondazione MAIC di Pistoia

Il sistema informatico sviluppato al SiLAB consiste in una coppia di dispositivi di rilevamento di rilevamento gestuale, di un calcolatore dotato di scheda audio e di un sistema di amplificazione sonora. Uno dei dispositivi è destinato al rilevamento della gestualità di tutto il corpo mentre il secondo, destinato alle prassie fini-motorie, è in grado di rilevare con precisione i movimenti delle mani. Il software, sviluppato opportunamente, interpreta i dati provenienti dai dispositivi utilizzandoli in speciali applicazioni ludico-motorie.
Il pacchetto software sviluppato consiste nelle seguenti applicazioni:

Unisci i Punti

Lo schermo presenta il classico gioco di unire i punti, il "cosa apparira'?" della settimana enigmistica. Il bambino deve selezionare i punti controllando il corsore dello schermo con il movimento della mano. I punti sono numerati e affiancati da altri senza numero, da ignorare, che costringono a una maggiore attenzione per completare il disegno. I disegni hanno difficoltà (numero di punti) crescente. Per ogni disegno completato viene riportato il tempo utilizzato per il suo completamento.

Indovina le Tessere

Sullo schermo vengono mostrate un insieme di tessere (scelte in modo casuale fra quelle dello standard PECS,Picture Exchange Communication System) e contemporaneamente viene emesso un suono: il bambino, muovendo la mano sullo schermo, deve selezionare la tessera corrispondente al suono emesso. Man mano che il gioco procede l'insieme di tessere aumenta di numero. Il gioco è reso più difficile dal fatto che le tessere, man mano che il tempo passa, svaniscono. Per ogni sessione viene riportato il tempo impiegato e il numero di errori.

Ripeti o indovina i movimenti

Questo esercizio si basa su due modalità distinte. Nella prima il soggetto controlla un "avatar" e deve replicare i movimenti presentati in un riquadro in piccolo. Al termine dell'esercizio viene riportata la qualità dell'imitazione. Con la seconda modalità i vari movimenti delle braccia e delle gambe azionano la riproduzione di una voce che pronuncia un numero. Scopo del gioco è mettere i numeri in sequenza crescente facendo i corretti movimenti. Per ogni sessione viene riportato il tempo impiegato e il numero di errori.

Usa le mani

Questa attività, destinata ai movimenti fini-motori, si compie semplicemente con i dimostrativi a corredo del dispositivo "Leap Motion", capace di rilevare con precisione i movimenti della mani. Il soggetto deve compiere alcune operazioni manipolando, nell'aria, alcuni oggetti virtuali. Di questa attività, per ogni sessione, vengono registrati alcuni commenti sulla qualità dell'esercizio svolto.

Sperimentazione

La sperimentazione sarà effettuata su 5 soggetti maschi di età compresa tra 10 e 14 anni e consiste in una serie di sedute della durata di circa 30 minuti, effettuati a cadenza settimanale. Un gruppo di 5 soggetti di controllo che non partecipano alla sperimentazione viene monitorato in contemporanea con gli stessi soggetti.




Video sulla sperimentazione del progetto, a cura di Daniel Giusti
Al termine della sperimentazione, tutti i dati raccolti durante le varie sessione saranno analizzati dai ricercatori del CNR in collaborazione con gli psicologi del MAIC, al fine di evidenziare eventuali effetti positivi del trattamento.

Contatti

Dr. Massimo Magrini, Responsabile tecnico del progetto, ISTI - CNR: massimo.magrini (AT) isti.cnr.it
Dr. Ovidio Salvetti, Responsabile del Laboratorio Segnali ed Immagini, ISTI - CNR: ovidio.salvetti (AT) isti.cnr.it