Personalized assisted human machine interface

The objective of this work is the design, development and creation of a system which enables the interaction between disabled people and Home Automation. The actual technologies in the field of Internet of Things, indeed, are a potential resource to be exploited to create aids oriented to subjects with medium-severe disabilities; such aids might help those subjects in overcoming daily struggles as for the interaction with the home environment. The system proposed in this work has as element of innovation the possibility of user-environment interaction in a personalized and assisted way: the system, indeed, behaves in a customized way for each user. This system takes name of Personalized Assisted Human Machine Interface (PAHMI). The PAHMI system has a graphic interface (Human-Machine Interface, HMI) which shows to the user all possible tasks that can be given to the environment, represented on the HMI as squares oriented in circle. To reach the square corresponding to the desired command (target), the user can move a pointer (PC mouse) using, through the head movement, a smartphone endowed with an accelerometer. For the univocal functioning of the system, adapted to the specific user, two phases are necessary: a first phase of learning and a second phase of use. During the learning phase, trajectories given by the user to the pointer are analysed, to automatically learn the specific command features adopted by the user. To estimate user command features during online trajectories analysis, a classifier model named Support Vector Machine (SVM) has been implemented. During the using phase, the objective is to help the user to exploit the desired trajectory and reach the target; to do so, a PID control system has been used to reach the desired target area of the HMI, having available the user command features (provided by the SVM during the first phase). Moreover, the system has been physically implemented with the necessary hardware, assembling microcontrollers, WIFI transmitters and embedded systems to be able to actually give commands to the surrounding environment. Finally, a software system for the WIFI communication between HMI, main server and actuators placed in the home environment has been implemented. The work proposed ended with an experimental phase and the analysis and verification of results.

L’obiettivo del presente lavoro è stato quello di progettare, sviluppare e creare un sistema che permettesse l’interazione tra utenti disabili e Ambiente Domotico. Le attuali tecnologie nell’ambito dell’Internet of Things, infatti, costituiscono una potenziale risorsa da poter sfruttare per la creazione di sussidi rivolti a persone affette da disabilità medio-severe; tali sussidi posso essere d’aiuto ai suddetti utenti per superare le problematiche quotidiane di gestione dell’ambiente domestico. Il sistema proposto con il presente lavoro introduce come elemento di innovazione la possibilità di interazione utente-ambiente in modo personalizzato ed assistito: il sistema, infatti, adotta un comportamento customizzato per ogni utente che lo utilizza. Tale sistema prende il nome di Personalized Assisted Human Machine Interface (PAHMI). Il sistema è dotato di un’interfaccia grafica (Human-Machine Interface, HMI) attraverso la quale vengono presentati all’utente i possibili comandi impartibili all’ambiente circostante, rappresentati sulla HMI tramite appositi quadrati disposti in cerchio. Per raggiungere il quadrato corrispondente al comando desiderato (target), l’utente ha la possibilità di muovere un puntatore (il mouse del PC) utilizzando uno smartphone dotato di accelerometro e sfruttando il solo movimento della testa. Per il funzionamento univoco del sistema, adattato al singolo utente, sono necessarie due fasi: una prima fase di esercizio ed una seconda fase di utilizzo. Durante la fase di esercizio, vengono analizzate le traiettorie che l’utente impartisce al puntatore, con l’obiettivo di apprendere automaticamente le caratteristiche di comando univoche adottate dall’utente stesso. Per poter stimare le caratteristiche di comando dell’utente durante l’analisi online delle traiettorie, è stato implementato un modello classificatore denominato Support Vector Machine (SVM). Nella fase di utilizzo, l’obiettivo è quello di aiutare l’utente nel suo intento di impartire una traiettoria desiderata e raggiungere il target; per fare ciò è stato applicato un sistema di controllo di tipo PID per il raggiungimento di un’area desiderata dell’HMI, avendo a disposizione le caratteristiche di comando dell’utente (fornite dalle SVM durante la prima fase). Inoltre, il sistema è stato implementato fisicamente con l’hardware necessario, assemblando microcontrollori, trasmettitori WIFI e sistemi embedded, per permettere di impartire realmente i comandi all’ambiente circostante. Infine, è stato implementato un sistema software per la comunicazione WIFI tra HMI, server principale ed attuatori disposti nell’ambiente domestico. Il lavoro proposto si è concluso con una fase sperimentale, l’analisi e la verifica dei risultati.