SINA

Sistema d'Interacció Natural Avançat

Descripció funcional

El SINA es va desenvolupar a partir del conveni de col·laboració entre la Vicepresidència i Conselleria de Relacions Institucionals, l’Institut de Serveis Socials i Esportius de Mallorca, la Fundació iBit i la Universitat de les Illes Balears per al desenvolupament i la implantació del projecte d’integració i accessibilitat de persones amb discapacitat dins el marc del conveni de desenvolupament del Pla Avanza signat el 30 de març de 2007dins del marc del Plan Avanza, pla co-finançat pel Ministerio de Industria, Turismo y Comercio i per la Direcció General de Tecnologia i Comunicacions, de la Conselleria d'Innovació, Interior i Justícia.

 

El SINA es va dissenyar pensant en aquelles persones que tenen profundament limitades les seves possibilitats de moviment en les extremitats superiors i es basa en un disseny intuïtiu que procura atendre el màxim possible als criteris de normalització.

SinaSmall.png


Versió: 2.0
Llicència: Lliure per usuaris finals i entitats sense ànim de lucre

Tecnología: 
Visió per ordinador
Repositori:

http://dmi.uib.es/~ugiv/sina/?m=descarga

 

SINA és un sistema d’interacció natural i avançat. És un projecte que comprèn professionals de diverses àrees com la informàtica, la pedagogia i l’educació especial, per això SINA és més que un simple dispositiu d’accés a l’ordinador: és un sistema pedagògic i basat en tecnologies de la informació i coneixement per fer accessible l’ordinador. Aquesta accessibilitat s’aconsegueix a través de tècniques de visió per computador utilitzant una webcam comú, per això s’obté un sistema de baix cost. Només instal·lant una petita aplicació que detecta i segueix el moviment del nas, l’usuari pot controlar el moviment i els events del ratolí i pot emprar totes les aplicacions instal·lades al seu l’ordinador.

 

La primera iniciativa del projecte SINA i amb la idea de possibilitar l’accés a l’educació a les persones amb discapacitat s’ha centrada en possibilitar l’accés a l’ordinador a aquell col·lectiu de persones amb una discapacitat motòrica greu mitjançant el SINA. Les accions desenvolupades s’han dirigit cap a:

• Identificar el perfil d’usuari que pot gaudir de les prestacions del SINA.

• Ajustar el SINA a les necessitats d’aquest perfil i dotar-lo de la màxima flexibilitat possible per tal d’adaptar-se a cada un dels usuaris.

• Valorar pedagògicament la viabilitat d’aquest sistema en centres específics i adaptar les solucions a cada discapacitat.

 

Característiques principals

La Unitat de Gràfics i Visió per Ordinador i Intel·ligència Artificial (UGiVIA) del Departament de Matemàtiques i Informàtica de la Universitat de les Illes Balears (UIB) ha estat l’encarregada de desenvolupar el programari informàtic del projecte SINA. Una de les línies d’investigació d’aquest grup és la creació d’interfícies basades en visió per ordinador (VBI). La idea d’aquest tipus d’interfícies es basa en la manera com es produeix la comunicació humana, en la qual el sentit de la vista proporciona una gran quantitat d’informació que pot ésser analitzada i emprada per a la interacció home-màquina. Més concretament, quan un usuari s’asseu davant un ordinador, es pot assumir que la seva cara és visible per una webcam, un dispositiu molt comú avui en dia. És natural, llavors, plantejar una nova interfície basada en moviments del cap i dels trets facials de l’usuari. A l’inici del projecte, el grup havia desenvolupat algorismes d’interacció perceptual a través de sistemes multimodals capaços d’analitzar les imatges d’una càmera en temps real per trobar moviment de diferents parts del cos de l’usuari. Aquests algorismes estan definits de forma genèrica dins el camp científic de la visió per ordinador com a algorismes de detecció i de seguiment. Els algorismes de detecció serveixen per trobar la regió de la imatge en què es troba l’objecte d’interès, per exemple una cara. D’altra banda, seguiment implica trobar aquest objecte i donar-ne els canvis de posició al llarg del temps. De fet, el seguiment es pot considerar com una repetició de la detecció que manté la informació de les posicions prèvies de l’objecte d’interès per evitar els possibles errors de la detecció. Les possibles aplicacions d’aquests algorismes depenen de l’objectiu que es pretén assolir. En el cas d’escollir la cara d’una persona com a objecte d’interès, aquests algorismes són capaços de trobar la cara de l’usuari en una imatge (detecció) i conèixer-ne els moviments en tot moment (seguiment). Després, aquests moviments de la cara de l’usuari es poden enviar a un programari específic que els converteixi en una determinada acció, com és el cas de l’objectiu principal d’aquest projecte de donar accés a l’ordinador a usuaris amb afectació motora en mans i braços que no poden utilitzar els dispositius d’entrada clàssics, com el teclat o el ratolí.

 

Amb aquests algorismes es va desenvolupar un prototip totalment innovador i intuïtiu al voltant de l’aplicació SINA per tal d’avaluar aquests algorismes amb persones amb aquests tipus de discapacitat. Aquest programari permet substituir les accions d’un ratolí traduint els moviments del cap en moviments del cursor de l’ordinador i, amb l’ajuda d’una senzilla interfície, l’accés a les seves funcions estàndard, com la pulsació dreta o esquerra, la doble pulsació o l’arrossegament (vegeu el disseny UML d’aquesta aplicació a la fig. 1). En aquest sentit, es va desenvolupar una interfície d’usuari inicial que només consistia en dues finestres: una per visualitzar les imatges resultants del procés de visió per ordinador i l’altra per permetre l’accés a les accions habituals d’un ratolí.

 

Esquema general de l'aplicació

 

sina esquema

Captures de pantalla

 

sina1p
sina2p
Interficie

Jocs per entrenar el SINA

(a) i (b) Acció Reacció, (c) i (d) Moviment vertical i horitzontal i (e) Acció arrossegament