En touchant une pomme avec un stylet, un enfant aveugle pourrait peut-être un jour dire si elle est rouge, jaune ou verte... C'est en tout cas l'espoir que laisse grandir le projet Col.diesis.
L'unité de graphisme, vision par ordinateur et intelligence artificielle de l'Université des Iles Baléares (UIB) est en train de mettre au point Col.diesis afin de permettre aux enfants aveugles "d'entendre les couleurs". Les chercheurs basent leurs travaux sur la synesthésie, la capacité à associer des sens. Francisco Perales, le professeur responsable du département Informatique et Mathématique de la UIB, explique que cette association permet de percevoir un stimulus sensoriel grâce à un autre sens que celui sollicité habituellement pour ce type de signal. C'est le point d'orgue du projet Col.diesis, un travail qui combine neurologie et intelligence artificielle.
A l'origine de ce travail, le projet de fin d'études de l'ingénieur Jessica Rossi, qui a été remarquée par Francisco Perales. En combinant neurologie et intelligence artificielle, le projet Col.diesis permettrait de trouver l'association entre l'ouïe et la vue, pour que l'individu non-voyant puisse donner un sens à chaque couleur. Depuis 2007, l'équipe de la UIB travaille à la création de jeux d'essai de couleurs et de sons associés entre eux, cherchant les combinaisons optimales pour donner aux enfants qui souffrent de cécité les moyens d'appréhender des concepts qu'ils ne peuvent voir.
La première interface Homme-Machine construite par l'équipe est un ordinateur musical pour enfants qui propose des jeux dont un qui consiste à peindre un cadre, l'ordinateur -connecté à ce cadre- synthétisant une gamme de sons en correspondance avec les nuances de couleurs choisies par l'enfant. En effet, les associations "couleur-son" sont subjectives. Cependant, "tout un chacun associe les couleurs claires aux sons aigus et les couleurs foncées aux sons graves", rappelle Perales. Le chercheur et son équipe se basent sur de telles constantes pour définir des correspondances de bases. Ensuite le code de correspondance sera établi pour chaque enfant lors d'une phase de calibrage.
Comment pourra-t-on demander à un enfant d'associer des sons à des couleurs qu'il n'a jamais vues ?
La condition de synesthésie n'est développée que dans 4% de la population. Pour la grande majorité, la synesthésie n'est active qu'à la jeune enfance et se perds petit à petit. Cependant elle se renforce en cas d'absence d'un sens par phénomène de compensation par un autre sens; en l'occurrence, la vue par l'ouïe.
Une question vient à l'esprit : comment pourra-t-on demander à un enfant d'associer des sons à des couleurs qu'il n'a jamais vues ? "Un enfant non-voyant aura toujours une idée des couleurs pour des raisons de culture et d'expérience personnelle. Si on lui parle du rouge, il en aura déjà entendu parler et l'aura associé à un son inconsciemment. Dans la phase de test, on aide l'enfant à redéfinir ses associations", nous éclaire Jessica Rossi qui travaille avec des spécialistes des enfants handicapés ainsi qu'avec le conservatoire supérieur de musique des Iles Baléares.
Phase de tests avec des enfants handicapés mentaux
Le prototype actuel est en phase de test avec des enfants souffrant de déficience neuronale ou de handicap mental. L'association "son-couleur" est l'occasion pour ces enfants de stimuler leur capacité à associer des concepts. Les premiers tests ont été effectués avec des enfants atteints du syndrome de Down (trisomie 21). Dans un deuxième temps, un travail de stimulation sensorielle sera fait avec des enfants autistes. La dernière étape, enfin, consistera a faire passer des tests à des enfants non-voyants.
Avant cet été, le prototype devrait être au point et fabriqué sous forme de dispositif portable : un stylet senseur, que l'enfant portera sur un doigt avec lequel il touchera l'objet et un bracelet contenant l'ordinateur capable de générer les sons. Le prototype existant est fabriqué par l'entreprise Robot Mallorca.
