Les neuroengineers de Colombie produisent le système neuf pour traduire des pensées en parole

Dans un premier scientifique, les neuroengineers de Colombie ont produit un système qui traduit la pensée en discours intelligible et reconnaissable. En surveillant quelqu'un l'activité cérébrale, la technologie peut reconstruire les mots qu'une personne entend avec la clarté sans précédent. Cette découverte, qui arme le pouvoir des synthétiseurs et de l'artificial intelligence de parole, pourrait mener aux voies neuves pour que les ordinateurs communiquent directement avec le cerveau. Elle étend également le travail préparatoire pour les personnes de aide qui ne peuvent pas parler, comme ceux vivant avec comme la sclérose latérale amyotrophique (ALS) ou en récupérant de la rappe, regagnez leur capacité de communiquer avec le monde extérieur.

Ces découvertes étaient aujourd'hui publié dans des états scientifiques.

« Nos voix aident à nous brancher à nos amis, famille et le monde autour de nous, qui est pourquoi la destruction du pouvoir d'à un voix due aux blessures ou à la maladie est si dévastatrice, » a indiqué Nima Mesgarani, PhD, l'auteur supérieur du papier et un investigateur principal à l'institut de comportement de cerveau de Mortimer B. Zuckerman Mind de l'Université de Columbia. « Avec l'étude d'aujourd'hui, nous avons une voie potentielle de remettre ce pouvoir. Nous avons prouvé que, avec la bonne technologie, les pensées de ces gens pourraient être traduites et comprises par n'importe quel auditeur. »

Les décennies de la recherche a montré cela quand les gens parlent -- ou même imaginez parler -- les configurations indicatrices de l'activité apparaissent en leur cerveau. La configuration distincte (mais reconnaissable) des signes apparaissent également quand nous écoutons quelqu'un parlons, ou imaginons l'écoute. Les experts, essayant d'enregistrer et traduire ces configurations, voient un contrat à terme l'où les pensées n'ont pas besoin de demeurer cachées à l'intérieur du cerveau -- mais au lieu a pu être traduit en discours verbal à volonté.

Mais la réalistion de cet exploit a la remise en question prouvée. Les efforts tôt pour traduire des signes de cerveau par le M. Mesgarani et d'autres se sont concentrés sur les types d'ordinateur simples que les spectrogrammes analysés, qui sont les représentations visuelles des fréquences saines.

Mais parce que cette approche n'a pas produit n'importe quoi ressemblant au discours intelligible, l'équipe de M. Mesgarani's s'est tournée au lieu vers un vocodeur, un algorithme d'ordinateur qui peut synthétiser la parole après avoir été formé sur des enregistrements de parler de gens.

« C'est la même technologie employée par écho d'Amazone et pomme Siri pour donner des réactions verbales à nos questions, » a dit M. Mesgarani, qui est également un professeur agrégé de génie électrique à l'école de fondation de Fu de Colombie du bureau d'études et de la science appliquée.

Pour enseigner le vocodeur pour interpréter à l'activité cérébrale, M. Mesgarani s'est associé à Ashesh Dinesh Mehta, DM, PhD, un neurochirurgien à l'institut de neurologie d'associés de médecin de santé de Northwell et co-auteur du papier d'aujourd'hui. M. Mehta soigne des patients d'épilepsie, dont certains doit subir les cabinets de consultation réguliers.

« Fonctionnant avec M. Mehta, nous avons demandé à des patients d'épilepsie subissant déjà la chirurgie cérébrale pour écouter des jugements parlés par les gens différents, alors que nous mesurions des configurations d'activité cérébrale, » avons dit M. Mesgarani. « Ces configurations neurales ont formé le vocodeur. »

Ensuite, les chercheurs ont demandé ceux aux mêmes patients d'écouter des orateurs exposant des chiffres entre 0 à 9, tandis que les signes de enregistrement de cerveau qui pourraient alors être faits fonctionner par le vocodeur. Le son produit par le vocodeur en réponse à ces signes s'est analysé et a été nettoyé par les réseaux neuronaux, un type d'artificial intelligence qui imite la structure des neurones dans le cerveau biologique.

Le résultat final était une voix robotisée robotisé exposant une séquence des numéros. Pour vérifier l'exactitude de l'enregistrement, M. Mesgarani et son équipe ont chargé des personnes écouter l'enregistrement et enregistrer ce qu'ils ont entendu.

« Nous avons constaté que les gens pourraient comprendre et répéter les sons environ 75% du temps, qui est bien bien au-delà de toutes les précédentes tentatives, » avons dit M. Mesgarani. L'amélioration de l'intelligibilité était particulièrement évidente en comparant les enregistrements neufs aux tentatives plus tôt et basées sur spectrogramme. « Le vocodeur sensible et les réseaux neuronaux puissants ont représenté les sons que les patients avaient initialement écoutés avec l'exactitude étonnante. »

Le M. Mesgarani et son équipe planification pour vérifier des mots plus compliqués et des jugements ensuite, et ils veulent exécuter les mêmes tests sur des signes de cerveau émis quand une personne parle ou imagine parler. Éventuel, ils espèrent que leur système pourrait faire partie d'un implant, assimilé à ces usés par quelques patients d'épilepsie, qui traduit les pensées du porteur directement en mots.

« Dans ce scénario, si le porteur me pense « ayez besoin d'une glace de l'eau, « notre système pourrait prendre les signes de cerveau produits par cette pensée, et les transforme en synthétisé, discours verbal, » a dit M. Mesgarani. « Ce serait un commutateur de jeu. Il donnerait n'importe qui qui a détruit leur capacité de parler, si par des blessures ou la maladie, l'occasion renouvelée de brancher au monde autour de elles. »

Source : https://zuckermaninstitute.columbia.edu/