I neuroengineers di Colombia creano il nuovo sistema per tradurre i pensieri in discorso

In un primo scientifico, i neuroengineers di Colombia hanno creato un sistema che traduce il pensiero in discorso comprensibile e riconoscibile. Riflettendo qualcuno l'attività di cervello, la tecnologia può ricostruire le parole che una persona sente con chiarezza senza precedenti. Questa innovazione, che sfrutta la potenza dei sintetizzatori della voce e dell'intelligenza artificiale, potrebbe piombo ai nuovi modi affinchè i computer comunichi direttamente con il cervello. Egualmente stende il fondamento per la gente d'aiuto che non può parlare, come quelli vivente con come sclerosi laterale amiotrofica (ALS) o recuperando dal colpo, riacquisti la loro capacità di comunicare con il mondo esterno.

Questi risultati sono stati pubblicati oggi nei rapporti scientifici.

“Le nostre voci contribuiscono a connetterci ai nostri amici, famiglia ed il mondo intorno noi, che è perché perdere la potenza della sua voce dovuto la ferita o la malattia è così devastante,„ ha detto Nima Mesgarani, PhD, l'autore senior del documento e un ricercatore principale all'istituto di comportamento del cervello del Mortimer B. Zuckerman Mind dell'università di Columbia. “Con l'odierno studio, abbiamo un modo potenziale riparare quella potenza. Abbiamo indicato che, con la giusta tecnologia, i pensieri di questa gente potrebbero essere decodificati e capiti da tutto l'ascoltatore.„

Le decadi della ricerca ha indicato quella quando la gente parla -- o persino immagini parlare -- i reticoli indicatori di attività compaiono nel loro cervello. Il reticolo distinto (ma riconoscibile) dei segnali egualmente emerge quando ascoltiamo qualcuno parliamo, o immaginiamo ascoltare. Gli esperti, provando a registrare e decodificare questi reticoli, vedono un futuro in cui i pensieri non devono rimanere nascosti dentro il cervello -- ma invece ha potuto essere tradotto in discorso verbale a volontà.

Ma compire questa abilità ha provato sfidare. Gli sforzi iniziali per decodificare i segnali del cervello dal Dott. Mesgarani ed altri hanno messo a fuoco sui modelli elaborati dal calcolatore semplici che spettrogrammi analizzati, che sono rappresentazioni visive delle frequenze sane.

Ma perché questo approccio non è riuscito a produrre qualche cosa che somiglia al discorso comprensibile, il gruppo del Dott. Mesgarani si è girato invece verso un vocoder, un algoritmo del computer che può sintetizzare il discorso dopo la formazione sulle registrazioni di conversazione della gente.

“Questa è la stessa tecnologia usata dall'eco di Amazon e Apple Siri per dare le risposte verbali alle nostre domande,„ ha detto il Dott. Mesgarani, che è egualmente un professore associato di ingegneria elettrica al banco di fondamenta del Fu di Colombia di assistenza tecnica e di scienza applicata.

Per insegnare al vocoder per interpretare ad attività di cervello, il Dott. Mesgarani ha collaborato con Ashesh Dinesh Mehta, MD, PhD, un neurochirurgo all'istituto della neuroscienza dei partner del medico di salubrità di Northwell e co-author di odierno documento. Il Dott. Mehta cura i pazienti dell'epilessia, alcuno di chi deve subire gli ambulatori regolari.

“Lavorando con Dott. Mehta, abbiamo chiesto ai pazienti dell'epilessia già che subiscono la neurochirurgia per ascoltare le frasi parlate dalla gente differente, mentre abbiamo misurato i reticoli di attività di cervello,„ abbiamo detto il Dott. Mesgarani. “Questi reticoli neurali hanno preparato il vocoder.„

Dopo, i ricercatori hanno chiesto quelli agli stessi pazienti di ascoltare gli altoparlanti che recitano le cifre fra 0 - 9, mentre segnali di registrazione del cervello che potrebbero poi essere passati il vocoder. Il suono prodotto dal vocoder in risposta a quei segnali è stato analizzato e pulito stato tramite le reti neurali, un tipo di intelligenza artificiale che imita la struttura dei neuroni nel cervello biologico.

Il risultato finale era una voce robot suonante che recita una sequenza dei numeri. Per verificare l'accuratezza della registrazione, il Dott. Mesgarani ed il suo gruppo hanno incaricato le persone ascoltare la registrazione e riferire che cosa hanno sentito.

“Abbiamo trovato che la gente potrebbe capire e ripetere i suoni circa 75% del tempo, che è bene sopra e oltre tutti i tentativi precedenti,„ abbiamo detto il Dott. Mesgarani. Il miglioramento nella chiarezza era particolarmente evidente quando confronta le nuove registrazioni ai tentativi più iniziali e basati a spettrogramma. “Il vocoder sensibile e le reti neurali potenti hanno rappresentato i suoni che i pazienti originalmente avevano ascoltato con accuratezza sorprendente.„

Il Dott. Mesgarani ed il suo gruppo pianificazione verificare dopo le parole e le frasi più complicate e vogliono eseguire le stesse prove sui segnali del cervello emessi quando una persona parla o immagina parlare. Infine, sperano che il loro sistema potrebbe fa parte di un innesto, simile a quei consumati da alcuni pazienti dell'epilessia, che traduce i pensieri dell'indossatore direttamente in parole.

“In questo scenario, se l'indossatore mi pensa “abbia bisogno di un bicchiere d'acqua, “il nostro sistema potrebbe catturare i segnali del cervello generati da quel pensiero e li trasforma nel sintetizzato in, discorso verbale,„ ha detto il Dott. Mesgarani. “Questo sarebbe un commutatore del gioco. Dare chiunque che avesse perso la loro capacità di parlare, se con la ferita o la malattia, la probabilità rinnovata connettere al mondo intorno loro.„

Sorgente: https://zuckermaninstitute.columbia.edu/