Osservazione delle immagini microscopiche 3D facendo uso di realtà virtuale

insights from industryDr. Christopher ZugatesApplication Engineerarivis AG

Un'intervista con Dott. Christopher Zugates, ingegnere elettronico arivis AG, discutenti un modo rivoluzionario di analizzare le immagini complesse 3D… con la realtà virtuale!

Che cosa sono le sfide principali che gli scienziati affrontano quando si tratta dell'analizzare le immagini microscopiche 3D?

Una di più grandi sfide nella microscopia 3D è la dimensione e la complessità delle immagini che ora possiamo catturare. Avanzamenti nella media della tecnologia che non solo sono noi che catturiamo più informazioni su un campione, possiamo egualmente effettuare la più analisi facendo uso di quelle informazioni.

La prima sfida con tali microscopi avanzati sta risolvendo come esaminare un'immagine molto complessa in primo luogo! Quando voi abbiamo gruppi di dati massicci, volumi massicci o i movimenti 3D, come dovremmo vedere questi dati e come possiamo esplorarlo?

I ricercatori ora stanno dovendo decidere come al meglio analizzi e presenti i dati sulle immagini complesse 3D e dividono questo con la comunità scientifica.

Osservazione dei neuroni in VR da InViewRCortesia di immagine: Dott. Christopher Zugates, arivis AG

Che cosa è InViewR?

InViewR è un'applicazione che permette ai ricercatori di mettere sopra una cuffia avricolare commerciale di realtà virtuale e di essere immersa nelle immagini microscopiche 3D. Invece di vedere un'immagine 3D su un 2D schermo di computer, i dati sono presentati voi come oggetti nelle vostre vicinanze che potete raggiungere fuori e tocco. Ciò gli permette di manipolare i dati nei modi che non avreste potuto fare prima.

Parlando dalla mia propria esperienza della ricerca, potevo vedere un oggetto in un angolo lontano dell'immagine e raggiungerlo fuori e toccare subito. Non c'è quasi sensibilità intorno. Il mio cervello già ha saputo per muovere la mia mano ad una determinata distanza. Potrei muovere le strutture intorno, girarli ed osservarli da tutti gli angoli differenti. Potrei anche mettere qualcosa dietro me e raggiungere indietro, senza guardare, afferrarlo e tirarlo ancora me!

Con uno shermo piatto, siete tocco perdente con la realtà. Avete cominciato con i materiali reali e tridimensionali ed avete effettuato, per esempio, il immunohistochemistry, quindi avete fatto la rappresentazione ed improvvisamente, non guarda niente come le materie prime. Nella cuffia avricolare di VR, il materiale diventa ancora reale.  Penso che questo sia un vantaggio di InViewR ed alla della rappresentazione basata VR dei dati da rivedere 3D in generale.

Nella cuffia avricolare di VR, potete interagire ancora con il materiale. Potete girarlo, andate dentro di, fate le sezioni trasversali con le vostre mani e per di più, effettui le misure altamente accurate in un modo efficiente e comodo.

Ciò è particolarmente utile per il tracciato del neurone. È uno strumento che è mappato alla vostra mano così quando raggiungete fuori e toccate un neurone, lo strumento riconosce il questo e misura la distanza ed il diametro mentre state abbassando l'assone.

Gli permette di cooperare con un algoritmo per trovare il punto centrale di un assone e per rintracciarlo. È un mondo a partire dall'osservazione delle immagini su uno shermo piatto eppure molto più simile al lavoro naturalmente con le vostre mani come fate in laboratorio.

Come può VR trasformare il modo che i ricercatori analizzano e presentano i dati?

Ci sono definitivamente risparmi di temi da guadagnare facendo le cose nella realtà virtuale. La manipolazione ed analizzare delle immagini su uno schermo di computer sono fattibili, ma sarebbe molto più efficiente da raggiungere appena fuori e toccare l'immagine, da ritirare un oggetto, o da misurare una determinata distanza fra gli oggetti.

Un altro posto in cui la realtà virtuale sarà importante sta dividendo il significato del vostro lavoro. Come scienziati, presentiamo tipicamente l'un l'altro i nostri dati facendo uso delle presentazioni di PowerPoint, che sono un 2D formato. Stiamo provando sempre a spiegare che cosa abbiamo visto attraverso le parole o a 2D immagini. Che cosa ai arivis abbiamo notato nel corso degli anni è che VR è un modo superbo raccontare la storia. Gli scienziati possono dividere il loro lavoro mettendo un collega nel loro gruppo di dati e segnando le aree con esattezza di importanza.

Ciò ha potuto anche essere utile per l'insegnamento dei laboratori. Quando ho cominciato fuori a scuola post-laurea, stavo preparando come neurobiologo. Molto mio addestramento iniziale ha compreso leggere i documenti che l'altra gente aveva scritto e questo apprendimento continua per una vita. C'è uno spazio enorme fra la lettura dei questi documenti che video le 2D immagini e realmente avere il materiale in vostra mano. VR potrebbe essere un ponte per formazione, dove potete mostrare alla gente le strutture dei tessuti e gli organi fuori del laboratorio.

Uno di più grandi vantaggi per gli scienziati analizzerà le immagini dove c'è molto miscuglio delle strutture. Per esempio, se volete osservare un neurone che sta andando da un aereo ad un altro e sta incrociando con i lotti di altri neuroni in suo percorso. Vogliamo osservare ogni neurone determinato, poichè c'è qualche cosa di speciale circa ciascuna di queste strutture e vogliamo capire determinato i loro beni. Per fare questo, dobbiamo districare ogni neurone e tirarli oltre ad a vicenda.

A meno che un algoritmo sia abbastanza astuto esaminare il flusso e la continuità strutturali sopra le distanze lunghe, non potrebbe da separare i neuroni che sono insieme molto vicini. Facendo uso di VR, potete vedere che la tessitura del neurone e del vostro cervello può distinguere una struttura da un altro, anche quando i neuroni stanno toccando e attraversando. Ciò è immenso potente per l'analisi di dati e che permette che selezioniate via ad una grande quantità di informazioni.

È la stessa con le celle viventi. Abbiamo lavorato con un cliente che contrassegna le vescicole che si muovono rapido intorno ad una cella. Facendo uso della cuffia avricolare di VR, posso sedermi l'interno uno delle celle e vedere le vescicole muovermi intorno. È come il mio cervello sta riempiendo nelle lacune; Posso vedere facilmente che questa vescicola ha saltato di qui a là, a là e posso rintracciarlo.

Posso mettere la mia barretta su e tenere la carreggiata la sua traiettoria intorno alla cella. Sto vedendo che le vescicole entrano in mia visione periferica che attraversa il miei campo visivo e movimento sull'altro lato. Ciò è facile affinchè faccia se potete vederlo, ma può essere relativamente difficile da risolvere su un computer.

Perché la avete ritenuta eravate importante da sviluppare la tecnologia che permette che gli scienziati “camminino intorno„ ai loro dati?

Quattro anni fa, stavamo esplorando l'uso di realtà virtuale nella ricerca per divertimento! Abbiamo portato il nostro primo sistema di VR alla società per la conferenza annuale della neuroscienza ed i centinaia di gente sono venuto a mettere le cuffie avricolari sopra, tutti volo intorno dentro le immagini.

Dopo che la manifestazione, noi ha cominciato esaminare come potremmo convertire l'esperienza di VR da qualcosa divertimento, in qualcosa scientifico utile. Abbiamo esaminato ogni aspetto del problema, dalla narrazione a dividere i dati e perfino VR di collaborazione dove due genti possono essere dentro là allo stesso tempo.

Poi abbiamo pensato, se è facile da raggiungere appena fuori e toccare un oggetto, forse noi dovremmo aggiungere la pittura o le opzioni scolpire per aiutare i ricercatori con le emissioni della segmentazione. I lotti dei ricercatori ci hanno avuti detto che hanno voluto potere tracciare facilmente le spine dorsali dentritiche su un neurone. Abbiamo rend contoere che se rendessimo il flusso di lavoro molto facile, dove cliccate appena un bottone ed immediatamente state tracciando l'oggetto, quindi potrebbe essere molto un modo efficace di fare questa attività comune.

Egualmente abbiamo fatto i modi semplici di misurare la distanza 3D fra i punti e di fare 3D a mano libera che scolpisce sulle immagini. Ora stiamo combinando questi strumenti con intelligenza artificiale rendere i risultati sempre più accurati.  Ecco perché questo anno, abbiamo rilasciato il nostro strumento di rintracciamento del nuovo neurone astuto.

Con questo, ha catturato i lotti degli strumenti differenti e dei trucchi ed ha iniziato ad imballarli nei flussi di lavoro. Ora stiamo cominciando vedere la gente connettere con VR come strumento per l'analisi invece appena di una cosa di divertimento per fare.

Quali campi di ricerca il InViewR è stato progettato per?

Inizialmente, non abbiamo pensato ai quali campi stavamo provando ad indirizzare, noi appena abbiamo voluto rendere i dati 3D accessibili e facili analizzare. Più successivamente abbiamo cominciato sviluppare i flussi di lavoro per i neuroscenziati, perché gli scienziati in questi campi realmente spingono i limiti sul contenuto di informazioni e di dimensione memorizzato all'interno di un'immagine.

Il tessuto di un neurone complesso della rappresentazione richiede l'alta risoluzione spaziale e temporale, che è perché sono molto favorevoli ad un'analisi di VR. Potete vedere le diverse strutture in VR che comparirebbe altrimenti poichè un groviglio indistinguibile dei neuroni su un 2D schermo.

Con un'immagine molto densa, potreste avere bisogno di di girare l'immagine appena nel giusto modo vedere qualcosa in una sezione trasversale e su uno schermo con un mouse, questa può essere difficile e frustrare. Invece di cliccare e prova di muovere una pialla da piano e filo con un mouse e una tastiera, nell'ambiente di VR dovete appena muovere naturalmente la vostra testa! Potete, naturalmente, girare il gruppo di dati, ma potete anche procedere agli adeguamenti con la vostra testa per ottenere la visualizzazione perfetta.

Che cosa sono le differenze principali fra VR ed i risultati di visualizzazione su un 2D schermo di computer?

Se pensate al vostro ambiente fisico, dica che siete nella vostra casa o nel vostro ufficio, c'è un determinato modo che fate organizzare fisicamente la stanza. Avete questo qui e questo là e questo là. In qualche modo, è molto facile affinchè il vostro cervello si ricordi dove i vostri strumenti e materiali sono.

Ciò significa che potete organizzare e lavorare nello spazio realmente in un modo efficace. Ciò è comparabile all'ambiente di VR. Avete questo oggetto voi che potete toccare e lavorare efficientemente con. Posso ritornare a questo posto. Posso superare a questo posto. Posso ricavare una riga da A alla B - la C - la D molto, molto facilmente, perché il mio cervello la percepisce per essere un oggetto reale.

Come la tecnologia aiuta gli scienziati a correggere le emissioni della segmentazione?

Tutti vogliono catturare le misure dalle loro immagini. Farla su uno schermo bidimensionale in cui state estraendo l'aereo in aereo potete essere molto, molto accurato ma può anche essere che richiede tempo e laboriosa.  Nell'ambiente di VR, molto più informazioni su dove ci sono errori della segmentazione si trasportano all'utente immediatamente ed essi possono movimento di risparmio di temi a questi e correggerle.

Hunched sopra uno schermo di computer per ore e ore per volta, provando a manipolare l'immagine. Con realtà virtuale, state stando diritto alto o state sedendo e state estendendo le vostre mani nel modo che le usate naturalmente. Ha tagliato l'esigenza delle tastiere e dei mouse, rendente il compito meno offensivo alle giunzioni ed alla muscolatura.  Se lavorate veloce, quindi può anche essere un buon allenamento.

Dicaci di più circa l'uso della tecnologia. Funziona con del sistema della rappresentazione 3D?

Sì! Catturiamo col passare del tempo le immagini da tutto il 3D, o qualunque modalità 3D e prova rendere quel trattamento facile come possiamo per i nostri utenti. Se guardate dentro del nostro software, c'è una lista lunga dei tipi di file differenti che supportiamo. Proviamo a fare che facile come possibilmente possiamo.

Nella maggior parte dei casi, è semplicemente un esercizio di goccia e di resistenza. Trascinate appena il file sul desktop, il software lo include nella cuffia avricolare di VR e siete pronto a andare.

InViewR in usoCredito di immagine: arivis AG

Che ruolo la realtà virtuale svolgerà in futuro?

Penso che vediamo gli scienziati che usando la realtà virtuale sempre più. Egualmente penso che cominciamo entrare nella realtà aumentata, o l'AR, poichè la tecnologia si evolve.  Lavorando nell'ambiente virtuale catturerà l'incendio poichè le cuffie avricolari diventeranno più comode e più accessibili.

Il modo che utilizziamo le nostre mani nell'ambiente di VR è probabile migliorare anche. Dal momento che, stiamo usando i regolatori con alcuni bottoni, ma ci sono lotti delle tecnologie di promessa che permetteranno alla gente di utilizzare le loro mani. Stanno comprendendo le cose come non appena feedback vibratorio, ma il feedback di pressione ed il feedback del termale. Ci sono tutte queste altre dimensioni che possono aggiungersi a dove forse i dati stanno andando ritenere come un oggetto reale.

Non so se permanentemente stessimo lavorando nel mondo di VR. Abbiamo sviluppato il nostro strumento di VR in un modo che le mansioni che fate dentro là molto sono specializzate. Non vi non invitare a mettere la cuffia avricolare sopra ed a sederci dentro là tutto il giorno ed a fare tutto il vostro lavoro. Ora, stiamo usando VR per risolvere i problemi speciali.

Ci sono ancora lotti delle mansioni che vorrete fare in un modo tradizionale sul computer. Una delle cose speciali circa la nostra applicazione di VR è che si adatta con tutte le nostre altre applicazioni. Abbiamo un'applicazione che è molto ricca di funzionalità, una visualizzazione di immagine e un pacchetto tradizionali dell'analisi che sta funzionando sul vostro computer portatile o sul vostro desktop, quindi abbiamo alcune soluzioni del " server " pure.

Quando volete fare grande, l'analisi in lotti, con i lotti dei processi della rappresentazione, potete farlo in quell'ambiente pure. Ma tutti questi strumenti sono connessi. Qualche cosa che facciate nell'ambiente di VR può essere veduto su un computer e vice versa.

Dove possono i lettori trovare più informazioni?

Circa Dott. Christopher Zugates

Colpo in testa di ChrisIl Dott. Christopher Zugates sta lavorando alla confluenza di scienza, di lavoro di squadra e della rappresentazione multidimensionale per le ultime due decadi. Come ingegnere elettronico arivis AG, aiuta gli scienziati più di talento del mondo a fare leva i nuovi strumenti evolutivi di scienza della rappresentazione

Citations

Please use one of the following formats to cite this article in your essay, paper or report:

  • APA

    arivis AG. (2019, December 18). Osservazione delle immagini microscopiche 3D facendo uso di realtà virtuale. News-Medical. Retrieved on January 19, 2020 from https://www.news-medical.net/news/20191219/Observing-3D-Microscopic-Images-using-Virtual-Reality.aspx.

  • MLA

    arivis AG. "Osservazione delle immagini microscopiche 3D facendo uso di realtà virtuale". News-Medical. 19 January 2020. <https://www.news-medical.net/news/20191219/Observing-3D-Microscopic-Images-using-Virtual-Reality.aspx>.

  • Chicago

    arivis AG. "Osservazione delle immagini microscopiche 3D facendo uso di realtà virtuale". News-Medical. https://www.news-medical.net/news/20191219/Observing-3D-Microscopic-Images-using-Virtual-Reality.aspx. (accessed January 19, 2020).

  • Harvard

    arivis AG. 2019. Osservazione delle immagini microscopiche 3D facendo uso di realtà virtuale. News-Medical, viewed 19 January 2020, https://www.news-medical.net/news/20191219/Observing-3D-Microscopic-Images-using-Virtual-Reality.aspx.