Observando as imagens 3D microscópicas usando a realidade virtual

insights from industryDr. Christopher ZugatesApplication Engineerarivis AG

Uma entrevista com Dr. Christopher Zugates, coordenador de aplicação arivis AG, discutindo uma maneira revolucionária de analisar as imagens 3D complexas… com a realidade virtual!

Que são os desafios principais que os cientistas enfrentam quando se trata de analisar as imagens 3D microscópicas?

Um dos desafios os mais grandes na microscopia 3D é o tamanho e a complexidade das imagens que nós podemos agora capturar. Os avanços no meio da tecnologia que são não somente nós que capturamos mais informação sobre uma amostra, nós podemos igualmente realizar mais análise usando essa informação.

O primeiro desafio com tais microscópios avançados está dando certo como examinar uma imagem muito complexa no primeiro lugar! Quando você temos conjunto de dados maciços, volumes maciços ou movimentos 3D, como devemos nós ver estes dados, e como podemos nós explorá-lo?

Os pesquisadores estão tendo que agora decidir como ao melhor analise e apresente dados nas imagens 3D complexas, e compartilham deste com a comunidade científica.

Observando os neurônios em VR de InViewRCortesia de imagem: Dr. Christopher Zugates, arivis AG

Que é InViewR?

InViewR é uma aplicação que permita pesquisadores de pôr sobre uns auriculares comerciais da realidade virtual e de ser imergida nas imagens 3D microscópicas. Em vez de considerar uma imagem 3D em um 2D ecrã de computador, os dados são-lhe apresentados como objetos em sua vizinhança que você pode alcançar para fora e toque. Isto permite-o de manipular os dados nas maneiras que você não poderia fazer antes.

Falando de minha própria experiência da pesquisa, eu podia ver um objeto em um canto distante da imagem e alcançá-lo para fora e tocar imediatamente n. Não há quase nenhum sentimento ao redor. Meu cérebro já soube para mover minha mão em uma determinada distância. Eu poderia mover as estruturas ao redor, girá-las, e observá-las de todos os ângulos diferentes. Eu poderia mesmo pôr algo atrás de mim e alcançá-lo para trás, sem olhar, agarrá-la e puxá-la na frente de mim outra vez!

Com um écran plano, você é toque perdedor com realidade. Você partiu com materiais reais, tridimensionais e realizou, por exemplo, o immunohistochemistry, a seguir fez a imagem lactente e de repente, não olha nada como as matérias primas. Nos auriculares de VR, o material torna-se real outra vez.  Eu penso que esta é uma vantagem de InViewR e da rendição VR-baseada dos dados 3D crus geralmente.

Nos auriculares de VR, você pode interagir com o material outra vez. Você pode girá-lo, vai para dentro dele, faz secções transversais com suas mãos e mais importante ainda, realize medidas altamente exactas em uma maneira eficiente e confortável.

Isto é particularmente útil para o traçado do neurônio. É uma ferramenta que seja traçada a sua mão assim quando você alcança para fora e toca em um neurônio, a ferramenta reconhece o este e mede a distância e o diâmetro enquanto você está abaixando o axónio.

Permite-o de cooperar com um algoritmo para encontrar o ponto central de um axónio e para segui-lo. É um mundo longe de observar imagens em um écran plano contudo muito mais como o trabalho naturalmente com suas mãos como você faz no laboratório.

Como pode VR transformar a maneira que os pesquisadores analisam e apresentam dados?

Há definida umas eficiências a ser ganhadas fazendo coisas na realidade virtual. Manipular e analisar imagens em um ecrã de computador são doable, mas seria distante mais eficiente alcançar apenas para fora e tocar na imagem, desenhar um objeto, ou medir uma determinada distância entre objetos.

Um outro lugar onde a realidade virtual seja importante está compartilhando do significado de seu trabalho. Como cientistas, nós apresentamos tipicamente nossos dados entre si que usam apresentações de PowerPoint, que são um 2D formato. Nós estamos tentando sempre explicar o que nós vimos completamente palavras ou 2D imagens. O que nós em arivis observamos ao longo dos anos é que VR é uma maneira magnífica de dizer a história. Os cientistas podem compartilhar de seu trabalho pondo um colega em seu conjunto de dados e localizando as áreas do significado.

Isto podia igualmente ser útil para ensinar laboratórios. Quando eu comecei na escola, eu estava treinando como um neurobiólogo. Muito meu treinamento adiantado envolveu ler os papéis que outros povos tinham escrito, e esta aprendizagem continua para uma vida. Há uma diferença enorme entre a leitura destes papéis que indicam 2D imagens e realmente ter o material em sua mão. VR poderia ser uma ponte para a educação, onde você pode mostrar a povos as estruturas dos tecidos e os órgãos fora do laboratório.

Uma das vantagens as mais grandes para cientistas estará analisando as imagens onde há muita mistura das estruturas. Por exemplo, se você quer observar um neurônio que esteja indo de um plano a outro, e está entrecruzando com lotes de outros neurônios em seu trajecto. Nós queremos observar cada neurônio individual, porque há algo especial sobre cada uma destas estruturas, e nós queremos compreender individualmente suas propriedades. A fim fazer isto, nós precisamos de desembaraçar cada neurônio e de puxá-los independentemente de se.

A menos que um algoritmo fosse esperto bastante olhar o fluxo e a continuidade estruturais sobre distâncias longas, não poderia separar os neurônios que são muito próximos junto. Usando VR, você pode ver que a textura do neurônio e de seu cérebro pode distinguir uma estrutura de outra, mesmo quando os neurônios são de toque e de cruzamento sobre. Isto é imensa poderoso para a análise de dados e permite que você escolha afastado em uma vasta quantidade de informação.

É o mesmo com pilhas vivas. Nós trabalhamos com um cliente que etiquetasse as vesículas que se movem ràpida em torno de uma pilha. Usando os auriculares de VR, eu posso sentar o interior um das pilhas e ver as vesículas mover-se ao redor. É como meu cérebro está enchendo-se nas diferenças; Eu posso facilmente ver que esta vesícula saltou de aqui a lá, a lá, e eu posso o seguir.

Eu posso pôr meu dedo sobre ele e seguir sua trajectória em torno da pilha. Eu estou vendo que as vesículas entram minha visão periférica que cruza meus campo visual e movimento no outro lado. Isto é fácil para que você faça se você pode o ver, mas pode ser relativamente difícil de resolver em um computador.

Por que você o sentiu era importante desenvolver a tecnologia que permite que os cientistas “andem em torno” de seus dados?

Quatro anos há, nós explorávamos o uso da realidade virtual na pesquisa para o divertimento! Nós trouxemos nosso primeiro sistema de VR à sociedade para o Congresso Anual da neurociência e as centenas de povos vieram pôr sobre os auriculares, todo vôo ao redor dentro das imagens.

Depois que a mostra, nós começou olhar como nós poderíamos converter a experiência de VR de algo divertimento, em algo scientifically útil. Nós olhamos cada aspecto do problema, da narração a compartilhar dados, e mesmo VR colaborador onde dois povos podem estar dentro lá ao mesmo tempo.

Nós pensamos então, se é fácil alcançar apenas para fora e tocar em um objeto, talvez nós devemos adicionar a pintura ou as opções esculpir para ajudar pesquisadores com edições da segmentação. Os lotes dos pesquisadores tiveram-nos dito que quiseram poder marcar facilmente espinhas dendrítico em um neurônio. Nós realizamos que se nós fizemos os trabalhos muito fáceis, onde você apenas clica um botão e você está marcando imediatamente o objeto, a seguir poderia ser muito uma maneira eficaz de fazer esta tarefa comum.

Nós igualmente fizemos formas faceis medir a distância 3D entre pontos e fazer 3D a mão livre que esculpe em imagens. Agora nós estamos combinando estas ferramentas com a inteligência de máquina fazer os resultados cada vez mais exactos.  É por isso este ano, nós liberamos nossa ferramenta de seguimento do neurônio esperto novo.

Junto com isto, tomou lotes de ferramentas diferentes e de truques e começou-os empacotá-los em trabalhos. Nós estamos começando agora ver povos conectar com o VR como uma ferramenta para a análise em vez apenas de uma coisa do divertimento para fazer.

Que campos de pesquisa o InViewR foi projectado para?

No início, nós não pensamos sobre que campos nós estávamos tentando endereçar, nós apenas quisemos fazer os dados 3D acessíveis e fáceis analisar. Nós começamos mais tarde desenvolver trabalhos para neurocientistas, porque os cientistas nestes campos empurram realmente os limites no índice do tamanho e de informação armazenado dentro de uma imagem.

O tecido neuronal complexo da imagem lactente exige a definição espacial e temporal alta, que é porque é muito favorável a uma análise de VR. Você pode ver estruturas individuais em VR que apareceria de outra maneira como um emaranhado indiscernível dos neurônios em uma 2D tela.

Com uma imagem muito densa, você pôde precisar de girar a imagem apenas na maneira direita de ver algo em um secção transversal, e em uma tela com um rato, este pode ser difícil e frustrante. Em vez de clicar e da tentá-lo mover um plano secante com um rato e um teclado, no ambiente de VR você apenas precisa de mover naturalmente sua cabeça! Você pode, naturalmente, girar o conjunto de dados, mas você pode igualmente fazer ajustes com sua cabeça para obter a vista perfeita.

Que são as diferenças principais entre VR e resultados visualizando em um 2D ecrã de computador?

Se você pensa sobre seu ambiente físico, diga que você está em sua casa ou em seu escritório, há uma determinada maneira que você tem a sala organizada fisicamente. Você tem este aqui e este lá, e este lá. De algum modo, é muito fácil para seu cérebro recordar onde seus ferramentas e materiais estão.

Isto significa que você pode organizar e trabalhar no espaço realmente em uma maneira eficaz. Isto é comparável ao ambiente de VR. You've obteve este objeto na frente de você que você pode tocar e eficientemente trabalhar com. Eu posso ir para trás a este lugar. Eu posso ultrapassar a este lugar. Eu posso seleccionar uma linha de A a B a C a D muito, muito facilmente, porque meu cérebro o percebe para ser um objeto real.

Como a tecnologia ajuda cientistas a corrigir edições da segmentação?

Todos quer tomar medidas de suas imagens. Fazê-la em uma tela bidimensional onde você esteja desenhando o plano pelo plano possa estar muito, muito exacto mas pode igualmente ser demorado e laborioso.  No ambiente de VR, muito mais informação sobre onde há uns erros da segmentação é transportado ao usuário imediatamente e podem movimento da eficiência a estes e para corrigi-los.

Você hunched sobre um ecrã de computador por horas em um momento, tentando manipular a imagem. Com realidade virtual, você está estando em linha recta ascendente ou está sentando-se, e está estendendo-se suas mãos na maneira que você as usa naturalmente. Cortou a necessidade para teclados e ratos, fazendo a tarefa menos prejudicial às junções e à musculatura.  Se você trabalha rápido, a seguir pode mesmo ser um bom exercício.

Diga-nos mais sobre o uso da tecnologia. Trabalha com algum sistema da imagem lactente 3D?

Sim! Nós tomamos imagens de todo o 3D, ou qualquer ao longo do tempo modalidade 3D, e tentativa fazer esse processo tão fácil como nós podemos para nossos usuários. Se você olha dentro de nosso software, há uma lista longa de tipos de lima diferentes que nós apoiamos. Nós tentamos fazer que tão fácil como nós podemos possivelmente.

Na maioria dos casos, é simplesmente um exercício do arrasto e da gota. Você apenas arrasta a lima no desktop, o software importa-o nos auriculares de VR e você está pronto para ir.

InViewR no usoCrédito de imagem: arivis AG

Que papel a realidade virtual jogará no futuro?

Eu penso que nós veremos os cientistas que usam a realidade virtual cada vez mais. Eu igualmente penso que nós começaremos se mover na realidade aumentada, ou AR, porque a tecnologia evolui.  Trabalhar no ambiente virtual travará o incêndio porque os auriculares se tornarão mais confortáveis e mais acessíveis.

A maneira que nós usamos nossas mãos no ambiente de VR é provável obter demasiado melhor. No momento em que, nós estamos usando controladores com alguns botões, mas havemos uns lotes das tecnologias prometedoras que permitirão povos de usar suas mãos. Estão incorporando coisas como não apenas o feedback vibracional, mas feedback da pressão e o feedback térmico. Há todas estas dimensões restantes que podem ser adicionadas a onde talvez os dados estão indo sentir como um objeto real.

Eu não sei se nós estaríamos trabalhando permanentemente no mundo de VR. Nós desenvolvemos nossa ferramenta de VR em uma maneira que as tarefas que você faz dentro lá estão especializadas muito. Nós não o esperamos pôr sobre os auriculares e sentar-se dentro lá o dia inteiro e fazer todo seu trabalho. Agora, nós estamos usando VR para resolver problemas especiais.

Há ainda uns lotes das tarefas que você quererá fazer em uma maneira tradicional no computador. Uma das coisas especiais sobre nossa aplicação de VR é que cabe com as todas nossas outras aplicações. Nós temos uma aplicação que seja muito rico em características, um visualização da imagem e um pacote tradicionais da análise que esteja sendo executado em seu portátil ou em seu desktop, a seguir nós temos algumas soluções do server também.

Quando você quer fazer grande, análise do grupo, com lotes de trabalhos da imagem lactente, você pode fazê-la nesse ambiente também. Mas todas estas ferramentas são conectadas. Qualquer coisa que você faz no ambiente de VR pode ser considerado em um computador, e vice-versa.

Onde podem os leitores encontrar mais informação?

Sobre o Dr. Christopher Zugates

Headshot de ChrisO Dr. Christopher Zugates tem trabalhado na afluência da ciência, dos trabalhos de equipa, e da imagem lactente Multi-Dimensional para as últimas duas décadas. Como um coordenador de aplicação arivis AG, ele ajuda os cientistas os mais talentosos do mundo a leverage ferramentas evolutivas novas da ciência da imagem lactente

Citations

Please use one of the following formats to cite this article in your essay, paper or report:

  • APA

    arivis AG. (2019, December 18). Observando as imagens 3D microscópicas usando a realidade virtual. News-Medical. Retrieved on January 19, 2020 from https://www.news-medical.net/news/20191219/Observing-3D-Microscopic-Images-using-Virtual-Reality.aspx.

  • MLA

    arivis AG. "Observando as imagens 3D microscópicas usando a realidade virtual". News-Medical. 19 January 2020. <https://www.news-medical.net/news/20191219/Observing-3D-Microscopic-Images-using-Virtual-Reality.aspx>.

  • Chicago

    arivis AG. "Observando as imagens 3D microscópicas usando a realidade virtual". News-Medical. https://www.news-medical.net/news/20191219/Observing-3D-Microscopic-Images-using-Virtual-Reality.aspx. (accessed January 19, 2020).

  • Harvard

    arivis AG. 2019. Observando as imagens 3D microscópicas usando a realidade virtual. News-Medical, viewed 19 January 2020, https://www.news-medical.net/news/20191219/Observing-3D-Microscopic-Images-using-Virtual-Reality.aspx.