Observer les images 3D microscopiques utilisant la réalité virtuelle

insights from industryDr. Christopher ZugatesApplication Engineerarivis AG

Une entrevue avec M. Christopher Zugates, ingénieur technico-commercial à arivis AG, discutant une voie révolutionnaire d'analyser les images 3D complexes… par la réalité virtuelle !

Quels sont les défis principaux que face de scientifiques quand il s'agit d'analyser les images 3D microscopiques ?

Un des défis importants dans la microscopie 3D est la taille et la complexité des images que nous pouvons maintenant capter. Les avancements dans le moyen de technologie qui sont non seulement nous saisissant plus d'informations sur un échantillon, nous pouvons également effectuer plus d'analyse utilisant cette information.

Le premier défi avec de tels microscopes avancés établit comment examiner une image très complexe en premier lieu ! Quand vous avons-nous des ensembles de données massifs, volumes massifs ou mouvements 3D, comment devrions-nous voir ces caractéristiques, et comment pouvons-nous l'explorer ?

Les chercheurs doivent maintenant décider comment au meilleur analysez et présentez les caractéristiques sur les images 3D complexes, et partagent ceci avec la communauté scientifique.

Observer des neurones dans VR dAccueil d'image : M. Christopher Zugates, arivis AG

Quel est InViewR ?

InViewR est une application qui permet à des chercheurs de mettre en circuit un écouteur commercial de réalité virtuelle et d'être immergés dans les images 3D microscopiques. Au lieu de voir une image 3D sur un 2D écran d'ordinateur, des caractéristiques te sont présentées comme objectifs dans votre proximité que vous pouvez atteindre à l'extérieur et contact. Ceci te permet de manipuler les caractéristiques des voies que vous n'auriez pas pu faire avant.

Parlant de ma propre expérience de recherches, je pouvais voir un objectif dans un coin lointain de l'image et l'atteindre à l'extérieur et toucher immédiatement. Il n'y a presque aucune sensation autour. Mon cerveau a déjà su pour déménager ma main à une certaine distance. Je pourrais déménager les structures autour, les tourner, et les observer de toutes les différentes cornières. Je pourrais même mettre quelque chose derrière moi et atteindre de retour, sans examiner, le saisir et le tirer devant moi de nouveau !

Avec un écran plat, vous êtes contact perdant avec la réalité. Vous avez commencé avec les matériaux réels et en trois dimensions et avez effectué, par exemple, l'immunohistochimie, puis avez fait la représentation et soudainement, elle ne semble rien comme les matières premières. Dans l'écouteur de VR, le matériau devient réel de nouveau.  Je pense que c'est un avantage d'InViewR et de rendu basé sur VR des caractéristiques 3D brutes en général.

Dans l'écouteur de VR, vous pouvez agir l'un sur l'autre avec du matériau de nouveau. Vous pouvez le tourner, allez à l'intérieur de lui, faites des coupes transversales avec vos mains et avant tout, effectuez hautement les mesures précises d'une voie efficace et confortable.

C'est particulièrement utile pour le traçage de neurone. C'est un outil qui est tracé à votre main ainsi quand vous atteignez à l'extérieur et touchez un neurone, l'outil identifie le ce et mesure la distance et le diamètre pendant que vous abaissez l'axone.

Il te permet de coopérer avec un algorithme à trouver le point central d'un axone et à le tracer. C'est un monde à partir d'observer des images sur un écran plat pourtant beaucoup plutôt fonctionner naturellement avec vos mains comme vous faites dans le laboratoire.

Comment VR peut-il transformer la manière dont les chercheurs analysent et présentent des caractéristiques ?

Il y a réellement des rendements à gagner en faisant des choses dans la réalité virtuelle. Manipuler et analyser des images sur un écran d'ordinateur est faisable, mais il serait bien plus efficace d'atteindre juste à l'extérieur et toucher l'image, d'entraîner un objectif, ou de mesurer une certaine distance entre les objectifs.

Une autre place où la réalité virtuelle sera importante partage la signification de votre travail. Comme scientifiques, nous présentons type notre caractéristique entre eux utilisant des présentations PowerPoint, qui est un 2D format. Nous essayons toujours d'expliquer ce que nous avons vu des mots ou des 2D images. Ce que nous aux arivis avons remarqué au cours des années est que VR est une voie superbe de raconter l'histoire. Les scientifiques peuvent partager leur travail en mettant un collègue dans leur ensemble de données et en indiquant exactement les endroits d'importance.

Ceci a pu également être utile pour enseigner des laboratoires. Quand j'ai commencé au troisième cycle d'université, je m'exerçais en tant que neurobiologiste. Beaucoup de mes papiers impliqués du relevé de formation tôt que d'autres gens avaient écrits, et ce processus d'apprentissage continue pour une vie. Il y a un écartement énorme entre afficher ces journaux qui manifestent les 2D images et avoir réellement le matériau dans votre main. VR pourrait être une passerelle pour l'éducation, où vous pouvez montrer aux gens les structures des tissus et des organes en dehors de du laboratoire.

Un des plus grands avantages pour des scientifiques analysera des images où il y a beaucoup d'entremêlement des structures. Par exemple, si vous voulez observer un neurone qui va d'un avion à l'autre, et il s'entrecroise avec un bon nombre d'autres neurones dans son circuit. Nous voulons observer chaque neurone individuel, car il y a quelque chose spéciale au sujet de chacune de ces structures, et nous voulons comprendre leurs propriétés individuellement. Afin de faire ceci, nous devons démêler chaque neurone et les tirer indépendamment de l'un l'autre.

À moins qu'un algorithme soit assez sec regarder le flux et la continuité structurels au-dessus des longues distances, il ne pourrait pas séparer les neurones qui sont très proches ensemble. Utilisant VR, vous pouvez voir que la texture du neurone et de votre cerveau peut discerner une structure des des autres, même lorsque les neurones sont touchants et croisants plus de. C'est immensément puissant pour l'analyse de caractéristiques et te permet de sélectionner loin à une énorme quantité d'information.

C'est pareil pour les cellules vivantes. Nous avons travaillé avec un propriétaire qui marque les vésicules qui déménagent rapidement autour d'une cellule. Utilisant l'écouteur de VR, je peux reposer l'intérieur un des cellules et voir les vésicules déménager autour. Il est comme mon cerveau complète les lacunes ; Je peux facilement voir que cette vésicule a sauté d'ici à là, à là, et je peux le tracer.

Je peux mettre mon doigt là-dessus et suivre sa trajectoire autour de la cellule. Je vois que les vésicules entrent dans ma visibilité périphérique qui croise mon champ visuel et mouvement sur l'autre côté. C'est facile pour vous de faire si vous pouvez le voir, mais peut être relativement difficile à résoudre sur un ordinateur.

Pourquoi l'avez-vous ressenti étiez-vous important pour développer la technologie qui permet à des scientifiques « de marcher autour » de leurs caractéristiques ?

Il y a quatre ans, nous explorions l'utilisation de la réalité virtuelle dans la recherche pour l'amusement ! Nous avons porté notre premier système de VR à la société pour la conférence annuelle de neurologie et les centaines de gens sont venues pour mettre les écouteurs en circuit, tous vol autour à l'intérieur des images.

Après que l'exposition, nous ait commencé à regarder comment nous pourrions convertir l'expérience de VR de quelque chose amusement, dans quelque chose scientifiquement utile. Nous avons regardé chaque aspect du problème, de la fabulation à partager des caractéristiques, et même VR de collaboration où deux personnes peuvent être dedans là en même temps.

Nous avons alors pensé, s'il est facile d'atteindre juste à l'extérieur et toucher un objectif, peut-être nous devrions ajouter la peinture ou les options de sculpter pour aider des chercheurs avec des éditions de segmentation. Un bon nombre de chercheurs nous ont eus dit qu'ils ont voulu pouvoir marquer les colonnes vertébrales dendritiques sur un neurone facilement. Nous nous sommes rendus compte que si nous rendions le flux de travail très facile, où vous cliquez juste un bouton et vous marquez immédiatement l'objectif, alors ce pourrait être très un moyen efficace de faire cette fonctionnalité usuelle.

Nous avons également effectué des manières simples de mesurer la distance 3D entre les remarques et de faire 3D à main levée sculptant sur des images. Maintenant nous combinons ces outils avec l'intelligence informatique d'effectuer aux résultats précis de plus en plus.  C'est pourquoi cette année, nous avons relâché notre outil intelligent neuf de traçage de neurone.

Avec ceci, a pris un bon nombre d'autres outils et de tours et a commencé à les empaqueter dans des flux de travail. Nous commençons maintenant à voir des gens brancher à VR comme outil pour l'analyse au lieu juste d'une chose d'amusement pour faire.

Pour quels domaines de la recherche l'InViewR a-t-il été conçu ?

Au début, nous n'avons pas pensé quels inducteurs nous essayions d'adresser, nous avons juste voulu rendre les caractéristiques 3D accessibles et faciles à analyser. Nous plus tard avons commencé à développer des flux de travail pour des neurologistes, parce que les scientifiques dans ces domaines poussent réellement les limites sur la taille et le contenu de l'information enregistrés dans une image.

Le tissu neuronal complexe de représentation exige la définition spatiale et temporelle élevée, qui est pourquoi elles sont très favorables à une analyse de VR. Vous pouvez voir différentes structures dans VR qui apparaîtrait autrement car un embrouillement imperceptible des neurones sur un 2D écran.

Avec une image très dense, vous pourriez devoir tourner l'image juste de la bonne voie de voir quelque chose dans une coupe transversale, et sur un écran avec une souris, ceci peut être difficile et frustrante. Au lieu de cliquer sur et de l'essai de déménager un plan sécant avec un clavier et souris, dans l'environnement de VR vous devez juste déménager votre tête naturellement ! Vous pouvez, naturellement, tourner l'ensemble de données, mais vous pouvez également effectuer des réglages avec votre tête pour obtenir la vue parfaite.

Quelles sont les principales différences entre VR et résultats de visualisation sur un 2D écran d'ordinateur ?

Si vous pensez à votre environnement matériel, dites que vous êtes dans votre maison ou votre bureau, il y a une certaine voie que vous faites dispenser matériel la salle. Vous avez ceci ici et ceci là, et ceci là. D'une certaine manière, il est très facile pour votre cerveau de rappeler où vos outils et matériaux sont.

Ceci signifie que vous pouvez dispenser et travailler dans l'espace réellement d'un moyen efficace. C'est comparable à l'environnement de VR. Vous avez cet objectif devant vous que vous pouvez toucher et efficacement travailler avec. Je peux retourner à cette place. Je peux faire un saut à cette place. Je peux tracer une ligne d'A à B à C à D très, très facilement, parce que mon cerveau le perçoit pour être un objectif réel.

Comment la technologie aide-t-elle des scientifiques à rectifier des éditions de segmentation ?

Tout le monde veut prendre des mesures de leurs images. La faire sur un écran bidimensionnel où vous entraînez l'avion en avion pouvez être très, très précis mais peut également être longue et laborieuse.  Dans l'environnement de VR, beaucoup plus d'informations sur où il y a des erreurs de segmentation est transporté à l'usager immédiatement et eux peuvent mouvement de rendement à ces derniers et les rectifier.

Vous êtes voûté au-dessus d'un écran d'ordinateur pendant des heures à la fois, essayant de manipuler l'image. Avec la réalité virtuelle, vous restez haut droit ou vous asseyez, et étendez vos mains de la manière que vous les employez naturellement. Elle a coupé le besoin de claviers et de souris, rendant la tâche moins dommageable aux joints et à la musculature.  Si vous travaillez rapide, alors ce peut même être un bon exercice.

Dites-nous davantage au sujet de l'utilisation de la technologie. Fonctionne-t-cela avec un système de la représentation 3D ?

Oui ! Nous prenons des images de n'importe quel 3D, ou n'importe quelle au fil du temps modalité 3D, et essai de rendre ce procédé aussi facile que nous pouvons pour nos usagers. Si vous examinez à l'intérieur de notre logiciel, il y a une longue liste d'autres types de fichier que nous supportons. Nous essayons d'effectuer qu'aussi facile que nous pouvons probablement.

Dans la plupart des cas, c'est simplement un exercice de frottement et de goutte. Vous frottez juste le fichier sur l'appareil de bureau, le logiciel l'importe dans l'écouteur de VR et vous êtes prêt à aller.

InViewR en serviceCrédit d'image : arivis AG

Quel rôle la réalité virtuelle jouera-t-elle à l'avenir ?

Je pense que nous verrons des scientifiques employant la réalité virtuelle de plus en plus. Je pense également que nous commencerons à entrer dans la réalité augmentée, ou l'AR, car la technologie évolue.  Fonctionner dans l'environnement virtuel recueillera l'incendie car les écouteurs deviendront plus confortables et plus accessibles.

La manière dont nous utilisons nos mains dans l'environnement de VR est susceptible de devenir meilleure aussi. Au moment où, nous employons des Contrôleurs avec quelques boutons, mais il y avons un bon nombre de technologies prometteuses qui permettront à des gens d'utiliser leurs mains. Elles comportent des choses comme pas simplement le contrôle par retour de l'information vibratoire, mais le contrôle par retour de l'information de pression et le contrôle par retour de l'information de thermique. Il y a toutes ces autres cotes qui peuvent être ajoutées à où peut-être la caractéristique va ressentir comme un objectif réel.

Je ne sais pas si nous travaillerions de manière permanente dans le monde de VR. Nous avons développé notre outil de VR d'une voie que les tâches que vous faites dedans là sont très spécialisées. Nous ne nous attendons pas à ce que vous mettiez l'écouteur en circuit et vous reposiez dedans là toute la journée et fassiez tout de votre travail. En ce moment, nous employons VR pour résoudre des problèmes spéciaux.

Il restent un bon nombre de tâches que vous voudrez faire d'un moyen traditionnel sur l'ordinateur. Une des choses spéciales au sujet de notre application de VR est qu'elle équipe de toutes nos autres applications. Nous avons une application qui est très riche en fonctionnalités, une visualisation traditionnelle d'image et l'envoi d'analyse qui fonctionne sur votre ordinateur portable ou votre appareil de bureau, puis nous avons quelques solutions de serveur aussi bien.

Quand vous voulez faire grand, analyse en lots, avec un bon nombre de fonctions de représentation, vous pouvez la faire dans cet environnement aussi bien. Mais tous ces outils sont branchés. Quelque chose que vous faites dans l'environnement de VR peut être vu sur un ordinateur, et vice versa.

Où peuvent les lecteurs trouver plus d'informations ?

Au sujet de M. Christopher Zugates

Headshot de ChrisM. Christopher Zugates avait travaillé au confluent de la Science, du travail d'équipe, et de la représentation multidimensionnelle pour les deux dernières décennies. Comme un ingénieur technico-commercial d'arivis AG, il aide les scientifiques les plus doués du monde à influencer les outils évolutifs neufs de la Science de représentation

Citations

Please use one of the following formats to cite this article in your essay, paper or report:

  • APA

    arivis AG. (2019, December 18). Observer les images 3D microscopiques utilisant la réalité virtuelle. News-Medical. Retrieved on January 19, 2020 from https://www.news-medical.net/news/20191219/Observing-3D-Microscopic-Images-using-Virtual-Reality.aspx.

  • MLA

    arivis AG. "Observer les images 3D microscopiques utilisant la réalité virtuelle". News-Medical. 19 January 2020. <https://www.news-medical.net/news/20191219/Observing-3D-Microscopic-Images-using-Virtual-Reality.aspx>.

  • Chicago

    arivis AG. "Observer les images 3D microscopiques utilisant la réalité virtuelle". News-Medical. https://www.news-medical.net/news/20191219/Observing-3D-Microscopic-Images-using-Virtual-Reality.aspx. (accessed January 19, 2020).

  • Harvard

    arivis AG. 2019. Observer les images 3D microscopiques utilisant la réalité virtuelle. News-Medical, viewed 19 January 2020, https://www.news-medical.net/news/20191219/Observing-3D-Microscopic-Images-using-Virtual-Reality.aspx.