Les premières expériences de métaverse ?  Regardez ce qui se passe en médecine

Le chirurgien Shafi Ahmed pose pour une photo portant un casque Microsoft HoloLens à l’intérieur de sa salle d’opération au Royal London Hospital le jeudi 11 janvier 2018.

Bloomberg | Bloomberg | Getty Images

Le métaverse, la prochaine grande chose du monde numérique, est présenté comme le domaine Internet où les avatars animés de notre être physique pourront pratiquement faire toutes sortes d’interactivités, du shopping aux jeux en passant par les voyages – un jour. Wonks dit qu’il pourrait s’écouler une décennie ou plus avant que les technologies nécessaires ne rattrapent le battage médiatique.

À l’heure actuelle, cependant, l’industrie des soins de santé utilise certains des composants essentiels qui comprendront finalement le métaverse – la réalité virtuelle (VR), la réalité augmentée (AR), la réalité mixte (MR) et l’intelligence artificielle (IA) – comme ainsi que les logiciels et le matériel pour alimenter leurs applications. Par exemple, les entreprises de dispositifs médicaux utilisent la RM pour assembler des outils chirurgicaux et concevoir des salles d’opération, l’Organisation mondiale de la santé (OMS) utilise la RA et les smartphones pour former les intervenants Covid-19, les psychiatres utilisent la VR pour traiter le stress post-traumatique (SPT) parmi les soldats de combat, et les écoles de médecine utilisent la réalité virtuelle pour la formation chirurgicale.

Facebook, Oculus et Covid

Depuis Facebook — maintenant Meta Platforms – a acquis Oculus et sa technologie de casque VR en 2014 pour 2 milliards de dollars, de nombreuses applications de soins de santé ont été développées. L’une des dernières était une collaboration avec Facebook Reality Labs et Nexus Studios et l’Académie de l’OMS. L’incubateur de R&D de l’organisation a conçu une application d’apprentissage mobile pour les agents de santé qui luttent contre Covid-19 dans le monde entier. L’un des cours de formation implique la RA pour simuler sur un smartphone les techniques et la séquence appropriées pour mettre et retirer les équipements de protection des personnes. Avec un contenu disponible en sept langues, l’application est construite autour des besoins exprimés par 22 000 agents de santé mondiaux interrogés par l’OMS l’année dernière.

La technologie Oculus est utilisée à UConn Health, le centre médical de l’Université du Connecticut à Farmington, Connecticut, pour former les résidents en chirurgie orthopédique. Les éducateurs se sont associés à PrecisionOS, une entreprise canadienne de logiciels médicaux qui propose une formation en réalité virtuelle et des modules éducatifs en orthopédie. En portant des casques Oculus Quest, les résidents peuvent visualiser en 3D effectuer une gamme d’interventions chirurgicales, telles que mettre une épingle dans un os fracturé. Parce que la procédure est effectuée virtuellement, le système permet aux étudiants de faire des erreurs et de recevoir des commentaires des professeurs à intégrer lors de leur prochain essai.

Pendant ce temps, alors que le métaverse reste en construction, « nous voyons une excellente opportunité de poursuivre le travail que Meta fait déjà pour soutenir les efforts de santé », a déclaré un porte-parole de Meta. « Au fur et à mesure que les expériences, les applications et les services de Meta évoluent, vous pouvez vous attendre à ce que la stratégie de santé joue un rôle, mais il est bien trop tôt pour dire comment cela pourrait recouper les technologies et les fournisseurs tiers. »

Lorsque Microsoft a présenté ses lunettes intelligentes HoloLens AR en 2016 pour le développement commercial, les premiers utilisateurs ont inclus Stryker, la société de technologie médicale de Kalamazoo, Michigan. En 2017, il a commencé à exploiter le dispositif AR pour améliorer les processus de conception des salles d’opération des hôpitaux et des centres de chirurgie. Étant donné que les blocs opératoires sont partagés par différents services chirurgicaux – de la chirurgie générale à l’orthopédie, au cardiologie et autres – l’éclairage, l’équipement et les outils chirurgicaux varient en fonction de la procédure.

Reconnaissant l’opportunité offerte par HoloLens 2 dans l’évolution de la conception de la salle d’opération de la 2D à la 3D, les ingénieurs de Stryker sont en mesure de concevoir des salles d’opération partagées à l’aide d’hologrammes. L’expérience MR visualise toutes les personnes, équipements et configurations sans nécessiter la présence d’objets physiques ou de personnes.

Zimmer Biomet, une société de dispositifs médicaux basée à Varsovie, dans l’Indiana, a récemment dévoilé sa plate-forme de solutions de réalité mixte OptiVu, qui utilise des dispositifs HoloLens et trois applications – une utilisant l’IRM dans la fabrication d’outils chirurgicaux, une autre qui collecte et stocke des données pour suivre les progrès du patient avant et après la chirurgie, et un troisième qui permet aux cliniciens de partager une expérience d’IRM avec les patients avant une procédure.

« Nous utilisons actuellement HoloLens à titre pilote avec assistance à distance aux États-Unis, dans la région EMEA et en Australie », a déclaré un porte-parole de Zimmer Biomet. La technologie a été utilisée pour la couverture des cas à distance et les programmes de formation, et la société développe des applications logicielles sur HoloLens dans le cadre de solutions de données axées sur les procédures avant et après les procédures, a déclaré le porte-parole.

La vision holographique du futur de Microsoft

Dans les applications réelles de la technologie médicale AR, les neurochirurgiens de Johns Hopkins ont effectué les premières chirurgies AR de l’institution sur des patients vivants en juin. Au cours de la procédure initiale, les médecins ont placé six vis dans la colonne vertébrale d’un patient lors d’une fusion vertébrale. Deux jours plus tard, une équipe distincte de chirurgiens a retiré une tumeur cancéreuse de la colonne vertébrale d’un patient. Les deux équipes ont enfilé des casques fabriqués par Augmedics, une entreprise israélienne, équipés d’un écran oculaire transparent qui projette des images de l’anatomie interne d’un patient, telles que des os et d’autres tissus, sur la base de tomodensitogrammes. « C’est comme avoir un navigateur GPS devant vos yeux », a déclaré Timothy Witham, MD, directeur du Johns Hopkins Neurosurgery Spinal Fusion Laboratory.

À la Miller School of Medicine de l’Université de Miami, les instructeurs du Gordon Center for Simulation and Innovation in Medical Education utilisent AR, VR et MR pour former les premiers intervenants d’urgence à traiter les patients traumatisés, y compris ceux qui ont eu un accident vasculaire cérébral, une crise cardiaque ou blessure par balle. Les étudiants pratiquent des procédures cardiaques vitales sur Harvey, un mannequin réaliste qui simule de manière réaliste presque toutes les maladies cardiaques. En portant des casques de réalité virtuelle, les étudiants peuvent « voir » l’anatomie sous-jacente qui est graphiquement exposée sur Harvey.

« Dans l’environnement numérique, nous ne sommes pas liés par des objets physiques », a déclaré Barry Issenberg, MD, professeur de médecine et directeur du Gordon Center. Avant de développer le programme de technologie virtuelle, a-t-il déclaré, les étudiants devaient être physiquement sur place et s’entraîner sur de vrais patients traumatisés. « Nous pouvons désormais garantir que tous les apprenants ont la même expérience virtuelle, quelle que soit leur situation géographique. »

Depuis sa création en 1999, l’Institut des technologies créatives (TIC) de l’Université de Californie du Sud a développé la RV, l’IA et d’autres technologies pour traiter une variété de problèmes de santé médicale et mentale. « Quand je me suis impliqué pour la première fois, la technologie était l’âge de pierre », a déclaré Albert « Skip » Rizzo, psychologue et directeur de la réalité virtuelle médicale chez ICT, se souvenant de ses bricolages avec un Apple IIe et une console portable Game Boy. Aujourd’hui, il utilise des casques VR et AR d’Oculus, HP et Magic Leap.

Rizzo a aidé à créer une thérapie d’exposition en réalité virtuelle, appelée Bravemind, visant à soulager le SPT, en particulier chez les vétérans des guerres en Irak et en Afghanistan. Au cours de la thérapie d’exposition, un patient, guidé par un thérapeute qualifié, confronte ses souvenirs de traumatisme à travers des simulations de leurs expériences. Portant un casque, le patient peut être immergé dans plusieurs scénarios virtuels différents, notamment une ville sur le thème du Moyen-Orient et des environnements routiers désertiques.

« Les patients utilisent un clavier pour simuler des personnes, des insurgés, des explosions, même des odeurs et des vibrations », a déclaré Rizzo. Et plutôt que de s’appuyer exclusivement sur l’imagination d’un scénario particulier, un patient peut l’expérimenter dans un monde virtuel sécurisé comme alternative à la thérapie par la parole traditionnelle. La thérapie Bravemind fondée sur des preuves est désormais disponible dans plus d’une douzaine d’hôpitaux de l’Administration des anciens combattants, où il a été démontré qu’elle produisait une réduction significative des symptômes du SPT. Des études contrôlées randomisées supplémentaires sont en cours.

Alors que Big Tech continue de développer le métavers, aux côtés des sociétés de logiciels et de matériel informatique, des universités et d’autres partenaires de R&D, l’industrie des soins de santé reste un terrain d’essai réel. « Alors que le métaverse n’en est qu’à ses balbutiements, il recèle un potentiel énorme pour la transformation et l’amélioration des soins de santé », a écrit Paulo Pinheiro, responsable des logiciels chez Sagentia Innovation, basé à Cambridge, au Royaume-Uni, sur le site Web de la société de conseil. « Ce sera fascinant de voir la situation évoluer. »

Restez connecté avec Healthy Returns

Pour une place au premier rang à CNBC Events, vous pouvez entendre directement les dirigeants visionnaires, les innovateurs, les dirigeants et les influenceurs qui montent sur scène dans « Le podcast principal. » Écoute maintenant, cependant, vous obtenez vos podcasts.

Pour plus d’informations exclusives de nos journalistes et conférenciers, inscrivez-vous à notre newsletter Healthy Returns pour recevoir la dernière livraison directement dans votre boîte de réception chaque semaine.

Toutes les actualités du site n'expriment pas le point de vue du site, mais nous transmettons cette actualité automatiquement et la traduisons grâce à une technologie programmatique sur le site et non à partir d'un éditeur humain.