Questions-réponses : Google sur la création des capacités de détection de chute de Pixel Watch, première partie

Géant de la technologie Google a annoncé en mars avoir ajouté des capacités de détection de chute à sa Pixel Watch, qui utilise des capteurs pour déterminer si un utilisateur a fait une chute brutale.

Si la montre ne détecte pas le mouvement d’un utilisateur pendant environ 30 secondes, elle vibre, émet une alarme et affiche des invites permettant à l’utilisateur de sélectionner s’il va bien ou s’il a besoin d’aide. La montre avertit les services d’urgence si aucune réponse n’est choisie après une minute.

Dans la première partie de notre série en deux parties, Edward Shi, chef de produit au sein de l’équipe de sécurité personnelle d’Android et de Pixel chez Google, et Paras Unadkat, chef de produit et Chef de produit Fitbit pour la détection de santé/forme physique portable et l’apprentissage automatique chez Google, s’est entretenu avec MobiHealthActualités pour discuter des étapes qu’eux-mêmes et leurs équipes ont suivies pour créer la technologie de détection de chute de Pixel.

MobiHealthActualités : Pouvez-vous me parler du processus de développement de la détection des chutes ?

Paras Unadkat : Ce fut certainement un long voyage. Nous avons commencé cela il y a quelques années, et la première chose était de savoir comment pouvons-nous même penser à collecter un ensemble de données et à comprendre uniquement le chiffre d’affaires dans une perspective de capteur de mouvement. A quoi ressemble une chute ? Donc, pour ce faire, nous avons consulté un assez grand nombre d’experts qui ont travaillé dans quelques laboratoires universitaires différents à différents endroits. Nous avons en quelque sorte consulté sur les mécanismes d’une chute. Quelle est la biomécanique? A quoi ressemble le corps humain ? À quoi ressemblent les réactions lorsque quelqu’un tombe ? Nous avons collecté beaucoup de données dans des environnements contrôlés, tout comme les chutes provoquées, le fait d’avoir des gens attachés à des harnais et juste, comme, des événements de perte d’équilibre et de voir à quoi cela ressemblait. Donc, ce genre de nous a lancé.

Et nous avons pu démarrer ce processus, en construisant cet ensemble de données initial pour vraiment comprendre à quoi ressemblent les chutes et vraiment décomposer comment nous pensons réellement à la détection et au type d’analyse des données sur les chutes.

Nous avons également lancé un important effort de collecte de données sur plusieurs années, et il collectait des données de capteur de personnes effectuant d’autres activités sans chute. L’essentiel est de faire la distinction entre ce qui est une chute et ce qui n’en est pas une.

Et puis nous avons aussi en quelque sorte, au cours du processus de développement de cela, nous devions comprendre comment nous pouvons réellement valider que cette chose fonctionne ? Donc, une chose que nous avons faite, c’est que nous sommes allés à Los Angeles, et nous avons travaillé avec une équipe de cascadeurs et nous avons juste demandé à un groupe de personnes de prendre notre produit fini, de le tester et de l’utiliser essentiellement pour valider cela dans toutes ces différentes activités que les gens participaient réellement aux chutes. Et c’étaient des professionnels formés, donc ils ne se faisaient pas de mal pour le faire. Nous avons en fait été capables de détecter tous ces différents types de choses. C’était vraiment cool à voir.

MNH : Donc, vous avez travaillé avec des cascadeurs pour voir comment les capteurs fonctionnaient.

Unadkat : Oui, nous l’avons fait. Nous avons donc eu beaucoup de types de chutes différents que nous avons demandé aux gens de faire et de simuler, et en plus du reste des données que nous avons collectées, cela nous a donné ce genre de validation que nous avons pu voir cette chose fonctionner dans des situations réelles.

MNH : Comment peut-il faire la différence entre quelqu’un jouant avec son enfant sur le sol et frappant sa main contre le sol ou quelque chose de similaire et faisant une chute substantielle ?

Unadkat : Il y a donc plusieurs façons de procéder. Nous utilisons la fusion de capteurs entre quelques types de capteurs différents sur l’appareil, y compris en fait le baromètre, qui peut en fait indiquer le changement d’altitude. Donc quand tu chutes, tu passes d’un certain niveau à un autre niveau puis au sol.

Nous pouvons également détecter lorsqu’une personne est restée stationnaire et allongée pendant un certain temps. Donc, ce genre d’aliments dans notre sortie de, comme, d’accord, cette personne bougeait, et ils ont soudainement eu un impact dur, et ils ne bougeaient plus. Ils ont probablement fait une chute brutale et ont probablement eu besoin d’aide. Nous avons également collecté de grands ensembles de données de personnes faisant ce genre de choses dont nous parlions, comme des activités de vie libre tout au long de la journée, sans chutes, ajoutons cela dans notre modèle d’apprentissage automatique à partir de ces énormes pipelines que nous avons créés pour obtenir toutes ces données et les analyser toutes. Et que, avec l’autre ensemble de données sur les chutes réelles à fort impact, nous sommes en mesure de l’utiliser pour faire la distinction entre ces types d’événements.

MNH : Le Pixel collecte-t-il en permanence des données pour que Google puisse voir comment il fonctionne dans le monde réel afin de l’améliorer ?

Unadkat : Nous avons une option d’activation pour les utilisateurs du futur où vous le savez, s’ils s’inscrivent lorsqu’ils reçoivent une alerte de chute pour que nous recevions des données sur leurs appareils. Nous pourrons prendre ces données et les incorporer dans notre modèle et améliorer le modèle au fil du temps. Mais c’est quelque chose que, en tant qu’utilisateur, vous devez entrer manuellement et appuyer sur Je veux que vous le fassiez.

MNH : Mais si les gens le font, alors ça va être continuellement amélioré.

Unadkat : Oui exactement. C’est l’idéal. Mais nous essayons continuellement d’améliorer tous ces modèles. Et même en continuant à collecter des données en interne, en continuant à les itérer et à les valider, en augmentant le nombre de cas d’utilisation que nous sommes capables de détecter, en augmentant notre couverture globale et en diminuant le type de taux de faux positifs.

MNH : Et Edward, quel a été votre rôle dans la création des capacités de détection des chutes ?

Edouard Shi : Travailler avec Paras sur tout le travail acharné que lui et son équipe ont déjà fait, essentiellement, l’équipe de sécurité Android Pixel que nous avons est vraiment concentrée sur la protection du bien-être physique des utilisateurs. Et donc il y avait là une grande synergie. Et l’une des fonctionnalités que nous avions lancées auparavant était la détection d’accident de voiture. Et donc, à bien des égards, ils sont très similaires. Lorsqu’un événement d’urgence est détecté, en particulier, un utilisateur peut être incapable d’obtenir de l’aide pour lui-même, selon qu’il est inconscient ou non. Comment pouvons-nous ensuite escalader cela? Et puis s’assurer, bien sûr, que les faux positifs sont minimisés. En plus de tout le travail que l’équipe de Paras a déjà effectué pour s’assurer que nous minimisons les faux positifs, comment, par expérience, pouvons-nous minimiser ce taux de faux positifs ?

Ainsi, par exemple, nous vérifions avec l’utilisateur. Nous avons un compte à rebours. Nous avons des haptiques et puis nous avons aussi un son d’alarme, toute l’UX, l’expérience utilisateur que nous avons conçue là-bas, et puis, bien sûr, lorsque nous appelons réellement les services d’urgence, en particulier, si l’utilisateur est inconscient, comment transmettons-nous les informations nécessaires pour qu’un preneur d’appel d’urgence puisse comprendre ce qui se passe et ensuite envoyer la bonne aide pour cet utilisateur ? Et c’est donc le travail que notre équipe a fait.

Et puis nous avons également travaillé avec des centres de réception d’appels de répartition d’urgence pour tester en quelque sorte notre flux afin de valider, hé, fournissons-nous les informations nécessaires pour qu’ils puissent trier ? Comprennent-ils les informations ? Et cela leur serait-il utile lors d’un événement automnal réel et nous avons passé l’appel pour l’utilisateur ?

MNH : Quel type d’informations seriez-vous en mesure d’obtenir de la montre pour les transmettre aux services d’urgence ?

Shi: Là où nous entrons en jeu, c’est essentiellement que tout l’algorithme a déjà fait son beau travail et dit, d’accord, nous avons détecté une chute brutale, puis dans notre expérience utilisateur, nous ne passons l’appel tant que nous n’avons pas donné à l’utilisateur une chance de l’annuler et de dire, hé, ça va. Donc, dans ce cas, maintenant, nous supposons que l’utilisateur était inconscient et avait fait une chute ou n’a pas répondu dans ce cas. Ainsi, lorsque nous passons l’appel, nous fournissons en fait un contexte pour dire, hé, la Pixel Watch a détecté une chute brutale potentielle. L’utilisateur n’a pas répondu, nous pouvons donc également partager ce contexte, et il s’agit de l’emplacement de l’utilisateur en particulier. Nous la gardons donc assez succincte parce que nous savons que des informations succinctes et concises sont optimales pour eux. Mais s’ils ont le contexte que la chute s’est produite et que l’utilisateur peut avoir été inconscient et l’emplacement, espérons-le, ils peuvent envoyer de l’aide à l’utilisateur rapidement.

MNH : Combien de temps a-t-il fallu pour se développer ?

Unadkat : Je travaille dessus depuis quatre ans. Ouais, ça fait un moment. Il a commencé il y a peu de temps. Et, vous savez, nous avons eu des initiatives au sein de Google pour en quelque sorte comprendre l’espace, collecter des données et des choses comme ça bien avant cela, mais avec cette initiative, cela s’est en quelque sorte terminé avec un peu plus petit et a commencé à augmenter.

Dans la deuxième partie de notre série, nous explorerons les défis auxquels les équipes ont été confrontées au cours du processus de développement et à quoi pourraient ressembler les futures itérations de la Pixel Watch.