Augmented Reality

Pour de nombreuses entreprises, la digitalisation de l’univers professionnel va aujourd’hui de soi. Dans la planification et l’engineering des installations de logistique, la digitalisation est déjà très avancée. Les exigences posées aux temps de traitement et de réaction ainsi que l’utilisation de technologies sophistiquées ont fortement augmenté au cours de ces dernières années. C’est ainsi que dans l’entrepôt, on utilise la réalité augmentée surtout pour les inventaires et la préparation des commandes. En revanche, son utilisation n’est encore que peu connue dans la mise en place et la maintenance efficace des installations logistiques. Si par exemple l’avancement du montage se trouve retardé, cela a des répercussions sur le temps de traitement du projet; une immobilisation et des temps de fonctionnement à vide se traduisent par des pertes de chiffre d’affaires et des frais supplémentaires. L’intervention du constructeur doit avoir lieu aussi vite que possible. À de multiples égards, le savoir-faire d’un spécialiste s’avère nécessaire. Dans de nombreux cas, cependant, celui-ci se trouve à une distance de plusieurs heures de trajet, et l’on perd un temps précieux. Pour les systèmes installés dans le monde entier, cela représente un facteur de coût considérable et cela risque d’entraîner le blocage de ressources précieuses pendant plusieurs jours. Si l’on tient en outre compte du fait qu’il ne faut au spécialiste que peu de temps pour résoudre le problème, il est évident que la durée du trajet de déplacement a une grande influence sur le temps d’immobilisation ou sur le temps de traitement.

On est donc amené à se demander comment les monteurs, techniciens de SAV, équipes de mise en service et clients peuvent recevoir sur place une assistance rapide et compétente grâce au savoir-faire des spécialistes. Comment éviter les interventions de service inutiles et les voyages à vide? L’utilisation de la réalité augmentée (RA) semble dans ce contexte être très prometteuse. Cela a incité Gilgen Logistics à lancer un projet pilote.

Gilgen Logistics a trouvé de précieux partenaires pour le développement: l’Institut d’informatique économique de la Haute école spécialisée du nord-ouest de la Suisse et le Computer Perception & Virtual Reality Lab de l’Institut de Human Centred Engineering de la Haute école spécialisée de Berne. Le projet a également été soutenu par Innosuisse, l’agence suisse pour la promotion de l’innovation.

Sachant que les fonctionnalités de base des lunettes de réalité mixte sont déjà utilisées aujourd’hui, l’équipe s’est concentrée sur le marquage et l’animation de composants de l’élément. De cette façon, l’assistant technique marque les composants du modèle virtuel en 3D, qui sont clairement mis en évidence en couleur. Les animations peuvent alors être utilisées pour montrer visuellement à l’opérateur l’ordre de montage, la position ou le réglage.

L’opérateur se trouve sur place et a sur l’installation un problème qu’il ne peut résoudre sans l’aide d’un spécialiste. L’opérateur met ses lunettes de RA. Par le biais du micro et de la voix sur IP, l’opérateur est alors en liaison avec un assistant technique. Celui-ci voit en direct les images de la caméra des lunettes de RA s’afficher sur son moniteur. Les lunettes utilisent un marqueur pour identifier le type de composant et télécharger les données 3D correspondantes sur le serveur de données de Gilgen Logistics. L’élément est ensuite augmenté, c’est-à-dire que le modèle 3D virtuel est affiché par-dessus l’élément réel. L’assistant technique dispose du même modèle 3D sur son PC et peut désormais marquer, montrer et cacher les différents composants défectueux à l’opérateur et le guider dans le processus de réparation, de montage ou de dépannage. L’opérateur garde à tout moment les deux mains libres pour travailler.

Pour ce projet pilote, il a fallu associer plusieurs technologies informatiques relativement nouvelles et complexes: Pour l’échange de données, plusieurs serveurs de réseau sont nécessaires. D’une part, cela garantit la continuité du flux de données pour la synchronisation 3D. Comme cet échange doit fonctionner avec une latence très faible, on se sert d’un logiciel également utilisé pour les jeux en ligne multijoueurs. D’autre part, il faut connecter les deux clients (HoloLens et application navigateur).

Pour la communication en temps réel, nous utilisons la technologie qui nous est familière dans les outils de vidéoconférence. Cela permet au navigateur web et à l’HoloLens d’échanger directement des flux vidéos et audios. L’HoloLens est connectée à internet via un réseau local sans fil (WLAN).

Pour cette application, Gilgen utilise les lunettes HoloLens de Microsoft. Ces lunettes de RA projettent dans la pièce où se trouve celui qui les porte des objets en 3D qui en réalité ne sont pas là. Cela se fait de manière stéréoscopique (séparément pour chacun des yeux) et en temps réel. L’aspect le plus important est que les lunettes peuvent déterminer très rapidement et précisément la position et l’orientation de la personne qui les porte et donc aussi la direction de sa vision. L’HoloLens perçoit l’espace à l’aide d’une caméra relief 3D à capteurs infrarouges. Pour générer les graphiques 3D, on utilise le moteur de jeu Unity. L’identification de la machine Gilgen et la position exacte déterminée par l’HoloLens sont assurées par un code QR.

Les objets en 3D projetés dans l’HoloLens sont également affichés dans le navigateur de l’assistant technique. Celui-ci peut toutefois faire pivoter le modèle en 3D à son gré. Mais l’innovation la plus importante de ce projet était que l’assistant technique pouvait sélectionner et mettre en évidence une pièce problématique dans sa vue en 3D de la machine. Cette sélection est alors transférée dans l’HoloLens. L’assistant technique peut ainsi donner à l’opérateur des instructions aussi précises que s’il se tenait à côté de lui.

«Le projet réalisé nous a montré que la réalité augmentée possède un fort potentiel dans le domaine de l’intralogistique», déclare pour conclure Daniel Fricker, responsable du développement. «La réalité augmentée permet d’améliorer la sécurité et la confiance du client dans sa gestion de l’installation. Ce projet pilote nous a permis d’élaborer la base de projets complémentaires, entre autres une connexion réseau entre l’installation et le département d’assistance technique de Gilgen, qui nous rapprochent de l’objectif «traitement efficace des projets de réalisation et suivi optimal des clients».

Notre responsable de l'ingénierie - Daniel Fricker - teste le tout nouveau Hololens 2 de Microsoft. Il sera bientôt utilisé en direct par les techniciens de service