Smart World project beeldherkenning met HoloLens

Hun eindbeoordeling werd beoordeeld met een negen. De vijf minorstudenten van Hogeschool Windesheim hebben hard gewerkt aan hun Smart World project. Van Allinq kregen ze de opdracht om een manier te bedenken om assets in het veld automatisch te herkennen met behulp van de HoloLens. Roel Hoppenbrouwers; New Technology Consultant en XR-developer bij Allinq Labs mocht de studenten begeleiden. Samen met hem blikken we terug.

Presenteren aan stagiairs

In september 2019 namen 52 enthousiaste bachelor studenten van Hogeschool Windesheim deel aan de verkennende workshop in Allinq Labs. Roel en zijn collega’s belichtten toen spannende thema’s als Augmented Reality, Virtual Reality, Digital Twinning en het gebruik van gaming-devices. Daarnaast werd er een LoRa-workshop over het programmeren van gaming-devices en het koppelen van sensoren gegeven. Roel: “We hebben regelmatig van dit soort meetings waarin we jong talent laten zien wat we doen. Om ze te laten kennismaken met ons mooie vak en onszelf te presenteren als potentiële stageplek. Op onze minorprojecten krijgen we tot nu toe altijd veel reacties, vooral het HoloLens-project was nu snel vergeven, die vonden ze het leukst.”

De opdracht – automatische herkenning

“Welke mogelijkheden zijn er om in het werkveld van een Field Engineer objecten (assets) automatisch te herkennen met behulp van de HoloLens en een specifieke werkinstructie te koppelen aan de desbetreffende asset?” Zo luidde de zeer ruime learning by doing-opdracht die de vijf geselecteerde studenten kregen. Naast twee schooldagen, had het team een half jaar lang de volledige beschikking over het lab. Wekelijks werd de voortgang met Roel doorgenomen. Roel: “De opdracht bakenen we bewust niet helemaal af, zodat de studenten zelf een toepassing kunnen kiezen. Het zijn hbo’ers, dus we verwachten dat ze het zelfstandig oppakken. Als ik het ga uitleggen, is er gelijk een oplossing. Ik wil graag weten hoe zíj het zouden doen. Daar leren zij van en dat is voor ons veel interessanter.” Via het samenwerkingsplatform Microsoft Teams, werden ideeën uitgewisseld en in blogs en peerreviews gepresenteerd aan andere Smart World teams en de schoolleiding.

De uitvoering – app voor HoloLens

Door intensief met elkaar samen te werken, heeft het team in relatief korte tijd veel voor elkaar gekregen. Roel: “Ze hebben een app gemaakt voor de HoloLens. Zodra je daar een foto mee maakt, herkent hij welk object er voor de lens staat en opent hij een pdf met de informatie over de betreffende asset. Het dashboard houdt keurig bij hoe vaak iets gescand wordt. Zo verzamel je data over de vraag. Wat ze hebben opgeleverd is dusdanig modulair dat we makkelijk in stukjes verder kunnen bouwen. Dat hebben ze echt goed gedaan. De interface is nog niet zo goed, maar dat was de opdracht ook niet. Dit geeft ons een mooie basis om op voort te borduren en daar zijn we dan ook volop mee bezig.”

Het vervolg – Augmented Reality Installatiehandleiding

Met een prachtige negen, heeft het Smart World team haar project inmiddels afgerond. Het resultaat belandt niet in een donkere bureaula, maar is inmiddels in handen van Roel en zijn collega’s. Roel: “We hebben er deels al wat mee gedaan. Zo hebben we een stuk van de code gebruikt om beeldherkenning ook in de Augmented Reality Installatiehandleiding van een van onze klanten te integreren. We hadden ontdekt dat veel eindgebruikers aanvankelijk aangaven dat ze zelf de installatie van hun modem willen doen, maar dat ze uiteindelijk tóch om een monteur vroegen. De papieren handleiding bleek te algemeen; waardoor de eindgebruiker veel dingen zelf moest kunnen inschatten, zoals het soort aansluiting dat er in zijn meterkast zat. We hebben daarom een slimme handleiding gemaakt. De eindgebruiker downloadt de app. Met die app en de gewone camera van de mobiele telefoon kan de eindgebruiker zijn meterkast fotograferen. Via beeldherkenning wordt het aansluitpunt in de meterkast herkend. Vervolgens wordt met Augmented Reality stap voor stap getoond hoe men het modem moet installeren.  Feitelijk is dit de basicode voor nog veel meer mooie toepassingen in de toekomst.”

De toekomst – Generative Adversarial Networks

Inmiddels onderzoekt Allinq Labs de mogelijkheden voor GAN; Generative Adversarial Network, waarmee de datamodellen getraind kunnen worden met maar een beperkte dataset. Roel: “Een glasvezelaansluitpunt, het FTU, is een wit rechthoek met weinig herkenningspunten. Dat is lastig herkennen voor een app. Met duizenden foto’s kan het datamodel getraind worden om zo de herkenningsgraad te verhogen. Met een GAN zou dit in theorie al met een paar foto’s kunnen. Elke keer tonen we met een Proof of Concept aan wat er kan en denken we verder over wat nog meer kan.” En die opties zijn eindeloos, alleen al binnen de Allinq Group: “Zoals voor Allinq Insite. Zij digitaliseren telecom-assets zoals telecomtorens door ze in te scannen en om te zetten in gedetailleerde 3D-modellen. We gebruiken feitelijk dezelfde data, waardoor we elkaar goed kunnen helpen. Zij kunnen ons helpen met digital twinning, wij kunnen hen helpen met bijvoorbeeld virtual reality voor het visualiseren van hun ingescande torens.”

Hardware als beperkende factor

Roel: “De HoloLens is echt geavanceerd. Het is slim, kan standalone een 3D-kaart van de omgeving maken door meerdere keren per seconde de ruimte te scannen met dezelfde technologie als de Kinect. Hij maakt alles wat je in de wereld plaatst virtueel. Als je deze techniek koppelt aan de Microsoft Azure Services met beeldherkenning, cognitieve services, custom vision en onze eigen datamodellen… dat is de technologie van de toekomst, daar geloof ik echt in. De software kan alles; nu al, de hardware is nu nog even de beperkende factor. We werken nu nog met de HoloLens één; een techniek die inmiddels bijna vijf jaar oud is. Die is niet ideaal om in het veld te gebruiken. De HoloLens twee vormt al een betere basis. Hij is besteld, maar nog niet leverbaar. Ook gaan de ontwikkelingen op AR-gebied erg snel, er zijn veel frameworks te gebruiken, gewoon op je telefoon, maar dan heb je je handen niet vrij. Of je telefoonscherm spiegelen in iets op je helm, ook dat is mooi. Er zijn nog veel ontwikkelingen, maar de technologie die we in handen hebben; die is de tijd ver vooruit.

Stage bij Allinq Labs?

Ben jij benieuwd naar de mogelijkheden van een stage bij Allinq Labs; we staan altijd open voor de energie van nieuwsgierige technisch studenten! Vraag ons of er een opdracht klaar ligt of stel ons zelf een interessant thema voor! Neem contact op met Allinq Labs manager Rutger van der Graaff via r.van.der.graaff@allinq.nl!