16 augustus 2024
Afgelopen week ontving ik mijn Hailo AI-module voor de Raspberry 5. Deze Hailo AI-versnellingsmodule kan met de nieuwe M.2 HAT+ bovenop een Raspberry 5 geplaatst worden. De Hailo AI-module bevat een neural processing unit (NPU) en is speciaal ontworpen voor ultrasnelle berekeningen en het gebruik van AI-algoritmen. Voor de juiste montage van de HAT+ is een 16 mm GPIO stack header meegeleverd, waarmee de GPIO-connector eenvoudig verlengd kan worden.
De AI-module heeft voldoende capaciteit voor het behalen van 13 tera-operations per second (TOPS). De neurale netwerkversneller is opgebouwd rond de Hailo-8L processor en heeft het formaat van een M.2 2242 module. Dit is een soortgelijke versneller als Google’s Coral TPU (Tensor Processing Unit). De Hailo-8L ondersteunt onder andere de AI-netwerken TensorFlow, TensorFlow Lite, Keras, PyTorch en ONNX. Om het versnellingsbord te testen, heb ik ook een Raspberry Pi 3-camera aangesloten. De Raspberry Pi 3-camera is gebaseerd op een Sony IMX708-camera met een resolutie van 4608 x 2592 pixels, ondersteunt 1080p50 video, heeft een standaard kijkhoek van 75 graden en is uitgerust met een Phase Detection Autofocus met een bereik van 10 cm tot oneindig.
Na het laden van de juiste dependencies en libraries zijn de Hailo-kernelapparaatstuurprogramma’s met firmware geïnstalleerd, de HailoRT middleware-software geïnstalleerd en een nieuwe serie rpicam-apps voorbereid. Na het opnieuw opstarten en testen van de camera was de setup van de AI-installatie compleet en konden de demoprogramma’s worden uitgevoerd. Standaard wordt een hele serie demo’s meegeleverd, waarmee direct geëxperimenteerd kan worden. Met de objectdetectiemodule is het mogelijk automatisch verschillende vooraf getrainde objecten te herkennen. Met de image segmentation is het mogelijk om herkende objecten te renderen en te voorzien van een kleurenmasker dat direct zichtbaar is in de zoeker. Ten slotte is er ook een pose-estimation beschikbaar, waarmee menselijke bewegingen met 30 frames per seconde (fps) worden weergegeven als een bewegende bottenstructuur, die kan dienen voor de besturing van avatars of bewegende 3D-objecten.
Het opbouwen van de hardware, installeren van libraries en dependencies en het inrichten van de Raspberry 5 is binnen een uurtje gebeurd. Laagdrempelig, snelle resultaten en de mogelijkheid om zelf kleine wijzigingen aan te brengen in de voorbeeldcode. Daarnaast beschikt Hailo over een uitgebreide community waarin gebruikers tips uitwisselen, elkaar ondersteunen met debugging en praktische issues, en waarin regelmatig overleg plaatsvindt over gewenste toekomstige features, bugs en versie-reviews.
Binnen toekomstige projecten voorzie ik vooral toepassingen in optische beeldherkenning, objecttelling en validatie in productielijnen, en kunstzinnige toepassingen waarin beeldherkenning leidt tot interactie met beeld, beweging en/of geluid. Mogelijkheden voor het versnellen van AI-toepassingen voor Predictive Maintenance en interpretatie van sensordata komen binnenkort aan de orde in een nieuw project. De kosten van de Hailo AI 8L-module liggen onder de €100, waarmee het een kostenefficiënte prestatieboost biedt wanneer er AI-toepassingen op een Raspberry moeten draaien.
