Python Webscraping – Scannen van het aantal views op YouTube met Beautifulsoup BS4

26 januari 2021

Hoe mooi zou het zijn als er een scheepsbel rinkelt bij iedere nieuwe subscriber op een service, of een grote teller welke bij de entree van een pand aangeeft hoeveel nieuwe views of pagina visits er de afgelopen 24 uur hebben plaatsgevonden. Dat wat zich online afspeelt kan verbonden worden met de fysieke wereld, door interactie tussen webpagina’s en processoren zoals Raspberry, Arduino, ESP32 of STM32’s mogelijk te maken.

Een belangrijk onderdeel hierin is het monitoren van variabelen welke op webpagina’s getoond worden, zoals bijvoorbeeld het aantal views van een YouTube filmpje, het aantal likes op een Facebook post of het aantal opmerkingen bij bij LinkedIn bericht. Door het inzetten van webscraping is het mogelijk met vaste tijdsintervallen de status van dit soort variabelen op te zoeken en vast te leggen in een logfile. Deze logfile wordt ingezet om vooruitgang of achteruitgang te meten, waardoor er een dataset ontstaat waarmee processors getriggerd kunnen worden. Het real-time aansturen van lampen, alarmbellen, relais, stappenmotoren, servo’s en weergave op displays wordt hiermee mogelijk.

In mijn onderstaande proof of concept wordt een lijst van YouTube filmpjes met vaste tijdsintervallen gescand op het aantal views. Hiervan wordt vastgelegd wat de titel, het aantal views en het moment van registratie is. De variabele ‘vviews’ is numeriek en stuur de GPIO poorten van een Raspberry aan. De resultaten van de scans worden tevens opgeslagen in een CSV file welke bijvoorbeeld in Excel kunnen worden uitgelezen in een dashboard van een BI tool worden weergegeven.