Het knelpunt van machine learning is zelden het model. Het is gelabelde data. In computer vision teken je bounding boxes. In NLP tag je entiteiten. Maar bij sensordata — microfoon, radar, touch, IMU — is het labelen van tijdreeksen traag, duur en foutgevoelig. Je scrollt door uren aan metingen en hebt domeinkennis nodig om te weten wat er op elk moment gebeurde.
Tijdens mijn masterproject bij R2R Engineering liep ik hier letterlijk tegenaan. We wilden een zorgrobot slimmer maken met machine learning, maar kwamen vast op het labelen van tienduizenden sensormetingen. Die ervaring leidde tot een aanpak die we samen hebben doorontwikkeld — en die nu beschikbaar is als AutoAnnotate, een initiatief van IMeTech Engineering en R2R Engineering. In dit artikel leg ik uit hoe dat werkt en waarom het verschil maakt. Wie de achterliggende strategieën dieper wil begrijpen, leest ook Automatiseren van sensordata-annotatie voor Machine Learning.
Een initiatief van IMeTech Engineering & R2R Engineering
Het project: van statische robot naar contextbewuste interactie
R2R Engineering ontwikkelt sociale assistentierobots, waaronder Maatje Pop — een humanoïde pop voor ouderen en mensen met cognitieve beperkingen. De robot biedt ondersteuning via dagelijkse herinneringen, berichten van zorgverleners en eenvoudige interacties. Het bestaande gedrag was voorspelbaar: een sensortrigger leidde tot een vaste reactie, zonder context of geheugen.
Het doel van het project was een adaptief interactiemodel: de robot moest leren wanneer ze moet reageren en welk type interactie passend is, op basis van multi-modale sensordata (microfoon, radar, touch, IMU, omgevingslicht). Dat vereiste twee ML-modellen: een binair model dat beslist of de robot moet reageren, en een multi-label model dat het interactietype kiest uit tien gedefinieerde categorieën.
Beide modellen hebben duizenden gelabelde voorbeelden nodig om betrouwbaar te generaliseren. We bouwden een webinterface waarmee observers in real time konden labelen terwijl ze de robot en gebruiker observeerden. Dat werkte — maar het schaalde niet. Handmatig labelen kostte weken en hield het team vast in herhaalwerk in plaats van vooruitgang.
Maatje Pop is hier de use case, niet het onderwerp van dit artikel. Het patroon is herkenbaar voor elk ML-project met sensordata: je hebt labels nodig, handmatig labelen is de bottleneck, en je zoekt een manier om op te schalen zonder de kwaliteit in te leveren.
Het inzicht: sensoren zien niet alles
Embedded sensoren registreren dat er iets gebeurt — geluid, beweging, aanraking — maar niet altijd wat er gebeurt. Een microfoon registreert dat er geluid is, maar niet of iemand de pop oppakt, troost of er passief langsloopt. Radar detecteert beweging, maar niet of die beweging een begroeting of fysieke activiteit betekent.
De doorbraak was een camera als externe observatiebron, naast de sensoren. De camera streamt parallel mee en registreert visuele events: een persoon die binnenkomt, een hand die de pop vastpakt, iemand die lang stilzit. Die events worden op hetzelfde tijdstip gekoppeld aan de sensordata. Zo ontstaan gelabelde trainingsvoorbeelden zonder dat iemand elke seconde handmatig hoeft te annoteren.
Technisch is dit weak supervision: heuristieken en vision-modellen genereren labels programmatisch in plaats van handmatig per sample. We bouwden een twee-tier pipeline:
Tier 1: netwerkcamera-analytics
Ingebouwde detecties van de netwerkcamera: persoon gedetecteerd → begroeting; spraakactiviteit → gespreksstarter; loitering → fysieke activiteit. Geen extra infrastructuur nodig — de camera stuurt events via webhooks naar de annotatieserver.
Tier 2: custom vision model
Voor fijnmazige interacties die Tier 1 niet ziet: hand + pop overlap → oppakken of troosten; persoon + pop in de buurt zonder contact → passief feedback. Een op maat getraind object detection-model herkent pop, hand en persoon in het camerabeeld.
Beide tiers schrijven timestamped labels naar dezelfde database, gesynchroniseerd met de sensormetingen. Het resultaat: een supervised learning-dataset waar elke sensor-snapshot gekoppeld is aan het juiste interactielabel — gegenereerd door de camera, niet door een mens die urenlang tijdreeksen doorscrollt.
Zo werkt AutoAnnotate
Uit die samenwerking is AutoAnnotate voortgekomen — samen opgezet door IMeTech Engineering en R2R Engineering om deze aanpak beschikbaar te maken voor andere teams met hetzelfde probleem. Het platform vertaalt de technische pipeline naar vier stappen:
Opnemen
Camera's naast je sensoren nemen beeld en metingen tegelijk op, op één gesynchroniseerde tijdlijn.
Herkennen
De software herkent op het beeld wat er gebeurt: een persoon, een gebaar, een handeling.
Koppelen
Wat de camera ziet wordt automatisch gekoppeld aan de sensordata van datzelfde moment.
Exporteren
Gelabelde data in gangbare formaten, klaar om je model mee te trainen — zonder extra omzetstappen.
Drie dingen maken AutoAnnotate anders dan generieke annotatietools:
Privacy by design. Beeld en meetgegevens blijven bij jou. AutoAnnotate is gemaakt om lokaal te draaien — je hoeft niets verplicht naar een cloud van een derde te sturen. Cruciaal in omgevingen waar persoonsgegevens en AVG/GDPR een rol spelen, zoals de zorg.
Consistentie. Handmatig labelen leidt tot wisselende kwaliteit: iedereen schrijft het net anders op. Een geautomatiseerde pipeline genereert herhaalbare labels met dezelfde regels, elke keer opnieuw.
Schaal. Meer data verzamelen zonder evenveel extra mensen. Waar handmatig labelen weken kost, levert dezelfde periode met AutoAnnotate een veel grotere, consistente dataset op.
Handmatig vs. AutoAnnotate
Handmatig labelen
- Weken tot maanden voor een bruikbare dataset
- Domeinexpertise vereist per annotatie
- Wisselende kwaliteit tussen annotators
- Kosten groeien lineair met elk project
- Moeilijk op te schalen zonder extra mensen
Met AutoAnnotate
- Labels in uren in plaats van weken
- Camera + AI doet het zware werk
- Consistente, herhaalbare annotaties
- Lokaal draaiend, privacy by design
- Meer data zonder evenveel extra capaciteit
Bewezen bij Maatje Pop
AutoAnnotate is geen theoretisch concept — het is getest en gevalideerd in de praktijk bij SAR Maatje Pop. Samen met R2R Engineering hebben we de auto-annotatiepipeline ingezet naast de bestaande sensoren en robot. Het resultaat:
Meer dan 160.000 gelabelde samples verzameld, met een handmatige review die 96% nauwkeurigheid van de auto-gegenereerde labels bevestigde. Het labelen ging tot wel 100× sneller dan volledig handmatig werken. De geëxporteerde data sloot direct aan op het bestaande trainingsproces — geen extra omzetstappen nodig.
De ML-modellen die op deze data zijn getraind, draaien inmiddels op de embedded hardware van de robot. Van ruwe sensordata tot werkend model op het apparaat — de volledige keten is bewezen.
Eerlijkheid: niet elk interactietype was even eenvoudig automatisch te labelen. Simpelere events zoals begroetingen en fysieke activiteit scoorden het hoogst. Complexere types — zoals het starten van een gesprek bij gedeeltelijke camerablokkade — vroegen om verfijning van de detectieregels of handmatige controle van grensgevallen. Dat is normaal bij weak supervision en precies waarom we een hybride aanpak aanbevelen: automatiseren waar het kan, menselijk nakijken waar het moet.
Het team bij Maatje Pop merkte het verschil direct. Zoals de projectcoördinator het formuleerde: "Sinds we AutoAnnotate gebruiken, hoeven we veel minder handmatig te labelen. Zo hebben we sneller bruikbare data en blijft de kwaliteit van de annotaties stabiel."
Waar AutoAnnotate verder werkt
De aanpak is niet beperkt tot zorgrobots. Overal waar sensordata een ML-model voedt en de context visueel waarneembaar is, kan AutoAnnotate het labelproces versnellen:
Zorgrobots
Sensoren op de robot of in de kamer, met camera's: automatisch duidelijke voorbeelden van gebaren, houdingen en interacties.
Draagbare sensoren & valdetectie
Sensoren om het lichaam, met camera's: automatische annotaties om valalarmen slimmer te maken.
Retail & gedrag
Sensoren in de winkel met camera's: automatisch inzicht in drukte en looproutes, handig voor planning.
Agrarisch
Sensoren bij vee met camera's: gedrag en gezondheidssignalen automatisch bij elkaar gezet.
Waarom we AutoAnnotate beschikbaar maakten
Het annotatieprobleem is universeel. Elke engineer die een ML-model bouwt op sensordata loopt tegen hetzelfde aan: het model is haalbaar, de data is beschikbaar, maar de labels ontbreken. Onze oplossing ontstond niet uit een productidee op papier, maar uit noodzaak tijdens het Maatje Pop-project.
Samen met R2R Engineering hebben we de pipeline gebouwd en gevalideerd: IMeTech de technische kant (data pipeline, computer vision, ML), R2R de zorgrobot en praktijkomgeving. Omdat we bij andere projecten hetzelfde knelpunt zagen, hebben we AutoAnnotate samen opgezet als platform — een initiatief van beide bedrijven.
AutoAnnotate maakt deze aanpak nu toegankelijk voor teams die hetzelfde probleem hebben. Of je nu een zorgrobot, een IoT-product of een industriële sensoropstelling ontwikkelt: als je ML-modellen wilt trainen op sensordata, is gelabelde data je bottleneck. AutoAnnotate helpt die bottleneck wegnemen.
Benieuwd hoe dit voor jouw project werkt? Plan een gratis demo op autoannotate.nl. Je kunt ook contact opnemen met IMeTech om je ML- of sensordata-uitdaging te bespreken.