Neue Lernpfade im IoT mit TinyML

Aller guten Dinge sind drei: Diese Maxime lässt sich auf die Welt der Technologie übertragen, wenn die Rede vom Internet der Dinge (IoT), maschinellen Lernen (ML) und TinyML ist. Das erste Konzept bezieht sich auf physische Gegenstände, die in einem Netzwerk verbunden sind, um Daten zu sammeln und auszutauschen. Für Fachleute ist der Umgang damit bereits gang und gäbe – und auch unter Laien wird IoT mittlerweile immer geläufiger. Das zweite Konzept ist durch den Aufruhr um ChatGPT in aller Munde: Maschinelles Lernen befähigt dieses KI-Programm, menschliche Sprache zu reproduzieren und allgemeine Fragen zu beantworten. Das dritte Konzept, TinyML, stellt eine Kombination aus den ersten beiden dar.

Bei TinyML handelt es sich um das Feld, welches Algorithmen des maschinellen Lernens nutzt, um per IoT generierte, große Datenmengen in Erkenntnisse umzuwandeln. Diese Art von Intelligenz kann die Entscheidungsfindung unterstützen und Automatisierungsinitiativen in verschiedenen Branchen zu neuen Höhenflügen verhelfen.

Wie schafft es die Zusammenführung von IoT und ML, so viele Vorteile hervorzubringen? Einerseits lassen sich IoT-Daten aus verschiedenen Quellen verwenden, um Algorithmen für maschinelles Lernen zu trainieren. Andererseits können ML-Algorithmen die Fähigkeit von IoT-Geräten verbessern, Echtzeitdaten an den Netzwerkrändern besser zu verarbeiten und zu analysieren, wodurch die Latenzzeit verringert wird.

Ein denkbar Praxisbeispiel: Sensoren in Industrieanlagen werden nach dem Training durch Algorithmen des maschinellen Lernens künftig in der Lage sein, Temperaturdaten in Echtzeit zu analysieren. So könnte das System schon vor der Notwendigkeit vorbeugender Reparaturen eine Warnung abgeben – selbst, wenn sie zu verschiedenen Jahreszeiten oder an wechselnden Orten eingesetzt werden.

Aber was macht das dritte, eingangs erwähnte Konzept TinyML nun genau aus? Diese Technologie zielt darauf ab, die Leistungsfähigkeit des maschinellen Lernens auf extrem kleine Geräte mit sehr begrenzter Rechenleistung, Speicherplatz und Energieressourcen zu übertragen.

TinyML-Algorithmen werden speziell für diese kompakten Geräte entwickelt, die im Internet der Dinge weit verbreitet sind. Sie sind hochgradig optimiert, um komplexe Aufgaben wie Bild- und Audioerkennung zu erfüllen.

Das Potenzial der kleinen TinyML-Technologie spiegelt sich in großen Zahlen wider: Laut einer Studie von ABI Research werden die TinyML-Installationen von fast 2 Milliarden (2022) auf mehr als 11 Milliarden (2027) steigen. „Ein gemeinsames Thema des TinyML-Marktes ist die Idee, maschinelles Lernen überall einzusetzen. Es gibt viele denkbare Anwendungsfälle: Denken Sie an jede Art von Sensordaten und es wird wahrscheinlich ein ML-Modell geben, das auf diese Informationen angewendet werden kann. Sensoren für Geräusche und Umgebungsbedingungen sind nach wie vor am bekanntesten und dürften das enorme Wachstum von TinyML-Geräteinstallationen vorantreiben“, prognostiziert Lian Jye Su, leitender Forschungsanalyst bei ABI Research.

Bei der Integration von TinyML in das IoT geht es also darum, drei vielversprechende Technologien zusammenzubringen: das Internet der Dinge selbst, die Möglichkeiten des maschinellen Lernens und die Miniaturisierung von Geräten unter Beibehaltung der Fähigkeit, komplexe Aufgaben bei minimalem Stromverbrauch durchzuführen. Dieser Prozess erfordert Fachwissen in den Bereichen Hardware- und Softwareoptimierung, Data Science und künstliche Intelligenz.

Diese Voraussage klingt bereits sehr vielversprechend – aber wie sieht eine weitere Optimierung aus, wenn 5G, Edge Computing und immer ausgefeiltere Sensoren hinzukommen? Die Möglichkeiten: zum einen eine schnellere Datenübertragung mit 5G sowie geringere Latenzzeiten mit fortschrittlicheren Edge-Computing-Ressourcen. Dazu kommen verbesserte Sensoren, die immer vielfältigere und genauere Daten erfassen können. Diese drei technischen Fortschritte könnten zu bisher unvorstellbaren Veränderungen in der Tech-Branche führen.

Das richtige Lernen lernen

Indem winzige Geräte wie IoT-Sensoren anhand von Modellen des maschinellen Lernens trainiert werden, lernen sie vor allem eins: mehr Daten zu nutzen, um bessere Vorhersagen zu treffen. Allerdings erfordert der Trainingsprozess viel Speicherplatz, der normalerweise nicht zur Verfügung steht.

Um diese Sackgasse zu überwinden, haben Forscher des MIT und des MIT-IBM Watson AI Lab eine neue Trainingstechnik entwickelt, die weniger als ein Viertel Megabyte Speicherplatz benötigt. Zum Vergleich: Andere Lösungen benötigen bis zu 500 Megabyte, was die Kapazität der meisten IoT-Geräte weit übersteigt. Der neue Ansatz kann indes innerhalb von wenigen Minuten angewendet werden und wahrt zudem die Privatsphäre, da die Daten auf dem Gerät selbst verbleiben. Zusätzlich ermöglicht die Methode, die Genauigkeit der Ergebnisse sogar zu verbessern. Außerdem lässt sich das Modell an die Anforderungen der Nutzer anpassen.

„Unsere Lösung ermöglicht es IoT-Geräten, nicht nur Schlussfolgerungen zu ziehen, sondern auch KI-Modelle anhand von neu gesammelten Daten kontinuierlich zu aktualisieren. Auf diese Weise ebnet das Programm den Weg, dass die Geräte während der gesamten Lebensdauer dazulernen. Durch die geringe Ressourcennutzung wird Deep Learning leichter zugänglich und kann eine größere Reichweite haben – insbesondere für Edge-Geräte mit geringem Stromverbrauch“, sagt Song Han, Mitglied des MIT-IBM Watson AI Lab und leitender Autor des Aufsatzes, der die Innovation thematisiert.

Die Forscher setzten zwei algorithmische Lösungen ein, um den Trainingsprozess effizienter zu gestalten und weniger Speicherplatz zu benötigen. Die erste ist das Sparse Updating: Hier kommt ein Algorithmus zum Einsatz, der nur wichtigsten Datenelemente ermittelt, die in jeder Trainingsrunde aktualisiert werden.

Die zweite Lösung beinhaltet ein quantisiertes Training und eine Vereinfachung der Elemente, die in der Regel 32 Bits benötigen. Ein Algorithmus rundet diese so ab, dass sie nur noch aus 8 Bits bestehen, wodurch sich der Speicherbedarf für Training und Schlussfolgerungen verringert. Anschließend wird eine Technik namens Quantization-Aware Scaling (QAS) angewandt: Diese soll eine Verschlechterung der Genauigkeit zu vermeiden, die durch quantisiertes Training entstehen könnte.

Darüber hinaus haben die Forscher einen Trainingsmotor entwickelt, der diese Algorithmen auf einem einfachen Mikrocontroller ohne Betriebssystem ausführen kann.

Das neue System fand Anwendung, um ein Computer-Vision-Modell zu trainieren, das auf die Erkennung von Personen in Bildern abzielt. Nach nur 10 Minuten Training hat die Lösung erfolgreich gelernt, die Aufgabe zu erfüllen. Das System war dann in der Lage, ein Modell 20-mal schneller zu trainieren als andere Ansätze – das sagen jene Forscher, die diese Lösung auch auf Sprachmodelle und andere Datentypen anwenden. Gleichzeitig möchten sie versuchen, die Datengröße komplexerer Modelle zu verringern, ohne deren Genauigkeit zu beeinträchtigen.

Hinter dem Projekt stehen mehrere Unternehmen, die die Forschungs- und Entwicklungsarbeiten finanzieren: die National Science Foundation, das MIT-IBM Watson AI Lab, das MIT AI Hardware Program, Amazon, Intel, Qualcomm, Ford Motor Company und Google.