Das neue Neuronennetz, genannt «reservoir computing system» oder Speicherrechnersystem, könnte Wörter vorhersagen, bevor sie in einer Unterhaltung gesagt werden. Das Netz könnte auch dabei helfen, zukünftige Ergebnisse auf der Basis der Gegenwart vorherzusagen. Das Forschungsteam, das unter Leitung von Professor Wei Lu von der University of Michigan das Speicherrechnersystem entwickelte, veröffentlichte ihren Bericht in «Nature Communications».
Memristoren lassen sich einfacher mit Siliziumelektronik integrieren
Speicherrechnersysteme, die ein typisches neuronales Netz hinsichtlich Kapazität und Trainingszeit verbessern, wurden in der Vergangenheit mit grösseren optischen Komponenten aufgebaut. Die jetzige Forschergruppe erstellte ihr System jedoch mit Memristoren, die einen geringeren Platzbedarf aufweisen und sich leichter mit der vorhandenen Siliziumelektronik integrieren lassen. Memristoren sind ein spezieller Widerstandstyp, der sowohl Logikfunktionen als auch die Speicherung von Daten ausführen kann. In einem typischen Computersystem lassen Prozessoren jedoch Logikfunktionen separat von den Speicherkomponenten ablaufen.
Im Rahmen der Studie verwendete das Lu-Team spezielle Memristoren, welche sich nur Vorgänge in der nahen Vergangenheit merken. Inspiriert durch Gehirne bestehen neuronale Netze aus Neuronen oder Nodes sowie Synapsen, den Kontakten zwischen den einzelnen Nodes. Um ein neuronales Netz für eine Aufgabe zu trainieren, nimmt das Netz zahlreiche Fragen und Antworten zu den Fragen auf. Bei diesem Prozess des kontrollierten Lernens werden die Verbindungen zwischen den Nodes schwerer oder leichter gewichtet, um auf dem Weg zur richtigen Antwort die Fehlerzahl gering zu halten. Ist ein neuronales Netz trainiert, kann es getestet werden, ohne dass es die Antwort weiss.
Komplexere Aufgaben können weitgehend abhängig vom Kontext sein
So kann ein System zum Beispiel ein neues Foto verarbeiten und ein Menschengesicht korrekt identifizieren, weil es die Einzelheiten eines Menschengesichtes von anderen Fotos im Trainingsset «gelernt» hat. Lu: «Oft dauert es Tage oder Monate, ein Netz zu trainieren. Und es ist sehr teuer.» Die Bilderkennung ist zudem ein relativ einfaches Problem, da es neben den Informationen vom statischen Bild keine weiteren Informationen benötigt.
Komplexere Aufgaben, wie die Spracherkennung, können weitgehend abhängig vom Kontext sein und es bedarf neuronaler Netze, die wissen müssen, was gerade geschah oder gesagt wurde. Prof. Lu: «Wenn Sprache in Text umgesetzt wird oder Sprachen übersetzt werden, unterscheidet sich der Sinn oder sogar die Aussprache eines Wortes in Abhängigkeit von den vorhergegangenen Silben.»
Training der sich wiederholenden neuronalen Netze ist besonders teuer
Das erfordert ein wiederkehrendes neuronales Netz, das unter anderem Schleifen innerhalb des Netzes aufweist, um dem Netz einen Speichereffekt zu geben. Laut Lu ist das Training dieser sich wiederholenden neuronalen Netze besonders teuer. Speicherrechnersysteme mit Memristoren können dagegen die meisten dieser Trainingsprozesse vermeiden und bieten dem Netz trotzdem ein Erinnerungsvermögen. Das kommt deswegen zustande, weil das wichtigste Systemteil – der Speicher – kein Training erfordert.
Wird das Reservoir mit Datensätzen gefüllt, identifiziert es die wichtigen zeitbezogenen Dateneigenschaften und gibt sie in einem vereinfachten Format an ein zweites Netz weiter. Dieses zweite Netz benötigt damit nur ein Training wie das der einfacheren neuronalen Netze. Die Gewichte der Eigenschaften und Ausgaben, die das erste Netz weitergab, werden dann so verändert, bis eine akzeptable Fehlerquote erreicht wird.
Speicherrechnersysteme eignen sich gut für variierende Daten
Das Team prüfte das Konzept des Speicherrechnersystems mit einem Test von Handschriften, ein üblicher Benchmark bei neuronalen Netzen. Nummern wurden in zwei Pixelreihen aufgebrochen und mit Spannungen wie bei einem Morsecode in einen Computer eingegeben. 0 V für ein dunkles Pixel und etwa 1 V für ein weisses Pixel. Nur 88 Memristoren als Nodes wurden für die Identifizierung von handgeschriebenen Zahlen verwendet. Ein herkömmliches Netz würde für diese Aufgabe Tausende von Nodes benötigen. Der Speicher erzielte eine Genauigkeit von 91 %.
Speicherrechnersysteme sind besonders gut geeignet für Daten, die mit der Zeit variieren, wie zum Beispiel ein Daten- oder Wörterstrom oder eine Funktion, die von früheren Ergebnissen abhängig ist. Um dieses zu demonstrieren, testete das Team eine komplexe Funktion, die von mehreren früheren Ergebnissen abhing, was in der Ingenieurstechnik öfter vorkommt. Das Speicherrechnersystem konnte die komplexe Funktion mit minimalem Fehler modellieren.
Dieses Forschungsprojekt ist Teil eines DARPA-Projekts, genannt «Sparse Adaptive Local Learning for Sensing and Analytics». Man erstrebt einen Computerchip, der auf selbstorganisierenden und adaptiven neuronalen Netzen basiert. Das Memristornetz wurde in der «Lurie Nanofabrication Facility» gefertigt.
Infoservice
University of Michiganwww.umich.edu
