Zuletzt aktualisiert am 05.12.2025 8 Minuten Lesezeit

RNN

RNN (Recurrent Neural Network) ist eine Architektur künstlicher neuronaler Netze, die speziell für die Verarbeitung von sequenziellen Daten entwickelt wurde. Im Gegensatz zu klassischen Feedforward-Netzen besitzen RNNs rekurrente Verbindungen, die es ihnen ermöglichen, Informationen aus vorherigen Zeitschritten zu speichern und bei der Verarbeitung neuer Eingaben zu berücksichtigen. Diese Fähigkeit macht RNNs besonders geeignet für Aufgaben wie Sprachverarbeitung, Zeitreihenanalyse und maschinelle Übersetzung.

Wie funktioniert ein RNN?

Das Kernprinzip eines RNN basiert auf der Idee des Gedächtnisses: Bei jedem Zeitschritt nimmt das Netzwerk nicht nur die aktuelle Eingabe entgegen, sondern auch den Hidden State (versteckten Zustand) aus dem vorherigen Zeitschritt. Dieser Hidden State fungiert als eine Art Kurzzeit-Gedächtnis und enthält komprimierte Informationen über alle bisherigen Eingaben der Sequenz.

Der rekurrente Mechanismus

Stell dir vor, du liest einen Satz Wort für Wort. Bei jedem neuen Wort verarbeitest du nicht nur das aktuelle Wort, sondern nutzt auch dein Verständnis der vorherigen Wörter. Genau so arbeitet ein RNN: Es verarbeitet eine Sequenz Element für Element und aktualisiert dabei ständig seinen internen Zustand.

Für jeden Zeitschritt t:
  h_t = tanh(W_xh * x_t + W_hh * h_(t-1) + b_h)
  y_t = W_hy * h_t + b_y

Erklärung der Formel:

x_t: Eingabe zum Zeitschritt t
h_t: Hidden State (versteckter Zustand) zum Zeitschritt t
h_(t-1): Hidden State aus dem vorherigen Zeitschritt
W_xh, W_hh, W_hy: Gewichtsmatrizen (werden während des Trainings gelernt)
b_h, b_y: Bias-Terme
y_t: Ausgabe zum Zeitschritt t
tanh: Aktivierungsfunktion (Tangens hyperbolicus)

Das Vanishing Gradient Problem

Ein fundamentales Problem klassischer RNNs ist das Vanishing Gradient Problem (verschwindender Gradient). Beim Training mit Backpropagation Through Time (BPTT) werden die Gradienten mit jedem Zeitschritt multipliziert. Wenn diese Multiplikationsfaktoren kleiner als 1 sind, schrumpfen die Gradienten exponentiell und werden praktisch zu Null.

Das bedeutet: Bei langen Sequenzen können klassische RNNs keine Abhängigkeiten ueber viele Zeitschritte hinweg lernen. Wenn zum Beispiel ein wichtiges Wort am Anfang eines langen Textes steht, kann das Netzwerk diese Information nicht bis zum Ende der Sequenz transportieren. Dieses Problem führte zur Entwicklung von LSTM und GRU Architekturen.

LSTM: Long Short-Term Memory

LSTM (Long Short-Term Memory) wurde 1997 von Sepp Hochreiter und Juergen Schmidhuber entwickelt, um das Vanishing Gradient Problem zu lösen. Die Kernidee ist ein ausgeklügeltes Gating-System, das kontrolliert, welche Informationen gespeichert, aktualisiert oder vergessen werden sollen.

Die drei Gates eines LSTM

Ein LSTM besitzt drei sogenannte Gates (Tore), die den Informationsfluss steuern. Jedes Gate ist ein kleines neuronales Netz mit einer Sigmoid-Aktivierung, das Werte zwischen 0 (komplett blockieren) und 1 (komplett durchlassen) ausgibt:

Forget Gate (Vergessens-Tor): Entscheidet, welche Informationen aus dem Cell State entfernt werden sollen. Bei der Verarbeitung eines neuen Satzes könnte das Forget Gate beispielsweise das Geschlecht des vorherigen Subjekts vergessen, wenn ein neues Subjekt eingeführt wird.
Input Gate (Eingabe-Tor): Bestimmt, welche neuen Informationen in den Cell State aufgenommen werden. Es filtert die aktuellen Eingabeinformationen und entscheidet, was wichtig genug ist, um gespeichert zu werden.
Output Gate (Ausgabe-Tor): Kontrolliert, welche Teile des Cell States als Ausgabe und für den nächsten Hidden State verwendet werden. Nicht alle gespeicherten Informationen müssen für die aktuelle Vorhersage relevant sein.

Der Cell State

Das Besondere am LSTM ist der Cell State - ein separater Informationspfad, der relativ unverändert durch die gesamte Sequenz fließen kann. Während der Hidden State bei jedem Schritt stark transformiert wird, ändert sich der Cell State nur durch gezielte, additive Operationen. Diese Architektur ermöglicht es, Informationen ueber hunderte von Zeitschritten zu transportieren, ohne dass sie durch wiederholte Multiplikationen verschwinden.

GRU: Gated Recurrent Unit

GRU (Gated Recurrent Unit) wurde 2014 als vereinfachte Alternative zu LSTM entwickelt. Die Grundidee ist dieselbe - Gating-Mechanismen zur Kontrolle des Informationsflusses - aber GRU kombiniert einige Komponenten und kommt mit weniger Parametern aus.

Unterschiede zu LSTM

GRU verzichtet auf den separaten Cell State und kombiniert Hidden State und Cell State zu einem einzigen Zustandsvektor. Statt drei Gates verwendet GRU nur zwei:

Reset Gate: Bestimmt, wie viel vom vorherigen Hidden State bei der Berechnung des neuen Kandidaten-Zustands berücksichtigt wird
Update Gate: Entscheidet, wie viel vom alten Zustand beibehalten und wie viel vom neuen Kandidaten-Zustand übernommen wird

In der Praxis zeigen LSTM und GRU oft vergleichbare Leistung. GRU hat weniger Parameter, was zu schnellerem Training führt und bei kleineren Datensätzen Overfitting reduzieren kann. LSTM bietet dafür mehr Flexibilität durch den separaten Cell State.

Vergleich: RNN vs. LSTM vs. GRU vs. Transformer

Jede Architektur hat ihre Stärken und Schwächen. Hier ein Überblick der wichtigsten Unterschiede:

Architektur	Parameter	Langzeit-Gedächtnis	Training	Beste Anwendung
Vanilla RNN	Wenige	Schwach	Schnell	Kurze Sequenzen
LSTM	Viele	Sehr gut	Langsam	Lange Abhängigkeiten
GRU	Mittel	Gut	Mittel	Balance aus Geschwindigkeit und Leistung
Transformer	Sehr viele	Exzellent	Parallelisierbar	NLP, große Modelle

Moderne Sprachmodelle wie GPT basieren auf der Transformer-Architektur, die RNNs in vielen NLP-Aufgaben überholt hat. Der Hauptvorteil von Transformern ist die Parallelisierbarkeit - während RNNs Sequenzen Element für Element verarbeiten müssen, kann ein Transformer alle Positionen gleichzeitig betrachten. RNNs bleiben jedoch relevant für Echtzeitanwendungen und ressourcenbeschränkte Umgebungen.

Praktisches Beispiel: LSTM in Python

Hier ein einfaches Beispiel, wie du ein LSTM-Netzwerk mit PyTorch für die Klassifikation von Textsequenzen erstellen kannst:

import torch
import torch.nn as nn

class TextLSTM(nn.Module):
    def __init__(self, vocab_size, embedding_dim, hidden_dim, output_dim):
        super().__init__()
        # Embedding-Schicht: Wandelt Wort-IDs in Vektoren um
        self.embedding = nn.Embedding(vocab_size, embedding_dim)

        # LSTM-Schicht: Verarbeitet die Sequenz
        self.lstm = nn.LSTM(
            input_size=embedding_dim,
            hidden_size=hidden_dim,
            num_layers=2,           # Zwei gestapelte LSTM-Schichten
            batch_first=True,       # Batch-Dimension zuerst
            dropout=0.3,            # Dropout zwischen LSTM-Schichten
            bidirectional=True      # Bidirektional: liest vorwärts und rückwärts
        )

        # Ausgabeschicht: Klassifikation
        # hidden_dim * 2 wegen bidirectional
        self.fc = nn.Linear(hidden_dim * 2, output_dim)
        self.dropout = nn.Dropout(0.3)

    def forward(self, text):
        # text shape: (batch_size, seq_length)
        embedded = self.dropout(self.embedding(text))
        # embedded shape: (batch_size, seq_length, embedding_dim)

        lstm_out, (hidden, cell) = self.lstm(embedded)
        # hidden shape: (num_layers * num_directions, batch, hidden_dim)

        # Kombiniere die letzten Hidden States beider Richtungen
        hidden_concat = torch.cat((hidden[-2], hidden[-1]), dim=1)
        output = self.fc(self.dropout(hidden_concat))

        return output

# Modell initialisieren
model = TextLSTM(
    vocab_size=10000,      # Größe des Vokabulars
    embedding_dim=256,     # Dimension der Wort-Embeddings
    hidden_dim=128,        # Größe des Hidden States
    output_dim=5           # Anzahl der Klassen
)

print(f"Gesamtanzahl Parameter: {sum(p.numel() for p in model.parameters()):,}")

Anwendungsgebiete von RNNs

RNNs und ihre Varianten finden in zahlreichen Bereichen Anwendung, in denen sequenzielle Daten verarbeitet werden müssen:

Natural Language Processing (NLP)

Maschinelle Übersetzung: Übersetzung von Texten zwischen Sprachen (Encoder-Decoder Architektur)
Sentiment-Analyse: Erkennung von Stimmungen in Texten (positiv/negativ/neutral)
Named Entity Recognition: Identifikation von Personen, Orten, Organisationen in Texten
Textgenerierung: Automatische Vervollständigung und kreatives Schreiben
Chatbots: Dialogsysteme für Kundenservice

Zeitreihenanalyse

Aktienkursvorhersage: Prognose von Finanzmarktdaten
Wettervorhersage: Modellierung von Wetterdaten
IoT-Sensordaten: Anomalieerkennung in Sensornetzwerken
Energieverbrauch: Vorhersage des Strombedarfs

Weitere Anwendungen

Spracherkennung: Umwandlung von gesprochener Sprache in Text
Musikgenerierung: Komposition von Melodien und Harmonien
Handschrifterkennung: Erkennung von handgeschriebenem Text
Video-Analyse: Klassifikation und Vorhersage in Videosequenzen

Bidirektionale RNNs

Eine wichtige Erweiterung sind bidirektionale RNNs (BiRNNs). Sie verarbeiten eine Sequenz sowohl vorwärts als auch rückwärts und kombinieren die Informationen beider Richtungen. Das ist besonders nützlich, wenn der Kontext sowohl vor als auch nach einem Element relevant ist.

Beispiel: Im Satz "Die Bank am Fluss ist sehr idyllisch" hilft das Wort "Fluss" dabei, "Bank" als Sitzgelegenheit und nicht als Finanzinstitut zu interpretieren. Ein unidirektionales RNN hätte diese Information nicht, wenn es "Bank" verarbeitet. Ein bidirektionales RNN hat Zugang zu beiden Kontexten und kann die Bedeutung korrekt erfassen.

RNNs in der Praxis

Für Fachinformatiker für Anwendungsentwicklung sind RNNs ein wichtiger Einstiegspunkt in Deep Learning. Sie vermitteln grundlegende Konzepte wie sequenzielle Verarbeitung, Backpropagation Through Time und Gating-Mechanismen, die auch in moderneren Architekturen relevant bleiben.

In der Praxis werden RNNs heute oft durch Transformer-Modelle ersetzt, insbesondere bei NLP-Aufgaben. Dennoch bleiben sie relevant für Echtzeitanwendungen auf ressourcenbeschränkten Geräten, Zeitreihenanalysen und als Grundlage für das Verständnis moderner Sequenzmodelle. Frameworks wie PyTorch und TensorFlow bieten einfache APIs zur Implementierung von RNN, LSTM und GRU.

Quellen und weiterführende Links

Understanding LSTM Networks - colah's blog - Exzellente visuelle Erklärung von LSTMs
PyTorch RNN Documentation - Offizielle PyTorch-Dokumentation
TensorFlow RNN Guide - Offizieller TensorFlow-Guide
Original LSTM Paper (Hochreiter & Schmidhuber, 1997) - Das grundlegende LSTM-Paper
Learning Phrase Representations (GRU Paper) - Das Paper, das GRU einführte

Zurück zum Lexikon