Die Wissenschaftler nutzen eine Technik des Maschinellen Lernens, das so genannte Reinforcement Learning, um die Leistung von Wärmepumpen in Wohnanlagen zu optimieren. Ihre Simulationen haben gezeigt, dass so erhebliche Einsparungen erzielt werden können, ohne den Komfort zu beeinträchtigen.
Wissenschaftler des DLR-Instituts für Softwaretechnologie, der Universität Oldenburg und des Fraunhofer Instituts für Fertigungstechnik und angewandte Materialforschung schlagen vor, das sogenannte Verstärkungslernen (Reinforcement Learning, kurz RL, eine Technik des Maschinellen Lernens) einzusetzen, um die Nutzung von Wärmepumpen für die Raumheizung in großen Wohnkomplexen zu optimieren. 
RL lehrt Agenten, in dynamischen Umgebungen optimale Entscheidungen zu treffen. Sie lernen von der Umgebung, indem sie Belohnungen oder Bestrafungen erhalten.
„Ein entscheidender Schritt beim Entwurf eines RL-Ansatzes für die Gebäudesteuerung ist die Auswahl einer sinnvollen Belohnungsfunktion“, erklären die Wissenschaftler. „Dies ist zwingend erforderlich, um dem Agenten das nötige Feedback zur Optimierung seines Verhaltens zu geben. Bei der Steuerung der Raumheizung wird diese Belohnungsfunktion häufig anhand der Raumtemperatur und der Komfortbereiche der Bewohner entworfen.“
Modellierung einer 100-Kilowatt-Wärmepumpe
Das Forscherteam hat eine Umgebungsmodellierung eines privaten Wärmenetzes mit einem Warmwasserspeicher als Wärmespeicher erstellt, ohne ein Gebäudemodell zu benötigen, und eine 100-Kilowatt-Wärmepumpe auf Basis einer temperaturabhängigen Leistungszahlkurve (COP) simuliert. „Der Agent lernt, sowohl unter perfekten Prognosebedingungen als auch auf der Grundlage von Bedarfsprognosen zu arbeiten“, heißt es weiter.
Das RL-basierte Betriebskonzept soll den Komfort nicht beeinträchtigen und den Wärmebedarf der Bewohner zu jeder Zeit decken. Trainiert wurden die Agenten mit einem Algorithmus zur proximalen Optimierung (proximal policy optimization, PPO), der üblicherweise im Bereich des verstärkenden Lernens eingesetzt wird, um die Entscheidungsfunktion eines Computeragenten für die Bewältigung schwieriger Aufgaben zu trainieren. „Das Konzept wendet einen ‚proximalen‘ Ansatz an, indem es einen Clipping-Mechanismus in die Zielfunktion einführt“, erklärt das Team.
Stromkosten sinken um 35 Prozent
Bei ihrer Analyse wurden Parameter wie die Gesamtstromkosten, die durch den Wärmebedarf sowie den durch Wärmeverluste verursachten Stromkosten, der Gesamtstromverbrauch der Wärmepumpe, die Anzahl der Ein-/Ausschaltvorgänge der Wärmepumpe, die durchschnittliche und die maximale elektrische Leistung der Wärmepumpe sowie der durchschnittliche und der maximale Ladezustand des Warmwasserspeichers berücksichtigt. Der Versuchsaufbau wurde virtuell in einem Wohnkomplex mit 100 Wohneinheiten und 7.000 Quadratmetern Wohnfläche bei einem Raumwärmebedarf von 25-28 Kilowattstunden pro Quadratmeter und Jahr eingesetzt.
Den Wissenschaftlern zufolge zeigt ihre Analyse, dass das System die Stromkosten um etwa 35 Prozent senken kann, da sie variable Strompreise ausnutzt und gleichzeitig den Gesamtenergieverbrauch der Wärmepumpe um bis zu 15 Prozent reduziert.
„Darüber hinaus zeigen wir, dass der intelligente Betrieb von Wärmepumpen nicht die volle installierte elektrische Nennleistung benötigt. Das könnte die und Investitionskosten senken“, fügen sie hinzu. „Die Robustheit des Ansatzes wird durch die Durchführung von zehn unabhängigen Trainings- und Testzyklen für alle Setups mit reproduzierbaren Ergebnissen gezeigt.“
Die Forscher haben das neuartige Verfahren in dem Artikel „Forecast-based and data-driven reinforcement learning for residential heat pump operation“ vorgestellt, der in der Zeitschrift Applied Energy veröffentlicht wurde.
„Verbesserungen für weitere Studien könnten darin bestehen, die Komplexität der Umgebung zu erhöhen“, so die Wissenschaftler über die zukünftige Ausrichtung ihrer Arbeit.
Dieser Inhalt ist urheberrechtlich geschützt und darf nicht kopiert werden. Wenn Sie mit uns kooperieren und Inhalte von uns teilweise nutzen wollen, nehmen Sie bitte Kontakt auf: redaktion@pv-magazine.com.
Popular content
