Neue Wege zur Optimierung von Kundenportfolios mit Reinforcement Learning
Portfolio-Optimierung
Zielsetzung
Auf den Finanzmärkten werden zukünftige Zustände von den Handlungen vieler Entscheidungsträger bestimmt. Reinforcement Learning (RL) ist ein Teilbereich des maschinellen Lernens, in dem ein Akteur im Rahmen eines sequentiellen Entscheidungsfindungsprozesses mit der Umwelt interagiert. Der Agent wählt bei jedem Schritt eines solchen Prozesses unter vielen möglichen Aktionen aus, um eine kumulative Gesamtbelohnung zu maximieren. Portfolio-Optimierung sich lässt sehr gut mit dem RL-Ansatz modellieren: Bei der Konstruktion eines Portfolios besteht das Ziel darin, in einem sequentiellen Entscheidungsfindungsprozess die Vermögenswerte im Portfolio die Erträge zu maximieren und gleichzeitig das Risiko zu minimieren.
Erkenntnisse & Aktivitäten
Mit dem RL-Ansatz zur Lösung dieses Portfolio-Optimierungs-Problems sind folgende Schritte vorzunehmen:
- Ein Agent erhält Informationen über den aktuellen Zustand des Marktes
- Er führt eine Aktion auf dem Markt durch, indem er Gewichte im Portfolio zuweist
- Diese Aktionen, zusammen mit anderen externen Aktionen, bringen das Marktumfeld in einen neuen Zustand
- Der Agent erhält eine Belohnung auf Basis des Portfoliowerts nach Anwendung der Gewichtung
- Dieser Zyklus wird mit dem Ziel wiederholt, eine Vorgehensweise («Policy») zu erlernen, welche die zukünftige erwartete Gesamtbelohnung («Lifetime Reward») maximiert.
Ergebnisse
Knowledge Lab wählt einen RL-Ansatz zur Portfoliooptimierung anstelle der Standard-Portfoliomanagement-Ansätze, da wir mit RL in der Lage sind, Strategien über Anlagen und Märkte hinweg unabhängig vom Schulungsuniversum zu verallgemeinern. Der RL-Ansatz übertrifft erwiesenermassen die modernen Portfoliomanagement-Ansätze (siehe z.B. Filos A., Reinforcement Learning for Portfolio Management, ArXiv, abs/1909.09571 (2019)).
.png)
.png)
