202205Note:A Deep Reinforcement Learning Framework for theFinancial Portfolio Management Problem

Abstract

    金融投资组合管理是将资金不断分配到不同的金融产品，以期获得更大累计收益的过程。本文展示了一个不使用金融模型的强化学习框架，为投资组合管理问题提供深度机器学习解决方案。该框架包括 EIIE(完全相同的独立评估者的集合)拓扑、投资组合内存、在线随机批量学习，和针对即时奖励的奖励函数。本研究中该框架在三种情况下得到实现：卷积神经网络（CNN）、基础循环神经网络（RNN）和长短期记忆网络（LSTM）。它们和大量近期评审或公布的投资组合选择策略经历了三次后验测试实验，实验中加密货币市场的交易周期是 30 分钟。加密货币是一种去中心化的电子货币，其中最著名的就是比特币。该框架的三种实例在所有实验中稳稳占据前三名的位置，优于其他交易算法。尽管后验测试中的佣金率高达 0.25%，该框架仍然能够在 50 天内使收益至少是原来的 4 倍。

Introduction

提到四种传统投资组合管理方法

1.Follow the Winner - 尝试渐近地实现与最佳策略相同的增长率（预期的日志返回），这通常基于CGT。 
2.Follow the Loser-将财富从获胜的资产转移到输家，这似乎与常识矛盾，但从经验得出往往会达到明显更好的表现。
3.Pattern Matching–based approaches- 试图基于历史数据采样来预测下一个市场分布和基于采样分布来明确优化产品组合。 
4.Meta-Learning Algorithm(MLAS) - 虽然上面这三个类别聚焦单一策略（类），但还有一些其他策略关注多种策略(类)。元算法(MAs)它通过自适应地组合来自基本优化算法池的迭代来工作

小小dis了下价格预测

    许多人试图预测价格变动或趋势，以所有资产的历史价格作为输入，神经网络可以输出下一时期资产价格的预测向量。这个想法很容易实现，因为它是一个监督学习，或者更具体地说是一个回归问题。然而，这些基于价格预测的算法的性能在很大程度上取决于预测的acc，但事实证明，未来的市场价格很难预测。

离散交易信号

xxxx

可扩展性的必要性

    市场行为可以离散化，但离散化被认为是一个主要缺点，因为离散化的行为会带来未知风险。例如，一个极端的离散行为可能被定义为将所有资本投资于一项资产，而不将风险分散到市场的其他部分。此外，离散化的规模非常大。市场因素，如总资产的数量，因市场而异。为了充分利用机器学习对不同市场的适应性，交易算法必须具有可扩展性。

本文的重点思想框架

    本文提出了一个专门为项目组合管理任务设计的RL框架。该框架的核心是相同独立评估器（EIIE=Ensemble of Identical Independent Evaluators 完全相同的独立评估者的集合）拓扑的集成。IIE是一种神经网络，其工作是检查资产的历史并评估其近期的潜在增长。每个资产组的评估分数根据其在组合中资产的有意权重变化的大小进行贴现，并呈现给softmax层，其结果将是下一交易期的新组合权重。除市场历史记录外，EIIE中还输入了前一交易期的投资组合权重。这需要RL代理人考虑交易成本对其财富的影响。所以将每个时期的投资组合权重记录在投资组合向量