earticle

영어

Harry Markowitz's works on portfolio optimization were published nearly 70 years ago. However, studies of potential methodologies are still being conducted in order to achieve better asset allocation results. Deep reinforcement learning has recently been applied to a wide range of industries, including games, robotics, autonomous vehicles, and data cooling systems. A method known as reinforcement learning enables automated asset allocationwithout the need for ongoingmonitoring. It has the authority to set its own policies. This paper's goal is to conduct an empirical analysis of the performance of two asset allocation strategies. One is the Hierarchical Risk Parity(HRP), the risk-based asset allocation strategy, and the asset allocation strategy using the Soft Actor-Critic (SAC) reinforced learning algorithmis the other. Because the reinforcement learning agent detects and responds quickly to changes in the financial market environment, the asset allocation strategy based on the SAC can avoid unexpected losses while maintaining profit opportunities in terms of Sharpe ratio. Second, when compared to the HRP's performance, the asset allocation strategy based on the SAC performed well even when asset classes were highly correlated. This paper demonstrates how the development of a reinforcement learning algorithm can benefit asset allocation. In this context, research on asset allocation strategies using reinforcement learning technique is not only an important academic research topic, but also a key topic of interest in the advancement of robo-advisors.

한국어

자산배분 전략은 비체계적 위험을 낮추기 위한 계량 모델로 해리 마코위츠가 현대 포트폴리오 이론을 기반으로 발전하였으며, 오늘날에는 다 양한 통계 기법과 기계학습 기법에 따라 자산배분 전략을 수립하고 있다. 최근 기계학습 분야 중의 하나인 강화학습의 폭발적 성장을 통해 자산 배분 전략 관련 국내 연구들이 수행되고 있지만, 여전히 미흡한 수준에서 벗어나지 못하고 있다. 본 연구는 최대 엔트로피 목적함수를 가진 SAC 강화학습 알고리즘을 사용한 자산배분 전략을 위험조정 수익 극대화 측면에서 계층적 위험 균형 자산배분 전략과 비교·분석하였다. 주요 실증분 석 결과는 다음과 같다. 계층적 위험 균형 자산배분 전략과 SAC 강화학습 알고리즘을 활용한 자산배분 전략의 위험 대비 높은 투자 성능을 비교 해 보면 계층적 위험 균형 자산배분 전략에서 낮은 성과를 보여 주었다. 이러한 결과는 SAC 강화학습 알고리즘의 최대 엔트로피 목적함수가 최 적화와 준최적화를 통해 시장 환경의 변화를 감지하고 이에 신속히 대응해 시장의 위험 구조 및 수익률 간의 최적 균형을 도출해 내는 것으로 판 단된다. 이로 인해 강화학습 에이전트는 수익 기회를 온전히 유지하면서도 변동성은 감소시키고 갑작스러운 손실 또한 방지할 수 있는 것이다. 둘째, 계층적 위험 균형 전략과 달리 비슷한 자산군의 특성으로 인해 계층별 차별화 정도가 크지 않아도 SAC 강화학습 알고리즘을 활용한 자산 배분 전략에서 위험조정 수익 극대화를 보여 주었다. 이를 통해 주식 이외에 다양한 이종 자산으로 투자자산을 확대하지 않은 환경에서도 SAC 강화학습 알고리즘을 활용한 자산배분 전략이 잘 작동하는 것을 확인할 수 있었다. 이런 맥락에서 강화학습 알고리즘을 활용한 자산배분 전략에 관한 연구는 학문적으로 중요한 연구주제가 될 뿐 아니라 현업의 로보어드바이저 고도화에도 중요한 관심 대상이 된다.