earticle

영어

Balancing and managing a portfolio is essential for minimizing risks and maximizing returns in investment and asset management, and it is a major concern for financial market research. In recent, with the development of computer hardware technology, studies on applying reinforcement learning algorithms, which have showed excellent performance in various fields, are being actively conducted for the financial field. However, it is difficult to optimize due to the diversity of parameter settings and combinations of entities constituting reinforcement learning, such as environment, policies, and agents, and more diverse studies need to be conducted. This study aim to develop a system for dynamically balancing stock portfolios and trading using reinforcement learning. For this, stock price data and fundamental data were collected from stocks listed on the Korean securities market, and then indexed through a preprocessing, and a model designed using the A3C algorithm was learned. In empirical study, stock portfolios were constructed by selecting stocks with high expected returns, and trading simulations were conducted on the test period to empirically analyze the performance of the model. As a result, the proposed model was 36.64% of the average annual return, which was superior to other comparison algorithms (26.72%), the market average return (32.10%), and KOSPI 200 index fund return (34.08%). In this study, it was found that learning in the entire market could achieve better results than learning in individual stocks, and it was confirmed that the composition of the stock portfolio using reinforcement learning could be effective.

한국어

포트폴리오를 구성하고 관리하는 것은 투자와 자산 관리에 있어 위험을 줄이고 수익률을 극대화하기 위해 필수 적이며 금융시장 관련 연구의 주요 관심사이다. 최근 컴퓨터 하드웨어 기술이 발달함에 따라 다양한 분야에서 뛰어 난 성능을 보인 강화학습 알고리즘을 금융 분야에 적용한 연구가 활발히 진행되고 있다. 하지만 환경과 정책, 에이 전트 등 강화학습 (reinforcement learning)을 구성하는 개체의 파라미터 설정 및 조합의 다양성으로 인해 최적화에 어려움이 있어 보다 다양한 연구가 수행될 필요가 있다. 본 연구는 강화학습을 활용하여 동적으로 주식 포트폴리오 를 구성하고 거래하는 시스템을 제안하고자 하였다. 시스템 제안을 위해 국내 유가증권시장에 상장된 종목들을 대상으로 기본적 데이터와 주가 데이터를 수집한 후 전처리 과정을 통해 지표화하고, A3C 알고리즘을 이용해 설계한 모형에 대한 학습을 수행하였다. 학습한 결과를 바 탕으로 기대수익률이 높은 종목들을 선택하여 주식 포트폴리오를 구성하고 이를 대상으로 테스트 기간에 대해 트레 이딩 시뮬레이션을 실시하여 제안 모형의 성과를 실증 분석하였다. 분석 결과, 본 연구에서 제안한 연구모형이 평균 연 환산수익률 36.64%로 타 비교 대상 알고리즘 (26.72%)과 시 장 평균 수익률 (32.10%) 및 코스피 200 지수 펀드 수익률 (34.08%)보다 우수한 것으로 나타났다. 이러한 결과를 토 대로 개별 종목에 대한 학습보다 시장 전체 종목에 대한 학습이 더 좋은 성과를 얻을 수 있다는 것을 파악했으며 강화학습을 활용한 주식 포트폴리오 구성이 효과적일 수 있음을 확인한 데 본 연구의 의의가 있다.