earticle

영어

The Bank of Korea has kept cutting the benchmark interest rate, bringing it to a historic low of 0.5 % per year and there is no financial products with savings interest rates exceeding 2%. In addition, since market volatility has been elevated significantly by a combination of many factors included global resurgences in the COVID-19 pandemic, many investors in South Korea hardly reach their financial goals or deliver returns. Therefore, banks are trying to providing their own Robo-Advisors to manage clients’ portfolios without human interaction following self-developed algorithms. In this regard, it is becomingmore important to find an optimal hyper-parameter combination. This study compares some stochastic gradient desecent algorithms of deep Q-network to select a seqeunce of actions so as to maximize the long-termreward. Among AdaGrad, RMSprop and Adamoptimizers, RMSprop alleviates this financial decision-making problem to improve performance. The main result shows that the deep Q-network based on RMSprop optimizer was significant to learn trading rules. In comparison to AdaGrad and Adam, RMSprop seems to be a little more robust as the cumulative rewards increase significanlty along with the first few epidoes, and then it oscillates slights, showing increasing trend up to the final episodes. Furthoremore, reinforcement learningmay be to learn a trading strategy by discovering the combination of technical indicators that maximizes the final profit. Recently, as interest in machine learning has increased and research using reinforcement learning has been becoming active, it is becoming more important to find an optimal hyper-parameter combination for various reinforcement learningmodels.

한국어

한국에서 기준금리 ‘연 0.50%’ 시대가 이어지면서 2%를 웃도는 예·적금 금리상품은 거의 존재하지 않고, 계속되는 코로나 19 팬데믹으로부터 의 경제회복에 대한 전망은 갈리는 것으로 분석이 나오고 있다. 이러한 국내·외 경제환경에 목돈 마련과 노후 대비를 위해서 금융투자가 필수가 된 상황이다. 2016년 구글(Google)의 알파고(AlphaGo)가 이세돌과의 바둑대전에서 우승한 이후 금융권에서는 인공지능과 투자자문 전문가의 합성어인 로보어드바이저(Robo-Advisor)에 관심이 높아지면서 인공지능 기반의 자산관리 서비스 제공을 위한 스타트업(Startup)기업들이 생겨나고, 주 요 은행들은인공지능 금융 서비스 고도화를 위한 업무협약이 활발하게 진행되고 있다. 더불어 대한민국 정부도 핀테크(FinTech)를 더욱 활성화 하는 내용의 전자금융거래법 개정을 추진하고 있다. 이처럼 디지털 자산관리(Digital AssetManagement)에 대한 중요성이 커지면서 로보어드바 이저 산업의 장기적 성장성은 매우 높을 것으로 예상된다. 하지만 로보어드바이저를 이용한 디지털 자산관리가 아직 충분히 검증된 상태가 아니고, 인공신경망(Artificial Neural Network)을 포함한 강화학습(Reinforcemen Learning)과 금융(Finance)가 연계된 연구들은 많이 이뤄지지 않고 있는 상태이다. 더불어 많은 분야에 적용되는 인공지 능이지만, 특정 분야와 산업에 적용에 있어 인공지능 성능에 직·간접적인 영향을 미치는 여러 요인들에 대한 파악과 이해를 위해 다양한 연구와 시도가 필요하다. 본 연구에서는 최적화 알고리즘(Optimization Algorithm)에 따른 심층강화학습(Deep Reinforcement Learning)모형기반의 주 가지수 매매성능을 비교 분석한다. 분석 결과, 일반적으로 성능이 뛰어나다고 알려진 Adam과 다르게 주가지수 데이터에 대한 심층 Q-신경망 학 습성능에서는 RMSprop, Adam 그리고 AdaGrad순으로 학습 성능을 지니고 있는 것으로 나타났다. 이를 통해 특히 RMSProp이 직간접적으로 서로 복잡하게 얽혀 있는 수많은 변수들에 의해 불규칙하게 변화하는 한국주식시장 환경에서 보다 잘 작동한다 높은 학습 효과를 확인할 수 있 다. 더불어 최근까지 운동량(Momentum)개념과 적응형 방법(Adaptive Method)을 이용한 Adam의 우수한 학습성능도 더불어 확인할 수 있다. 둘째, 이동평균수렴확산과 볼린저밴드를 지표를 이용한 AdaGrad의 경우, 학습은 10개의 학습진행(Episode)이 채 학습하기도 전에 달성할 수 있었던 반면, 이동평균수렴확산 지표만을 이용한 AdaGrad의 경우, 상대적으로 오랜 학습진행이 필요했다. 마지막으로 이동평균수렴확산과 이 동평균수렴확산과 볼린저밴드를 합한 기술적 분석 지표을 비교해보면, 이동평균수렴확산과 볼린저밴드를 합한 기술적 분석 지표를 입력층의 입력데이터로 사용할 때가 이동평균수렴확산을 단독으로 사용하는 것보다 학습진행에 따른 누적보상값(Rewad)이 높음을 알 수 있다. 이런 맥 락에서 심층 Q-신경망을 이용한 주가지수 트레이딩 최적화 성능평가에 관한 연구는 학문적으로 중요한 연구주제가 될 뿐 아니라 현업의 로보어 드바이저 고도화에도 중요한 관심 대상이 된다.