원문정보
Analysis of Performance of Federated Learning by Considering Local and Global Trainings in Non-IID Data Environments
초록
영어
Using federated learning (FL), training can be performed on devices, so that it is possible to solve problems related to personal data protection. FL provides many advantages, but there are many difficulties for FL to be applied to the real world. In the real world, the distribution of devices’ data is usually not uniform, which requires more training and results in poor performance. In this paper, we analyzed such phenomenon in depth and showed that the accuracy and training time of FL systems vary depending on the number of local and global trainings in the various data distribution environments. We performed the analysis to find the optimal global round and local epoch values in each environment, and showed that it is possible to obtain higher accuracy while consuming less training time by appropriately adjusting the values when the same number of times of trainings progresses.
한국어
연합학습은 각 디바이스에서 학습을 진행하며, 이를 통해 개인정보 보호와 관련된 문제들을 해결할 수 있게 되었다. 연합학습은 이러한 장점을 가지고 있지만 실제 환경에 적용되기에는 많은 어려움이 있다. 실제 환경 에서는 기기들이 가지고 있는 데이터의 분포가 불균형한 경우가 많으며, 이 경우 데이터 분포가 일정할 때 보다 더 많은 학습 시간을 필요로 하고 더욱 낮은 정확도를 보인다. 본 논문에서는 이러한 현상을 깊이 분석하기 위해 다양한 데이터 분포 환경에서 로컬 및 글로벌 학습 횟수에 따라 연합학습 시스템의 정확도와 학습시간이 달라지 는 것을 확인하였다. 각 데이터 분포 환경에서 최적의 글로벌 라운드(global round)와 로컬 에폭(local epoch) 값 을 찾는 분석을 수행하였으며, 동일한 횟수의 학습을 진행하더라도 두 값을 적절하게 조절함으로써 적은 학습 시 간을 소모하며 높은 정확도를 얻을 수 있음을 보였다. 또한, 특정 시간 내에 최대의 정확도를 얻기 위한 설정 값 에 대한 이론적 분석을 수행하였다.
목차
Abstract
Ⅰ. 서론
Ⅱ. 관련연구
Ⅲ. 배경지식
3.1 IID (Independent and Identical Distribution)분포
3.2 Non-IID (Non-Independent and IdenticalDistribution) 분포
3.3 글로벌 라운드 및 로컬 에폭
Ⅳ. 분석
4.1 IID 및 Non-IID 환경에 따른 성능 분석
4.2 실험 구성 환경
4.3 실험 방법
4.4 실험 결과 분석
4.5 이론적 학습 시간 분석
Ⅴ. 결론
REFERENCES
