[국제 저널 논문 요약] Efficient Residential Electric Load Forecasting via Transfer Learning and Graph Neural Networks

0. Paper Information

• Title: Efficient Residential Electric Load Forecasting via Transfer Learning and Graph Neural Networks
• Authors: Di Wu, Weixuan Lin
• Publication: IEEE Transactions on Smart Grid
• Published Year: 2022

 

1. Introduction

Background

• 전력수요 예측은 전력망의 효율적인 운영을 달성하기 위한 중요한 작업
  
  • 정확한 전력수요 예측은 전력망 시스템 운영 제어 및 계획을 크게 개선할 수 있음
  • 전력수요 예측은 발전 계획, 에너지 전송, 에너지 배분 등 유틸리티 회사의 일상적인 업무에 사용될 수 있음
• 전력수요 예측은 시간 범위에 따라 단기 예측에서 장기 예측까지 다양함
  
  • 단기 전력수요 예측(STLF, Short-Term Load Forecasting)은 실시간 에너지 배분을 지원할 수 있어서 큰 관심을 받고 있음
• 많은 연구자들이 STLF의 정확도를 향상하기 위해 노력하고 있음
  
  • 1시간 후의 전력수요를 예측하는 것은 발전기와 공급자 간의 거래 종료 후 수요와 공급의 균형을 맞추는 데 중요함
  • 예측 오류는 유틸리티 회사에 큰 손실로 이어짐
• 최근 몇 년 동안 전력 시스템의 복잡성이 빠르게 증가하여 정확한 STLF이 점점 더 어려워지고 있음
  
  • 소비 측면에서는 다양한 전기 기기가 전력망에 도입되었으며, 전기차의 보급률도 최근 3년간 급격히 증가
  • 전력 생산 측면에서는 빠르게 증가하는 재생 에너지원이 도입
  • 재생 에너지는 지속 가능한 발전에 필수적이며, 태양광 및 풍력의 보급률이 증가
  • 재생 에너지원은 기상 조건에 민감하고 변동성이 큼
• STLF는 산업 및 상업 고객을 위한 수요 반응(DR, Demand Response) 프로그램을 최적화하기 위해 사용됨
  
  • 최근 몇 년 동안 가정용 어그리게이터(Aggregator)가 빠르게 발전
  • 가정용 어그리게이터는 전력 저장 및 배분 외에도 각 가정의 유연성을 활용하여 DR 프로그램에 참여할 수 있는 기회를 제공
  • 가정의 전력 수요 데이터를 접근하고 보상 체계를 제공함으로써 배전 시스템 운영자에게 유연성을 제공하고 자원을 최적화
• 가정용 어그리게이터의 운영을 위해서는 가구 수준의 STLF가 필수적이고 중요함

 

Previous Research

• STLF를 해결하기 위한 접근법은 전통적인 방법과 머신 러닝 방법으로 구분할 수 있음
  
  • 전통적인 방법에는 다변량 선형 회귀와 외생 변수를 가진 자기 회귀 이동 평균이 포함됨
  • 머신 러닝 기반 방법은 복잡한 비선형 관계를 더 잘 포착할 수 있음
    
    • 서포트 벡터 회귀 (SVR, Support Vector Machine), 커널 기반 방법, 전방향 신경망 (FNN, Feed-forward Neural Network), 딥 레지듀얼 네트워크(Deep Residual Network) 등이 포함됨
• 순환 신경망(RNN, Recurrent Neural Network)과 그 변형 모델은 시퀀스 문제를 해결하는 데 뛰어남
  
  • 장단기 메모리 (LSTM, Long Short-Term Memory) 및 게이트 순환 유닛 (GRU, Gated Recurrent Unit)와 같은 RNN 기반 모델은 정확한 STLF를 달성하는 데 있어 유망한 능력이 입증됨
• 이전 연구에서는 전력 사용량과 날씨 정보의 과거 데이터만을 주로 활용
  
  • 다른 주거 단위 간의 공간 상관관계를 STLF에 통합하여 예측 정확도를 향상시키려는 시도가 늘어남
  • 이는 주택 간의 전력 소비 패턴이 유사한 경향을 공유할 수 있다는 가정에 기반함
  • 시간 시계열 데이터에서 공간 의존성은 전력 수요 예측, 교통 예측 및 풍력 예측과 같은 공간-시간 시계열 예측에서 중요한 특징이 될 수 있음
• 많은 연구자들은 공간-시간 시계열 예측을 해결하기 위해 그래프 신경망 (GNN, Graph Neural Network)을 사용하는 것에 주목함
  
  • GNN은 그래프의 노드 간의 의존성을 모델링할 수 있음
  • 유닛의 시간 데이터를 그래프의 노드로 통합함으로써, GNN 기반 모델은 공간-시간 시계열 예측에서 그 효과를 입증함
• 가정의 전력 수요 간의 공간 상관관계는 전기 기기, 개인 생활 습관 등 복잡한 요인에 의존함
  
  • 최근에는 GNN의 도움으로 가정 간의 공간 상관관계를 일반적으로 탐색하고 시계열 예측에 통합할 수 있게 되었음
  • GNN 기반 모델을 통한 정확한 시공간 전력 수요 예측 달성 가능성을 보여줌
• 현실 세계에서는 복잡한 머신 러닝 모델을 학습하기에 충분한 데이터를 수집하는 것이 어려울 수 있음
  
  • 특히, 새로 건설된 건물의 전력 사용 데이터가 제한적일 수 있으며 이러한 경우에는 정확한 예측 모델을 학습하기 어려움
  • 전이 학습은 이러한 문제를 해결하는 데 사용할 수 있음

 

Proposed Model

• 전력 수요 예측을 위한 GNN에 대해서는 아직 잘 연구되지 않았으며, 특히 학습 데이터가 제한적인 경우는 거의 없음
• 따라서, 전력 수요 예측에서의 GNN과 전이 학습의 이점을 조사함
  
  • 소스 도메인에서 학습한 시공간 지식을 타겟 도메인으로 전이하는 전이 학습 프레임워크를 제안함
  • 주의 네트워크는 전력 수요의 입력 패턴을 인식하고 소스 도메인과 타겟 도메인에서 학습한 GNN에 최적의 가중치를 할당

 

Contribution

• 제안된 프레임워크는 일반적으로 부정적인 전이를 피하고 대상 도메인에서 정확한 STLF를 달성함
• 프레임워크는 다른 주거용 주택 간의 잠재적 상관관계에 대한 더 나은 이해를 제공할 수 있음

 

2. Methodology

Overall Structure

• 제안 기법 전체 구조

 

GNN (Graph Neural Network)

• GNN은 노드(Node)와 엣지(Edge)로 구성된 그래프 데이터 구조를 처리하고 분석하기 위한 딥러닝 모델
  
  • 노드는 그래프의 각 점을 의미하며, 특정 객체나 개체를 나타냄
  • 엣지는 그래프의 각 선을 의미하며, 노드 간의 관계나 연결을 나타냄
  • 노드는 이웃한 노드들로부터 정보를 받아 자신을 업데이트하고, 이 과정은 반복되어 노드의 상태가 점진적으로 학습됨
  • 전통적인 신경망으로는 다루기 어려운 복잡한 데이터 구조를 처리할 수 있으며, 다양한 응용 분야에서 우수한 성능을 보임

 

Transfer Learning

• 전이 학습은 이미 학습된 모델의 지식을 새로운, 하지만 관련된 작업에 적용하는 기법
  
  • 새로운 모델을 처음부터 학습시키는 대신, 기존 모델의 일부 또는 전부를 재사용함으로써 학습 시간을 단축하고 성능을 향상시킬 수 있음
  • 특히 데이터가 부족한 상황에서도 높은 성능을 보임
• 전이학습 프로세스
  
  • 사전 학습(Pre-Training) → 미세 조정(Fine-Tuning)
    
    • 사전 학습: 대규모 데이터셋에서 모델을 학습
    • 미세 조정: 학습된 모델을 새로운 작업에 맞게 조정

 

3. Experimental Result

Dataset

• OpenEI 데이터셋
  
  • 2012년 미국의 여러 지역에서 기록된 시간별 주거용 전기 부하 데이터
    
    • 각 주택에 대해 8760개의 시간당 데이터 포인트가 기록되어 있음
  • 소스 데이터로 뉴멕시코(NM), 앨라배마(AL), 텍사스(TX), 아칸소(AR), 애리조나(AZ), 루이지애나(LA) 데이터를 선택
    
    • 각 데이터는 2012년도의 첫 150일 동안 10가구의 전기 부하로 구성
    • 시간 순으로 7:2:1의 비율로 학습/검증/테스트 세트로 나눈 후 실험에 사용
  • 타겟 데이터로 콜로라도(CO), 위스콘신(WI), 하와이(HI), 네바다(NV), 펜실베니아(PA), 플로리다(FL) 데이터를 선택
    
    • 각 데이터는 1년 151일 동안 10가구의 전기 부하로 구성
    • 시간 순으로 5:30의 비율로 학습/테스트 세트로 나눈 후 실험에 사용

 

Evaluation Metric

• MAPE(Mean Absolute Percentage Error)와 MAE (Mean Absolute Error)를 평가지표로 사용
  
  • 추가적으로 N개 개별 가구의 MAPE를 평균하여 계산한 Indv.MAPE와 모든 N가구의 전기 소비량을 합산한 후 계산한 MAPE인 Aggr.MAPE를 사용

 

Result

• 예측 성능 비교 (1)
  
  • 타겟 데이터마다 가장 좋은 성능을 보이는 소스 데이터가 다름
  • 따라서, 제안하는 모델에서는 여섯 개의 소스 모델의 결과를 가중 평균 낸 후 이를 활용함

 

• 예측 성능 비교 (2)
  
  • 사전학습을 한 모델(Pre)이 그렇지 않은 모델(noPre)보다 우수한 예측 성능을 보임
  • Graph WaveNet 모델(Base)보다 제안하는 모델(Compl)이 더 우수한 성능을 보임

 

• 예측 성능 비교 (3)
  
  • 다양한 모델들과 평균 성능을 비교함
    
    • 제안하는 모델은 Indv.MAPE, Aggr.MAPE, Indv.MAE 및 Aggr.MAE에서 각각 평균 성능이 8.63%, 4.51%, 0.52, 3.12를 기록함
    • 두번째 높은 성능과 비교해도 모든 평가지표에서 9.79%~14.37%의 성능 개선이 이루어짐

 

• 가중치 시각화
  
  • 사전학습을 한 모델이 보다 뚜렷한 가중치 패턴을 보임
  • 사전학습을 하지 않은 모델과 비교하였을 때, 사전학습을 한 모델이 Base 모델에 더 많은 가중치를 할당하는 모습을 보임
    
    • 무작위 초기화를 한 모델보다 더 좋은 예측 성능을 보이는 이유
    • 사전 학습이 중요한 역할을 함을 시사

 

4. Conclusion

• 해당 논문에서는 제한된 학습 데이터로 단기 부하 예측을 수행하기 위해 주의 전이 프레임워크를 제안함
  
  • 주의 네트워크를 사용하여 소스 도메인과 타겟 도메인에서 학습된 지식을 동적으로 결합
  • 부정적인 전이 문제를 해결하고 사전 지식을 효율적으로 활용
• 실제 전기 부하 데이터를 기반으로 실험을 수행하여 제안된 프레임워크의 효과를 검증
  
  • 제안된 방법이 다른 모든 기준 모델보다 성능이 뛰어남
    
    • 사전 학습된 기본 모델이 무작위 초기화된 기본 모델보다 예측 정확도가 높음
    • 사전 학습된 기본 모델이 전체 모델의 성능을 더욱 향상