Posted by 멀티 에이전트 강화 학습(Multi-Agent Reinforcement Learning, MARL)은 다수의 에이전트가 동시에 학습하고 상호작용하는 환경에서 최적의 행동을 학습하는 강화 학습 방법을 말한다. 단일 에이전트 강화 학습과 달리, 멀티 에이전트 강화 학습은 에이전트들 간의 협력과 경쟁이 중요한 역할을 하며, 이를 통해 더욱 복잡한 문제를 해결할 수 있다.
이번 포스트에서는 멀티 에이전트 강화 학습의 기본 개념에 대해서 알아보고자 한다.
기본 개념
에이전트(Agent)
에이전트(Agent)는 환경과 상호작용하여 보상을 극대화하는 주체이다.
멀티 에이전트 강화 학습에서는 여러 에이전트가 존재하며, 각 에이전트는 독립적으로 또는 협력하여 목표를 달성하게 된다.
에이전트의 특성
- 감지 능력
에이전트는 센서를 통해 환경의 상태를 감지할 수 있다. - 행동 능력
에이전트는 현재 상태를 바탕으로 행동을 선택하고 이를 수행한다. - 학습 능력
에이전트는 보상을 통해 자신의 행동을 평가하고, 이를 바탕으로 정책을 개선한다.
환경(Environment)
환경이란 에이전트가 상호작용하는 공간을 의미한다.
환경은 정적인 경우도 있고, 다른 에이전트의 행동에 따라 동적으로 변하기도 하며, 이 공간에서 에이전트의 행동에 대한 보상을 제공한다.
환경의 특성
- 동적 변화
환경은 시간에 따라 변하거나 다른 에이전트의 행동에 따라 동적으로 변할 수 있다. - 상태(State)
환경의 현재 상태를 나타내며, 에이전트의 행동 결정에 중요한 정보를 제공한다. 상태는 정적인 정보일 수도 있고, 시간에 따라 변할 수도 있다. - 보상(Reward)
에이전트가 특정 행동을 취했을 때 환경으로부터 받는 피드백으로, 보상은 즉각적인 것일 수도 있고, 미래의 결과에 기반한 것일 수도 있다.
상태(State)
상태는 환경의 현재 상태를 나타내며, 에이전트의 행동 결정에 중요한 정보를 제공한다.
상태의 특성
- 정확성
상태는 환경의 중요한 정보를 포함하여 에이전트가 최적의 결정을 내릴 수 있도록 해야 한다. - 동적 변화
상태는 시간에 따라 변하며, 에이전트의 행동에 의해 영향을 받을 수 있다. - 차원
상태 공간은 매우 클 수 있으며, 클수록 학습의 복잡성을 증가시다.
보상(Reward)
보상은 에이전트가 특정 행동을 취했을 때 환경으로부터 받는 피드백이다.
에이전트는 보상을 최대화하기 위해 학습한다.
보상의 특성
- 즉각적 보상
에이전트가 행동을 취한 직후에 받는 보상이다. - 지연된 보상
행동의 결과가 시간이 지난 후에 나타나는 경우, 에이전트는 지연된 보상을 받을 수 있다. - 누적 보상
에이전트는 장기적인 목표를 위해 누적된 보상을 최대화하려 한다.
행동(Action)
행동은 에이전트가 특정 상태에서 취할 수 있는 동작을 의미한다.
행동의 특성
- 이산형 또는 연속형
행동은 이산적인 값일 수도 있고, 연속적인 값일 수도 있다. - 결정론적 또는 확률론적
행동은 확정적으로 결정될 수도 있고, 확률적으로 선택될 수도 있다. - 효과
행동은 상태를 변화시키고, 이에 따라 에이전트는 보상을 받는다.
가치 함수(Value Function)
가치 함수는 특정 상태에서 얻을 수 있는 기대 보상을 나타낸다.
가치 함수의 특성
- 상태 가치 함수(State-Value Function)
특정 상태에서의 기대 보상을 의미한다. - 행동 가치 함수(Action-Value Function)
특정 상태에서 특정 행동을 취했을 때의 기대 보상을 의미한다. - 벨만 방정식(Bellman Equation)
가치 함수는를 정의하는데 사용되는 기본 방정식이다. 즉, 어떠한 상태에서 에이전트가 시작했을 때 얻을 수 있는 기대 누적 보상을 의미한다.
정책(Policy)
정책은 상태에 따라 에이전트가 행동을 선택하는 전략이다.
최적의 정책은 주어진 환경에서 최대의 누적 보상을 얻는 행동을 의미한다.
정책의 특성
- 결정론적 정책(Deterministic Policy)
각 상태에 대해 하나의 행동을 선택한다. - 확률론적 정책(Stochastic Policy)
각 상태에서 여러 행동 중 하나를 확률적으로 선택한다. - 정책 개선(Policy Improvement)
에이전트는 보상을 극대화하기 위해 정책을 지속적으로 개선한다. - 함수 근사(Function Approximation)
복잡한 상태 공간에서 정책을 표현하기 위해 함수 근사 방법을 사용한다.
멀티 에이전트 강화 학습(MARL)은 다양한 에이전트들이 상호작용하며 복잡한 문제를 해결하는데 중요한 역할을 한다. 에이전트, 환경, 상태, 행동, 보상, 가치 함수, 정책 등 기본 개념을 이해하면 멀티 에이전트 강화 학습의 기본 원리를 파악하는 데 큰 도움이 될 것이다.