강화학습 learning running 11월 13일

카트.pptx

0.49MB

강화학습 learning running 11월 13일

 

이번 주 스터디 내용 : 

1. RL policy based 강의 수강 및 실습

Policy decent로 policy 최적화 하는 방법에 대하여 수강하고 그 중 REINFORCE 알고리즘과 TD actor critic 예제를

cart pole에서 구현해 본 후, 어떤식으로 코드가 작동하는지 이해함.

 

2. RL 대신 PID를 이용한 cart pole control system 구현

cart pole 운동 해석 후 제어기를 설계하여,RL과 대비하여 어떤 장단점이 존재하는지 파악함

PID.zip

0.02MB

import gym
import torch
import torch.nn as nn
import torch.nn.functional as F
import torch.optim as optim
from torch.distributions import Categorical
 
 
class Policy(nn.Module):
    def __init__(self):
        super(Policy, self).__init__()
        self.data = []
        self.gamma = 0.99
 
        self.fc1 = nn.Linear(4,128)
        self.fc2 = nn.Linear(128,2)
        self.optimizer = optim.Adam(self.parameters(), lr=0.0005)
 
    def forward(self, x):
        x = F.relu(self.fc1(x))
        x = F.softmax(self.fc2(x), dim=0)
        return x
 
    def put_data(self, item):
        self.data.append(item)
 
    def train(self):
        R = 0
        for r, log_prob in self.data[::-1]:
            R = r + R * self.gamma
            loss = -log_prob * R  #REINFORCE의 특징
            self.optimizer.zero_grad()  #reinforce는 이전 op을 고려안함
            loss.backward()
            self.optimizer.step()  #가중치 업데이트
        self.data = []
 
 
env = gym.make('CartPole-v1')
pi = Policy()
score = 0.0
print_interval = 20
 
for n_epi in range(10000): # episode개수
    s = env.reset() #처음 상태로 환경이 돌아감/obs는 state
    for t in range(501):  #cartpole은 500회 이상일 경우 성공
        prob = pi(torch.from_numpy(s).float()) #확률 분포(왼쪽/오른쪽)
        m = Categorical(prob) #sampling
        action = m.sample()
 
        if score/20.0 > 400:
            env.render()
        s_prime, r, done, info = env.step(action.item()) #액션
        pi.put_data((r, torch.log(prob[action])))  #Policy()에 정보저장/ r = 리워드, out[action]은 행동, torch.log()는 로그파이(s,a)
 
        s = s_prime
        score += r
        if done:
            break
    pi.train()
    if n_epi%print_interval==0 and n_epi!=0:
        print("# of episode : {}, Avg timestep : {}".format(n_epi, score/print_interval))
        score = 0.0
env.close()