모델 성능 개선으로 익히는 강화학습 A-Z 올인원 패키지 Online.

패스트캠퍼스의 알고리즘 실습은
이론을 토대로 간단한 모델에서 시작하여 점차적으로 성능을 개선시켜가는 방법으로 알고리즘의 구성과 원리 이해에 최적화되어 설계되었습니다.
코드 빈칸을 직접 채우며 알고리즘의 특성과 성능을 직접 비교하고 체험해보세요!

실습 커리큘럼

1. Dynamic Programming (DP) - Bellman equation의 해법 중 하나인 Iterative method for solving Bellman equations
: Grid world에서 BEE, BOE를 PE, PI, VI를 활용해 해를 구하고 그 과정 및 결과를 확인

2. Model-free value estimation 1 - Monte Carlo 기법
: Approximated DP (ADP) 기법 중 하나인 몬테카를로 기법을 설명하고 Grid world에서 MC를 구현 및 결과 설명

3. Model-free value estimation 1 - Temporal difference 기법
: Approximated DP (ADP) 기법 중 하나인 Temporal difference (TD) 기법을 설명하고 Grid world에서 TD를 구현 및 결과 설명

4. SARSA, Q-learning on grid world
: Grid world에서 SARSA, Q-learning을 구현

5. Value-based methods with function approximation 1
: 지도학습 및 추계적 경사하강 기법을 활용한 모델 학습 기법 실습

6. Value-based methods with function approximation 2
: 심층신경망을 function approximator로 활용한 기초적인 Deep Q-Learning을 소개 및 구현

7. Policy gradient 실습

8. Modern RL 1 - Deep Q-network (DQN)
: Maximization bias on Q-learning, Temporal correlation and Experience replay DQN 구현

9. Modern RL 2 - Deep deterministic PG (DDPG)
: Deterministic Policy gradient DDPG 구현

10. Model-based RL 실습
: 모델 기반 강화학습과 모델 프리 강화학습을 구현하여 각각의 장단점에 대해 비교

수업 목표

1. 강화학습이 수학적으로 정의되는 과정을 이해할 수 있다.
2. 강화학습의 알고리즘들을 원리부터 이해할 수 있다.
3. 강화학습의 풀이 기법을 이해하고 해법을 통하여 해를 구할 수 있다.
4. 논문을 통하여 딥러닝과 RL을 결합한 딥RL을 이해하고 Model based RL과 model free RL을 구현하고 이들의 장단점을 이해할 수 있다.
5. 실제 문제해결을 위해 문제를 정의하고 자신만의 알고리즘을 트레이닝 시킬 수 있다.

Part5. 심층 강화학습

- dqn1: player atari with deep reinforcement learning
- dqn2: Human-level control through deep reinforcement learning
- ddpg: Continuous control with deep reinforcement learning
- dpg: deterministic policy gradient algorithm
- double q learning: double q-learning
- deep double q-learning: Deep Reinforcement Learning with Double Q-learning
- RAINBOW: Rainbow: Combining Improvements in Deep Reinforcement Learning
- Dueling network:Dueling Network Architectures for Deep Reinforcement Learning
- td3: addressing function approximation error in actor-critic methods
- a3c: Asynchronous Methods for Deep Reinforcement Learning
- ppo: Proximal Policy Optimization Algorithms
- sac1: Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor
- sac2: Soft Actor-Critic Algorithms and Applications

Part6. 모델 기반 강화학습

- Dyna
- DiffTaichi
- Probabilistic inference and learning control
- Guided Policy Search
- Graph networks as learnable physics engines for inference and control
- Input convex Neural Network
- Optimal control via neural network: a convex approach
- Imagination-Augmented Agents for Deep Reinforcement Learning
- SOLAR: Deep Structured Representations for Model-Based Reinforcement Learning
- Embed to control: A locally linear latent Dynamic models for control from raw images
- Learning Compositional Koopman Operators for Model-Based Control
- Learning Latent Dynamics for Planning from Pixels
- Dream to Control: Learning Behaviors by Latent Imagination