摘要：智能体 agent 在环境 environment 中学习，根据环境的状态 state（或观测到的 observation），执行动作 action，并根据环境的反馈 reward（奖励）来指导更好的动作。 本文分享自华为云社...

前言 近端策略优化（PPO）算法是OpenAI在2017提出的一种强化学习算法，本文将从PPO算法的基础入手，理解从传统策略梯度算法直到PPO算法的演进过程，以及算法迭代过程中的优化细节。 参考视频：...

前言        在 REINFORCE 算法中，每次需要根据一个策略采集一条完整的轨迹，并计算这条轨迹上的回报。这种采样方式的方差比较大，学习效率也比较低。我们可以借鉴时序差分学习的思想，...

摘要-近年来，研究人员在使用深度神经网络控制各种棋盘、竞技场和策略游戏方面取得了显著成功。然而，尝试控制角色扮演游戏（RPG）的尝试相对较少，而这些游戏在概念上可能最接近现实生活环境。...

参考: 李宏毅老师课件 PPO = Policy Gradient 从 On-policy 到 Off-policy, 再加一些constraint Policy Gradient# Basic Conception# Actor: 动作执行者(智能体) Env: 环境 Reward Function: 奖...

人工智能LLM模型：奖励模型的训练、PPO 强化学习的训练、RLHF 1.奖励模型的训练 1.1大语言模型中奖励模型的概念 在大语言模型完成 SFT 监督微调后，下一阶段是构建一个奖励模型来对问答对作出得...

【应用】针对智能电网充电站最佳能量调度策略的多步多智能体强化学习 Multistep Multiagent Reinforcement Learning for Optimal Energy Schedule Strategy of Charging Stations in Smart Grid...

DQN的过拟合问题 建议在学完 DQN 之后有不理解的再看本笔记，本文的环境都是 OpenAI 的开源库 gymnasium 的 Pendulum-v1，其给的最大奖励是 0，也就是直立状态，其他状态都给负奖励，因此可以以...

要点 学习如何使用PyTorch和Lightning Fabric(lightning.ai/pages/open-… 强化学习简介 强化学习（RL）是一种机器学习算法，通过让智能代理与环境互动并随时间调整行为以实现某个目标的最大化...

前言        强化学习有一个问题，就是它很慢，怎么提高训练的速度呢？在动漫《火影忍者》中，有一次鸣人想要在一周之内打败晓，所以要加快修行的速度，鸣人的老师就教他一个方法：用影...

强化学习从基础到进阶-案例与实践[6]：演员-评论员算法（advantage actor-critic，A2C），异步A2C、与生成对抗网络的联系等详解 在REINFORCE算法中，每次需要根据一个策略采集一条完整的轨迹，...

强化学习从基础到进阶--案例与实践[7]：深度确定性策略梯度DDPG算法、双延迟深度确定性策略梯度TD3算法详解 1. 离散动作与连续动作的区别 离散动作与连续动作是相对的概念，一个是可数的，一个...

# 强化学习从基础到进阶-案例与实践[2]：马尔科夫决策、贝尔曼方程、动态规划、策略价值迭代 图 2.1 介绍了强化学习里面智能体与环境之间的交互，智能体得到环境的状态后，它会采取动作，并把这...

强化学习从基础到进阶–案例与实践[11]：AlphaStar论文解读、监督学习、强化学习、模仿学习、多智能体学习、消融实验 AlphaStar及背景简介 相比于之前的深蓝和AlphaGo，对于《星际争霸Ⅱ》等策...

强化学习从基础到进阶-案例与实践[5]：梯度策略、添加基线（baseline）、优势函数、动作分配合适的分数（credit） 1 策略梯度算法 如图 5.1 所示，强化学习有 3 个组成部分：演员（actor）、环...