科研问题记录
引言
在科研和工程实践的过程中，问题的解决往往伴随着新问题的发生。往往这些问题都是在特定场景下才会出现，但是其问题的抽象又具有一定的普适性，从而这些问题能够构成一个个科学研究的起点。
博弈论相关问题记录
- 虚拟遗憾最小化（Counterfactual Regret Minimization, CFR）系列算法往往被用来解决可以使用博弈树进行建模的离散问题，然而现实中的问题，其状态转移往往是有环图的形式而并非树的形式，如果加入历史信息，那么会导致这棵树非常庞大并且相似的状态无法被相近处理，如何在该类问题上使用遗憾值最小化这种思路进行求解？
- 博弈理论中，离散型问题通常可以表示为博弈树的形式，在博弈树上进行迭代计算便可以求得博弈树上的最优解或近似纳什均衡解。然而，对于连续问题的求解往往比较困难，连续性问题如何转换为可以用博弈树进行建模的问题，从而转变成离散问题采用迭代求解算法进行求解。这是一个值得思考的问题。
强化学习相关问题记录
- 在多智能体强化学习中，一种解决方案是采用分层的思路。上层根据全局信息来进行宏观决策，下层根据上层给出的宏观决策结果来进行微观操作。在此过程中，势必产生不定量的小队合作执行各类任务，这些小队存在成员数量不确定，异质性，合作等性质。如何在这种强化学习架构中巧妙处理这种自组织异质性小队问题？