基于深度强化学习的大规模敏捷软件项目调度

Large-scale Agile Software Project Scheduling Based on Deep Reinforcement Learning

申晓宁; 毛鸣健; 沈如一; 宋丽妍5

2023

10.13705/j.issn.1671-6833.2023.05.003

郑州大学学报（工学版）   影响因子和分区

1671-6833

为解决大规模敏捷软件项目调度问题,首先,将其分解为故事选择、故事分配和任务分配 3 个强耦合子问题,并引入用户故事的新增与删除、每个冲刺阶段中员工工作时长的变化等动态事件,考虑团队开发速度、任务时长和技能等约束,以最大化项目所完成用户故事总价值为目标建立大规模敏捷软件项目调度数学模型;其次,根据问题特征设计了马尔可夫决策过程,采用 10 个状态特征描述每个冲刺阶段开始时的敏捷调度环境,12 个复合调度规则作为智能体的候选动作,并按照调度模型的目标函数定义奖励;最后,提出一种基于复合调度规则的优先经验回放双重深度Q网络算法来求解所建模型,引入双重深度Q网络(DDQN)策略和优先经验回放策略,避免深度 Q 网络的过估计问题,并提高经验回放池中轨迹信息的利用效率.为了验证所提算法的有效性,在 6 个大规模敏捷软件项目调度算例中进行了实验,分析了所提算法的收敛性.根据算法性能测度,与已有代表性算法DQN、双重深度Q网络以及仅使用单一复合调度规则的方法进行对比.结果表明:所提算法在 6 个不同算例中均获得了最高的平均累计奖励值.

强化学习 大规模 敏捷软件项目调度 深度Q网络 复合调度规则 优先经验回放 强耦合

中文

其他

61502239:国家自然科学基金 ; 62002148:国家自然科学基金 ; 2020B121201001:广东省重点实验室项目 ; BK20150924:江苏省自然科学基金资助项目

WanFang

zzgydxxb202305004

1.南京信息工程大学 自动化学院,江苏 南京 210044
2.南京信息工程大学 江苏省大气环境与装备技术协同创新中心,江苏 南京 210044
3.南京信息工程大学 江苏省大数据分析技术重点实验室,江苏 南京 210044
4.江苏省气象能源利用与控制工程技术研究中心,江苏 南京 210044
5.南方科技大学 广东省类脑智能计算重点实验室,广东深圳 518055

申晓宁,毛鸣健,沈如一,等. 基于深度强化学习的大规模敏捷软件项目调度[J]. 郑州大学学报（工学版）,2023,44(5):17-23.

申晓宁,毛鸣健,沈如一,&宋丽妍.(2023).基于深度强化学习的大规模敏捷软件项目调度.郑州大学学报（工学版）,44(5),17-23.

申晓宁,et al."基于深度强化学习的大规模敏捷软件项目调度".郑州大学学报（工学版） 44.5(2023):17-23.