摘要
青霉素作为抗生素中效果良好、副作用小且价格低的药物，在医学治疗中扮演着极其重要的角色。作为青霉素生产工艺的核心环节，青霉素发酵受外界环境影响较大，在发酵过程中需要控制的影响因素较多。青霉素发酵过程中采用良好的控制策略可以减小环境变化带来的影响，提高青霉素生产的稳定性与青霉素产量，所以对青霉素发酵工艺过程控制系统的研究具有十分重要的意义。本文基于强化学习算法，设计了强化学习控制策略模型，将强化学习中的无模型算法运用到青霉素发酵系统的控制中，减小了因外界干扰导致的参数变化影响，使青霉素产量得到了提升，达到了预期效果。 首先，本文对发酵过程涉及到的重要影响参数温度、pH、溶解氧浓度以及底物浓度进行了详细的分析，对本文使用的青霉素发酵工艺控制系统进行了详细的介绍。其次，对强化学习理论和Q-Learning算法、深度Q网络(Deep Q-network，DQN)算法、Actor-Critic算法、深度确定性策略梯度（Deep Deterministic Policy Gradient， DDPG）算法的原理以及结构进行了阐述，对比了传统控制策略PID策略与强化学习策略各自的特点。然后，本文设计了基于Q-Learning算法的青霉素发酵过程控制系统，根据动作空间利用多任务控制得到了相应的效果，但该算法浪费系统的储存空间，运行效率较低。接着，使用强化学习的DDPG算法设计了青霉素发酵过程的控制器，经实验发现，DDPG很好的解决了Q-Learning所面临的问题，但是在处理多个任务参数时还存在不足之处。最后，本文对DDPG算法进行改进，在动作选取时加入了两层随机策略并增加了原控制器的经验，以增加动作的随机性以及样本的多样性，实现了多控制策略的协同合作，加快了算法的收敛速度及学习速度，提高了算法在控制中的正确率并增强了训练网络的完整性。经实验表明，本文改进后的DDPG控制器对于青霉素发酵工艺起到良好的控制效果，其能够更好的将影响参数控制在合适的区间内且稳定性优于普通DDPG控制策略，使青霉素产量得到较大提高。
NETL