基于强化学习的运算放大器自动化设计方法
本发明属于集成电路设计中模拟电路设计自动优化,具体涉及基于强化学习的运算放大器自动化设计方法。本方法能完成基于近端策略优化(ppo)的强化学习模拟运算放大器拓扑优化算法与晶体管级电路映射后重调参算法。本方法在相近的设计时间内能取得更好的电路性能和更强的设计指标适应性;和,在电路性能相近的情况下花费更少的设计时间。
背景技术:
1、现有技术公开了模拟集成电路设计相较于数字集成电路设计缺乏系统化设计方法,其是更多地依赖于人类工程师的经验与电路结构的知识。而且,不像数字集成电路那样,模拟电路设计师尚未能够建立起一种高层次的抽象,可以屏蔽器件与工艺制程细节。电路结构种类繁多、各种设计指标相互制约(如模拟集成电路设计的“八边形法则”)。此外,模拟电路对非理想因素和各种高阶效应和串扰、噪声(如衬底噪声、电源噪声等)极其敏感。更为不足的是,随着集成电路集成度不断提高、工艺节点不断减小,晶体管非理想特性日趋显著,传统的基于人类经验的设计方法面对以上的挑战日益显得力不从心。为此,如何提高模拟集成电路设计自动化程度成为了业内亟待解决的难题。
2、模拟集成电路行为级电路设计最核心的部分包含两个步骤:拓扑优化与参数调优。事实上,从模拟集成电路设计相关知识可知,对于任意一个拓扑结构,电路性能在参数空间上连续。目前,黑盒优化算法在该类问题上已经展现出优越的性能,已经有了成熟的解决方案:[1,2,3]。这些文献采用了贝叶斯优化算法,通过建立fom的代理模型,以求得满足电路约束的、使得fom值最大的电路拓扑。然而,模拟集成电路拓扑优化问题则由于电路性能指标在拓扑设计空间上离散,始终没能找到一个令人满意的算法。
3、对电路拓扑性能提升的一个思路是通过提取电路中与性能相关联的某些“特征结构”得以实现的。如文献[4,5],使用了被称为有序节点聚类表示(ordered nodeclustering representations,oncr)的表示方法,通过发掘最优的分类准测,挖掘不同电路中与性能相关的某些结构。当面对不同的设计约束时,可以基于启发式算法选择出不同节点间相似构建块。此外,也有算法直接从尝试合成新的拓扑上入手。在[6,7]中,设计空间由人工预先定义好的子模块决定。同时,对可能的放大器架构作出了一定的约束,既保证了产生的拓扑的新颖性,也保证了电路功能的正确性。而在[8]中,不同器件之间的连接关系以及器件的尺寸由上三角矩阵和向量决定,极大地方便了搜索过程。
4、近年来,随着算力的提升和人工智能技术的飞速发展,eda研究者开始尝试利用深度学习实现拓扑综合。文献[9,10]分别采用图变分自编码器与图嵌入的方法,将电路拓扑嵌入到连续空间,随后利用贝叶斯优化算法求解出最佳拓扑。[11]采用强化学习(reinforcement learning)方法训练代理模型,通过选择电路中不同节点间的基本组件实现电路设计。然而,以上解决方案依然存在大量的问题。[11]中提供的设计空间过于庞大,行为级的三级运放的设计空间高达2510。更为关键的是,该解决方案并没有考虑电路功能的功能正确性,生成的电路很有可能不具备运算放大器的功能,而且,该方法没有任何电路鉴别措施,只有在仿真阶段才能识别出无效电路,造成了计算资源极大的浪费,使得搜索效率低下。此外,以上的解决方案依赖于行为级电路建模,而行为级电路与实际晶体管级电路、乃至电路版图有极大的差别。经过实验,以上的解决方案提供的电路并没有留出足够的裕度,使得版图生成的电路不尽如人意。
5、基于现有技术的基础与现状,本发明拟提供一种基于ppo算法的深度强化学习拓扑生成算法。本发明的方法其优势将体现在:1.在运算放大器拓扑优化方面,本方法在相近的设计时间内取得了更好的电路性能;2.在晶体管级电路参数优化方面,本方法在电路性能相近的情况下花费更少的设计时间;3.对于以上的设计流程中的两个步骤,通过本发明给出的方法在常规设计约束下预训练得到的神经网络对严苛的设计约束展现出了较好的普适性。
6、与本发明相关的参考文献有:
7、[1]wenlong lyu,pan xue,fan yang,changhao yan,zhiliang hong,xuan zeng,and dian zhou.2017.”an efficient bayesian optimization approach for automatedoptimization of analog circuits.”[c]ieee transactions on circuits and systemsi:regular papers 65,6(2017),1954–1967.
8、[2]wenlong lyu,fan yang,changhao yan,dian zhou,and xuan zeng.2018.”batch bayesian optimization via multi-objective acquisition ensemble forautomated analog circuit design.”[c]in international conference on machinelearning.pmlr,3306–3314.
9、[3]wenlong lyu,fan yang,changhao yan,dian zhou,and xuan zeng.2018.”multiobjective bayesian optimization for analog/rf circuit synthesis.”[c]inproceedings of the 55th annual design automation conference.1–6.
10、[4]ferent c,doboli a.a symbolic technique for automatedcharacterization of the uniqueness and similarity of analog circuit designfeatures[c].proceedings of 2011design,automation&test in europe.ieee,2011,1–4.
11、[5]ferent c,dobolia.analog circuit design space description based onordered clustering of feature uniqueness and similarity[j].integration,2014,47(2):213–231.
12、[6]trent mcconaghy,pieter palmers and et al.”variation-awarestructural synthesis of analog circuits via hierarchical building blocks andstructural homotopy.”[j]ieee transactions on computer-aided designofintegrated circuits and systems,28(9):1281–1294,2009.
13、[7]trent mcconaghy and et al.”trustworthy genetic programming basedsynthesis of analog circuit topologies using hierarchical domain-specificbuilding blocks”[j].ieee transactions on evolutionary computation,15(4):557–570,2011.
14、[8]ziga rojec and et al.”analog circuit topology synthesis by meansof evolutionary computation.”[j]engineering applications of artificialintelligence,80:48–65,2019
15、[9]jialin lu,liangbo lei,fan yang,li shang,and xuan zeng.2022.”topology optimization of operational amplifier in continuous space via graphembedding.”[c]in 2022design,automation&test in europe conference&exhibition(date).ieee,142–147.
16、[10]jialin lu,liangbo lei,fan yang,changhao yan,and xuan zeng.2021.”automated compensation scheme design for operational amplifier via bayesianoptimization.”[c]in 202158th acm/ieee design automation conference(dac).ieee,517–522
17、[11]z.zhao and l.zhang,“analog integrated circuit topology synthesiswith deep reinforcement learning,”[j]ieee transactions on computer-aideddesign of integrated circuits and systems,2022.
18、[12]zihao chen,songlei meng,fan yang,li shang,and xuan zeng.2023.”total:topology optimization of operational amplifier via reinforcementlearning.”[c]in 202324th int’l symposium on quality electronic design(isqed).ieee.[13]j.lu,l.lei,j.huang,f.yang,l.shang and x.zeng,”automatic op-ampgeneration from specification to layout,”[j]in ieee transactions on computer-aided design of integrated circuits andsystems,vol.42,no.12,pp.4378-4390,dec.2023
技术实现思路
1、本发明目的在于基于现有技术的基础与现状,提供一种基于ppo算法的深度强化学习拓扑生成算法。本方法包含模拟集成电路设计流程中模拟运算放大器拓扑优化和晶体管参数设计两个步骤。本方法能完成基于近端策略优化(ppo)的强化学习模拟运算放大器拓扑优化算法与晶体管级电路映射后重调参算法。相较于现有技术,本方法在运算放大器拓扑优化方面,在相近的设计时间内能取得更好的电路性能和更强的设计指标适应性;在晶体管级电路参数优化方面,能在电路性能相近的情况下花费更少的设计时间。
2、具体的,本发明提供了一种基于ppo算法的深度强化学习拓扑生成算法,其中,将模拟集成电路拓扑优化问题抽象为无穷步马尔可夫决策过程,将每一步视为对前一步的电路的改进,并分别根据深度强化学习框架,设计每一个部件,其中:1根据模拟集成电路拓扑设计的内在结构特点,设计了策略网络;同时,基于该策略网络的结构,设计了一个值函数网络用于估计每种电路拓扑的值函数;另外,本方法基于电路仿真结果,重新定义了一个奖励(reward)函数,能引导智能体学习设计符合约束的电路。
3、同时,本发明提出了基于贝叶斯优化的晶体管级电路映射后重调参,其中,将不同晶体管的gm/id值和行为级电路参数设置为设计参数,建立关于fom的代理模型,利用于贝叶斯优化的优化算法对每个晶体管选择出最合适的gm/id值;之后,重新对参数执行映射。
4、本发明的主要优势包括:1.在运算放大器拓扑优化方面,本方法在相近的设计时间内取得了更好的电路性能;2.在晶体管级电路参数优化方面,本方法在电路性能相近的情况下花费更少的设计时间;3.对于以上的设计流程中的两个步骤,通过本发明的方法在常规设计约束下预训练得到的神经网络对严苛的设计约束展现出较好的普适性。
5、更具体的,
6、本发明包括:基于ppo的强化学习模拟运算放大器拓扑优化算法和晶体管级电路映射后重调参算法,其中,
7、(一)基于ppo的强化学习模拟运算放大器拓扑优化算法
8、通常,模拟集成电路设计要求是在满足设计约束的情况下最大化fom(figure ofmerits):
9、为了利用ppo求解拓扑优化问题,本发明首先对电路进行建模,所涉及的模拟运算放大器,基于现有技术的工作[10]选择对其小信号模型进行行为级模型建立。基于现有技术的经验[10],对运算放大器的行为级拓扑用有向无环图(directed acyclic graph)(以下简记为dag)建模。其中,电路的节点被建模为dag的顶点,电路的各个器件被建模为dag的边,不同的器件类型被建模为边的权重(如图1)。特别地,如果权重为0,则代表没有边连接。考虑到其功能的正确性,本发明首先限制其为一个三级运算放大器结构[10]:输入级-中间级-输出级,随后在其基础上添加各种补偿、反馈结构。整个运算放大器(整个dag)具备5个节点:vin(输入节点)、node1(第一级放大器输出)、node2(第二级放大器输出)、vout(输出节点)、gnd(参考地节点)。其中,vin-node1、node1-node2、node2-vout、vout-gnd、vin-gnd间的拓扑类型已经固定。对于每一个单级放大器而言,本发明用电压控制电流源(vccs)gm、电阻r,电容c描述其行为级模型。
10、随后,基于深度强化学习框架,进行如下定义:
11、状态空间:本发明将电路的设计抽象为一个马尔可夫决策过程。在定义了具有马尔可夫性的状态之后,将每一个被确定的电路拓扑结构与“行动”对应。同时,将动作(即设计的电路)的历史添加至状态空间中。此外,为了深入发掘电路拓扑内在的信息,本发明预先利用图变分自编码器将电路拓扑从拓扑空间嵌入至连续空间。基于以上设计,状态空间由以下几个维度组成:
12、1.电路从几步(本设计设置为考虑前5步的历史)之前开始的设计历史(该历史中涉及的拓扑结构已被vgae嵌入至连续空间):[g-5,g-4,g-3,g-2,g-1]。
13、2.电路设计约束(本设计取4个约束:增益、相位裕度、增益带宽积、功耗):
14、
15、3.上一步得到的电路的仿真结果:
16、行为空间:如前文所述,本发明将运算放大器设计流程视为对电路不断改进的过程。同时,为了避免无效电路,预先固定放大器为三级运算放大器,预先固定5条边类型。为此,每一步设计所需要做的就是从剩下5条边中,对每一条边选择合适的器件类型。可供选择的器件类型如表1所示[10]:
17、
18、表1:电路节点之间的连接类型
19、策略函数与值函数网络:所述两个网络都分为上游网络和下游网络两部分,上游网络主要负责从状态中提取电路有效信息,下游网络负责相应指定的工作。对于上游网络(图2),本发明输入编码后的拓扑历史。本方法采取反卷积层减少通道数,以从输入历史中提取有效信息。对于每一层反卷积层,加入批正则化层(batch normalization)用于避免训练过程中梯度爆炸的问题。
20、对于策略函数的下游网络(图3):本发明将上游网络的输出通入反卷积层。最终,反卷积层的输出一个向量。对该向量,分别通入5个不同的多层感知器,代表5条待选的边,以进行进一步的特征提取,最后分别得到每条边的每种拓扑结构的概率分布,便于决策的制定。
21、对于值函数的下游网络(图4):将上游网络的输出通入反卷积层。对于经过反卷积层之后得到的输出向量,通入2层全连接层,完成到值函数的映射。
22、奖励函数:本发明将值函数定义为最后电路的性能。根据值函数定义,设置奖励rt+1=p(at)-p(at-1),其中,r1为初始电路的性能,p(at)为第at步选择的电路的仿真结果,按如下方式计算:假设该步智能体返回的电路性能的仿真结果为电路约束为定义则其中:sgn为符号项,对于本设计而言,反映了相位裕度的符号sgn=sgn(α2)。
23、训练策略:本发明利用ppo截断算法实施对智能体的训练。对于每一个单独的设计轨迹,进行如下近似:利用当前状态下采取的行动来代替当前状态下所有可行的行动的数学期望。随后,采用蒙特卡洛方法,利用当前采集到的训练轨迹,估计对不同状态的数学期望。此外,为了提高训练的效率,同时采样了nbatch个数据,促使训练收敛。
24、基于以上设计,整个电路流程如下所示:对于电路设计历史,本发明考虑当前电路前5步的电路拓扑。对于不存在拓扑的情况(即:刚开始设计的阶段),设置电路拓扑为基本的三级运算给放大器(即:[0,0,0,0,0]),每一个设计轨迹从初始状态s0开始,根据前文所述,该状态为5个基本三级运算放大器(即:5个[0,0,0,0,0]拓扑)。智能体根据状态st,给出行动at,对于行动at给出的电路拓扑,输入基于贝叶斯优化的参数优化器。环境根据仿真结果计算奖励rt+1,同时,状态转移至st+1。重复上述设计步骤,直到迭代到预设好的步数t。
25、(二)晶体管级电路映射后重调参算法
26、本设计用到的算法如algorithm2所示。在该算法中,上层待优化变量为所有晶体管预先由设计师指定的gm/id的值。下层待优化变量为行为级电路中各个器件的参数(如gm、r、c等)。上下两层的约束均为电路性能指标,目标均为电路的fom值,但是下层的观测值yinner是利用对映射后晶体管级电路进行仿真得到的fom,而上层观测值youter则是在当前的gm/id下下层电路利用贝叶斯优化算法求解出的最优的fom。
27、
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com