计算设备及同步方法与流程
本公开涉及人工智能,特别是涉及一种计算设备及同步方法。
背景技术:
1、目前ai(artificial intelligence,人工智能)芯片基本采用多核设计。多核设计使ai芯片能够同时调度多个计算核心执行张量运算,提升系统整体吞吐量,但是也引入了高昂的同步代价。同步代价主要分为4个方面:缓存一致性维护、内存带宽竞争、软件锁开销以及内存屏障成本,以上使得多核同步代价较大,多核并行效率较低。
2、因此,需要一种改进的多核同步方案。
技术实现思路
1、本公开要解决的一个技术问题是,如何改善多核同步性能。
2、根据本公开的第一个方面,提供了一种计算设备,包括:同步单元和多个计算单元,所述计算单元包括主控单元和协处理器,所述多个计算单元中的至少部分计算单元中的协处理器并行执行拆分同一计算任务而得到的子计算任务,所述同步单元关闭所述至少部分计算单元中各个计算单元的主控单元与协处理器之间的指令通路,并获取所述至少部分计算单元中各个计算单元的协处理器的运行状态,所述同步单元响应于所述至少部分计算单元中各个计算单元的协处理器的运行状态均为空闲状态,打开所述指令通路。
3、可选地,所述至少部分计算单元中到达同步点的计算单元中的主控单元,向所述同步单元发送第一配置信息,所述同步单元响应于接收到所述第一配置信息关闭该主控单元和该主控单元所在计算单元的协处理器之间的指令通路。
4、可选地,所述至少部分计算单元中到达同步点的计算单元的主控单元,在所述同步单元中不存在同步信息或所述同步单元中的同步信息未上锁的情况下,在所述同步单元中配置同步信息的第一字段、第二字段以及第三字段,以对同步信息进行上锁、在同步信息中写入参与同步的计算单元并将同步信息配置为有效,其中,所述第一字段表示所述同步信息是否上锁,所述第二字段表示所述同步信息是否有效,所述第三字段表示参与同步的计算单元,所述同步单元在所述同步信息有效的情况下,根据所述同步信息中记载的参与同步的计算单元,判断参与同步的各个计算单元的协处理器是否均处于空闲状态。
5、可选地,所述第三字段的位宽等于所述多个计算单元的数量,所述第三字段中的每个比特位对应一个计算单元,对于所述第三字段中的每个比特位,取值为第一值表示该比特位对应的计算单元不参与同步,取值为第二值表示该比特位对应的计算单元参与同步。
6、可选地,所述同步单元基于各个计算单元的协处理器的运行状态配置状态信息,所述状态信息的位宽等于所述多个计算单元的数量,所述状态信息中的每个比特位对应一个计算单元,对于所述状态信息中的每个比特位,取值为第三值表示该比特位对应的计算单元的协处理器处于空闲状态,取值为第四值表示该比特位对应的计算单元的协处理器处于忙碌状态,所述同步单元将所述状态信息与所述同步信息中的第三字段进行比较,以判断参与同步的各个计算单元的协处理器是否均处于空闲状态。
7、可选地,所述计算单元还包括一级缓存或共享内存,并且/或者所述计算设备还包括二级缓存,所述二级缓存用于存储供不同计算单元访问的共享资源。
8、根据本公开的第二个方面,提供了一种同步方法,用于对计算设备所包括的多个计算单元中的至少部分计算单元进行同步,所述至少部分计算单元并行执行拆分同一计算任务而得到的子计算任务,所述方法包括:关闭所述至少部分计算单元中各个计算单元的主控单元与协处理器之间的指令通路,并获取所述至少部分计算单元中各个计算单元的协处理器的运行状态,响应于所述至少部分计算单元中各个计算单元的协处理器的运行状态均为空闲状态,打开所述指令通路。
9、可选地,关闭所述至少部分计算单元中各个计算单元的主控单元与协处理器之间的指令通路,包括:响应于接收到到达同步点的计算单元的主控单元发送的第一配置信息,关闭该主控单元和与该主控单元所在计算单元的协处理器之间的指令通路。
10、可选地,同步方法还包括:从所述至少部分计算单元中其中一个到达同步点的计算单元的主控单元获取同步信息,所述至少部分计算单元中到达同步点的计算单元的主控单元,在不存在同步信息或同步信息未上锁的情况下配置同步信息的第一字段、第二字段以及第三字段值,以对同步信息进行上锁、在同步信息中写入参与同步的计算单元并将同步信息配置为有效,所述第一字段表示所述同步信息是否上锁,所述第二字段表示所述同步信息是否有效,所述第三字段表示参与同步的计算单元;在所述同步信息有效的情况下,根据所述同步信息中记载的参与同步的计算单元,判断参与同步的各个计算单元的协处理器是否均处于空闲状态。
11、可选地,所述第三字段的位宽等于所述多个计算单元的数量,所述第三字段中的每个比特位对应一个计算单元,对于所述第三字段中的每个比特位,取值为第一值表示该比特位对应的计算单元不参与同步,取值为第二值表示该比特位对应的计算单元参与同步,所述方法还包括:基于各个计算单元的协处理器的运行状态配置状态信息,所述状态信息的位宽等于所述多个计算单元的数量,所述状态信息中的每个比特位对应一个计算单元,对于所述状态信息中的每个比特位,取值为第三值表示该比特位对应的计算单元的协处理器处于空闲状态,取值为第四值表示该比特位对应的计算单元的协处理器处于忙碌状态,判断参与同步的各个计算单元的协处理器是否均处于空闲状态,包括:将所述状态信息与所述同步信息中的第三字段进行比较,以判断参与同步的各个计算单元的协处理器是否均处于空闲状态。
12、根据本公开的第三个方面,提供了一种计算机程序产品,包括可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器执行如上述第二方面所述的方法。
13、根据本公开的第四个方面,提供了一种非暂时性机器可读存储介质,其上存储有可执行代码,当可执行代码被电子设备的处理器执行时,使处理器执行如上述第二方面所述的方法。
14、本公开通过设置专门用于多核硬件同步的同步单元,并将计算单元到达同步点后主控单元所需执行的同步操作交由同步单元执行,一方面可以降低多核同步延迟,另一方面使得到达同步点的计算单元内的主控单元无需挂起等待同步,而可以异步地工作,继续运行程序,减少流水线停顿,使得多核同步之后的启动延迟大大降低。
1.一种计算设备,其特征在于,包括:同步单元和多个计算单元,
2.根据权利要求1所述的计算设备,其特征在于,
3.根据权利要求1所述的计算设备,其特征在于,
4.根据权利要求3所述的计算设备,其特征在于,
5.根据权利要求4所述的计算设备,其特征在于,
6.根据权利要求1至5中任一项所述的计算设备,其特征在于,
7.一种同步方法,其特征在于,用于对计算设备所包括的多个计算单元中的至少部分计算单元进行同步,所述至少部分计算单元并行执行拆分同一计算任务而得到的子计算任务,所述方法包括:
8.根据权利要求7所述的同步方法,其特征在于,关闭所述至少部分计算单元中各个计算单元的主控单元与协处理器之间的指令通路,包括:
9.一种计算机程序产品,其特征在于,包括可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器执行如权利要求7或8所述的方法。
10.一种非暂时性机器可读存储介质,其特征在于,其上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器执行如权利要求7或8所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com