本发明涉及集成电路，尤其涉及一种稀疏感知调度器、混合加速架构、智能边缘芯片及设备。
背景技术：
1、边缘计算是一种分布式计算，它将计算任务和数据存储从数据中心或云环境迁移到网络的边缘，也就是离数据源更近的地方。在边缘计算中，数据不需要直接上传到云或集中数据处理系统，不仅降低数据传输的延迟，提升服务的响应速度，同时也可以减轻云端的计算和存储负担，还提高了数据的隐私和安全性，降低了数据泄露的风险。此外，边缘计算还可以节省网络带宽，因为它减少了大量数据在网络中的传输，特别适合处理大数据量的应用，如物联网(iot)设备、自动驾驶等。更重要的是，边缘计算能够支持实时或近实时的数据处理，这对于需要快速决策的应用(如自动驾驶、工业自动化等)具有重要价值。
2、智能边缘芯片是一种专门为边缘计算设计的微处理器，它强大的计算能力被封装在一个小型的硬件设备中，以满足边缘计算对于低延迟、高效能和实时处理的需求。随着人工智能和机器学习的发展，一些智能边缘芯片开始集成专门的ai加速器，如神经网络处理器(npu)，这种类型的芯片可以在设备端进行深度学习模型的推理，大大提高了处理效率和响应速度，同时也保护了数据的隐私。智能边缘芯片作为边缘设备的核心，具备了更强的处理运算能力，可以进行人工智能的计算。神经网络在当前已经深深地渗透到人们生活的各个方面，随着人们对神经网络的理解和应用的不断深入，现在的神经网络模型变得越来越复杂，这无疑提高了对硬件性能的要求。
3、当神经网络模型增加更多的层次、更多的节点，以及更复杂的连接方式时，它们需要处理的数据量也随之增加，这就要求硬件设备必须具备更强大的计算能力和更大的内存容量，从而神经网络模型参数量的日益增长与边缘端设备有限的硬件资源的矛盾日益加大。此外，为了训练这些复杂的神经网络模型，硬件设备还需要支持高效的并行计算和高速的数据传输，以确保在处理大量数据和复杂计算时，能够保持高效的运行速度和低延迟的响应时间。因此，提供具有低延迟、资源高利用率的智能边缘芯片成为一种需求。
技术实现思路
1、为解决上述技术问题，本发明提供一种稀疏感知调度器、混合加速架构、智能边缘芯片及设备，具有较低的延迟时间，又具有较高的资源利用率。
2、本发明提供一种稀疏感知调度器，适用于含有多个加速器的智能边缘芯片，包括：稀疏信息提取器、延迟估计单元、负载分配器和前递检测器，
3、所述稀疏信息提取器，用于将神经网络中网络层与该网络层的稀疏特征信息进行关联；
4、所述延迟估计单元，用于根据每个网络层的稀疏特征信息对该网络层运行在不同加速器时的延迟进行评估；
5、所述负载分配器，用于根据第一加速器中前向传播延迟、第二加速器中反向传播延迟、第一加速器中后向传播延迟和第二加速器中前向传播延迟确定加速器的配置方案，以获得较小延迟；
6、所述前递检测器，用于根据负载分配器的输出结果确定第一加速器的输出和第二加速器的输出是否直接发送到对方的输入缓存区。
7、本发明还提供一种混合加速架构，包括：多个加速器和上述的稀疏感知调度器，所述多个加速器，用于支持同时前向传播和后向传播的稀疏训练。
8、本发明还提供一种智能边缘芯片，包括上述的混合加速架构。
9、本发明还提供一种边缘设备，包括上述的智能边缘芯片。
10、本发明实施例中通过ipa单元与acc(加速器)一起形成混合加速，实现并行计算，利用cpu的pipeline加速功能；同时，通过稀疏感知调度器可以基于稀疏度水平估计延迟，并将fp和bp计算安排到不同的加速单元中。在本发明的调度器中，层间延迟是根据不同层之间的稀疏比例变化来估计的，在层粒度上动态分配任务给两个加速器，实现了更好的性能和更高资源利用率。
1.一种稀疏感知调度器，适用于含有多个加速器的智能边缘芯片，其特征在于，包括：稀疏信息提取器、延迟估计单元、负载分配器和前递检测器，
2.根据权利要求1所述的调度器，其特征在于，所述稀疏特征信息包括：稀疏比率、稀疏模式和权重矩阵的维度。
3.根据权利要求1或2所述的调度器，其特征在于，所述负载分配器，具体用于将第一加速器中前向传播延迟和第二加速器中反向传播延迟进行比较，获取较大的第一延迟；将第一加速器中后向传播延迟和第二加速器中前向传播延迟进行比较，获取较大的第二延迟；再对第一延迟与第二延迟进行比较，选择较小延迟对应的加速器配置方案。
4.一种混合加速架构，其特征在于，包括：多个加速器和如权利要求1-3中任一项所述的稀疏感知调度器，
5.根据权利要求4所述的架构，其特征在于，所述多个加速器为两个，第一加速器为流水线紧耦合加速单元，用于执行向量的乘累加，第二加速器为乘加阵列。
6.根据权利要求5所述的架构，其特征在于，所述流水线紧耦合加速单元配置于智能边缘芯片中中央处理单元的访存流水线级。
7.根据权利要求4-6中任一项所述的架构，其特征在于，还包括：统一内存系统，用于实现在前向传播时常规读取权重和在反向传播时转置读取权重。
8.根据权利要求7所述的架构，其特征在于，所述统一内存系统包括：权重内存库、中间激活层内存库和梯度内存库。
9.一种智能边缘芯片，其特征在于，包括如权利要求4-8中任一项所述的混合加速架构。
10.一种边缘设备，其特征在于，包括如权利要求9中的智能边缘芯片。
