1.本发明涉及芯片设计技术领域,尤其是涉及一种信息科技教育开源硬件专用芯片。
背景技术:2.arduino、microbit、树莓派以上三个基于美国公司和挪威公司芯片设计的教育开发板,是全世界信息科技教育领域中应用最广泛的开源硬件板卡,这三款采用的芯片全部是美国和欧洲公司研发的芯片,内核体系以avr单片机和arm体系结构为主。
3.世界普遍采用的信息科技教育板卡树莓派是英国剑桥大学博士埃本
·
阿普顿作为创始人,由树莓派基金会为提供基金支持的开源项目。最初设计是为学习计算机编程教育而设计的开源硬件,目前应用到信息科技教育的各个领域。树莓派2代和3代采用的芯片是美国博通公司的bcm283x系列soc芯片,设计有4个arm cortex-a53核、64bit数据位宽以及主频1.2ghz。树莓派4代升级为bcm2711,cpu升级为4个cortex-a72核、64bit数据位宽,主频提高到1.5ghz。第4代产品还在其他硬件接口上进行了优化,具有两个usb3.0和两个usb2.0端口,支持真正千兆以太网、蓝牙5.0技术和摄像头接口。
4.英国的儿童创客教育开发板microbit是由英国广播电视公司联合微软、三星和arm等共同完成开发的一款微型电脑,主要针对青少年编程教育设计而成。第二代主处理器采用的挪威nordic公司研发的nrf52833芯片,这款soc芯片基于arm cortex-m0核心设计,32bit数据位宽。microbit在只有半张信用卡大小的pcb上集成了nrf5x应用处理器和一系列与它连接的外围设备,如陀螺仪、运动传感器、led阵列和蓝牙等设备,可以让中小学学生方便设计各种实验。
5.起源于意大利的arduino系列平台主处理器基于美国atmel公司的mega avr微控制器而设计,主要型号atmega8、atmega168、atmega328、atmega1280、atmega2560。以atmega2560为例,它是一款低功耗的8位avr芯片,它拥有256k的flash rom,8k的sram,4k的eeprom,工作最高频率16mhz。有54路数字输入/输出端口、16路模拟输入端口、4路uart串口、16mhz的晶振以及usb连接口。arduino系列平台是一个优秀的信息科技教育开源硬件开发平台,广泛应用到编程教育、机器人教育和创客教育领域中。
6.arduino、microbit和树莓派以上三个基于美国公司和挪威公司芯片设计的教育开发板,这三款采用的芯片全部是美国和欧洲公司研发的芯片,内核体系以avr单片机和arm体系结构为主。arduino采用的是单片机,三者中体系结构最简单的芯片,功能有限,需要搭载外围扩展板卡,做各种实验。microbit采用的挪威nordic芯片,最大的突出特点是32位的蓝牙和wifi单芯片设计。树莓派采用美国博通公司的4个arm核的芯片,功能强大,资源最为丰富,但是基于linux操作系统,需要一定的计算机编程基础。在人工智能教育中,因为硬件没有人工智能加速单元,运行复杂的深度学习的算法,必须借助外围pc或者云端,给人工智能的信息科技教育课课堂教学带来不便。
7.国内各种开源硬件能够运行linux操作系统的芯片主要来自于国内全志科技、瑞
芯微研发的以arm为核心的芯片,这类芯片最初设计主要针对平板类、视频类产品,在视频编解码领域功能强劲,但是在信息科技教育领域,芯片提供的接口资源不够全面,同时功能类型不够丰富,需要芯片外围拓展连接第三方功能的芯片,以适应信息科技教育的需要。另一个潜在的风险是国产的以arm核的设计的soc cpu授权受制于日本软银的限制,将来在高性能的soc设计领域风险较大,不利于国内信息科技教育专用芯片的发展。
8.中国乐鑫公司的esp系列芯片在国内外信息科技教育中应用也比较广泛,系统集成了wifi和蓝牙双重功能,具有低功耗和性价比较高的优点,不足之处是cpu接口资源有限,没有嵌入式操作系统做支撑,复杂应用软件无法在esp系列芯片上运行,信息科技教育中复杂的实验,尤其是人工智能教育中需要运行深度学习框架的实验,无法运行。
9.嘉楠科技的基于risc-v cpu内核的芯片k210提供了深度学习框架的硬件加速功能,做人工智能教育比较合适,但是k210也面临芯片接口资源有限,操作系统仅能支持free rtos,无法支撑机器人教育、编程教育、stem教育复杂实验的应用场景。
10.arduino采用的是单片机,三者中体系结构最简单的芯片,功能有限,需要搭载外围扩展板卡,做各种实验。microbit采用的挪威nordic芯片,最大的突出特点是32位的蓝牙和wifi单芯片设计。树莓派采用美国博通公司的4个arm核的芯片,功能强大,资源最为丰富,但是基于linux操作系统,需要一定的计算机编程基础。在人工智能教育中,因为硬件没有人工智能加速单元,运行复杂的深度学习的算法,必须借助外围pc或者云端,给人工智能的信息科技教育课课堂教学带来不便。
11.总体而言,目前国内外市场上,没有一颗32位或者64位数据带宽、以risc-v为cpu体系结构、对称多核、集成人工智能加速单元、硬件接口丰富、专用于信息科技教育的嵌入式微处理器芯片。
12.目前信息科技教育开源硬件芯片面临的主要问题如下:
13.(1)cpu核严重依赖国外授权
14.基于arm核芯片设计的必要条件是购买日本软银公司授权,才能进行芯片的设计,这为我国研发自主可控的专用信息科技教育专用芯片增加了设计成本,同时也带来了技术依赖性。我国信息科技教育开源硬件芯片缺少具有自主知识产权的cpu内核体系架,严重依赖于arm内核体系结构的芯片设计策略不利于芯片的本土化和国产化自主可控,也不符合国家提出的建设数字资源新型基础设施、可信安全新型基础设施的方针政策。
15.(2)信息科技教育专用芯片匮乏
16.医疗行业、汽车行业、航空产业对于芯片的要求都有严格的行业标准,国内半导体公司设计芯片开始时的产品定义主要应用于某一特定应用领域,但是因为信息科技教育领域没有行业标准,而且对芯片的性能要求门槛低,所以不少芯片衍生应用到信息科技教育领域。典型的如上海乐鑫科技的esp芯片系列,产品定义物联网工业领域,目前也广泛应用于信息科技教育领域。这款芯片只能运行轻量级操作系统,不能运行linux这类支持人工智能框架的操作系统,导致以esp系列芯片模组开发的信息科技教育产品缺乏丰富的支持工具和应用软件支撑。嘉楠科技公司研发的勘智k210芯片,主要设计目的是实现深度学习算法加速,实现离线人脸识别、边缘计算等工业领域。目前在人工智能教育领域应用范围很广,但是这颗芯片的硬件外设接口资源偏少,软件缺少linux操作系统支持。学术、工程、商业、教育等多方面的原因,我国尚没有一颗专用于信息科技教育开源硬件的专用芯片。
17.(3)不支持信息科技教育的全面功能
18.因为国内没有一颗soc芯片是专为信息科技教育研发设计,所以缺少一颗能够涵盖编程教育、机器人教育、创客教育尤其是人工智能教育的所有功能的专用芯片。教师要根据实际教学实验的需要,围绕现有的板卡,额外搭载多个外设实验附件模块。如有些soc芯片,大多只有一个usb接口,如果需要额外使用usb接口的芯片,需要进行串口到usb转换。显示接口方面,有些芯片没有专用的mipi显示屏接口,只能根据芯片资源连接并行接口的屏,导致占用过多的芯片引脚资源。如果连接多个i2c、spi、uart外设传感器,很多芯片不具备多个接口资源,多个外接传感器模块无法同时连接,导致并行模块的实验就无法进行。人工智能教育的兴起,带来的影响就是开源硬件的芯片缺少复杂的机器学习、深度学习算法硬件加速单元,导致教学用具必须借助云端或者pc端进行计算,带来教育的不便。
19.(4)不支持人工智能教育的卷积神经网络的硬件加速功能
20.人工智能教育中,芯片需要卷积神经网络硬件加速,目前流行的开源硬件树莓派的broadcom博通公司的芯片、microbit的nordic公司芯片、上海乐鑫公司的esp32系列,都是开源硬件比较流行的芯片。但是都没有人工智能加速的功能,做人工智能教育,不能运行复杂的视觉算法。
技术实现要素:21.本发明的目的是提供一种信息科技教育开源硬件专用芯片,基于risc-v开源指令体系设计对称多核cpu,不需要arm授权,不受限制,具备人工智能算法加速功能,提供脱离云端的人工智能教育实验,设置有多种接口,能够支持并运行复杂的实验。
22.为实现上述目的,本发明提供了一种信息科技教育开源硬件专用芯片,包括基于risc-v的对称多核cpu、人工智能加速单元、多媒体单元、通讯单元以及外设接口单元,人工还能加速单元、多媒体单元、通讯单元以及外设接口单元均与对称多核cpu相连接。
23.优选的,所述通讯单元包括wifi模块和蓝牙模块,wifi模块和蓝牙模块均与对称多核cpu相连接。
24.优选的,所述外设接口单元包括usb接口、uart接口、spi总线接口、i2c总线接口、pwm脉宽调制信号接口以及mipi高速输入输出接口,usb接口、uart接口、spi总线接口、i2c总线接口、pwm脉宽调制信号接口以及mipi高速输入输出接口均设置有至少一个。
25.优选的,多媒体单元包括显示接口、摄像头接口、音频处理接口以及sha256计算模块。
26.优选的,对称多核cpu包括4个risc-v核心、ram以及rom,ram用于启动代码的临时存储,rom用于存储启动代码与配置代码。
27.优选的,人工智能加速单元包括npu处理器、itcm和dtcm,用于执行深度学习算法,完成图像时候和自然语言处理,itcm和dtcm通过ahb总线与risc-v核心相连接,ahb总线连接有apb转接桥,外设接口单元、通讯单元以及多媒体单元通均与apb总线相连接,apb总线与apb转接桥相连接,通讯单元通过sdio接口与apb总线相连接。
28.优选的,还设置有调试接口。
29.因此,本发明采用上述结构的一种信息科技教育开源硬件专用芯片,具有以下有益效果:
30.(1)基于risc-v开源指令体系设计对称多核cpu,不需要arm授权,不受限制。
31.(2)具备人工智能卷积神经网络算法加速功能,提供脱离云端的人工智能教育实验。
32.(3)外设接口单元包括usb接口、uart接口、spi总线接口、i2c总线接口、pwm脉宽调制信号接口以及mipi高速输入输出接口,多媒体单元包括显示接口、摄像头接口、音频处理接口以及sha256计算模块,设置有多种接口,能够支持并运行复杂的实验。
33.(4)通讯单元包括wifi模块和蓝牙模块,根据实际情况选择不同的通讯模块。
34.下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
35.图1为本发明一种信息科技教育开源硬件专用芯片的结构示意图;
36.图2为本发明一种信息科技教育开源硬件专用芯片内部连接图。
具体实施方式
37.实施例
38.图1为本发明一种信息科技教育开源硬件专用芯片的结构示意图,图2为本发明一种信息科技教育开源硬件专用芯片内部连接图,如图所示,一种信息科技教育开源硬件专用芯片,包括基于risc-v的对称多核cpu、人工智能加速单元、多媒体单元、通讯单元以及外设接口单元,人工还能加速单元、多媒体单元、通讯单元以及外设接口单元均与对称多核cpu相连接。
39.通讯单元包括wifi模块和蓝牙模块,wifi模块和蓝牙模块均与对称多核cpu相连接,为芯片提供高速的wifi网络接入和蓝牙通讯功能。利用wifi技术的快速连接特性,能够通过软件将其配置成tcp或udp服务器或客户端,在使用时用户能够利用此wifi单元搭建本地web服务器,从而完成网络编程学习目标;bluetooth单元能够利用其低功耗和快速连接特性,在使用时用于连接其他外设,发送或接收数据。
40.外设接口单元包括usb接口、uart接口、spi总线接口、i2c总线接口、pwm脉宽调制信号接口以及mipi高速输入输出接口,usb接口、uart接口、spi总线接口、i2c总线接口、pwm脉宽调制信号接口以及mipi高速输入输出接口均设置有至少一个,为了芯片的功能满足创客教育、机器人教育、科学教育、编程教育、人工智能教育的要求,设置有多个接口,能够支持并运行复杂的实验。可根据实际功能场景需要,使用spi总线接口、i2c和i2s总线接口、uart通用异步收发传输器接口。除此之外,利用pwm脉宽调制控制器,用户可使用支持脉宽调制的io接口控制如led、电动马达的速度控制等。
41.多媒体单元包括显示接口、摄像头接口、音频处理接口以及sha256计算模块。在使用时,显示接口可接入显示屏,从而显示系统gui;音频处理接口可接入音频输出设备,播放媒体声音;摄像头可接入高分辨率的摄像头,用于获取图像信息。
42.对称多核cpu包括4个risc-v核心、ram以及rom,ram用于启动代码的临时存储,rom用于存储启动代码与配置代码,基于risc-v(开源精简指令集架构)架构的中央处理器提供64位的数据处理和计算能力,每个核心提供一个浮点型数据处理单元,能够辅助中央处理器处理图像数据。
43.人工智能加速单元包括npu处理器、itcm和dtcm,用于执行深度学习算法,完成图像时候和自然语言处理,能够以对称多核cpu所达不到的高速来处理图像数据和深度学习算法,在使用时能够执行深度学习算法,能够完成图像识别和自然语言处理,从而可以高速高效地完成ai处理场景。itcm和dtcm通过ahb总线与risc-v核心相连接,ahb总线连接有apb转接桥,外设接口单元、通讯单元以及多媒体单元通均与apb总线相连接,apb总线与apb转接桥相连接,通讯单元通过sdio接口与apb总线相连接。
44.人工智能加速单元用于实现深度学习算法的硬件加速。目前能落地的人工智能教育实验,主要两个方面视觉图像处理和自然语言处理。如运行基于图像处理的slam功能自动导航小车,能识别点云图进行离线处理的编程机器人等,这些信息教育装备都用到了机器学习尤其是深度学习的算法,因此理想的信息科技教育专用芯片,除了具备通用嵌入式处理器的功能之外,还要具备人工智能加速功能,以便于在芯片端、边缘端直接运行深度学习算法模型。本芯片在基于risc-v的开源指令集的基础上,vhdl语言实现了tensor(张量)。基于tensor的硬件实现,脱离gpu、dsp等协处理器,可以在芯片端运行tensorflow、caffe、pytorch的卷积网络的框架。
45.本芯片还设置有调试接口,用于对芯片进行开发调试,可与外部软件配合配置芯片启动方式或注入代码等。
46.因此,本发明采用上述结构的一种信息科技教育开源硬件专用芯片,基于risc-v开源指令体系设计对称多核cpu,不需要arm授权,不受限制,具备人工智能算法加速功能,提供脱离云端的人工智能教育实验,设置有多种接口,能够支持并运行复杂的实验。
47.最后应说明的是:以上实施例仅用以说明本发明的技术方案而非对其进行限制,尽管参照较佳实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对本发明的技术方案进行修改或者等同替换,而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。
技术特征:1.一种信息科技教育开源硬件专用芯片,其特征在于:包括基于risc-v的对称多核cpu、人工智能加速单元、多媒体单元、通讯单元以及外设接口单元,人工还能加速单元、多媒体单元、通讯单元以及外设接口单元均与对称多核cpu相连接。2.根据权利要求1所述的一种信息科技教育开源硬件专用芯片,其特征在于:所述通讯单元包括wifi模块和蓝牙模块,wifi模块和蓝牙模块均与对称多核cpu相连接。3.根据权利要求1所述的一种信息科技教育开源硬件专用芯片,其特征在于:所述外设接口单元包括usb接口、uart接口、spi总线接口、i2c总线接口、pwm脉宽调制信号接口以及mipi高速输入输出接口,usb接口、uart接口、spi总线接口、i2c总线接口、pwm脉宽调制信号接口以及mipi高速输入输出接口均设置有至少一个。4.根据权利要求1所述的一种信息科技教育开源硬件专用芯片,其特征在于:多媒体单元包括显示接口、摄像头接口、音频处理接口以及sha256计算模块。5.根据权利要求1所述的一种信息科技教育开源硬件专用芯片,其特征在于:对称多核cpu包括4个risc-v核心、ram以及rom,ram用于启动代码的临时存储,rom用于存储启动代码与配置代码。6.根据权利要求1所述的一种信息科技教育开源硬件专用芯片,其特征在于:人工智能加速单元包括npu处理器、itcm和dtcm,用于执行深度学习算法,完成图像时候和自然语言处理,itcm和dtcm通过ahb总线与risc-v核心相连接,ahb总线连接有apb转接桥,外设接口单元、通讯单元以及多媒体单元通均与apb总线相连接,apb总线与apb转接桥相连接,通讯单元通过sdio接口与apb总线相连接。7.根据权利要求1所述的一种信息科技教育开源硬件专用芯片,其特征在于:还设置有调试接口。
技术总结本发明公开了一种信息科技教育开源硬件专用芯片,包括基于RISC-V的对称多核CPU、人工智能加速单元、多媒体单元、通讯单元以及外设接口单元,人工还能加速单元、多媒体单元、通讯单元以及外设接口单元均与对称多核CPU相连接。采用上述结构的一种信息科技教育开源硬件专用芯片,基于RISC-V开源指令体系设计对称多核CPU,不需要ARM授权,不受限制,具备人工智能算法加速功能,提供脱离云端的人工智能教育实验,设置有多种接口,能够支持并运行复杂的实验。验。验。
技术研发人员:朱立新
受保护的技术使用者:北京师范大学
技术研发日:2022.07.18
技术公布日:2022/11/1