华为达芬奇

达芬奇架构依然是基于ARM架构，是在ARM架构的基础上研发的AI硬件处理单位，它不是ARM处理器， 而是与之配合，为通用处理器添加AI加速器功能。华为的麒麟810芯片采用的是达芬奇NPU,也就是传统的ARM核+AI加速器的模式。当然，这个AI加速器是达芬奇NPU的核心，他把MAC按照不同的计算组成不同的方式，搭配标准的数据缓存，进行AI运算时按照cube三维立体模式组织的MAC群支持相关运算。

ARM架构

ARM架构，高级精简指令集机器(Advanced RISC Machine，更早称为Acorn精简指令集机器，Acorn RISC Machine)，是一个精简指令集(RISC)处理器架构家族，其广泛地使用在许多嵌入式系统设计。

华为原生全场景

华为原生全场景(all-scenario native)的AI全栈解决方案

AI Training SoC： Ascend 910

Memory

            Da Vinci AI Core:32
            On chip:
                   L3 cache
                   On-chip Buffer 32MB
                    DDR4: 2
                   HBM2.0:  4
            Off chip:
                    DDR4 DIMM

cpu 使用 Ring Bus 拓扑
davinci 使用Mesh Bus拓扑(CGRA,LDPC/Polar,FFT)

NOC

NoC为每个core提供了读写带宽 128GBps
Inter-chip connections
3x240Gbps HCCS ports - for NUMA connections
2x100Gbps RoCE interfaces for networking

Ascend 910 AI Server

Ascend 910 Cluster

可能是当今世界上最大的分布式训练系统，把1024个最高计算密度的Ascend 910芯片连接到一个计算群集中，提供256PetaFlops超高计算能力。结合了32TB HBM。
1024Node x 256TFlops = 256 Peta Flops
2048Node x 256TFlops = 512 Peta Flops

达芬奇

达芬奇架构设计的核心理念：以最小的计算代价增加矩阵乘的算力，实现更高的AI能效。达芬奇架构采用3D Cube针对矩阵运算做加速，大幅度提升单位功耗下的AI算力，每个AI Core可以在一个时钟周期内实现16^3(4096)个MAC操作，与传统的CPU和GPU实现数量级的提升。
具有可拓展计算、可拓展内存和可拓展互连。

图片:
可以进行各种配置，最大配置(16^3)下，一个Cube可在一个时钟周期内完成4096个FP16 MACs运算。Cube可以逐步缩小到16* 16 * 1，这意味着在一个周期内完成256个MACs运算。

达芬奇Core集成了超高位矢量处理器单元和标量处理器单元。这一多种计算设计使得达芬奇架构不仅支持矩阵以外的计算，而且可以适应未来神经网络计算类型的潜在变化。

使用片上超高带宽Mesh网络将多个达芬奇Core连接在一起，保证Core之间以及Core与其他IP之间的极低延迟通信。
4TByte/s L2 Buffer
1.2TByte/s HBM

达芬奇是在Arm架构基础之上研发的AI硬件处理单元

Memory Hierarchy

1.通过L1,L0A,L0B对数据进行重用，减少对DDR带宽的需求
2.提供不对称的带宽，L1->L0A 带宽大于 L1->L0B带宽 因为W*H比输出通道数大

参考文献：
(1): https://www.eet-china.com/news/201908301019.html
(2): https://www.anandtech.com/show/14756/hot-chips-live-blogs-huawei-da-vinci-architecture