ai芯片四个特性（公开课二十二期笔记）

ai芯片四个特性（公开课二十二期笔记）AI软件界在迅速发展，新的应用几乎每天都在层出不穷，而这一轮AI浪潮爆发的核心便是深度学习。经过多年的发展，目前世界上主流的AI训练框架就有几十种，而国内一些人工智能企业也自主研发了训练框架。AI框架生态及算力分析众所周知，AI的三要素是算力、数据和场景，而云计算正好可提供AI三要素，可以说AI与云计算是天生一对。然而云计算并非能胜任一切应用场景，如无人驾驶、低时延工业场景中则更需要有能力处理分散在边缘且及时需处理的需求。王军表示，AI芯片正由云端走向终端和边缘，数据也由云走向边缘，智能终端将多样化，而边缘AI芯片更易推出。AI应用落地关注什么？王军指出主要有四大方面：场景、算法、SDK和算力。

集微网消息（文/Jimmy），集微直播间自开播以来获得了大量来自行业的关注与好评。其中“集微公开课”栏目联合行业头部企业，通过线上直播的方式分享精彩主题内容，同时设立直播间文字提问互动环节。集微网希望将“集微公开课”栏目打造成中国ICT产业最专业、优质的线上培训课程，深化产教融合，助力中国ICT产业发展。

第二十二期“集微公开课”于6月11日（周四）上午10:00直播，邀请到全志科技智能视频技术总监王军，带来以《AI技术落地方案介绍》为主题的精彩演讲，为大家深入解答关于AI的问题。

点这里观看回放

AI应用趋势

众所周知，AI的三要素是算力、数据和场景，而云计算正好可提供AI三要素，可以说AI与云计算是天生一对。然而云计算并非能胜任一切应用场景，如无人驾驶、低时延工业场景中则更需要有能力处理分散在边缘且及时需处理的需求。

王军表示，AI芯片正由云端走向终端和边缘，数据也由云走向边缘，智能终端将多样化，而边缘AI芯片更易推出。

AI应用落地关注什么？王军指出主要有四大方面：场景、算法、SDK和算力。

AI框架生态及算力分析

AI软件界在迅速发展，新的应用几乎每天都在层出不穷，而这一轮AI浪潮爆发的核心便是深度学习。经过多年的发展，目前世界上主流的AI训练框架就有几十种，而国内一些人工智能企业也自主研发了训练框架。

虽然这些都是机器学习工具集，但它们并不是完全取代对方，各有各的特色。其中，Caffe&Caffe2 存量大、逐渐被替代；TensorFlow是工业界的首选，分布式计算强大；PyTorch上手快、功能强大，是学术界的宠儿；Kaldi国内市占率较高，不仅限于深度学习，是面向音频算法的复合工具箱。

王军表示，视觉框架将趋于相对统一，TensorFlow和PyTorch将成主流，这两种框架的用户基数也大。Kaldi因技术原因会长期存在于智能音频领域，需要持续关注。

王军分析了几个移动端开源推理框架的优劣，其中Open AI Lab的Tengine生态丰富，但仅开源免费商业版；NVIDIA的TensorRT主要用于英伟达GPU；Facebook，Microsoft的ONNX不局限于嵌入式端；腾讯的NCNN代码清晰，适合魔改，完全开源。

王军还科普了AI常见的几个名词，包括算法、算力和SDK。其中算法包括网络、框架和精度。算力包括算力、利用率、系统资源。SDK包括中间件、工具。

网络方面有三大分类，其中CNN为卷积神经网络，适合做图像分类、目标检测、超分辨率、语义分隔等。RNN为循环神经网络，适合做语音识别、语音降噪等。GCN为图卷积网络，适合做文本检索、翻译等。

框架分为训练框架、推理框架和模型三部分。其中训练框架为正反向传播，可以学习模型，而推理框架只有正向传播，只能部署，无法训练。模型意指神经网络及其参数。

精度分为两方面，其中INT8/INT16/FP32/FP16指在反向传播过程中为了有效的梯度下降使用浮点型参数，在推理时量化为整数型可以提高运行速度。压缩、蒸馏指网络中的隐藏层存在一些输出为零或者作用不大的神经元，裁剪这些可以减少模型参数而不会丢失太多精度。

算力指处理器每秒钟可进行的操作数，单位有Mops（百万），Gops（十亿），Tops（万亿）。MAC指乘加运算。

利用率方面，王军表示目前大部分SoC平台AI算力利用率都偏低，受限于内存带宽，网络MAC利用率等。

工具方面中，模型优化指模型仿真，网络裁剪，张量分解，权值共享，迁移量化。量化工具指FP32/FP16-->INT8/INT16；饱和量化/非饱和量化，KL散度调优。模型加密指tustzone加密，加密算法加密等。

根据不同AI算力，所适用的应用场景也不同。0-0.1Tops主要由CPU/DSP计算，适用配合式秒级人脸识别，语音识别等场景。

0.1-0.2Tops主要由CPU/DSP/NPU计算，适用配合式秒级人脸识别，语音识别等场景。

0.2-0.5Tops主要由NPU计算，适用准实时千人级人脸识别，低帧率（<10fps）目标检测/分类。

0.5-4Tops适用实时万人级人脸识别，精准图像物体分隔，实时（>25fps）目标检测/分类。

4~10Tops适用单路多目标视频结构化，单路视频语义理解，视频像素分隔。

10-100Tops适用多路目标视频结构化，多路视频语义理解，大数据分析。

>100Tops适用模型训练，视频结构化，城市大脑（大数据分析）。

最后，在本期公开课中，王军还介绍了全志科技近期发布的主打AI语音专用的重磅产品——R329，它是首款搭载Arm中国全新AI处理单元（AIPU）的高算力、低功耗AI语音专用芯片。通过集成高性能的AIPU、DSP、CPU，将为智能音箱、智能家居带来崭新的AI交互体验，助力打造“全新AI新算力”智能语音产品。

随着我国政府不断加大对于人工智能和芯片领域的投入，未来几年将是我国AI芯片技术和市场成熟的重要阶段。人工智能的兴起，给中国在处理器领域实现弯道超车提供了绝佳机会。前瞻产业研究院预计未来几年内，中国芯片市场规模将保持40%-50%的增长速度，2024年，市场将达785亿。

（校对/ Aki）