人工智能自然语言综合实训平台
 
4.2.1、产品简介
 
人工智能自然语音综合实训平台，可以开展语音信号的采集与播放、语音编解码、回声消除、语音信号降噪、语音变速变调、语音识别、语音合成、智能对话等智能语音处理课程教学与实践。
 
该实训箱是一款软硬件一体的人工智能教学与开发实践端侧设备，主要包含人工智能边缘计算平台、  一麦克风阵列、离线语音模块、  精灵、高保真扬声器、AIOT无线网关、AIOT虚实结合采集控制端模块和AIOT端感控场景应用系统，以及智能温湿度计、智能无线按钮、LED灯等传感控制器件。实验箱配套相关教学实践资源。预装Linux操作系统和深度学习框架、智能语音处理SDK，且具有CANS机构认可的产品检验报告。
 
4.2.2、产品特点
 
1）出厂预装Ubuntu操作系统和深度学习框架
 
平台出厂预装Ubuntu操作系统与深度学习框架，集成Python3、机器视觉、自然语言、深度学习、ROS系统等开发环境，能满足人工智能相关的学习与开发。
 
2）离线语音图形化中文编程开发
 
平台离线语音模块提供配套图形化编程软件“天问Block”，通过中文图形化语句指令的编程后可自动生成专业代码，用户只需“拖拉、组合、点击”的方式即可完成程序指令的编写，哪怕零基础也能快速上手进行单片机硬件开发，从而可以将更多的精力放到逻辑层面。
 
3）  语音开发套件循序渐进学  音处理
 
平台装配  精灵、离线语音、麦克风阵列  语音采集模块，引导学生循序渐进学习自然语音处理技术。  精灵支持蓝牙Mech设备连接，从而实现周边设备的语音控制。离线语音模块，开放软硬件接口，支持零代码编程，可以轻松实现对灯光、风扇、空调等设备的离线控制。麦克风阵列内含科大讯飞深度学习框架，支持声源定位、语音导航、语音交互、离线语音识别，真正实现人工智能层面的自然语音处理技术。
 
4）  智慧语音端感控场景应用单元
 
平台搭载智慧环境、安防感知、智慧停车  端感控场景应用，通过虚实结合采集点、无线网关实现与与语音模块的语音交互。包括通过语音获取场景单元传感器的状态，以及通过语音控制场景单元的执行器状态，从而实现自然语言处理技术在不同场景的智慧应用。
 
4.2.3、主要硬件构成
 
本平台主要由边缘计算平台、麦克风阵列、离线语音模块、  精灵智能音箱、AIOT无线网关、AIOT虚实采集控制模块、端感知控制模组等硬件模块构成，介绍如下：
 
（1）Jetson Nano边缘计算平台
 
NVIDIA Jetson Nano是一个小巧却功能强大的计算机，它可以让你并行运行多个神经网络、对象检测、分割和语音处理等应用程序,Jetson Nano搭载四核cortex-A57处理器，128核MaxwellGPU及4GB LPDDR内存，带来足够的AI计算能力,提供472GFLOP算力,并支持一系列流行的Al框架和算法，比如TensorFlow、、Keras、MXNET等
 
（2）语音识别麦克风阵列
 
麦克风阵列采用 4 核高性能边缘计算处理器。内部集成特定的语音算法，利用麦克风阵列的空域滤波特性，通过唤醒人的角度定位，形成定向拾音波束，并对波束以外的噪声进行抑制，提升远场拾音质量。同时针对人机交互一体终端，集成高性能回声消除算法，降低语音、 语义识别难度，防止自言自语的情况发生。
 
麦克风阵列接口采用科大讯飞M260C环形麦克风阵列，阵列由 6 个麦克风环形排列组成，远场拾音实验室环境下可达 10m，唤醒角度的分辨率为 1°，可进行 360°全方位声源定位。
 
（3）智能声控音箱
 
  精灵IN糖采用了圆润的糖果造型设计,顶部有一个触控式操作面板，可以实现对音量、播放/暂停等功能的控制。搭载了  精灵语音助手，用户可以通过语音与音箱进行交互。兼容众多智能家居设备，如智能灯具、智能插座、智能门锁等。用户可以通过语音指令或手机APP控制这些设备，实现智能家居的自动化和智能化。
 
（4）离线语音模块
 
离线语音模块上采用ASRPRO智能离线语音识别核心板，它是一款通用、便携、低功耗高性能的语音识别芯片，采用了第三代语音识别技术，能支持DNN\TDNN\RNN等神经网络及卷积运算，支持语音识别、声纹识别、语音增强、语音检测等功能，具备强劲的回声消除和环境噪声抑制能力，语音识别效果  其它语音芯片。该芯片方案还支持汉语、英语、日语等多种全球语言，可广泛应用于家电、照明、玩具、可穿戴设备、工业、汽车等产品领域，搭配天问Block 图形化编程软件，快速实现语音交互及控制和各类智能语音方案应用。
 
（5）AIOT无线网关
 
核心MCU朵用ARM Cortex-M3内核微控制器，搭载2.0寸TFT触摸显示屏，标配ZigBee+WiFi两大无线通信模组。整个AIOT无线网关,实现了边缘计算网关、离线语音模块、  精灵、无线智能节点等多路无线数据和串口数据的转发。
 
（6）AIOT虚实结合采集控制终端
 
核心MCU采用基于ARM Cortex-M3内核的32位微控制器；配有1块3.2寸TFT触摸显示屏用于显示和交互，分辨率为320*240。对外提供多种可编程的硬件接口，包括485、CAN、ADC、SPI、PWM、GPIO、UART、IIC等。预留了通用双排防反插接口，支持Zigbee、Wifi、Lora、433等无线模块的自由切换。
 
 
 
AIOT端感控场景应用系统
 
 
智慧环境感知单元：光照、温湿度、雨雪、风扇、数码管、调色灯
 
智能安防感知单元：红外对射、烟雾、酒精、蜂鸣器、触摸按键、人体
 
智能停车感知单元：超声波、电磁锁、继电器、舵机
 
4.2.4、平台主要功能
 
（1）端感知控制
 
1）端感知控制主要依赖于AIOT感控场景应用硬件模块进行，配套对应的Ubantu应用软件，主要包含环境监测、安防感知、智能停车三个应用场景。
 
环境监测：获取当前的温度、湿度、光照、雨雪等环境信息，或控制调光灯、排风扇状态。
 
安防感知：随时监测当前的红外、烟雾、酒精、触摸按键、人体感应等安防信息，或控制蜂鸣器的状态。
 
智能停车：及时获取超声波传感的距离数据，或控制电磁锁、继电器、停车杆、数码管的状态信息。
 
（2）离线语音识别
 
离线语音识别以离线语音模块为语音输入，通过配套的图形化编程软件编写相关指令代码后及可使用设定的“关键词”唤醒模块，唤醒后通过预先设计的“关键指令”获取板载或端感控场景中传感器的数据，或控制对应的执行对象。该模块无需联网可在离线状态下使用，且无需每次对话均要唤醒。在唤醒状态下，可连续与之进行语音交互。
 
（3）  精灵语音识别
 
  精灵语音识别主要以  精灵智能音响为识别核心，配套温湿度计、按钮、AIOT无线网关（含  精灵模块），通过配对接入  物联网云平台后，不仅可以通过语音交互获取“天气、新闻、娱乐”等网络信息，还可以通过语音交互控制实验平台上“AIOT虚实采集控制终端”的灯光。
 
（4）麦克风阵列语音识别
 
麦克风阵列语音识别使用麦克风阵列作为语音输入，平台配备了Ubuntu人机交互应用，支持高精度的语音识别、语义分析和语音控制。通过设置与端感知控制板建立连接后，程序界面左下方会显示温湿度传感器等数据，也能控制端感知控制板上的执行器硬件。
 
通过语音查询指令，可以查询端感知控制板上各传感器的数据，通过控制指令，可以控制端感知控制板上各执行器的状态。
 
 
 
4.2.5、配套课程资源
 
人工智能自然语言实验平台配套提供丰富的课程资源，课程主要包括《Python基础》、《自然语言处理》、《离线语音》、《端感知控制》、《PyQT5应用开发》、《  精灵应用开发》等。课程会涉及到实验平台中的各个硬件模块，包括麦克风阵列、离线语言、  精灵、AIOT感知控制单元等。同时，课程也会涉及到人工智能领域中的关键技术，包括Python基础、自然语言、深度学习、离线语音、  精灵云服务等。
 
1）《Python基础》课程主要包括Python的基础语法、数据类型、表达式、函数异常处理等内容，主要为了学生掌握后续课程打下基础。
 
2）《自然语言处理》课程主要包括麦克风阵列、文本处理、深度学习、百度AI语音云服务等内容，学生通过学习可以掌握人工智能自然语言相关的理论及使用方法。
 
3）《离线语音应用开发》课程主要包括如何利用离线语音模块进行智能对话、硬件控制、屏幕控制、串口输出协议数据等应用开发，学生通过学习可以快速上手离线语音模块开发方法。
 
4）《端感知控制》课程主要包括Stm32应用开发基础、端感知控制板上的传感器实验以及基于Zigbee模组无线应用等内容，学生通过学习可以掌握如何控制和采集端感知控制板。
 
5）《PyQT5应用开发》课程主要包括PyQT5的界面设计、信号与槽、UI布局、数据库、多线程、网络编程等内容，学生通过学习可以掌握如何设计PyQT5应用。
 
6）《  精灵应用开发》课程主要包括  精灵芯片模组的调试方法，  云物联网飞燕平台的使用，RGB灯、温湿度传感器、蜂鸣器、光照传感器等硬件接入  精灵的应用开发，学生通过学习可以掌握如何将一个普通的传感器执行器模块接入  精灵生态。
 
每一门课程都提供了包括环境搭建、开发流程、原理讲解、基础应用的部分，并且课程不是相互独立的，它们之间有一定关联性和梯度。通过由浅入深、循序渐进的学习，学生能轻松理解人工智能自然语言相关理论，学会各种开发工具的使用，掌握应用开发的方法，获得人工智能的基本应用开发能力。
 
（1）《Python基础》实验目录
 
 
 
 
  
 
   
 
《Python基础》实验目录
 
 
  
 
  
 
   
 
1
 
 
   
 
Python概述、发展与特点
 
 
  
 
  
 
   
 
2
 
 
   
 
开发环境搭建和使用（平台介绍、平台开机、实验操作）
 
 
  
 
  
 
   
 
3
 
 
   
 
Python语法
 
 
  
 
  
 
   
 
4
 
 
   
 
Python缩进
 
 
  
 
  
 
   
 
5
 
 
   
 
Python注释
 
 
  
 
  
 
   
 
6
 
 
   
 
Python变量
 
 
  
 
  
 
   
 
7
 
 
   
 
Python引入外援
 
 
  
 
  
 
   
 
8
 
 
   
 
Python基础数据类型-整型（int）
 
 
  
 
  
 
   
 
9
 
 
   
 
Python基础数据类型-浮点型（float）
 
 
  
 
  
 
   
 
10
 
 
   
 
Python基础数据类型-布尔类型（bool）
 
 
  
 
  
 
   
 
11
 
 
   
 
Python基础数据类型-字符串（String）
 
 
  
 
  
 
   
 
12
 
 
   
 
Python基础数据类型-类型转换
 
 
  
 
  
 
   
 
13
 
 
   
 
Python常用操作符-算术操作符
 
 
  
 
  
 
   
 
14
 
 
   
 
Python常用操作符-比较操作符
 
 
  
 
  
 
   
 
15
 
 
   
 
Python常用操作符-逻辑操作符
 
 
  
 
  
 
   
 
16
 
 
   
 
Python常用操作符-位操作符
 
 
  
 
  
 
   
 
17
 
 
   
 
Python分支与循环
 
 
  
 
  
 
   
 
18
 
 
   
 
Python条件表达式与断言
 
 
  
 
  
 
   
 
19
 
 
   
 
Python程序控制-While循环语句
 
 
  
 
  
 
   
 
20
 
 
   
 
Python程序控制-for循环语句
 
 
  
 
  
 
   
 
21
 
 
   
 
Python程序控制-break语句
 
 
  
 
  
 
   
 
22
 
 
   
 
Python程序控制-continue语句
 
 
  
 
  
 
   
 
23
 
 
   
 
Python  数据类型-列表（List）
 
 
  
 
  
 
   
 
24
 
 
   
 
Python  数据类型-元组（Tuple）
 
 
  
 
  
 
   
 
25
 
 
   
 
Python  数据类型-字符串（String）
 
 
  
 
  
 
   
 
26
 
 
   
 
Python  数据类型-序列（Sequence）
 
 
  
 
  
 
   
 
27
 
 
   
 
Python  数据类型-字典（Dictionary）
 
 
  
 
  
 
   
 
28
 
 
   
 
Python  数据类型-集合（Set）
 
 
  
 
  
 
   
 
29
 
 
   
 
Python函数-创建与调用
 
 
  
 
  
 
   
 
30
 
 
   
 
Python函数-参数与返回值
 
 
  
 
  
 
   
 
31
 
 
   
 
Python函数-变量
 
 
  
 
  
 
   
 
32
 
 
   
 
Python函数-函数式编程
 
 
  
 
  
 
   
 
33
 
 
   
 
Python函数-递归
 
 
  
 
  
 
   
 
34
 
 
   
 
Python存储-文件操作
 
 
  
 
  
 
   
 
35
 
 
   
 
Python存储-文件系统（OS）
 
 
  
 
  
 
   
 
36
 
 
   
 
Python异常处理-except语句
 
 
  
 
  
 
   
 
37
 
 
   
 
Python异常处理-finally语句
 
 
  
 
  
 
   
 
38
 
 
   
 
Python异常处理-raise语句
 
 
  
 
  
 
   
 
39
 
 
   
 
Python类和对象-对象、self、__init__
 
 
  
 
  
 
   
 
40
 
 
   
 
Python类和对象-继承
 
 
  
 
  
 
   
 
41
 
 
   
 
Python类和对象-组合
 
 
  
 
  
 
   
 
42
 
 
   
 
Python类和对象-构造与析构
 
 
  
 
  
 
   
 
43
 
 
   
 
Python模块-创建和使用
 
 
  
 
  
 
   
 
44
 
 
   
 
Python模块-导入模块
 
 
  
 
  
 
   
 
45
 
 
   
 
Python模块-包