神经网络与深度学习(田冉)

课程简介

本课程的目的是使得学生能够掌握神经网络与深度学习技术的基本原理知其然还要知其所以然

https://www.bilibili.com/video/BV155411t7ad/ 

本课程已录入部分视频教程,还在不断添加补充中。如有同学想学习本门课程,可以将学号和姓名以邮件形式发给我。由于视频难免有错误,还请大家在答疑中指出,谢谢。


请各位同学在登录的第一时间在个人信息中录入手机号和邮箱,用于课堂签到和找回密码

教师简介

田冉  troom@163.com 

西南交通大学计算机应用技术工学博士

西北师范大学计算机工程与应用学院副教授

先导课程

线性代数、微积分、数学优化、概率论、信息论、机器学习

教学计划

内容可能会在录制过程中有变化,第5章插入TF2.0内容,第5章内容顺延。

序号

章节

内容与视频时长

计划完成时间

1

第1章

绪论

1.1 人工智能机器学习神经网络深度学习间关系【12分钟】

1周

2

1.2 神经网络发展历史【11分钟】

3

1.3 深度学习的特点【8分钟】

4

1.4 深度学习的应用【6分钟】

5

1.5 深度学习框架介绍【8分钟】

6

1.6 Anaconda安装【9分钟】【实战】

7

1.7 TF2.0 CPU 版安装【2分钟】【实战】

8

1.8 TF2.0 GPU 版安装【8分钟】【实战】

9

1.9 JupyterLab的安装使用【8分钟】【实战】

10

1.10 Numpy基础实战【60分钟】【实战】

11

1.11 Numpy练习【2分钟】【作业】

12

第2章

机器学习基础

2.1 机器学习的一些基本概念【25分钟】

2周

13

2.2 机器学习的三要素 模型【13分钟】

14

2.3 机器学习的三要素 学习准则之损失函数【17分钟】

15

2.4 机器学习的三要素 优化算法【25分钟】

16

2.5 梯度下降法实战【45分钟】【实战】【作业】

17

2.6 线性回归与最小二乘法【30分钟】

18

2.7 线性回归实战(最小二乘法) 【50分钟】【实战】

19

2.8 偏差与方法-理论与定理 【23分钟】【作业】

20

第3章

线性模型

3.1 分类问题介绍【12分钟】

2周

21

3.2 线性模型处理分类问题【22分钟】

22

3.3 从概率的角度看分类问题【10分钟】

23

3.4 逻辑回归之交叉熵【22分钟】

24

3.5 逻辑回归参数学习【9分钟】

25

3.6 逻辑回归实战【36分钟】【实战】

26

3.7 Softmax回归【12分钟】

27

3.8 Softmax回归实战【63分钟】【实战】

28

3.9 感知机【10分钟】

29

3.10 感知机实战【23分钟】【实战】【作业】

30

第4章

前馈神经网络

4.1 神经元的激活函数【25分钟】

1周

31

4.2 前馈神经网络结构【17分钟】

32

4.3 反向传播算法【50分钟】

33

4.4 自动梯度计算【23分钟】

34

4.5 TensorFlow2.0自动计算梯度【实战】【12分钟】

35

4.6 Himmelblau函数优化【实战】【20分钟】

36

4.7 前馈神经网络进行MNIST数据集分类思路【12分钟】

37

4.8 前馈神经网络进行MNIST数据集分类【实战】【75分钟】【作业】

40

第5章

卷积神经网络

5.1 卷积的介绍与物理意义

1周

41

5.2 卷积的变种与数学性质

42

5.3 经典卷积神经网络之卷积层

43

5.3 经典卷积神经网络之池化层

44

5.4 误差项的计算

45

5.5 基于卷积神经网络的MNIST数据集分类【实战】

46

5.6 典型的卷积神经网络LeNet-5【实战】

47

5.7 典型的卷积神经网络AlexNet【实战】

48

5.8 典型的卷积神经网络GoogleLeNet【实战】

49

5.9 残差网络【实战】

50

5.10 转置卷积与空洞卷积

51

5.11 基于卷积神经网络的疫情下的人脸识别【项目】【作业】

52

第6章

循环神经网络

6.1 延时神经网络

2周

53

6.2 有外部输入的非线性自回归模型

54

6.3 循环神经网络

55

6.4 利用简单循环神经网络进行情感分类【实战】

56

6.5 梯度弥散和梯度爆炸

57

6.6 RNN短时记忆

58

6.7 长短期记忆网络LSTM原理

59

6.8 LSTM处理情感分类问题【实战】

60

6.9 LSTM的几种变体

61

6.10 门控循环神经网络【实战】

62

6.11 深层循环神经网络

63

6.12 基于深层循环神经网络的医疗聊天机器人【项目】【作业】

64

第7章

无监督学习

7.1 主成分分析

3周

65

7.2 稀疏编码

66

7.3 自编码器原理

67

7.4 基于SAE的MNIST图片重建【实战】

68

7.5 自编码器变种

69

7.6 变分自编码器

70

7.7 变分自编码器VAE图片生成【实战】【作业】

71

第8章

深度生成模型

8.1 概率生成模型之密度估计

3周

72

8.2 概率生成模型之生成样本

73

8.3 含隐变量的生成模型【实战】

74

8.4 推断网络与博弈学习

75

8.5 生成对抗网络原理

76

8.6 DCGAN实现人物图片生成【实战】

77

8.7 GAN的变种

78

8.8 纳什均衡与GAN训练难题

79

8.9 WGAN原理

80

8.10 WGAN-GP复现【实战】【作业】

81

第9章

深度强化学习

9.1 强化学习的应用场景与定义

完成

82

9.2 马尔科夫决策过程【实战】

83

9.3 目标函数与值函数

84

9.4 深度强化学习

85

9.5 值函数方法

86

9.6 蒙特卡罗方法【实战】

87

9.7 深度Q网络

88

9.8 基于策略函数的REINFORCE方法

89

9.9 策略梯度与Actor-Critic算法【实战】

90

9.10 基于深度强化学习实现自动玩游戏的机器人【项目】【作业】

91

第10章

深度学习前沿

10.1 胶囊神经网络原理

9月完成

92

10.2 胶囊神经网络复现【实战】

93

10.3 胶囊神经网络的改进

94

10.4 改进胶囊神经网络的复现【实战】

95

10.5 图信号处理与图卷积神经网络原理

96

10.6 图卷积神经网络的复现【实战】

97

10.7 GNN的变体与框架

98

10.8 基于层次化池化的图分类【实战】

99

10.9 图表示学习原理

100

10.10 基于图编码器的社交网络推荐系统【项目】【作业】

考试方式

以小组形式完成自选题目,在17、18周进行PPT汇报(应用场景、算法思路、结果),在本平台提交可执行的代码和说明(jupyter notebook)

参考书目

主要参考书目:

  《神经网络与深度学习》 https://nndl.github.io/  

课外阅读:

  《深度学习》  (花书)

  《机器学习》  (西瓜书)

  《TensorFlow深度学习实战》 (TF2.0版)

    https://tensorflow.google.cn/     

    https://pytorch.org/