目录
人工智能学习 1

1. 环境、命令Anaconda 7
   1.1. pip 7
   1.1.1. pip install tensorflow 7
   1.1.2. 更新 pip install --upgrade tensorflow 7
   1.1.3. pip show tensorflow 7
   1.1.4. pip install --upgrade --ignore-installed tensorflow. 7
   1.2. conda 命令 7
   1.2.1. Conda常用命令 7
   1.2.2. activate tensorflow 8
   1.2.3. conda deactivate 8
   1.3. 镜像channels 8
   1.3.1. 显示镜像：conda config --show 8
   1.3.2. 添加镜像 8
   1.3.3. 恢复默认channels 9
2. tensorflow 9
   2.1. session 9
3. PyTorch 9
   3.1. Torch 10
   3.2. 安装PyTorch 10
4. 其他机器学习框架 11
   4.1. Darknet 11
5. spyder 12
   5.1. 快捷键 12
   5.1.1. 注释 12
6. protobuf 12
   6.1.1. 安装 12
   6.1.2. 使用 13
7. 数学 14
   7.1. ROC曲线、F1-Measure、IoU 14
   7.1.1. ROC曲线 14
   7.1.2. F1-Measure 15
   7.1.3. IOU 15
   7.2. 鲁棒性 15
   7.3. 感知机 16
   7.4. 贝叶斯 17
   7.5. EM算法 17
   7.6. 梯度 17
   7.6.1. 线性回归 17
   7.6.2. 最小均方法（Least Mean squares） 18
   7.6.3. 梯度下降GD(Gradient Descent) 18
   7.6.4. 批梯度下降算法（BGD） 19
   7.6.5. 随机梯度下降（Stochastic Gradient Descent, SGD） 20
   7.6.6. AdaGrad 21
   7.6.7. Adadelta 22
   7.6.8. Momentum算法-冲量算法 22
   7.6.9. RMSprop算法 25
   7.6.10. Adam算法 26
   7.7. 激活函数 27
   7.7.1. Sigmoid激活函数 27
   7.7.2. ReLu激活函数 28
   7.8. Softmax函数 28
   7.8.1. 分类问题 28
   7.8.2. softmax回归模型 29
   7.8.3. softmax运算 29
   7.8.4. 单样本分类的矢量计算表达式 30
   7.8.5. 小批量样本分类的矢量计算表达式 32
   7.8.6. 交叉熵损失函数 32
   7.8.7. 模型预测及评价 33
   7.8.8. 小结 34
   7.9. Dropout 34
   7.10. BN(BatchNorm) 35
   7.11. 独热编码（One-Hot） 40
   7.12. embedding 词嵌入 40
   7.13. 降维算法UMAP、t-SNE 40
   7.14. BP反向传播算法（BackPropagation） 44
   7.14.1. 简介 44
   7.14.2. 步骤一：前向传播 46
   7.14.3. 步骤二：反向传播 47
   7.14.4. 总结 52
   7.14.5. 梯度消失、梯度爆炸 53
8. 传统模型 54
   8.1. 向量感知机SVM 54
   8.2. 高斯混合模型 54
9. 强化学习 54
   9.1. Q-Learning 54
   9.2. Sarsa 55
   9.3. DQN(Deep Q Network) 56
   9.4. Policy Gradient 56
   9.5. Actor Critic 57
   9.5.1. Deep Deterministic Policy Gradient (DDPG) 58
   9.5.2. A3C(Asynchronous Advantage Actor-critic) 58
   9.5.3. Proximal Policy Optimization （PPO） 58
10. 图像基本技术 59
    10.1. mAP 59
    10.2. 目标检测之 IoU 59
    10.3. 理论感受野和有效感受野 60
    10.4. anchor 61
    10.5. 上采样与下采样 62
    10.5.1. 常用的插值方法   63
    10.6. FCN-图像语义分割 74
    10.6.1. FCN结构 74
    10.6.2. 上采样 76
    10.7. U-Net图像语义分割 77
11. 图像模型 78
    11.1. SIFT尺度不变特征变换 78
    11.2. 目标检测 79
    11.2.1. Ctpn 79
    11.2.2. YOLO3-目标检测 79
    11.3. OCR 79
    11.3.1. Tesseract OCR 79
12. 神经网络模型 80
    12.1. AlexNet（卷积神经网络） 80
    12.1.1. AlexNet特点 80
    12.1.2. 局部相应归一化 82
    12.2. VGGNet（卷积神经网络） 82
    12.2.1. VGGNet结构 82
    12.3. ResNet（残差网络） 84
    12.4. RNN（循环神经网络） 86
    12.4.1. RNN模型结构 86
    12.4.2. RNN的反向传播 90
    12.4.3. LSTM 和 GRU （RNN的一些改进算法） 93
    12.5. SSD（ Single Shot MultiBox Detector）-目标检测 97
    12.6. FPN(Feature Pyramid Network)- 特征金字塔 98
    12.6.1. 高斯金字塔 99
    12.6.2. 特征金字塔 100
    12.6.3. FPN 101
    12.7. Faster RCNN\ RPN –图像分类 104
    12.8. Inception-卷积架构 105
    12.8.1. Inception v1 106
    12.8.2. Inception v2 106
    12.8.3. Inception v3 107
    12.8.4. Inception v4 108
    12.8.5. Inception-ResNet 108
    12.9. MobileNet 109
    12.9.1. 深度可分离卷积 109
    12.9.2. MobileNet V1 110
    12.9.3. MobileNet V2 113
    12.9.4. MoblieNet V3 116
    12.10. MTCNN-多任务卷积神经网络 119
    12.10.1. MTCNN是什么 119
    12.10.2. 构建图像金字塔 120
    12.10.3. P-Net 120
    12.10.4. R-Net 121
    12.10.5. O-Net 122
    12.10.6. 集成架构及系统思想 123
    12.11. CRNN-端到端识别 125
    12.12. CTC-输入与输出匹配 125
13. 自动化学习 125
    13.1. NAS\ENAS 125
14. 人脸识别 126
    14.1. facenet 126
15. 生成式对抗网络GAN 126
16. 数据集dataset 126
    16.1.1. ICDAR 126
    16.1.2. the SWT dataset 126
17. NLP 127
    17.1. SLING-语义解析 127
18. Attention注意力机制 129
    18.1. Self-attention 131
    18.2. Soft-attention、Hard attention 131
    18.3. Global-attention、Local attention 131
    18.4. Transformer 132
19. 语音识别 133