AIGC-6天

基于人工智能的内容生成（AIGC）
【课程简介】
无论是火遍全网的AI绘画，还是震惊世人的ChatGPT，都属于AIGC（基于人工智能的内容生成）这一概念。AIGC并不是一个全新的概念，它最早出现在深度学习模型“对抗生成网络”GAN的应用中，被誉为“21世纪最强大的算法模型之一” ，后续发展起来的扩散模型，以及自然语言领域BERT、GPT等都是典型的AIGC模型。
本课程以AIGC发展历程为主线，由浅入深介绍了AIGC相关模型的技术和应用场景，可以作为AIGC领域学习者的入门到进阶级课程。
【课程时长】
6天（6小时/天）
【课程对象】
理工科本科及以上，且至少了解一门编程语言。
【课程大纲】（培训内容可根据客户需求调整）
时间
内容
案例实践与练习
Day1上午
综述与准备
AIGC综述
AIGC的概念
AIGC的应用场景
AIGC的知识地图
准备工作
概念与术语
Python（Anaconda）的安装
Pycharm的安装与使用
Jupyter Notebook的安装与使用
Tensorflow与pytorch的安装
Opencv、Sklearn工具包的运用
案例实践：
Anaconda安装
Pip install的技巧
Tensorflow-GPU的安装
pytorch的安装
Jupyter Notebook的使用
Opencv的基本例子
Day1下午
基础模型
基础的基础：神经网络
人工神经元及感知机模型
Sigmoid激活函数
前向神经网络的架构
梯度下降
误差反向传播详解
基础的基础：性能评价指标（5）
精确率；
P、R与F1
ROC与AUC
对数损失
泛化性能评价：k折验证验证
案例实践：
手算神经网络BP算法
只用numpy，手推BPNN
Day2上午
深度学习基础
深度学习基础
连接主义的兴衰
深度学习与神经网络的区别与联系
目标函数与激励函数
学习步长
权重初始化
权重衰减（Weight Decay）
梯度下降的方法
避免过适应
图像处理基础：用于分类的CNN
图像分类概述
AlexNet
ZF-Net
卷积层的误差反向传播
池化层的误差反向传播
VGG（5层变为5组）
迁移学习
GoogLenet和Inception模块
模型退化与ResNet
DenseNet（充分利用特征）
最新的efficientnet
案例实践：
通过深度BP网络实现手写数字的识别
各种梯度下降方法的实战效果
Batch normalization的实战效果
VGG各层的可视化展现
迁移学习：识别猫和狗
Resnet用于图像分类
Day2下午
图像生成模型
VAE
GAN
早期图像生成模型：VAE
图像生成模型
AE
VAE
DAE
图像生成经典模型：GAN
生成对抗网络（GAN）
KL散度与JS散度
改进的GAN：DCGAN
加上约束：infoGAN
根本上解决：Wasserstein GAN
Zoo of GAN
案例实践：
GAN生成的数字
VAE生成的数字
babyGAN：特朗普的孩子？
styleGAN：查无此人
Day3上午
图像分类 CNN
图像分类CNN
自然语言处理基础（1）
语言模型
Bi-Gram与N-Gram
机械分词与统计分词
词性标注
命名实体识别
情感分析
自然语言生成基础：RNN
RNN基本原理
LSTM、GRU
双向循环神经网络
编码器与解码器结构
seq2seq模型
Attention
图片->文字的生成：NIC
案例实践：
jieba的分词效果
交易数据的预测；
《绝代双骄》人物关系分析
SnowNLP：褒义的中性词
Show and tell模型效果
Day4上午
自然语言处理
自然语言生成基础：词向量
W2V:CBOW
W2V:skip-gram
W2V:Hierachical Softmax
W2V:Negative Sampling
自然语言生成进阶：Transformer
所需的仅仅是“注意力”
Transformer中的block
自注意力机制
多头注意力
位置编码（抛弃RNN）
Batch Norm与Layer Norm
解码器的构造
案例实践：
藏头诗生成；
《绝代双骄》分析
SnowNLP：褒义的中性词
Word2vec代码解读
手撕Transformer
Day4下午
预训练模型基础
自然语言生成进阶：BERT
BERT整体架构
Masked-LM
Next Sentence Prediction
改造下游任务
WordPiece作为输入
哪些改进起作用？
自然语言生成进阶：GPT
“独角兽”的威力
GPT的内部架构
基于Transformer的改造
自注意力机制的改进
GPT的应用场景
GPT-3
最新的GPT-3.5
基于图像补全的模型：MAE
iGPT
Vision Transformer（ViT）
BEiT
MAE令人惊奇的效果
MAE详解
案例实践：
BERT代码解读
BERT下游任务的改造
让GPT写一篇散文
GPT会做小学应用题吗？
MAE的效果
Day5上午
强化学习
强化学习基础
agent的属性
马尔科夫奖励/决策过程
exploration and exploitation
状态行为值函数
Bellman期望方程
最优策略
强化学习经典方法
策略迭代与价值迭代
蒙特卡洛法
时序差分法
DP、MC、TD的关系
案例实践：
格子世界
谷底的小车
倒立摆
blackjack
Day5下午
深度强化学习
深度强化学习
值函数的参数化表示
值函数的估计过程
深度学习与强化学习的结合
基础的DQN 方法
Double DQN
Prioritized Replay
Dueling Network
基于信赖域的深度强化学习
信赖域系方法背景
信赖域系方法发展路线图
TRPO方法
PPO方法
案例实践：
井字棋
笨鸟先飞：DQN
Day6上午
最新生成模型
扩散模型（图像生成最新模型）综述
1、扩散模型与GAN、VAE的关系
2、扩散模型常用算法
3、扩散模型的应用领域
扩散模型之DDPM
1、整体流程
2、前向与还原步骤
3、训练与采样过程
4、模型结构
5、实验效果
扩散模型之DDIM
1、前提条件
2、优化推理与优化前置条件
4、实验效果
扩散模型之CLIP
1、基本概念
2、模型架构
3、实验效果
案例实践：
DDPM的效果
CLIP的效果
Day6下午
最新生成模型及chatGPT
扩散模型之DALLE-2
1、整体架构
2、PIROR模块与DECODER模块
4、效果对比
扩散模型之Stable-Diffusion
1、整体架构
2、潜在表达得生成模型
3、条件化机制
4、实验效果
chatGPT（自然语言生成最新模型）
1、技术背景
2、主要特点
3、ChatGPT的训练过程
4、InstructGPT与PPO
5、WebGPT和CICERO
6、chatGPT的应用领域
7、chatGPT引发的讨论
案例实践：
异想天开的DALL-E 2
匪夷所思的chatGPT
其他生成模型效果演示

叶梓老师的其它课程