千锋教育-做有情怀、有良心、有品质的职业教育机构
一.特征向量和距离
1.人工智能技术综述
1.1 人工智能和机器学习的关系
1.2 人工智能主要方向剖析
1.3 人工智能学习路线规划
2.特征提取:物理世界的数学描述
2.1 onehot和multihot
2.2 图像特征和边缘提取
2.3 连续特征的正规化和分段
2.4 行为类特征的向量化
2.5 社交类特征的向量化
2.6 离散特征的向量化
3.向量之间的距离计算以及使用场景
3.1 欧氏距离、海明距离、闵可夫斯基距离
3.2 内积距离
3.3 雅克比相似度和雅克比距离
3.5 各类距离的比较以及优缺点
3.6 numpy入门以及距离计算
二.线性回归
1.线性回归概述
1.1线性回归的定义
1.2线性回归的适用场景
1.3岭回归
2.模型评估
2.1线性回归的评测方法
2.2训练集和测试集
2.3模型的泛化能力
3.模型学习方法
3.1损失函数MSE和最小二乘法
3.2导数的定义和计算
3.4 极大值和极小值
3.5梯度下降法
3.6 从几何角度理解梯度下降法
4.sklearn框架
4.1 sklearn框架的介绍、安装方法
4.2 使用sklearn完成线性回归模型
5.深入理解线性回归
5.1多项式回归解决非线性问题
5.2 特征冗余和噪音特征
5.3 线性回归和正态分布
三.逻辑回归
1.分类任务和概率
1.1多分类和二分类
1.2 分类模型和概率模型
2.逻辑回归
2.1感知器及其局限性
2.2 Sigmoid函数详解
2.3 逻辑回归在分类问题上的应用
2.4 模型的正则化
3.梯度下降法
3.1 Sigmoid函数的导数推导
3.2 逻辑回归的损失函数KL距离
3.3 梯度下降法在逻辑回归上的应用
3.4 学习因子的设定
3.5 正则项在逻辑回归中的必要性
4.逻辑回归实战
4.1 使用sklearn实现逻辑回归
4.2 使用TensorFlow实现逻辑回归
4.4 逻辑回归调参指南
5.损失函数的选择和对比
5.1KL距离和MSE的区别
5.2 KL距离背后的统计学原理
5.3 KL距离和交叉熵
6.逻辑回归的统计学原理
6.1最大似然估计和KL损失函数
6.2.逻辑回归和正态分布
7.模型的正则化
7.1 L1正则和L2正则的异同
7.2正则化和过拟合
7.3 从概率的角度理解正则化
7.4 sklearn如何进行正则化的实现
8.分类模型的评价指标
8.1 正确率,准确率和召回率
8.2 AUC和ROC
8.3 各类分类指标的优点、局限性
8.4 代码实战各类指标的计算
四、无监督模型
1.Kmeans模型
1.1聚类的目的和意义
1.2 Kmeans模型详解以及参数学习
1.3使用sklearn进行Kmeans模型实战
1.4 Kmeans模型的缺点
1.5 Kmeans各类改进版本
1.6 EM算法详解
1.7 Kmeans算法和逻辑回归
2.隐式主题模型-LDA
2.1 LDA模型的原理
2.2 LDA模型的求解
2.3 LDA主题模型实战:推荐系统中的应用
2.4 LDA模型背后的概率意义
2.5.吉布斯采样
2.6 LDA模型代码实战
五、因子分解模型-FM模型
1.特征交叉原理和FM模型
1.1 特征交叉的原理和意义
1.2特征交叉的数学实现
1.3通过内积简化特征交叉
1.4 FM模型原理详解
1.5 FM模型和逻辑回归异同解析
2.FM模型的数学推导
2.1 FM模型在数学上的化简
2.2梯度下降法在FM模型中的应用
3.使用python进行FM模型实战
六、深度神经网络
1.深层模型的意义
1.1特征变换和特征提取
1.2 激活函数的意义和必要性
1.3 深层模型架构
1.4 softmax函数和多分类
1.5 深度学习和神经网络
1.6 shortcut结构详解
2.常见激活函数
2.1 sigmoid激活函数详解
2.2 tanh激活函数详解
2.3 relu激活函数详解
2.4 relu函数的改进版本详解
3.softmax函数和多分类
3.1 softmax函数的推导和onehot向量的关系
3.2 softmax的导数推导
3.3多分类和多标签
4.深度学习实战
4.1主流机器学习框架平台介绍
4.2 TensorFlow和keras框架详解
4.3如何调用自己的GPU
4.4深度学习实战:用keras搭建自己的神经网络
七、深度学习进阶
1.梯度下降法
1.1 矩阵和向量的求导法则
1.2 矩阵和向量的链式法则
1.3 梯度下降法在深层神经网络中的推导和应用
1.4 梯度消失和梯度爆炸产生原因分析以及解决方案
1.5 鞍点、局部极小、以及解决方案
2. 权重初始化
2.1权重的对称性及其危害
2.2 随机初始化权重的方法
3. 梯度下降法及其改进
3.1传统梯度下降法的缺点
3.2 SGD算法
3.3动量法
3.4 RMSprop算法
3.5 Adam算法
3.6改进型梯度下降法在keras中的实现
4.输入的标准化
4.1 标准化的意义
4.2 批标准化以及keras的实现
4.3 层标准化以及keras的实现
5.深度学习的正则化
5.1 L1正则和L2正则在深度学习中的应用
5.2 dropout以及keras实现
八、序列神经网络
1.循环神经网络
1.1时序模型以及使用场景
1.2 RNN模型以及keras的实现
1.3 LSTM模型以及keras的实现
1.3.GRU模型以及keras的实现
1.4.时序模型代码实战
2.Attention神经网络
2.1.seq2seq架构
2.2 Attention模型
2.3 常见注意力算法
2.4 self-attention
2.5多抽头Attention
2.6 transformer架构
2.7 attention模型在图像中的应用
九、自然语言处理
1.word2vec和fasttext
1.1.自然语言处理和语言模型
1.2.词向量模型word2vec
1.3.skipgram和cbow构建方法
1.4.霍夫曼树和负采样
1.5.fasttext模型和文本分类
1.6.子词模型
1.7 word2vec和fasttext的代码实战
2.大模型之Bert
2.1.NLP的龙骨模型-Bert
2.2.Bert模型的训练方法
2.3.Bert模型的应用
2.4.Bert模型实战
2.5.Bert常见的改进方法
十、计算机视觉
1.深入理解卷积层
1.1 卷积的物理意义
1.2 卷积层的操作方法
1.3 卷积层步长和窗口选取技巧
1.4卷积层的keras实现
1.5.常见卷积改进方法
2.池化层
2.1 最大池化
2.2 均值池化
2.3 池化层的keras实现
3.图像分类
3.1.图像分类常用数据集介绍:coco、imagenet 等
3.2 多层卷积神经网络在图像分类中的应用
4.卷积在文本分类中的应用
4.1 卷积在文本特征提取的方法
4.2 textCNN详解
一. 推荐系统整体架构
1.内容生产和内容理解
1.1 推荐系统的内容生产
1.2.内容审核和内容打标
1.3.内容有效期预测
2.内容分发
2.1 召回阶段的目的、意义和设计思想
2.2 排序阶段的目的、意义和设计思想
3.推荐系统的评价指标
3.1推荐系统的商业价值
3.2 日活、CTR、人均时长等指标分析
二. 召回模型
1.基于行为类的召回
1.1 协同过滤:itemCF
1.2 协同过滤:UserCF
1.3 随机游走模型:node2vec
1.4 行为类召回的优势、缺点总结
2.基于内容类的召回
1.1 基于文本embedding的召回系统
2.2 基于标签体系的召回系统
2.3 基于up主的召回系统
2.4 微软DSSM双塔召回模型
2.5 最近邻快速检索工具annoy和faiss
3.YoutubeDNN召回系统
3.1 用户行为特征、自然属性特征的提取,预处理和归一化
3.2 Item特征提取,预处理和归一化
3.3 负采样:NCE和sampledSoftmax
3.4 youtubeDNN召回系统
4.交叉特征召回
4.1 FM模型在召回系统中的应用
4.2 FFM模型在召回系统中的应用
4.3 矩阵分解SVD在召回系统中的应用
三. 排序系统
1.CTR预估
1.1 排序指标精讲
1.2 AUC和userAUC
2. Deep & Cross
2.1 模型结构精讲
2.2 特征交叉详解
2.3 使用keras实现Deep & Cross模型
3.xDeepFM
3.1 模型结构精讲
3.2 CIN模块
3.3 使用keras实现xDeepFM模型
4.逻辑回归在排序模型中的应用
4.1 逻辑回归精讲
4.2 详解大规模特征工程
4.3 逻辑回归在百度凤巢系统
5.阿里巴巴DIN模型详解
5.1 Base模型详解
5.2 DIN模型详解
5.3 DIEN模型详解
5.4 DSIN模型详解
6.阿里CVR预估模型ESMM
6.1 CVR预估的场景和挑战
6.2 ESMM模型详解
6.3 隐式学习pCVR
6.4 样本选择(BBS)问题的解决方案
6.5 样本稀疏(DS)问题的解决方案
四. 推荐系统指标体系构建
1.AB测试
1.1 流量分桶的原理
1.2 AB测试置信度计算
1.3 基于分层的AB测试
2.指标评价体系
2.1 推荐系统的商业价值
2.2 ctr提升的方法
2.3 人均时长提升方法
五. 微信视频号推荐实战
1.特征提取
1.1 文本内容特征提取
1.2 短视频内容embedding抽取
1.3 短视频画面embedding抽取
1.4 短视频多模态embedding抽取
2.推荐系统核心代码实战
2.1 召回系统代码实战
2.2 排序系统代码实战
一. 序列神经网络
1.循环神经网络
1.1 时序模型以及使用场景
1.2 RNN模型以及keras的实现
1.3 LSTM模型以及keras的实现
1.3 GRU模型以及keras的实现
1.4 时序模型代码实战
2.Attention神经网络
2.1 seq2seq架构
2.2 Attention模型
2.3 常见注意力算法
2.4 self-attention
2.5 多抽头Attention
2.6 transformer架构
2.7 attention模型在图像中的应用
二. 自然语言处理入门
1.word2vec和fasttext
1.1 自然语言处理和语言模型
1.2 词向量模型word2vec
1.3 skipgram和cbow构建方法
1.4 霍夫曼树和负采样
1.5 Facebook 的fasttext模型和文本分类
1.6 子词模型
1.7 word2vec和fasttext的代码实战
2.卷积在文本分类中的应用
2.1 卷积在文本特征提取的方法
2.2 textCNN详解
三. 大规模预训练模型
1.Google Bert模型精讲
1.1 NLP的龙骨模型-Bert
1.2 Bert模型的训练方法
1.3 Bert模型的应用
1.4 Bert模型实战
2.Bert模型改进
2.1 Elmo模型精讲
2.2 GPT1.0~GPT2.0精讲模型
2.3 XLNet模型精讲
2.4 RoBERT模型精讲
2.5 ALBert模型精讲
2.6 T5模型精讲
四. 中文自然语言处理
1.百度ernie模型
1.1 paddle框架学习
1.2 知识图谱构建
1.3 ernie大模型训练精讲
1.4 ernie大模型使用场景精讲
2.中文分词精讲
1.1 序列标注与深度学习
1.2 HMM模型精讲
1.3 CRF模型精讲
1.4 CRF和LSTM结合精讲
1.5 中文分词代码实战
3.新词发现
1.1 信息熵和大数据
1.2 中文信息熵计算
1.3 基于信息熵的中文新词发现
五. 自然语言处理项目精讲
1.京东客服:智能聊天机器人
1.1 智能聊天机器人整体框架
1.2 文本匹配模型
1.3 深度语义理解模型
1.4 Attention和语义匹配
1.5 度量学习和语义快速检索
2.腾讯新闻:内容平台的文本分类
2.1 文本分类任务:多标签和多分类
2.2 情感分析实战
2.3 垃圾过滤实战
2.4 样本不均衡和解决方案
3.腾讯百万级实体知识图谱精讲
3.1 结构化数据的抽取
3.2 neo4j数据库介绍和常见查询语句
3.3 transE模型及其改进
3.4 大规模图随机游走算法
3.5 知识图谱的落地场景和实际应用
4.腾讯新闻内容理解-长文本标签抽取实战
4.1 标签抽取和关键词抽取
4.2 基于textrank的标签抽取
4.3 异质标签的归一化
4.4 基于双塔模型的标签抽取
4.5 基于分类模型的标签抽取
5.新浪舆情系统-文本摘要抽取
5.1 抽取式摘要抽取
5.2 基于Bert的摘要抽取
5.3 基于大模型的生成式摘要