kj的学习笔记
前言
内容组成
个人简介
I 专项
1
R Markdown
1.1
安装与创建
1.2
初识RMD
1.3
语法介绍
1.3.1
标题
1.3.2
字体样式
1.3.3
换行
1.3.4
链接
1.3.5
引用
1.3.6
列表
1.3.7
代码
1.3.8
表格
1.3.9
图片
1.3.10
数学公式
1.4
文档元素
1.4.1
分割线
1.4.2
转义符
1.4.3
分页符
1.4.4
设置动态标题
1.4.5
自动更新时间
1.4.6
获取元数据信息
1.4.7
参考文献
1.4.8
交叉引用
1.4.9
多位作者
1.4.10
将模型输出为公式
1.4.11
流程图
1.4.12
注释
1.4.13
缩进
1.4.14
字体颜色
1.5
HTML文档
1.5.1
标签
1.5.2
目录
1.5.3
外观
1.5.4
选项卡
1.5.5
表格
1.5.6
代码块及其输出
1.5.7
添加HTML文件
1.5.8
Pandoc参数
1.5.9
共享选项
1.5.10
下载文件
1.6
PDF文档
1.6.1
中文文档
1.6.2
目录
1.6.3
图与表
1.6.4
语法高亮
2
Manim
2.1
安装与创建
2.2
初识Manim
2.3
输出设置
2.3.1
输出文件夹
2.3.2
片段
2.3.3
命令行标志
2.4
配置
2.4.1
命令行参数
2.4.2
ManimConfig类
2.4.3
配置文件
2.5
文本
2.5.1
Text
2.5.2
MarkupText
2.5.3
Paragraph
2.5.4
Tex
2.5.5
MathTex
2.5.6
Title
2.5.7
BulletedList
2.6
内置颜色
2.7
物体的位置与移动
2.8
动画
2.9
镜头视角
2.10
存储对象
2.11
成品
3
SQL
3.1
连接MySQL
3.1.1
R
3.2
MySQL必知必会
3.2.1
提要
3.2.2
选择数据库与表
3.2.3
检索数据
3.2.4
排序检索数据
3.2.5
过滤数据
3.2.6
计算字段
3.2.7
函数
3.2.8
汇总数据
3.2.9
数据分组
3.2.10
子查询
3.2.11
表联结
3.2.12
组合查询
3.2.13
全文本搜索
3.2.14
插入数据
3.2.15
更新数据
3.2.16
表的操作
3.2.17
使用视图
3.2.18
使用存储过程
3.2.19
触发器
3.2.20
事务处理
4
爬虫
4.1
提要
5
Shiny
5.1
初始Shiny
5.2
UI设计
5.2.1
输入
5.2.2
输出
5.3
反应式编程
5.3.1
服务端
5.3.2
反应表达式
5.3.3
控制更新
5.3.4
信息反馈
5.4
页面布局
5.4.1
页面函数
5.4.2
布局函数
5.4.3
bslib风格布局
5.5
主题
5.6
交互式图像与插入图像
5.6.1
交互式图像
5.6.2
插入图像
5.7
用户反馈
5.7.1
验证
5.7.2
通知
5.7.3
进度条
5.7.4
确认
5.8
shiny中的整洁式编程
5.8.1
Data-masking
5.8.2
Tidy-selection
5.9
交互式Rmarkdown
5.10
数据仪表盘
5.10.1
整体框架
5.10.2
外观
5.10.3
案例
5.11
分享shiny
6
大模型
6.1
模型输入
6.2
模型主体
6.3
预训练
6.4
后训练
II 模型与方法
7
应用回归分析
7.1
引言
7.1.1
变量间的相关关系
7.1.2
回归模型的一般形式
7.2
假定
7.3
线性回归模型
7.3.1
一元线性回归模型
7.3.2
多元线性回归模型
7.4
参数估计
7.4.1
最小二乘估计
7.4.2
极大似然估计
7.4.3
矩估计
7.4.4
几何视角
7.5
最小二乘估计的性质
7.5.1
线性
7.5.2
无偏性
7.5.3
有效性
7.5.4
方差
7.5.5
正态性
7.5.6
残差
7.6
显著性检验
7.6.1
区间估计
7.6.2
t检验
7.6.3
F检验
7.6.4
偏F检验
7.6.5
样本决定系数
7.7
预测
7.7.1
预测因变量新值的均值
7.7.2
预测因变量的新值
7.8
回归系数的解释
7.9
中心化与标准化
7.9.1
中心化
7.9.2
标准化
7.10
相关系数与偏相关系数
7.10.1
样本相关系数
7.10.2
样本偏相关系数
7.11
重要的定义和等式
7.12
回归诊断
7.12.1
残差分析
7.12.2
异常点和强影响点
7.12.3
异方差
7.12.4
自相关
7.12.5
多重共线性
7.13
变量选择与正则化
7.13.1
冗余与遗漏
7.13.2
变量选择的传统方法
7.13.3
变量选择的正则化方法
8
应用多元统计
8.1
矩阵运算
8.1.1
Kronecker积
8.1.2
拉直
8.1.3
减号逆与加号逆
8.1.4
分块矩阵
8.2
多元正态分布
8.2.1
多元分布的基本运算性质
8.2.2
多元正态分布的定义
8.2.3
正态分布的条件分布和独立性
8.2.4
偏相关系数与全相关系数
8.3
主成分分析
8.3.1
总体主成分
8.3.2
样本主成分
8.3.3
关于主成分
8.4
因子分析
8.4.1
正交因子模型
8.4.2
参数估计
8.4.3
因子旋转
8.4.4
因子得分
8.4.5
因子分析和主成分分析的区别与联系
8.5
判别分析
8.5.1
距离判别
8.5.2
贝叶斯判别
8.6
聚类分析
8.6.1
距离与相似性的度量
8.6.2
聚类效果的评价指标
8.6.3
系统聚类
8.6.4
Kmeans
8.6.5
其他聚类方法
8.7
典型相关分析
9
机器学习
9.1
基础知识
9.1.1
偏差-方差权衡
9.1.2
评价指标
9.1.3
特征工程
9.2
pandas与sklearn
9.2.1
导入数据集
9.2.2
数据预处理
9.2.3
分割数据集
9.3
决策树
9.3.1
分类树
9.3.2
回归树
9.3.3
实现
9.4
随机森林
9.4.1
实现
9.5
XGBoost
9.5.1
原理
9.5.2
实现
9.6
LightGBM
9.6.1
原理
9.6.2
实现
9.7
因果森林
9.7.1
原理
9.7.2
实现
9.8
SVM
9.9
聚类分析
9.9.1
聚类结果评价
9.9.2
Kmeans
9.9.3
Kmeans++
9.9.4
DBSCAN
9.9.5
HDBSCAN
10
深度学习
10.1
预备知识
10.1.1
数据操作
10.1.2
自动微分
10.1.3
加载数据集
10.1.4
调参技巧
10.2
线性神经网络
10.2.1
线性回归
10.2.2
二分类问题
10.2.3
多分类问题
10.3
RNN
10.4
LSTM
10.4.1
原理
10.4.2
示例
10.4.3
拓展
10.5
GRU
10.5.1
原理
10.5.2
示例
10.5.3
拓展
10.6
Seq2Seq
10.6.1
原理
10.7
BNN
10.7.1
原理
10.7.2
示例
10.8
GNN
10.8.1
原理
10.8.2
图神经网络的类型
10.8.3
示例
10.9
Diffusion Model
10.9.1
原理
10.9.2
示例
10.10
Transformer
10.10.1
原理
10.11
BERT
10.11.1
原理
10.12
GPT
10.12.1
GPT-1
10.12.2
GPT-2
10.12.3
GPT-3
11
生存分析
11.1
基本概念
11.1.1
删失数据
11.1.2
截断数据
11.1.3
函数
11.1.4
似然函数
11.2
参数估计
11.2.1
KM估计
11.2.2
NA估计
11.3
置信区间与置信带
11.3.1
置信区间
11.3.2
置信带
11.3.3
平均生存时间的置信区间
11.3.4
分位数的置信区间
11.3.5
左截断数据的置信区间
11.4
假设检验
11.4.1
单样本检验
11.4.2
多样本检验
11.4.3
趋势性检验
11.4.4
分层检验
11.5
Cox比例风险模型
11.5.1
偏对数似然函数
11.5.2
Regularization Paths for Cox’s Proportional Hazards Model via Coordinate Descent
12
数据分析
12.1
ABtest
12.1.1
确定目标与指标选取
12.1.2
实验设计
12.1.3
实验上线
12.1.4
实验结束
12.2
异动归因
12.2.1
验真
12.2.2
维度拆解
12.2.3
贡献度分析
12.2.4
从数据原因到业务原因
12.2.5
案例分析
12.3
用户分析
12.3.1
用户画像
12.3.2
用户行为路径分析
12.3.3
用户分层模型
III 多源数据分析
13
网络型数据
13.1
构造联系
13.1.1
引力模型
13.1.2
社会网络量表
13.2
网络结构特征
13.3
拓展分析
13.3.1
凝聚子群
13.3.2
社区发现
13.3.3
核心-边缘分析
13.3.4
QAP分析
13.3.5
计量模型
13.3.6
综合评价
13.4
其他启示
IV 可视化
14
Manim动画
14.1
最小二乘与投影矩阵
15
七普数据可视化
15.1
数据来源及说明
15.2
全国人口状况
15.2.1
人口自然增长率
15.2.2
年龄结构
15.2.3
人口流动
V 组会论文
16
变量选择与惩罚函数
16.1
准备
16.1.1
范数
16.1.2
目标函数
16.2
单变量选择
16.2.1
Lasso
16.2.2
Hard & Soft Threshold
16.2.3
SCAD
16.2.4
Adaptive Lasso
16.3
群组变量选择
16.3.1
思维导图
16.3.2
处理高度相关数据的组变量选择方法
16.3.3
仅能选择组变量的方法
16.3.4
双层变量选择方法
16.4
算法
16.5
总结
17
整合分析
17.1
引言
17.2
模型基本形式
17.3
同构数据的整合分析
17.4
异构数据的整合分析
17.5
具有网络结构关系的整合分析
VI 算法复现
18
算法复现
18.1
惩罚Cox比例风险模型
18.2
异质截距项的线性模型
18.2.1
自定义算法
18.2.2
数据模拟
18.3
（异质）线性+非线性的Cox比例风险模型
18.3.1
自定义算法
18.3.2
数据模拟
VII 生活
19
羽毛球修炼手册
19.1
发球
19.1.1
正手发球
19.1.2
反手发球
19.2
网前技术
19.2.1
勾对角
19.2.2
扑球
19.2.3
封网
19.2.4
平抽
19.2.5
抹球
19.2.6
搓球
19.2.7
挡网
19.3
后场技术
19.3.1
杀球
19.3.2
吊球
19.3.3
反手
19.4
假动作
19.4.1
发接发
19.4.2
网前
19.5
双打
19.5.1
发接发
19.5.2
站位
19.5.3
分球
19.5.4
球路
19.6
球路
19.7
步伐
20
日语
参考文献
kj的学习笔记
6.2
模型主体