C语言基础学习笔记（1）：变量、算术运算与赋值运算

发表于 2020-02-07 更新于 2020-02-16 分类于总结
本文字数： 582 阅读时长 ≈ 1 分钟

C语言基础学习笔记（1）：变量、算术运算与赋值运算

图：西安城墙

Guderian出品

C中取余运算的结果符号与被除数符号相同。
C中数字后面带个U， u, L, l, F,f的含义：

U和u表示该数值是无符号整型（unsigned int）；L和l表示该数值是长整型（long）；F和f表示该数值是浮点型（float）。
C中数字后面带个H, h, B, b或数字前面带个0, 0x的含义：

H和h表示该数值是十六进制数；B和b表示该数值是二进制数；前面带0表示该数值是八进制数；前面带0x表示该数值是十六进制数。
C标准常用数学函数：
C中的多重赋值表达式：变量1 = 变量2 = 表达式。如a = b = 3，两个赋值运算符的优先级相同，在优先级相同的情况下考虑赋值表达式的结合性，赋值运算符的结合性是右结合的，即从右往左进行计算，即先执行右边的赋值运算b = 3，再执行a = (b = 3)。
C的算术表达式中不同类型数据的运算结果的类型是取值范围较大的那种类型。C编译器将所有操作数都转换成取值范围较大的操作数的类型，这一过程称为类型提升（Type Promotion）。其规则如下：

阅读全文 »

机器学习中的评价指标：F1-score

发表于 2020-02-06 更新于 2020-02-07 分类于总结
本文字数： 2.5k 阅读时长 ≈ 2 分钟

机器学习中的评价指标：F1-score

图：西雅图（Seattle）

Guderian出品

回顾：F1-score的计算过程

混淆矩阵（Confusion Matrix）

混淆矩阵也称误差矩阵，是表示精度评价的一种标准格式，用n行n列的矩阵形式来表示。

在机器学习领域，混淆矩阵用于衡量一个分类器的准确程度。对于二分类问题，将其样例根据真实类别和分类器的预测类别的组合划分为真正例$\mathrm{(True \, Positive)}$、假正例$\mathrm{(False \, Positive)}$、真反例$\mathrm{(True \, Negative)}$、假反例$\mathrm{(False \, Negative)}$四种情形。

对应混淆矩阵$\mathrm{(Confusion \, Matrix)}$如下表：

真实情况	预测结果
真实情况	真	假
真	TP（真正例）	FN（假反例）
假	FP（假正例）	TN（真反例）

精确率（Precision）与召回率（Recall）

根据混淆矩阵，我们可以得到如下定义：

精确率$\mathrm{(Precision)}$ $\mathrm{P=\frac{TP}{TP+FP} \times 100\%}$，表示真实情况和预测结果皆为真/预测结果为真
召回率$\mathrm{(Recall)}$ $\mathrm{R=\frac{TP}{TP+FN} \times 100 \%}$，表示真实情况和预测结果皆为真/真实情况为真

F1分数（F1-score）

F1分数（$\mathrm{F1-score}$）即精确率与召回率的调和平均数（$\mathrm{Harmonic \, Mean}$），比算术平均数（$\mathrm{Arithmetic \, Mean}$）的评价效果更好。

$\mathrm{F1=\frac{2}{\frac1{P}+\frac1{R}}=\frac{2PR}{P+R}}$

阅读全文 »

C & C++基本数据类型取值范围

发表于 2020-02-05 更新于 2020-02-09 分类于总结
本文字数： 1.3k 阅读时长 ≈ 1 分钟

C & C++基本数据类型取值范围

图：伦敦（London）

Guderian出品

基本数据类型		关键字	存储大小	取数范围
整型	基本整型	int	4字节	-2^31 ~ 2^31-1
实型	长整型	long	4字节	-2^31 ~ 2^31-1
	短整型	short	2字节	-2^15 ~ 2^15-1
	无符号整型	unsigned	unsigned int 4字节 unsigned long 4字节 unsigned short 2字节	unsigned int : 0 ~ 2^32-1 unsigned long : 0 ~ 2^32-1 unsigned short : 0 ~ 2^16-1
实型	单精度实型	float	4字节	1.2E-38 ~ 3.4E+38 精度6~7位有效数字
	双精度实型	double	8字节	2.3E-308 ~ 1.7E+308 精度15~16位有效数字
	长双精度实型	long double	16字节	3.4E-4932 ~ 1.1E+4932 精度19位有效数字
字符型		char	1字节	0 ~ 2^8-1
枚举类型		enum

阅读全文 »

Softmax函数反向传播求导详细过程

发表于 2020-02-04 更新于 2020-02-06 分类于总结
本文字数： 2.5k 阅读时长 ≈ 2 分钟

Softmax函数反向传播求导详细过程

图：纽约，曼哈顿（Manhattan, New York）

Guderian出品

回顾：Softmax函数正向传播

第一步：计算Z函数

对神经网络输出层（即第$ L $层）有$Z^{[L]}=W^{[L]}a^{[L-1]}+b^{[L]}$，其中$a^{[L-1]}$为上一层输出值。

第二步：计算Softmax函数

for i in range(1, C + 1):

$\quad a_i^{[L]}=\frac{e^{Z_i^{[L]}}}{\sum_{k=1}^C e^{Z_k^{[L]}}}$

其中$C$表示要预测的类别数，上式满足$\sum_{i=1}^C a_i{[L]}=1$，即输入样本属于各类别的概率和为$1$。

第三步：计算损失函数

单个样本的损失函数为$L(a,y)=-\sum_{i=1}^C y_i\log{a_i}$，其中$y$为目标输出。

求导

第一步：对Softmax函数求导

对$\mathrm{Softmax}$函数求导，即求$\frac{\partial a_i}{\partial z_j}$：第$\mathrm{i}$项输出对第$\mathrm{j}$项输入的偏导数。

$\frac{\partial a_i}{\partial z_j}=\frac{\partial\frac{e^{z_i}}{\sum_{k=1}^C e^{z_k}}}{\partial z_j}$（省略$[ L ]$标记，默认为第$ L $层，下同），分类讨论：

$(1)$当$\mathrm{i=j}$时，把$a_i$分母中除$e^{z_j}$项外视作常量

$\frac{\partial a_i}{\partial z_j}=\frac{\partial\frac{e^{z_j}}{\sum_{k=1}^C e^{z_k}}}{\partial z_j}=(\frac{e^{z_j}}{e^{z_j}+\sum_{k\ne j}^C e^{z_k}})^\prime=a_j(1-a_j)$

$(2)$当$\mathrm{i\ne j}$时，把$a_i$分子和分母中除$e^{z_j}$项外视作常量

$\frac{\partial a_i}{\partial z_j}=\frac{\partial\frac{e^{z_i}}{\sum_{k=1}^C e^{z_k}}}{\partial z_j}=(\frac{e^{z_i}}{e^{z_j}+\sum_{k\ne j}^C e^{z_k}})^\prime=\frac{e^{z_i}e^{z_j}}{\sum_{k=1}^C e^{z_k}}=-a_i a_j$

阅读全文 »