CS229 机器学习 Vol10 | 课后作业 1

CS229的homework之前一直没有写,趁这个寒假结束掉它!如有错误欢迎指正!

0x01 Gradients and Hessians:求导海森矩阵

1.1 定义回顾

img

多元函数一阶导

img

多元函数二阶导

Symmetric: 对称矩阵

1.2 问题

img

问题

1.3 解答

(1)∇𝑓(𝑥)=𝐴𝑥+𝑏

(2)∇𝑓(𝑥)=𝑔′(ℎ(𝑥))∇ℎ(𝑥)

(3)∇2𝑓(𝑥)=𝐴𝑇=𝐴

(4)∇2𝑓(𝑥)=𝑔″(𝑎𝑇𝑥)𝑎𝑇𝑎

0x02 Positive definite matrices : 正定矩阵

2.1 定义回顾

positive semi-definite(PSD): 半正定矩阵

positive definite: 正定矩阵,eg:单位阵

img

正定矩阵定义

Null-space: 核,表示一个算子的零空间是方程$AV=0$的所有解$v$的集合

Rank: 矩阵A的列秩是A线性无关的纵列的极大数目;可以用于计算线性方程组解的树木、也可以用来确定线性系统是否为可控制的、可观察的

2.2 问题

img

2.2 问题

2.3 解答

两边同时乘$x^T$

可以化简为

因为$Rank(z) \leq 1$,但是z非零;结合$Null(A)=Null(z)$

结合A的PSD特点可以证明,略

0x03 Eigenvectors,eigenvalues,spectral theorem:特征向量、特征值、谱定理

3.1 定义回顾

Eigenvectors & Eigenvalues:特征值和特征向量

求解$p_A(\lambda)=det(\lambda I-A)$或者$Ax=\lambda x$之间的关系

Diagonal matrix:对角矩阵,可以用$det(d1,d2,…)$表示

Orthogonal:正交矩阵

Spectral theorem:谱定理

3.2 问题

img

image-20230109110250716

img

image-20230109110258767

3.3 解读

两边同乘逆

又$\Lambda=diag(\lambda_1,…,\lambda_n)$

所以特征值对应的向量为$(\lambda_i,t^{(i)})$

因为A是对称矩阵,U为正交矩阵,同时

所以同上

根据谱定理可以得到

因此大于等于0


CS229 机器学习 Vol10 | 课后作业 1
https://blog.tjdata.site/posts/e8f3ab7c.html
作者
chenlongxu
发布于
2024年4月29日
许可协议