CS229-10-problemSet00

CS229的homework之前一直没有写,趁这个寒假结束掉它!如有错误欢迎指正!

0x01 Gradients and Hessians:求导海森矩阵

1.1 定义回顾

多元函数一阶导

多元函数二阶导

Symmetric: 对称矩阵

1.2 问题

问题

1.3 解答

(1)f(x)=Ax+b(1)\nabla f(x)=Ax+b

(2)f(x)=g(h(x))h(x)(2)\nabla f(x)=g'(h(x)) \nabla h(x)

(3)2f(x)=AT=A(3)\nabla^2f(x)=A^T=A

(4)2f(x)=g(aTx)aTa(4) \nabla^2 f(x)=g''(a^Tx)a^Ta

0x02 Positive definite matrices : 正定矩阵

2.1 定义回顾

positive semi-definite(PSD): 半正定矩阵

positive definite: 正定矩阵,eg:单位阵

正定矩阵定义

Null-space: 核,表示一个算子的零空间是方程AV=0AV=0的所有解vv的集合

Rank: 矩阵A的列秩是A线性无关的纵列的极大数目;可以用于计算线性方程组解的树木、也可以用来确定线性系统是否为可控制的、可观察的

2.2 问题

2.2 问题

2.3 解答

(a) A^T=(zz^T)=z^Tz=zz^T=A\\x^Tzz^Tx=(x^Tz)(x^Tz)^T \geq0 (b) Null(A)=\{x \in Z;Ax=0\}

两边同时乘xTx^T

xTzzTx=(zTx)T(zTx)=0x^Tzz^Tx=(z^Tx)^T(z^Tx)=0

可以化简为

Null(A)=Null(z)=xz,zx=0Null(A)=Null(z)={x \in z, z^x=0}

因为Rank(z)1Rank(z) \leq 1,但是z非零;结合Null(A)=Null(z)Null(A)=Null(z)

R(A)=R(z)=1R(A)=R(z)=1

(c)(c)

结合A的PSD特点可以证明,略

0x03 Eigenvectors,eigenvalues,spectral theorem:特征向量、特征值、谱定理

3.1 定义回顾

Eigenvectors & Eigenvalues:特征值和特征向量

求解pA(λ)=det(λIA)p_A(\lambda)=det(\lambda I-A)或者Ax=λxAx=\lambda x之间的关系

Diagonal matrix:对角矩阵,可以用det(d1,d2,...)det(d1,d2,...)表示

Orthogonal:正交矩阵

Spectral theorem:谱定理

3.2 问题

image-20230109110250716

image-20230109110258767

3.3 解读

(a)(a)

两边同乘逆

AT=TΛAT=T\Lambda

Λ=diag(λ1,...,λn)\Lambda=diag(\lambda_1,...,\lambda_n)

At(i)=λit(i)At^{(i)}=\lambda_it^{(i)}

所以特征值对应的向量为(λi,t(i))(\lambda_i,t^{(i)})

(b)(b)

因为A是对称矩阵,U为正交矩阵,同时

AU=ΛUAU=\Lambda U

所以同上 $$Au{(i)}=\lambda_iu{(i)}$$

(c)$$ 根据谱定理可以得到 $$\Lambda=U^TAU \geq 0

因此大于等于0


CS229-10-problemSet00
https://blog.tjdata.site/posts/c37a98e.html
作者
chenxia
发布于
2023年1月9日
许可协议