矩阵、向量求导法则

可以参考：https://en.wikipedia.org/wiki/Matrix_calculus

复杂矩阵问题求导方法：可以从小到大，从scalar到vector再到matrix。

 x is a column vector, A is a matrix

$d(A*x)/dx=A$            

$d(x^T*A)/dx^T=A$   

$d(x^T*A)/dx=A^T$    

$d(x^T*A*x)/dx=x^T(A^T+A)$

practice:

转自：http://www.cnblogs.com/huashiyiqike/p/3568922.html