程序员的数学3

内容简介：

本书沿袭“程序员的数学”系列平易近人的风格，用通俗的语言和具象的图表深入讲解了编程中所需的线性代数知识。内容包括向量、矩阵、行列式、秩、逆矩阵、线性方程、LU分解、特征值、对角化、Jordan标准型、特征值算法等。

作者简介：

堀玄

专攻应用数学和物理,主要从事脑科学与信号处理领域的研究。喜欢Ruby、JavaScript、PostScript等语言。最近正在研究基于统计学理论的语言处理。工学博士。

平冈和幸

专攻应用数学和物理，对机器学习兴趣浓厚。喜欢Ruby，热爱Scheme。最近被Common Lisp吸引，正在潜心研究。工学博士。

目录：

第0章　动机1

0.1　空间想象给我们带来的直观感受1

0.2　有效利用线性近似的手段2

第1章　用空间的语言表达向量、矩阵和行列式5

1.1　向量与空间5

1.1.1　最直接的定义：把数值罗列起来就是向量6

1.1.2　“空间”的形象9

1.1.3　基底11

1.1.4　构成基底的条件16

1.1.5　维数18

1.1.6　坐标19

1.2　矩阵和映射19

1.2.1　暂时的定义19

1.2.2　用矩阵来表达各种关系（1）24

1.2.3　矩阵就是映射！ 25

1.2.4　矩阵的乘积=映射的合成28

1.2.5　矩阵运算的性质31

1.2.6　矩阵的乘方=映射的迭代35

1.2.7　零矩阵、单位矩阵、对角矩阵37

1.2.8　逆矩阵=逆映射44

1.2.9　分块矩阵47

1.2.10　用矩阵表示各种关系（2）53

1.2.11　坐标变换与矩阵55

1.2.12　转置矩阵=??? 63

1.2.13　补充（1）：时刻注意矩阵规模64

1.2.14　补充（2）：从矩阵的元素的角度看67

1.3　行列式与扩大率68

1.3.1　行列式=体积扩大率68

1.3.2　行列式的性质73

1.3.3　行列式的计算方法（1）：计算公式▽80

1.3.4　行列式的计算方法（2）：笔算法▽87

1.3.5　补充：行列式按行（列）展开与逆矩阵▽91

第2章　秩、逆矩阵、线性方程组——溯因推理95

2.1　问题设定：逆问题95

2.2　良性问题（可逆矩阵） 97

2.2.1　可逆性与逆矩阵97

2.2.2　线性方程组的解法（系数矩阵可逆的情况）▽97

2.2.3　逆矩阵的计算方法▽ 107

2.2.4　初等变换▽ 110

2.3　恶性问题115

2.3.1　恶性问题示例115

2.3.2　问题的恶劣程度——核与像120

2.3.3　维数定理122

2.3.4　用式子表示“压缩扁平化”变换（线性无关、线性相关）126

2.3.5　线索的实际个数（秩） 130

2.3.6　秩的求解方法（1）——悉心观察137

2.3.7　秩的求解方法（2）——笔算142

2.4　良性恶性的判定（逆矩阵存在的条件）149

2.4.1　重点是“是不是压缩扁平化映射”149

2.4.2　与可逆性等价的条件150

2.4.3　关于可逆性的小结151

2.5　针对恶性问题的对策152

2.5.1　求出所有能求的结果（1）理论篇152

2.5.2　求出所有能求的结果（2）实践篇155

2.5.3　最小二乘法166

2.6　现实中的恶性问题（接近奇异的矩阵）167

2.6.1　问题源于哪里167

2.6.2　对策示例——提克洛夫规范化170

第3章　计算机上的计算（1）——LU 分解173

3.1　引言173

3.1.1　切莫小看数值计算173

3.1.2　关于本书中的程序174

3.2　热身：加减乘运算174

3.3　LU分解176

3.3.1　定义176

3.3.2　分解能带来什么好处178

3.3.3　LU分解真的可以做到吗178

3.3.4　LU分解的运算量如何180

3.4　LU分解的步骤（1）一般情况182

3.5　利用LU分解求行列式值186

3.6　利用LU分解求解线性方程组187

3.7　利用LU分解求逆矩阵191

3.8　LU分解的步骤（2）意外发生的情况192

3.8.1　需要整理顺序的情况192

3.8.2　重新整理顺序也无济于事的状况196

第4章　特征值、对角化、Jordan标准型——判断是否有失控的危险197

4.1　问题的提出：稳定性197

4.2　一维的情况202

4.3　对角矩阵的情况203

4.4　可对角化的情况205

4.4.1　变量替换205

4.4.2　变量替换的求法213

4.4.3　从坐标变换的角度来解释215

4.4.4　从乘方的角度来解释219

4.4.5　结论：关键取决于特征值的绝对值220

4.5　特征值、特征向量220

4.5.1　几何学意义220

4.5.2　特征值、特征向量的性质225

4.5.3　特征值的计算：特征方程232

4.5.4　特征向量的计算▽ 240

4.6　连续时间系统246

4.6.1　微分方程247

4.6.2　一阶情况250

4.6.3　对角矩阵的情况250

4.6.4　可对角化的情况252

4.6.5　结论：特征值（的实部）的符号是关键252

4.7　不可对角化的情况255

4.7.1　首先给出结论255

4.7.2　就算不能对角化——Jordan标准型256

4.7.3　Jordan标准型的性质257

4.7.4　利用Jordan标准型解决初始值问题（失控判定的最终结论）264

4.7.5　化Jordan标准型的方法271

4.7.6　任何方阵均可化为Jordan标准型的证明279

第5章　计算机上的计算（2）——特征值算法299

5.1　概要299

5.1.1　和笔算的不同之处299

5.1.2　伽罗华理论300

5.1.3　5×5以上的矩阵的特征值不存在通用的求解步骤！302

5.1.4　有代表性的特征值数值算法303

5.2　Jacobi方法303

5.2.1　平面旋转304

5.2.2　通过平面旋转进行相似变换306

5.2.3　计算过程的优化309

5.3　幂法原理310

5.3.1　求绝对值最大的特征值310

5.3.2　求绝对值最小的特征值311

5.3.3　QR分解312

5.3.4　求所有特征值316

5.4　QR方法318

5.4.1　QR方法的原理319

5.4.2　Hessenberg矩阵321

5.4.3　Householder方法322

5.4.4　Hessenberg矩阵的QR迭代325

5.4.5　原点位移、降阶327

5.4.6　对称矩阵的情况327

5.5　反幂法328

附录A　希腊字母表330

附录B　复数331

附录C　关于基底的补充说明336

附录D　微分方程的解法341

D.1　dx/dt = f(x) 型341

D.2　dx/dt = ax + g(t) 型342

附录E　内积、对称矩阵、正交矩阵346

E.1　内积空间346

E.1.1　模长346

E.1.2　正交347

E.1.3　内积347

E.1.4　标准正交基349

E.1.5　转置矩阵351

E.1.6　复内积空间351

E.2　对称矩阵与正交矩阵——实矩阵的情况352

E.3　埃尔米特矩阵与酉矩阵——复矩阵的情况353

附录F　动画演示程序的使用方法354

F.1　执行结果354

F.2　准备工作354

F.3　使用方法355

参考文献357