A First Course in Linear Algebra

A First Course in Linear Algebra

byRobert A. Beezer

Department of Mathematics and Computer ScienceUniversity of Puget Sound

Version 1.31

Robert A. Beezer is a Professor of Mathematics at the University of Puget Sound, where he has beenon the faculty since 1984. He received a B.S. in Mathematics (with an Emphasis in Computer Science)from the University of Santa Clara in 1978, a M.S. in Statistics from the University of Illinois atUrbana-Champaign in 1982 and a Ph.D. in Mathematics from the University of Illinois at Urbana-Champaign in 1984. He teaches calculus, linear algebra and abstract algebra regularly, while hisresearch interests include the applications of linear algebra to graph theory. His professional website isat http://buzzard.ups.edu.

EditionVersion 1.31.February 2, 2008.

PublisherRobert A. BeezerDepartment of Mathematics and Computer ScienceUniversity of Puget Sound1500 North WarnerTacoma, Washington 98416-1043USA

c© 2004 by Robert A. Beezer.

Permission is granted to copy, distribute and/or modify this document under the terms of the GNUFree Documentation License, Version 1.2 or any later version published by the Free Software Founda-tion; with the Invariant Sections being “Preface”, no Front-Cover Texts, and no Back-Cover Texts. Acopy of the license is included in the appendix entitled “GNU Free Documentation License”.

The most recent version of this work can always be found at http://linear.ups.edu.

http://buzzard.ups.eduhttp://linear.ups.edu

To my wife, Pat.

Contents

Table of Contents vi

Contributors vii

Definitions viii

Theorems ix

Notation x

Examples xi

Preface xii

Acknowledgements xvii

Part C Core

Chapter SLE Systems of Linear Equations 2WILA What is Linear Algebra? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

LA “Linear” + “Algebra” . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2AA An Application . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

SSLE Solving Systems of Linear Equations . . . . . . . . . . . . . . . . . . . . . . . . . . 10SLE Systems of Linear Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10PSS Possibilities for Solution Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11ESEO Equivalent Systems and Equation Operations . . . . . . . . . . . . . . . . . . 12READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

RREF Reduced Row-Echelon Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25MVNSE Matrix and Vector Notation for Systems of Equations . . . . . . . . . . . . 25RO Row Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28RREF Reduced Row-Echelon Form . . . . . . . . . . . . . . . . . . . . . . . . . . . 31READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

vi

CONTENTS vii

TSS Types of Solution Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52CS Consistent Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52FV Free Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62

HSE Homogeneous Systems of Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . 64SHS Solutions of Homogeneous Systems . . . . . . . . . . . . . . . . . . . . . . . . 64NSM Null Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72

NM Nonsingular Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74NM Nonsingular Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74NSNM Null Space of a Nonsingular Matrix . . . . . . . . . . . . . . . . . . . . . . . 76READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82SLE Systems of Linear Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85

Chapter V Vectors 86VO Vector Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86

VEASM Vector Equality, Addition, Scalar Multiplication . . . . . . . . . . . . . . . 87VSP Vector Space Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93

LC Linear Combinations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94LC Linear Combinations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94VFSS Vector Form of Solution Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . 99PSHS Particular Solutions, Homogeneous Solutions . . . . . . . . . . . . . . . . . . 109READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115

SS Spanning Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117SSV Span of a Set of Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117SSNS Spanning Sets of Null Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . 123READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131

LI Linear Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137LISV Linearly Independent Sets of Vectors . . . . . . . . . . . . . . . . . . . . . . . 137LINM Linear Independence and Nonsingular Matrices . . . . . . . . . . . . . . . . . 142NSSLI Null Spaces, Spans, Linear Independence . . . . . . . . . . . . . . . . . . . . 144READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151

LDS Linear Dependence and Spans . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156

Version 1.31

CONTENTS viii

LDSS Linearly Dependent Sets and Spans . . . . . . . . . . . . . . . . . . . . . . . 156COV Casting Out Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168

O Orthogonality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171CAV Complex Arithmetic and Vectors . . . . . . . . . . . . . . . . . . . . . . . . . 171IP Inner products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172N Norm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175OV Orthogonal Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177GSP Gram-Schmidt Procedure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184V Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185

Chapter M Matrices 186MO Matrix Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186

MEASM Matrix Equality, Addition, Scalar Multiplication . . . . . . . . . . . . . . 186VSP Vector Space Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188TSM Transposes and Symmetric Matrices . . . . . . . . . . . . . . . . . . . . . . . 189MCC Matrices and Complex Conjugation . . . . . . . . . . . . . . . . . . . . . . . 191AM Adjoint of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198

MM Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199MVP Matrix-Vector Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199MM Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202MMEE Matrix Multiplication, Entry-by-Entry . . . . . . . . . . . . . . . . . . . . . 203PMM Properties of Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . . 205HM Hermitian Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215

MISLE Matrix Inverses and Systems of Linear Equations . . . . . . . . . . . . . . . . . . 218IM Inverse of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219CIM Computing the Inverse of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . 221PMI Properties of Matrix Inverses . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231

MINM Matrix Inverses and Nonsingular Matrices . . . . . . . . . . . . . . . . . . . . . . 234NMI Nonsingular Matrices are Invertible . . . . . . . . . . . . . . . . . . . . . . . . 234UM Unitary Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243

CRS Column and Row Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244

Version 1.31

CONTENTS ix

CSSE Column Spaces and Systems of Equations . . . . . . . . . . . . . . . . . . . . 244CSSOC Column Space Spanned by Original Columns . . . . . . . . . . . . . . . . . 246CSNM Column Space of a Nonsingular Matrix . . . . . . . . . . . . . . . . . . . . . 249RSM Row Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262

FS Four Subsets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266LNS Left Null Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266CRS Computing Column Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267EEF Extended echelon form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270FS Four Subsets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284M Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 288

Chapter VS Vector Spaces 289VS Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289

VS Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289EVS Examples of Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291VSP Vector Space Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295RD Recycling Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301

S Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302TS Testing Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303TSS The Span of a Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 307SC Subspace Constructions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 315SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316

LISS Linear Independence and Spanning Sets . . . . . . . . . . . . . . . . . . . . . . . . 319LI Linear Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319SS Spanning Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324VR Vector Representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 328READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 331SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 333

B Bases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336B Bases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336BSCV Bases for Spans of Column Vectors . . . . . . . . . . . . . . . . . . . . . . . 339BNM Bases and Nonsingular Matrices . . . . . . . . . . . . . . . . . . . . . . . . . 341OBC Orthonormal Bases and Coordinates . . . . . . . . . . . . . . . . . . . . . . . 343READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 347EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 348SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 349

Version 1.31

CONTENTS x

D Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 351D Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 351DVS Dimension of Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . 355RNM Rank and Nullity of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . 357RNNM Rank and Nullity of a Nonsingular Matrix . . . . . . . . . . . . . . . . . . . 359READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 360EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 361SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363

PD Properties of Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365GT Goldilocks’ Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365RT Ranks and Transposes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369DFS Dimension of Four Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . 370DS Direct Sums . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 371READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 376EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 377SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 378VS Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 379

Chapter D Determinants 380DM Determinant of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 380

EM Elementary Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 380DD Definition of the Determinant . . . . . . . . . . . . . . . . . . . . . . . . . . . . 385CD Computing Determinants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 386READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 390EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 391SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 392

PDM Properties of Determinants of Matrices . . . . . . . . . . . . . . . . . . . . . . . . 393DRO Determinants and Row Operations . . . . . . . . . . . . . . . . . . . . . . . . 393DROEM Determinants, Row Operations, Elementary Matrices . . . . . . . . . . . . 398DNMMM Determinants, Nonsingular Matrices, Matrix Multiplication . . . . . . . . 400READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 402EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 403SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 404D Determinants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 405

Chapter E Eigenvalues 406EE Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 406

EEM Eigenvalues and Eigenvectors of a Matrix . . . . . . . . . . . . . . . . . . . . 406PM Polynomials and Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 408EEE Existence of Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . . . . . . 410CEE Computing Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . . . . . . . 413ECEE Examples of Computing Eigenvalues and Eigenvectors . . . . . . . . . . . . . 416READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 423EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 424SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 425

PEE Properties of Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . . . . . . . . . 429ME Multiplicities of Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 434EHM Eigenvalues of Hermitian Matrices . . . . . . . . . . . . . . . . . . . . . . . . 437READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 439

Version 1.31

CONTENTS xi

EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 440SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 441

SD Similarity and Diagonalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 443SM Similar Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 443PSM Properties of Similar Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . 444D Diagonalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 446READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 454EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 455SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 456E Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 460

Chapter LT Linear Transformations 461LT Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 461

LT Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 461MLT Matrices and Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . 465LTLC Linear Transformations and Linear Combinations . . . . . . . . . . . . . . . 470PI Pre-Images . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 473NLTFO New Linear Transformations From Old . . . . . . . . . . . . . . . . . . . . 475READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 479EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 481SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 483

ILT Injective Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 486EILT Examples of Injective Linear Transformations . . . . . . . . . . . . . . . . . . 486KLT Kernel of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . 489ILTLI Injective Linear Transformations and Linear Independence . . . . . . . . . . 494ILTD Injective Linear Transformations and Dimension . . . . . . . . . . . . . . . . 495CILT Composition of Injective Linear Transformations . . . . . . . . . . . . . . . . 496READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 496EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 497SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 499

SLT Surjective Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 502ESLT Examples of Surjective Linear Transformations . . . . . . . . . . . . . . . . . 502RLT Range of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . 506SSSLT Spanning Sets and Surjective Linear Transformations . . . . . . . . . . . . . 510SLTD Surjective Linear Transformations and Dimension . . . . . . . . . . . . . . . 512CSLT Composition of Surjective Linear Transformations . . . . . . . . . . . . . . . 513READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 513EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 515SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 517

IVLT Invertible Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . 520IVLT Invertible Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . 520IV Invertibility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 523SI Structure and Isomorphism . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 527RNLT Rank and Nullity of a Linear Transformation . . . . . . . . . . . . . . . . . . 529SLELT Systems of Linear Equations and Linear Transformations . . . . . . . . . . . 532READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 534EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 535SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 537

Version 1.31

CONTENTS xii

LT Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 541

Chapter R Representations 543VR Vector Representations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 543

CVS Characterization of Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . 549CP Coordinatization Principle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 550READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 553EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 554SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 555

MR Matrix Representations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 556NRFO New Representations from Old . . . . . . . . . . . . . . . . . . . . . . . . . 562PMR Properties of Matrix Representations . . . . . . . . . . . . . . . . . . . . . . . 566IVLT Invertible Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . 572READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 576EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 577SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 580

CB Change of Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 589EELT Eigenvalues and Eigenvectors of Linear Transformations . . . . . . . . . . . . 589CBM Change-of-Basis Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 590MRS Matrix Representations and Similarity . . . . . . . . . . . . . . . . . . . . . . 596CELT Computing Eigenvectors of Linear Transformations . . . . . . . . . . . . . . 602READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 610EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 612SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 613

OD Orthonormal Diagonalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 617TM Triangular Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 617UTMR Upper Triangular Matrix Representation . . . . . . . . . . . . . . . . . . . . 619NM Normal Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 622OD Orthonormal Diagonalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . 623

NLT Nilpotent Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 627NLT Nilpotent Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . 627PNLT Properties of Nilpotent Linear Transformations . . . . . . . . . . . . . . . . . 632CFNLT Canonical Form for Nilpotent Linear Transformations . . . . . . . . . . . . 637

IS Invariant Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 645IS Invariant Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 645GEE Generalized Eigenvectors and Eigenspaces . . . . . . . . . . . . . . . . . . . . 649RLT Restrictions of Linear Transformations . . . . . . . . . . . . . . . . . . . . . . 653

JCF Jordan Canonical Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 663GESD Generalized Eigenspace Decomposition . . . . . . . . . . . . . . . . . . . . . 663JCF Jordan Canonical Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 670CHT Cayley-Hamilton Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 684R Representations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 685

Appendix CN Computation Notes 687MMA Mathematica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 687

ME.MMA Matrix Entry . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 687RR.MMA Row Reduce . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 687LS.MMA Linear Solve . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 688VLC.MMA Vector Linear Combinations . . . . . . . . . . . . . . . . . . . . . . . . 688

Version 1.31

CONTENTS xiii

NS.MMA Null Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 689VFSS.MMA Vector Form of Solution Set . . . . . . . . . . . . . . . . . . . . . . . . 689GSP.MMA Gram-Schmidt Procedure . . . . . . . . . . . . . . . . . . . . . . . . . . 690TM.MMA Transpose of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . 691MM.MMA Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . 691MI.MMA Matrix Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 692

TI86 Texas Instruments 86 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 692ME.TI86 Matrix Entry . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 692RR.TI86 Row Reduce . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 692VLC.TI86 Vector Linear Combinations . . . . . . . . . . . . . . . . . . . . . . . . . 693TM.TI86 Transpose of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 693

TI83 Texas Instruments 83 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 693ME.TI83 Matrix Entry . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 693RR.TI83 Row Reduce . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 694VLC.TI83 Vector Linear Combinations . . . . . . . . . . . . . . . . . . . . . . . . . 694

Appendix P Preliminaries 695CNO Complex Number Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 695

CNA Arithmetic with complex numbers . . . . . . . . . . . . . . . . . . . . . . . . 695CCN Conjugates of Complex Numbers . . . . . . . . . . . . . . . . . . . . . . . . . 697MCN Modulus of a Complex Number . . . . . . . . . . . . . . . . . . . . . . . . . . 698

SET Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 699SC Set Cardinality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 700SO Set Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 701

PT Proof Techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 703D Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 703T Theorems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 704L Language . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 704GS Getting Started . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 705C Constructive Proofs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 706E Equivalences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 706N Negation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 707CP Contrapositives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 707CV Converses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 707CD Contradiction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 708U Uniqueness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 709ME Multiple Equivalences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 709PI Proving Identities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 709DC Decompositions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 710I Induction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 710P Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 712LC Lemmas and Corollaries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 712

Appendix A Archetypes 714A . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 718B . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 723C . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 728D . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 732E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 736

Version 1.31

CONTENTS xiv

F . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 740G . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 745H . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 749I . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 753J . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 757K . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 762L . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 766M . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 770N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 773O . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 776P . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 779Q . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 781R . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 785S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 788T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 791U . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 793V . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 796W . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 798X . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 800

Appendix GFDL GNU Free Documentation License 8031. APPLICABILITY AND DEFINITIONS . . . . . . . . . . . . . . . . . . . . . . . . . . 8032. VERBATIM COPYING . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8043. COPYING IN QUANTITY . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8054. MODIFICATIONS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8055. COMBINING DOCUMENTS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8076. COLLECTIONS OF DOCUMENTS . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8077. AGGREGATION WITH INDEPENDENT WORKS . . . . . . . . . . . . . . . . . . . 8078. TRANSLATION . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8079. TERMINATION . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80810. FUTURE REVISIONS OF THIS LICENSE . . . . . . . . . . . . . . . . . . . . . . . 808ADDENDUM: How to use this License for your documents . . . . . . . . . . . . . . . . . 808

Part T Topics

F Fields . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 810F Fields . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 810FF Finite Fields . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 811EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 816SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 818

T Trace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 819EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 823SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 824

HP Hadamard Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 825DMHP Diagonal Matrices and the Hadamard Product . . . . . . . . . . . . . . . . 827EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 830

VM Vandermonde Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 831PSM Positive Semi-definite Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 835

Version 1.31

CONTENTS xv

PSM Positive Semi-Definite Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . 835EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 838

Chapter MD Matrix Decompositions 839ROD Rank One Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 840TD Triangular Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 845

TD Triangular Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 845TDSSE Triangular Decomposition and Solving Systems of Equations . . . . . . . . 848CTD Computing Triangular Decompositions . . . . . . . . . . . . . . . . . . . . . . 849

SVD Singular Value Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 853MAP Matrix-Adjoint Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 853SVD Singular Value Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . 857

SR Square Roots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 859SRM Square Root of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 859

POD Polar Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 863

Part A Applications

CF Curve Fitting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 866DF Data Fitting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 867EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 870

SAS Sharing A Secret . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 871

Version 1.31

Contributors

Beezer, David. St. Charles Borromeo School

Beezer, Robert. University of Puget Sound http://buzzard.ups.edu/

Bucht, Sara. University of Puget Sound

Fellez, Sarah. University of Puget Sound

Fickenscher, Eric. University of Puget Sound

Jackson, Martin. University of Puget Sound http://www.math.ups.edu/m̃artinj

Linenthal, Jacob. University of Puget Sound

Million, Elizabeth. University of Puget Sound

Osborne, Travis. University of Puget Sound

Riegsecker, Joe. Middlebury, Indiana joepye (at) pobox (dot) com

Phelps, Douglas. University of Puget Sound

Shoemaker, Mark. University of Puget Sound

Zimmer, Andy. University of Puget Sound

xvi

Definitions

Section WILASection SSLESLE System of Linear Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10ESYS Equivalent Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12EO Equation Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

Section RREFM Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25CV Column Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26ZCV Zero Column Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26CM Coefficient Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26VOC Vector of Constants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26SOLV Solution Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27LSMR Matrix Representation of a Linear System . . . . . . . . . . . . . . . . . . . . . . 27AM Augmented Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28RO Row Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29REM Row-Equivalent Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29RREF Reduced Row-Echelon Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31RR Row-Reducing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

Section TSSCS Consistent System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52IDV Independent and Dependent Variables . . . . . . . . . . . . . . . . . . . . . . . . 54

Section HSEHS Homogeneous System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64TSHSE Trivial Solution to Homogeneous Systems of Equations . . . . . . . . . . . . . . . 64NSM Null Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67

Section NMSQM Square Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74NM Nonsingular Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74IM Identity Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75

Section VOVSCV Vector Space of Column Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . 86CVE Column Vector Equality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87CVA Column Vector Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88

xvii

DEFINITIONS xviii

CVSM Column Vector Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . 88

Section LCLCCV Linear Combination of Column Vectors . . . . . . . . . . . . . . . . . . . . . . . 94

Section SSSSCV Span of a Set of Column Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . 117

Section LIRLDCV Relation of Linear Dependence for Column Vectors . . . . . . . . . . . . . . . . . 137LICV Linear Independence of Column Vectors . . . . . . . . . . . . . . . . . . . . . . . 137

Section LDSSection OCCCV Complex Conjugate of a Column Vector . . . . . . . . . . . . . . . . . . . . . . . 171IP Inner Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172NV Norm of a Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175OV Orthogonal Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177OSV Orthogonal Set of Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177SUV Standard Unit Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177ONS OrthoNormal Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182

Section MOVSM Vector Space of m× n Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . 186ME Matrix Equality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186MA Matrix Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187MSM Matrix Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187ZM Zero Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189TM Transpose of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189SYM Symmetric Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190CCM Complex Conjugate of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . 191A Adjoint . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193

Section MMMVP Matrix-Vector Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199MM Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202HM Hermitian Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211

Section MISLEMI Matrix Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219

Section MINMUM Unitary Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237

Section CRSCSM Column Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244RSM Row Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251

Version 1.31

DEFINITIONS xix

Section FSLNS Left Null Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266EEF Extended Echelon Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270

Section VSVS Vector Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289

Section SS Subspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302TS Trivial Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306LC Linear Combination . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 307SS Span of a Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308

Section LISSRLD Relation of Linear Dependence . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319LI Linear Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319TSVS To Span a Vector Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324

Section BB Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336

Section DD Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 351NOM Nullity Of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 357ROM Rank Of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 357

Section PDDS Direct Sum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 371

Section DMELEM Elementary Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 380SM SubMatrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 385DM Determinant of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 385

Section PDMSection EEEEM Eigenvalues and Eigenvectors of a Matrix . . . . . . . . . . . . . . . . . . . . . . 406CP Characteristic Polynomial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 413EM Eigenspace of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 415AME Algebraic Multiplicity of an Eigenvalue . . . . . . . . . . . . . . . . . . . . . . . 417GME Geometric Multiplicity of an Eigenvalue . . . . . . . . . . . . . . . . . . . . . . . 417

Section PEESection SDSIM Similar Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 443DIM Diagonal Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 446DZM Diagonalizable Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 446

Version 1.31

DEFINITIONS xx

Section LTLT Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 461PI Pre-Image . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 473LTA Linear Transformation Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . 475LTSM Linear Transformation Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . 476LTC Linear Transformation Composition . . . . . . . . . . . . . . . . . . . . . . . . . 478

Section ILTILT Injective Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 486KLT Kernel of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . 489

Section SLTSLT Surjective Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . 502RLT Range of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . 506

Section IVLTIDLT Identity Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 520IVLT Invertible Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . 520IVS Isomorphic Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 527ROLT Rank Of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . 529NOLT Nullity Of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . 529

Section VRVR Vector Representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 543

Section MRMR Matrix Representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 556

Section CBEELT Eigenvalue and Eigenvector of a Linear Transformation . . . . . . . . . . . . . . 589CBM Change-of-Basis Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 590

Section ODUTM Upper Triangular Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 617LTM Lower Triangular Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 617NRML Normal Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 622

Section NLTNLT Nilpotent Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . 627JB Jordan Block . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 629

Section ISIS Invariant Subspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 645GEV Generalized Eigenvector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 649GES Generalized Eigenspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 649LTR Linear Transformation Restriction . . . . . . . . . . . . . . . . . . . . . . . . . . 653IE Index of an Eigenvalue . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 659

Version 1.31

DEFINITIONS xxi

Section JCFJCF Jordan Canonical Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 670

Section CNOCNE Complex Number Equality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 696CNA Complex Number Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 696CNM Complex Number Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . 696CCN Conjugate of a Complex Number . . . . . . . . . . . . . . . . . . . . . . . . . . . 697MCN Modulus of a Complex Number . . . . . . . . . . . . . . . . . . . . . . . . . . . . 698

Section SETSET Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 699SSET Subset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 699ES Empty Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 699SE Set Equality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 700C Cardinality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 700SU Set Union . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 701SI Set Intersection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 701SC Set Complement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 701

Section PTSection FF Field . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 810IMP Integers Modulo a Prime . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 812

Section TT Trace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 819

Section HPHP Hadamard Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 825HID Hadamard Identity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 826HI Hadamard Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 826

Section VMVM Vandermonde Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 831

Section PSMPSM Positive Semi-Definite Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 835

Section RODSection TDSection SVDSV Singular Values . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 857

Section SRSRM Square Root of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 862

Section POD

Version 1.31

DEFINITIONS xxii

Section CFLSS Least Squares Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 867

Section SAS

Version 1.31

Theorems

Section WILASection SSLEEOPSS Equation Operations Preserve Solution Sets . . . . . . . . . . . . . . . . . . . . . 13

Section RREFREMES Row-Equivalent Matrices represent Equivalent Systems . . . . . . . . . . . . . . 30REMEF Row-Equivalent Matrix in Echelon Form . . . . . . . . . . . . . . . . . . . . . . . 32RREFU Reduced Row-Echelon Form is Unique . . . . . . . . . . . . . . . . . . . . . . . . 34

Section TSSRCLS Recognizing Consistency of a Linear System . . . . . . . . . . . . . . . . . . . . . 55ISRN Inconsistent Systems, r and n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56CSRN Consistent Systems, r and n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56FVCS Free Variables for Consistent Systems . . . . . . . . . . . . . . . . . . . . . . . . 57PSSLS Possible Solution Sets for Linear Systems . . . . . . . . . . . . . . . . . . . . . . 58CMVEI Consistent, More Variables than Equations, Infinite solutions . . . . . . . . . . . 58

Section HSEHSC Homogeneous Systems are Consistent . . . . . . . . . . . . . . . . . . . . . . . . 64HMVEI Homogeneous, More Variables than Equations, Infinite solutions . . . . . . . . . 66

Section NMNMRRI Nonsingular Matrices Row Reduce to the Identity matrix . . . . . . . . . . . . . 75NMTNS Nonsingular Matrices have Trivial Null Spaces . . . . . . . . . . . . . . . . . . . 77NMUS Nonsingular Matrices and Unique Solutions . . . . . . . . . . . . . . . . . . . . . 77NME1 Nonsingular Matrix Equivalences, Round 1 . . . . . . . . . . . . . . . . . . . . . 78

Section VOVSPCV Vector Space Properties of Column Vectors . . . . . . . . . . . . . . . . . . . . . 89

Section LCSLSLC Solutions to Linear Systems are Linear Combinations . . . . . . . . . . . . . . . 97VFSLS Vector Form of Solutions to Linear Systems . . . . . . . . . . . . . . . . . . . . . 104PSPHS Particular Solution Plus Homogeneous Solutions . . . . . . . . . . . . . . . . . . 110

Section SSSSNS Spanning Sets for Null Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123

xxiii

THEOREMS xxiv

Section LILIVHS Linearly Independent Vectors and Homogeneous Systems . . . . . . . . . . . . . 139LIVRN Linearly Independent Vectors, r and n . . . . . . . . . . . . . . . . . . . . . . . . 141MVSLD More Vectors than Size implies Linear Dependence . . . . . . . . . . . . . . . . . 142NMLIC Nonsingular Matrices have Linearly Independent Columns . . . . . . . . . . . . . 143NME2 Nonsingular Matrix Equivalences, Round 2 . . . . . . . . . . . . . . . . . . . . . 143BNS Basis for Null Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145

Section LDSDLDS Dependency in Linearly Dependent Sets . . . . . . . . . . . . . . . . . . . . . . . 156BS Basis of a Span . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161

Section OCRVA Conjugation Respects Vector Addition . . . . . . . . . . . . . . . . . . . . . . . . 171CRSM Conjugation Respects Vector Scalar Multiplication . . . . . . . . . . . . . . . . . 172IPVA Inner Product and Vector Addition . . . . . . . . . . . . . . . . . . . . . . . . . . 173IPSM Inner Product and Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . 174IPAC Inner Product is Anti-Commutative . . . . . . . . . . . . . . . . . . . . . . . . . 174IPN Inner Products and Norms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176PIP Positive Inner Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176OSLI Orthogonal Sets are Linearly Independent . . . . . . . . . . . . . . . . . . . . . . 179GSP Gram-Schmidt Procedure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179

Section MOVSPM Vector Space Properties of Matrices . . . . . . . . . . . . . . . . . . . . . . . . . 188SMS Symmetric Matrices are Square . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190TMA Transpose and Matrix Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190TMSM Transpose and Matrix Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . 191TT Transpose of a Transpose . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191CRMA Conjugation Respects Matrix Addition . . . . . . . . . . . . . . . . . . . . . . . . 192CRMSM Conjugation Respects Matrix Scalar Multiplication . . . . . . . . . . . . . . . . . 192CCM Conjugate of the Conjugate of a Matrix . . . . . . . . . . . . . . . . . . . . . . . 192MCT Matrix Conjugation and Transposes . . . . . . . . . . . . . . . . . . . . . . . . . 193AMA Adjoint and Matrix Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193AMSM Adjoint and Matrix Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . 194AA Adjoint of an Adjoint . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194

Section MMSLEMM Systems of Linear Equations as Matrix Multiplication . . . . . . . . . . . . . . . 200EMMVP Equal Matrices and Matrix-Vector Products . . . . . . . . . . . . . . . . . . . . . 202EMP Entries of Matrix Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204MMZM Matrix Multiplication and the Zero Matrix . . . . . . . . . . . . . . . . . . . . . 205MMIM Matrix Multiplication and Identity Matrix . . . . . . . . . . . . . . . . . . . . . . 205MMDAA Matrix Multiplication Distributes Across Addition . . . . . . . . . . . . . . . . . 206MMSMM Matrix Multiplication and Scalar Matrix Multiplication . . . . . . . . . . . . . . 207MMA Matrix Multiplication is Associative . . . . . . . . . . . . . . . . . . . . . . . . . 207MMIP Matrix Multiplication and Inner Products . . . . . . . . . . . . . . . . . . . . . . 208MMCC Matrix Multiplication and Complex Conjugation . . . . . . . . . . . . . . . . . . 208

Version 1.31

THEOREMS xxv

MMT Matrix Multiplication and Transposes . . . . . . . . . . . . . . . . . . . . . . . . 209MMAD Matrix Multiplication and Adjoints . . . . . . . . . . . . . . . . . . . . . . . . . 209AIP Adjoint and Inner Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210HMIP Hermitian Matrices and Inner Products . . . . . . . . . . . . . . . . . . . . . . . 211

Section MISLETTMI Two-by-Two Matrix Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221CINM Computing the Inverse of a Nonsingular Matrix . . . . . . . . . . . . . . . . . . . 224MIU Matrix Inverse is Unique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226SS Socks and Shoes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226MIMI Matrix Inverse of a Matrix Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . 227MIT Matrix Inverse of a Transpose . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227MISM Matrix Inverse of a Scalar Multiple . . . . . . . . . . . . . . . . . . . . . . . . . . 227

Section MINMNPNT Nonsingular Product has Nonsingular Terms . . . . . . . . . . . . . . . . . . . . 234OSIS One-Sided Inverse is Sufficient . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235NI Nonsingularity is Invertibility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236NME3 Nonsingular Matrix Equivalences, Round 3 . . . . . . . . . . . . . . . . . . . . . 236SNCM Solution with Nonsingular Coefficient Matrix . . . . . . . . . . . . . . . . . . . . 237UMI Unitary Matrices are Invertible . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238CUMOS Columns of Unitary Matrices are Orthonormal Sets . . . . . . . . . . . . . . . . . 238UMPIP Unitary Matrices Preserve Inner Products . . . . . . . . . . . . . . . . . . . . . . 239

Section CRSCSCS Column Spaces and Consistent Systems . . . . . . . . . . . . . . . . . . . . . . . 245BCS Basis of the Column Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247CSNM Column Space of a Nonsingular Matrix . . . . . . . . . . . . . . . . . . . . . . . 250NME4 Nonsingular Matrix Equivalences, Round 4 . . . . . . . . . . . . . . . . . . . . . 250REMRS Row-Equivalent Matrices have equal Row Spaces . . . . . . . . . . . . . . . . . . 252BRS Basis for the Row Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 254CSRST Column Space, Row Space, Transpose . . . . . . . . . . . . . . . . . . . . . . . . 255

Section FSPEEF Properties of Extended Echelon Form . . . . . . . . . . . . . . . . . . . . . . . . 271FS Four Subsets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273

Section VSZVU Zero Vector is Unique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296AIU Additive Inverses are Unique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296ZSSM Zero Scalar in Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . 296ZVSM Zero Vector in Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . 297AISM Additive Inverses from Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . 297SMEZV Scalar Multiplication Equals the Zero Vector . . . . . . . . . . . . . . . . . . . . 298

Section STSS Testing Subsets for Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303NSMS Null Space of a Matrix is a Subspace . . . . . . . . . . . . . . . . . . . . . . . . . 306

Version 1.31

THEOREMS xxvi

SSS Span of a Set is a Subspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308CSMS Column Space of a Matrix is a Subspace . . . . . . . . . . . . . . . . . . . . . . . 313RSMS Row Space of a Matrix is a Subspace . . . . . . . . . . . . . . . . . . . . . . . . . 313LNSMS Left Null Space of a Matrix is a Subspace . . . . . . . . . . . . . . . . . . . . . . 313

Section LISSVRRB Vector Representation Relative to a Basis . . . . . . . . . . . . . . . . . . . . . . 328

Section BSUVB Standard Unit Vectors are a Basis . . . . . . . . . . . . . . . . . . . . . . . . . . 336CNMB Columns of Nonsingular Matrix are a Basis . . . . . . . . . . . . . . . . . . . . . 341NME5 Nonsingular Matrix Equivalences, Round 5 . . . . . . . . . . . . . . . . . . . . . 342COB Coordinates and Orthonormal Bases . . . . . . . . . . . . . . . . . . . . . . . . . 343UMCOB Unitary Matrices Convert Orthonormal Bases . . . . . . . . . . . . . . . . . . . . 345

Section DSSLD Spanning Sets and Linear Dependence . . . . . . . . . . . . . . . . . . . . . . . . 351BIS Bases have Identical Sizes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 354DCM Dimension of Cm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 355DP Dimension of Pn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 355DM Dimension of Mmn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 355CRN Computing Rank and Nullity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 358RPNC Rank Plus Nullity is Columns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 358RNNM Rank and Nullity of a Nonsingular Matrix . . . . . . . . . . . . . . . . . . . . . . 359NME6 Nonsingular Matrix Equivalences, Round 6 . . . . . . . . . . . . . . . . . . . . . 360

Section PDELIS Extending Linearly Independent Sets . . . . . . . . . . . . . . . . . . . . . . . . . 365G Goldilocks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 366PSSD Proper Subspaces have Smaller Dimension . . . . . . . . . . . . . . . . . . . . . . 368EDYES Equal Dimensions Yields Equal Subspaces . . . . . . . . . . . . . . . . . . . . . . 369RMRT Rank of a Matrix is the Rank of the Transpose . . . . . . . . . . . . . . . . . . . 369DFS Dimensions of Four Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . 370DSFB Direct Sum From a Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 372DSFOS Direct Sum From One Subspace . . . . . . . . . . . . . . . . . . . . . . . . . . . 373DSZV Direct Sums and Zero Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373DSZI Direct Sums and Zero Intersection . . . . . . . . . . . . . . . . . . . . . . . . . . 374DSLI Direct Sums and Linear Independence . . . . . . . . . . . . . . . . . . . . . . . . 374DSD Direct Sums and Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 375RDS Repeated Direct Sums . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 375

Section DMEMDRO Elementary Matrices Do Row Operations . . . . . . . . . . . . . . . . . . . . . . 382EMN Elementary Matrices are Nonsingular . . . . . . . . . . . . . . . . . . . . . . . . 384NMPEM Nonsingular Matrices are Products of Elementary Matrices . . . . . . . . . . . . 384DMST Determinant of Matrices of Size Two . . . . . . . . . . . . . . . . . . . . . . . . . 386DER Determinant Expansion about Rows . . . . . . . . . . . . . . . . . . . . . . . . . 386DT Determinant of the Transpose . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388

Version 1.31

THEOREMS xxvii

DEC Determinant Expansion about Columns . . . . . . . . . . . . . . . . . . . . . . . 388

Section PDMDZRC Determinant with Zero Row or Column . . . . . . . . . . . . . . . . . . . . . . . 393DRCS Determinant for Row or Column Swap . . . . . . . . . . . . . . . . . . . . . . . . 393DRCM Determinant for Row or Column Multiples . . . . . . . . . . . . . . . . . . . . . 394DERC Determinant with Equal Rows or Columns . . . . . . . . . . . . . . . . . . . . . 395DRCMA Determinant for Row or Column Multiples and Addition . . . . . . . . . . . . . . 395DIM Determinant of the Identity Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . 398DEM Determinants of Elementary Matrices . . . . . . . . . . . . . . . . . . . . . . . . 398DEMMM Determinants, Elementary Matrices, Matrix Multiplication . . . . . . . . . . . . 399SMZD Singular Matrices have Zero Determinants . . . . . . . . . . . . . . . . . . . . . . 400NME7 Nonsingular Matrix Equivalences, Round 7 . . . . . . . . . . . . . . . . . . . . . 400DRMM Determinant Respects Matrix Multiplication . . . . . . . . . . . . . . . . . . . . 401

Section EEEMHE Every Matrix Has an Eigenvalue . . . . . . . . . . . . . . . . . . . . . . . . . . . 410EMRCP Eigenvalues of a Matrix are Roots of Characteristic Polynomials . . . . . . . . . 414EMS Eigenspace for a Matrix is a Subspace . . . . . . . . . . . . . . . . . . . . . . . . 415EMNS Eigenspace of a Matrix is a Null Space . . . . . . . . . . . . . . . . . . . . . . . . 415

Section PEEEDELI Eigenvectors with Distinct Eigenvalues are Linearly Independent . . . . . . . . . 429SMZE Singular Matrices have Zero Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . 430NME8 Nonsingular Matrix Equivalences, Round 8 . . . . . . . . . . . . . . . . . . . . . 430ESMM Eigenvalues of a Scalar Multiple of a Matrix . . . . . . . . . . . . . . . . . . . . . 431EOMP Eigenvalues Of Matrix Powers . . . . . . . . . . . . . . . . . . . . . . . . . . . . 431EPM Eigenvalues of the Polynomial of a Matrix . . . . . . . . . . . . . . . . . . . . . . 432EIM Eigenvalues of the Inverse of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . 433ETM Eigenvalues of the Transpose of a Matrix . . . . . . . . . . . . . . . . . . . . . . 433ERMCP Eigenvalues of Real Matrices come in Conjugate Pairs . . . . . . . . . . . . . . . 434DCP Degree of the Characteristic Polynomial . . . . . . . . . . . . . . . . . . . . . . . 434NEM Number of Eigenvalues of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . 435ME Multiplicities of an Eigenvalue . . . . . . . . . . . . . . . . . . . . . . . . . . . . 435MNEM Maximum Number of Eigenvalues of a Matrix . . . . . . . . . . . . . . . . . . . . 437HMRE Hermitian Matrices have Real Eigenvalues . . . . . . . . . . . . . . . . . . . . . . 438HMOE Hermitian Matrices have Orthogonal Eigenvectors . . . . . . . . . . . . . . . . . 438

Section SDSER Similarity is an Equivalence Relation . . . . . . . . . . . . . . . . . . . . . . . . . 444SMEE Similar Matrices have Equal Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . 445DC Diagonalization Characterization . . . . . . . . . . . . . . . . . . . . . . . . . . . 447DMFE Diagonalizable Matrices have Full Eigenspaces . . . . . . . . . . . . . . . . . . . 449DED Distinct Eigenvalues implies Diagonalizable . . . . . . . . . . . . . . . . . . . . . 452

Section LTLTTZZ Linear Transformations Take Zero to Zero . . . . . . . . . . . . . . . . . . . . . . 465MBLT Matrices Build Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . 467

Version 1.31

THEOREMS xxviii

MLTCV Matrix of a Linear Transformation, Column Vectors . . . . . . . . . . . . . . . . 468LTLC Linear Transformations and Linear Combinations . . . . . . . . . . . . . . . . . . 470LTDB Linear Transformation Defined on a Basis . . . . . . . . . . . . . . . . . . . . . . 470SLTLT Sum of Linear Transformations is a Linear Transformation . . . . . . . . . . . . . 476MLTLT Multiple of a Linear Transformation is a Linear Transformation . . . . . . . . . . 477VSLT Vector Space of Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . 478CLTLT Composition of Linear Transformations is a Linear Transformation . . . . . . . . 478

Section ILTKLTS Kernel of a Linear Transformation is a Subspace . . . . . . . . . . . . . . . . . . 490KPI Kernel and Pre-Image . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 492KILT Kernel of an Injective Linear Transformation . . . . . . . . . . . . . . . . . . . . 492ILTLI Injective Linear Transformations and Linear Independence . . . . . . . . . . . . . 494ILTB Injective Linear Transformations and Bases . . . . . . . . . . . . . . . . . . . . . 494ILTD Injective Linear Transformations and Dimension . . . . . . . . . . . . . . . . . . 495CILTI Composition of Injective Linear Transformations is Injective . . . . . . . . . . . . 496

Section SLTRLTS Range of a Linear Transformation is a Subspace . . . . . . . . . . . . . . . . . . 507RSLT Range of a Surjective Linear Transformation . . . . . . . . . . . . . . . . . . . . 509SSRLT Spanning Set for Range of a Linear Transformation . . . . . . . . . . . . . . . . . 510RPI Range and Pre-Image . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 512SLTB Surjective Linear Transformations and Bases . . . . . . . . . . . . . . . . . . . . 512SLTD Surjective Linear Transformations and Dimension . . . . . . . . . . . . . . . . . . 512CSLTS Composition of Surjective Linear Transformations is Surjective . . . . . . . . . . 513

Section IVLTILTLT Inverse of a Linear Transformation is a Linear Transformation . . . . . . . . . . . 523IILT Inverse of an Invertible Linear Transformation . . . . . . . . . . . . . . . . . . . 523ILTIS Invertible Linear Transformations are Injective and Surjective . . . . . . . . . . . 524CIVLT Composition of Invertible Linear Transformations . . . . . . . . . . . . . . . . . . 526ICLT Inverse of a Composition of Linear Transformations . . . . . . . . . . . . . . . . 526IVSED Isomorphic Vector Spaces have Equal Dimension . . . . . . . . . . . . . . . . . . 529ROSLT Rank Of a Surjective Linear Transformation . . . . . . . . . . . . . . . . . . . . . 530NOILT Nullity Of an Injective Linear Transformation . . . . . . . . . . . . . . . . . . . . 530RPNDD Rank Plus Nullity is Domain Dimension . . . . . . . . . . . . . . . . . . . . . . . 530

Section VRVRLT Vector Representation is a Linear Transformation . . . . . . . . . . . . . . . . . . 543VRI Vector Representation is Injective . . . . . . . . . . . . . . . . . . . . . . . . . . 547VRS Vector Representation is Surjective . . . . . . . . . . . . . . . . . . . . . . . . . . 548VRILT Vector Representation is an Invertible Linear Transformation . . . . . . . . . . . 548CFDVS Characterization of Finite Dimensional Vector Spaces . . . . . . . . . . . . . . . 549IFDVS Isomorphism of Finite Dimensional Vector Spaces . . . . . . . . . . . . . . . . . . 549CLI Coordinatization and Linear Independence . . . . . . . . . . . . . . . . . . . . . 550CSS Coordinatization and Spanning Sets . . . . . . . . . . . . . . . . . . . . . . . . . 550

Section MR

Version 1.31

THEOREMS xxix

FTMR Fundamental Theorem of Matrix Representation . . . . . . . . . . . . . . . . . . 559MRSLT Matrix Representation of a Sum of Linear Transformations . . . . . . . . . . . . 562MRMLT Matrix Representation of a Multiple of a Linear Transformation . . . . . . . . . . 562MRCLT Matrix Representation of a Composition of Linear Transformations . . . . . . . . 563KNSI Kernel and Null Space Isomorphism . . . . . . . . . . . . . . . . . . . . . . . . . 567RCSI Range and Column Space Isomorphism . . . . . . . . . . . . . . . . . . . . . . . 569IMR Invertible Matrix Representations . . . . . . . . . . . . . . . . . . . . . . . . . . 572IMILT Invertible Matrices, Invertible Linear Transformation . . . . . . . . . . . . . . . . 574NME9 Nonsingular Matrix Equivalences, Round 9 . . . . . . . . . . . . . . . . . . . . . 575

Section CBCB Change-of-Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 591ICBM Inverse of Change-of-Basis Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . 591MRCB Matrix Representation and Change of Basis . . . . . . . . . . . . . . . . . . . . . 596SCB Similarity and Change of Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . 599EER Eigenvalues, Eigenvectors, Representations . . . . . . . . . . . . . . . . . . . . . 602

Section ODPTMT Product of Triangular Matrices is Triangular . . . . . . . . . . . . . . . . . . . . 617ITMT Inverse of a Triangular Matrix is Triangular . . . . . . . . . . . . . . . . . . . . . 618UTMR Upper Triangular Matrix Representation . . . . . . . . . . . . . . . . . . . . . . . 619OBUTR Orthonormal Basis for Upper Triangular Representation . . . . . . . . . . . . . . 621OD Orthonormal Diagonalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 623OBNM Orthonormal Bases and Normal Matrices . . . . . . . . . . . . . . . . . . . . . . 625

Section NLTNJB Nilpotent Jordan Blocks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 632ENLT Eigenvalues of Nilpotent Linear Transformations . . . . . . . . . . . . . . . . . . 633DNLT Diagonalizable Nilpotent Linear Transformations . . . . . . . . . . . . . . . . . . 633KPLT Kernels of Powers of Linear Transformations . . . . . . . . . . . . . . . . . . . . 634KPNLT Kernels of Powers of Nilpotent Linear Transformations . . . . . . . . . . . . . . . 635CFNLT Canonical Form for Nilpotent Linear Transformations . . . . . . . . . . . . . . . 637

Section ISEIS Eigenspaces are Invariant Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . 647KPIS Kernels of Powers are Invariant Subspaces . . . . . . . . . . . . . . . . . . . . . . 648GESIS Generalized Eigenspace is an Invariant Subspace . . . . . . . . . . . . . . . . . . 649GEK Generalized Eigenspace as a Kernel . . . . . . . . . . . . . . . . . . . . . . . . . 650RGEN Restriction to Generalized Eigenspace is Nilpotent . . . . . . . . . . . . . . . . . 659MRRGE Matrix Representation of a Restriction to a Generalized Eigenspace . . . . . . . . 662

Section JCFGESD Generalized Eigenspace Decomposition . . . . . . . . . . . . . . . . . . . . . . . . 663DGES Dimension of Generalized Eigenspaces . . . . . . . . . . . . . . . . . . . . . . . . 669JCFLT Jordan Canonical Form for a Linear Transformation . . . . . . . . . . . . . . . . 670CHT Cayley-Hamilton Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 684

Section CNO

Version 1.31

THEOREMS xxx

PCNA Properties of Complex Number Arithmetic . . . . . . . . . . . . . . . . . . . . . 696CCRA Complex Conjugation Respects Addition . . . . . . . . . . . . . . . . . . . . . . 698CCRM Complex Conjugation Respects Multiplication . . . . . . . . . . . . . . . . . . . 698CCT Complex Conjugation Twice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 698

Section SETSection PTSection FFIMP Field of Integers Modulo a Prime . . . . . . . . . . . . . . . . . . . . . . . . . . . 812

Section TTL Trace is Linear . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 819TSRM Trace is Symmetric with Respect to Multiplication . . . . . . . . . . . . . . . . . 820TIST Trace is Invariant Under Similarity Transformations . . . . . . . . . . . . . . . . 820TSE Trace is the Sum of the Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . . . 820

Section HPHPC Hadamard Product is Commutative . . . . . . . . . . . . . . . . . . . . . . . . . 825HPHID Hadamard Product with the Hadamard Identity . . . . . . . . . . . . . . . . . . 826HPHI Hadamard Product with Hadamard Inverses . . . . . . . . . . . . . . . . . . . . . 826HPDAA Hadamard Product Distributes Across Addition . . . . . . . . . . . . . . . . . . 827HPSMM Hadamard Product and Scalar Matrix Multiplication . . . . . . . . . . . . . . . . 827DMHP Diagonalizable Matrices and the Hadamard Product . . . . . . . . . . . . . . . . 828DMMP Diagonal Matrices and Matrix Products . . . . . . . . . . . . . . . . . . . . . . . 828

Section VMDVM Determinant of a Vandermonde Matrix . . . . . . . . . . . . . . . . . . . . . . . 831NVM Nonsingular Vandermonde Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . 834

Section PSMCPSM Creating Positive Semi-Definite Matrices . . . . . . . . . . . . . . . . . . . . . . . 835EPSM Eigenvalues of Positive Semi-definite Matrices . . . . . . . . . . . . . . . . . . . . 836

Section RODROD Rank One Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 840

Section TDTD Triangular Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 845TDEE Triangular Decomposition, Entry by Entry . . . . . . . . . . . . . . . . . . . . . 849

Section SVDEEMAP Eigenvalues and Eigenvectors of Matrix-Adjoint Product . . . . . . . . . . . . . . 853SVD Singular Value Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . 857

Section SRPSMSR Positive Semi-Definite Matrices and Square Roots . . . . . . . . . . . . . . . . . 859EESR Eigenvalues and Eigenspaces of a Square Root . . . . . . . . . . . . . . . . . . . 860USR Unique Square Root . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 862

Version 1.31

THEOREMS xxxi

Section PODPDM Polar Decomposition of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . 863

Section CFIP Interpolating Polynomial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 866LSMR Least Squares Minimizes Residuals . . . . . . . . . . . . . . . . . . . . . . . . . . 868

Section SAS

Version 1.31

Notation

M A: Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25MC [A]ij: Matrix Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25CV v: Column Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26CVC [v]i: Column Vector Components . . . . . . . . . . . . . . . . . . . . . . . . . . . 26ZCV 0: Zero Column Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26LSMR LS(A, b): Matrix Representation of a Linear System . . . . . . . . . . . . . . . . 27AM [A | b]: Augmented Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28RO Ri ↔ Rj, αRi, αRi +Rj: Row Operations . . . . . . . . . . . . . . . . . . . . . . 29RREFA r, D, F : Reduced Row-Echelon Form Analysis . . . . . . . . . . . . . . . . . . . 31NSM N (A): Null Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67IM Im: Identity Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75VSCV Cm: Vector Space of Column Vectors . . . . . . . . . . . . . . . . . . . . . . . . . 86CVE u = v: Column Vector Equality . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87CVA u + v: Column Vector Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88CVSM αu: Column Vector Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . 88SSV 〈S〉: Span of a Set of Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117CCCV u: Complex Conjugate of a Column Vector . . . . . . . . . . . . . . . . . . . . . 171IP 〈u, v〉: Inner Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172NV ‖v‖: Norm of a Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175SUV ei: Standard Unit Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178VSM Mmn: Vector Space of Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186ME A = B: Matrix Equality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186MA A+B: Matrix Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187MSM αA: Matrix Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . 187ZM O: Zero Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189TM At: Transpose of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189CCM A: Complex Conjugate of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . 192A A∗: Adjoint . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193MVP Au: Matrix-Vector Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199MI A−1: Matrix Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219CSM C(A): Column Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . 244RSM R(A): Row Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251LNS L(A): Left Null Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266D dim (V ): Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 351NOM n (A): Nullity of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 357ROM r (A): Rank of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 357DS V = U ⊕W : Direct Sum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 371ELEM Ei,j, Ei (α), Ei,j (α): Elementary Matrix . . . . . . . . . . . . . . . . . . . . . . . 381

xxxii

NOTATION xxxiii

SM A (i|j): SubMatrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 385DM det (A), |A|: Determinant of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . 385LT T : U 7→ V : Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . 461KLT K(T ): Kernel of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . 489RLT R(T ): Range of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . 506ROLT r (T ): Rank of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . 529NOLT n (T ): Nullity of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . 529JB Jn (λ): Jordan Block . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 629GES GT (λ): Generalized Eigenspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . 649LTR T |U : Linear Transformation Restriction . . . . . . . . . . . . . . . . . . . . . . . 653IE ιT (λ): Index of an Eigenvalue . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 659CNE α = β: Complex Number Equality . . . . . . . . . . . . . . . . . . . . . . . . . . 696CNA α + β: Complex Number Addition . . . . . . . . . . . . . . . . . . . . . . . . . . 696CNM αβ: Complex Number Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . 696CCN c: Conjugate of a Complex Number . . . . . . . . . . . . . . . . . . . . . . . . . 697SETM x ∈ S: Set Membership . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 699SSET S ⊆ T : Subset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 699ES ∅: Empty Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 699SE S = T : Set Equality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 700C |S|: Cardinality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 700SU S ∪ T : Set Union . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 701SI S ∩ T : Set Intersection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 701SC S: Set Complement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 702T t (A): Trace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 819HP A ◦B: Hadamard Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 825HID Jmn: Hadamard Identity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 826HI Â: Hadamard Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 826SRM A1/2: Square Root of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . 862

Version 1.31

Examples

Section WILATMP Trail Mix Packaging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

Section SSLESTNE Solving two (nonlinear) equations . . . . . . . . . . . . . . . . . . . . . . . . . . 10NSE Notation for a system of equations . . . . . . . . . . . . . . . . . . . . . . . . . . 11TTS Three typical systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11US Three equations, one solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15IS Three equations, infinitely many solutions . . . . . . . . . . . . . . . . . . . . . . 16

Section RREFAM A matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25NSLE Notation for systems of linear equations . . . . . . . . . . . . . . . . . . . . . . . 27AMAA Augmented matrix for Archetype A . . . . . . . . . . . . . . . . . . . . . . . . . 28TREM Two row-equivalent matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29USR Three equations, one solution, reprised . . . . . . . . . . . . . . . . . . . . . . . . 30RREF A matrix in reduced row-echelon form . . . . . . . . . . . . . . . . . . . . . . . . 31NRREF A matrix not in reduced row-echelon form . . . . . . . . . . . . . . . . . . . . . . 31SAB Solutions for Archetype B . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37SAA Solutions for Archetype A . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38SAE Solutions for Archetype E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

Section TSSRREFN Reduced row-echelon form notation . . . . . . . . . . . . . . . . . . . . . . . . . 52ISSI Describing infinite solution sets, Archetype I . . . . . . . . . . . . . . . . . . . . 53FDV Free and dependent variables . . . . . . . . . . . . . . .