key points - university of california, berkeley · key points assume (except for point 4 ... see...
TRANSCRIPT
Key points
Assume (except for point 4) f : Rn→ R is twice continuously differentiable1 If Hf is neg def at x , then f attains a strict local max at x iff5f (x) = 0
In (1), replace “Hf(x) negative definite” by “Hf(·) negative (semi) definite”:replace “local maximum” with (weak) “global maximum”global negative semi-definiteness buys you a weak global max; localnegative semi.definiteness buys you nothing
2 If f is concave and C2 then Hf is globally negative semi-definite3 If Hf(x) is negative definite then the tangent plane to f at x is locally
strictly above the graph of f except at xIn (3), replace “Hf(x) neg def” with “Hf(·) neg (semi) def:” replace “islocally” with “is globally (weakly)”
4 f is quasi-concavequasi-convex if all of its upper
lower contour sets are convex sets� for strict quasi-concavity, replace convex with strictly convex and add: no flat spots
5 A sufficient condition for f to be quasi-concavestrictly quasi-concave is that at each x
Hf(x) is globally neg semi defneg def on the subspace orthogonal to5f (x).
() September 23, 2015 1 / 17
First order necessary conditions for a max
Theorem: If f : Rn→ R is C2 and Hf(x̄) is neg def, then f attains a strict localmaximum at x̄ ∈ Rn iff5f (x̄) = 0.
Which step of the proof below is overly restrictive
i.e., a weaker statement would suffice?
Necessity: Suppose5f (x̄) 6= 0; will show f (·) not maxed at x
Let dx = ε5 f (x̄).
f (x̄ + dx)− f (x̄) =5f (x̄)dx + a remainder term
If ε small enough, Local Taylor applies, expansion term dominates.
5f (x̄)dx > 0.
f (x̄ + dx)− f (x̄) > 0.
f not locally maximized at x̄ .
() September 23, 2015 2 / 17
Second order sufficiency conditions for a local maxTheorem: If f : Rn→ R is C2 & Hf(x̄) is neg def, then f attains a strict localmaximum at x̄ ∈ Rn iff5f (x̄) = 0.
Sufficiency: Suppose Hf(x̄) is negative definitePick ε > 0 s.t. 2nd order Local Taylor applies if 0 < ||dx||< ε.
How do I know that such an ε > 0 exists? See notes for details.
f (x̄ + dx)− f (x̄) =5f (x̄)dx + 0.5dxHf(x̄)dx + a remainder term
f (x̄ + dx)− f (x̄) = 0.5dxHf(x̄)dx + a remainder term
(because Local Taylor applies,) 0.5dxHf(x̄)dx < 0 term dominates
f (x̄ + dx)− f (x̄) < 0.
f (x̄) > f (x̄ + dx) for all dx s.t. 0 < ||dx||< ε.
f attains a strict local max at x̄ .
NOT TRUE: If f : Rn→ R & f is C2, then f attains attains a strict globalmaximum at x̄ ∈ Rn iff5f (x̄) = 0 and Hf(x̄) is neg def.
() September 23, 2015 3 / 17
Second order sufficiency conditions for a global max
Theorem: If f : Rn→ R is C2 and Hf(·) is neg (semi) def, then f attains a strict(weak) global maximum at x̄ ∈ Rn iff5f (x̄) = 0.
Sufficiency: Suppose Hf(·) is globally negative (semi) definite
Use global Taylor
Pick dx arbitrarily, ∃λ ∈ [0,1] s.t.
f (x̄ + dx)− f (x̄) =5f (x̄)dx + 0.5dxHf(x̄ + λdx)dx
= 0.5dxHf(x̄ + λdx)dx
< (≤)0.
f is globally (weakly) maximized at x̄ .
global negative semi-definiteness buys you a weak global property;local semi-definiteness buys you nothing
() September 23, 2015 4 / 17
Local Negative definiteness and the tangent plane
Theorem: If f : Rn→ R is C2 & Hf(x̄) is neg def, then ∃ε > 0 s.t. tangent planeto f at x̄ lies above graph of f on the ε-ball around x̄ .Proof:
Use Global Taylor
since f is continuously diffable ∃ε > 0 s.t. ∀dx s.t. ||dx||< ε,Hf(x̄ + dx) is neg. def.
∃λ ∈ [0,1] s.t. f (x̄ + dx)− f (x̄) =5f (x̄)dx + 0.5dxHf(x̄ + λdx)dx
f (x̄ + dx)︸ ︷︷ ︸the height of f at x̄ + dx
−(f (x̄) + 5 f (x̄)dx
)︸ ︷︷ ︸the height of the tangent plane at x̄ + dx
= 0.5dx′Hf(x̄ + λdx)dx
Since ||λdx||< ε, Hf(x̄ + λdx) is neg def
graph of f lies below tangent plane on ε-ball around x̄
() September 23, 2015 5 / 17
Global Negative (semi) definiteness and the tangent plane
Theorem: If f : Rn→ R if C2 and Hf(·) is neg (semi) def., then tangent plane tof at x̄ lies (weakly) above the graph of f .Proof:
Use Global Taylor
Pick dx arbitrarily, ∃λ ∈ [0,1] s.t. Hf(x̄ + λdx) is neg (semi) def and
f (x̄ + dx)− f (x̄) =5f (x̄)dx + 0.5dxHf(x̄ + λdx)dx
f (x̄ + dx)︸ ︷︷ ︸the height of f at x̄ + dx
−(f (x̄) + 5 f (x̄)dx
)︸ ︷︷ ︸the height of the tangent plane at x̄ + dx
= 0.5dx′Hf(x̄ + λdx)dx
graph of f lies everywhere (weakly) below tangent plane
global negative semi-definiteness buys you a weak global property;local semi-definiteness buys you nothing
() September 23, 2015 6 / 17
Quasi-concavity in one dimension
xxx
yy
y
1
Concave Quasi-concave Not quasi-concave
() September 23, 2015 7 / 17
Concavity vs Quasi-concavity: concave
02
46
810
0
2
4
6
8
100
10
20
30
40
50
() September 23, 2015 8 / 17
Concavity vs Quasi-concavity: cross-sections
0 2 4 6 8 10 05
100
0.1
0.2
0.3
Concave X−section: orthogonal to gradient
0 2 4 6 8 100
5
100
5
10
15
Convex X−section: collinear with gradient
() September 23, 2015 10 / 17
Quasi-concavity and the tangent planeDefinition: f : X → R is quasi-concave if all of its upper contour sets are convex
X is convex if ∀x ,y ∈ X , ∀λ∈(0,1), λx+(1−λ)y ∈ X .
f is quasi-concave if ∀x ,y s.t. f (y)≥f (x),∀λ∈(0,1), f (λx+(1−λ)y)≥f (x).
Theorem: f is quasi concave iff tangent planes in domain lie below level sets.
Definition: f is strictly quasi-concave (sqc) if all of its upper contour sets arestrictly convex and if there is no open nbd of X on which f is constant
a closed set X is strictly convex if ∀x ,y ∈ X , ∀λ∈(0,1), λx+(1−λ)y ∈ int(X).
f is sqc if ∀x ,y s.t. f (y)≥f (x), ∀λ∈(0,1), f (λx+(1−λ)y)>f (x).� “Thing” on next slide has strictly convex upper contour sets, but isn’t sqc
local non-satiation implies there’s no open nbd of X on which f is constant
Theorem: A sufficient condition for f : Rn→ R, f is C2, to be strictlyquasi-concave is that for all x , Hf(x) is negative definite on the subspace of Rn
which is orthogonal to the gradient of f , i.e.,for all x and all dx 6= 0 such that 5 f (x) ·dx = 0,dx′Hf(x)dx < 0.
why is this condition sufficient but not necessary?() September 23, 2015 11 / 17
Definiteness on a subspace and Local/Global Taylor
Assume for x ∈ Rn,5f (x)dx = 0 (i.e., dx lives in tangent plane) impliesdxHf(x)dx < 0 (suff. cond. for strict quasi-concavity)
Local Taylor now implies a local relationship b/n level set & tangent plane=⇒ for dx in tangent plane, f (x + dx)− f (x)≈ 0.5dxHf(x)dx <︸︷︷︸
Local Taylor
0=⇒ locally, tangent plane is below the level set
f on left is s. quasi-concave ; f in right panel is s quasi-convex
x1 x1
x2 x2
xx x+ dx
x+ dx
▽f(x)▽f(x)
dx dx
subspace ⊥ ▽f(x)subspace ⊥ ▽f(x)
f(x+dx)≈f(x)+0.5dx′Hf(x)dx<f(x)f(x+dx)≈f(x)+0.5dx′Hf(x)dx>f(x)
1
But this local analysis isn’t enough to get us to convex upper contour setsWhy not?
Global taylor is completely useless for this particular job
() September 23, 2015 13 / 17
�����������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������
�����������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������
x
x+ dx
Obviously f(x+ dx) > f(x): why doesn’t the following reasoning apply?
Since ▽f(x)dx = 0, ∃λ ∈ [0, 1] s.t. f(x+ dx)− f(x) = 0.5dxHf(x+ λdx)dx < 0
1
Global Taylor does not imply:
∀dx 6= 0 s.t. 5 f (x) ·dx = 0, f (x + dx) = f (x) + 0.5dxHf(x + λdx)dx < f (x)
In general, dx will not be orthogonal to5(x + λdx)
() September 23, 2015 14 / 17
The answer: this f not sqc
�����������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������
�����������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������
x
x+ dx
z = argmin{f(x+ αdx) : α ∈ [0, 1]}
▽f(z)
f(·) attains an interior min on {x+ αdx : α ∈ [0, 1]} (Why interior?)
Hf(·) is necessarily quasi-convex at z
Conclude: upper contour sets of f not convex implies f not globally strictly q-concave
1
() September 23, 2015 15 / 17
Strict quasi-concavity, convexity, local and global maxima
Theorem: If f : X → R is strictly quasi-concave, X is convex, and f is locallymaximized at x , then f is globally maximized at x .Proof:
Fix x ,y ∈ X such that f (y) > f (x), so that x is not a global max on X .we will show that x is not a local max on X .
Upper contour set of f corresponding to f (x) is a convex set (s.q.c.);X is a convex set (by assumption);Z = X ∩
(upper contour set of f corresponding to f (x)
)is convex
The intersection of convex sets is convexline segment L joining y and x belongs to Z .for z 6= x on L, f (z) > f (x) (property of s.q.c)every neighborhood of x contains a bit of Lx isn’t a local max on f on X .
Theorem would be false if f were just quasi-concaveZiggurats have many local maxes that aren’t global maxesWhere does above proof break down?
() September 23, 2015 16 / 17