優(yōu)化-optimization-dlut1.基本性質(zhì)

??

?基本性質(zhì)保凸運(yùn)算共軛函數(shù)擬凸函數(shù)對(duì)數(shù)－凹函數(shù)和對(duì)數(shù)－凸函數(shù)廣義不等式的凸性質(zhì)2??函數(shù)

f

:

Rn3R

是凸的，如果

/QK

f

是凸集，有)y)

f

(x)

+

(1 )

f

(y),

x,

y

/QK

f,

[0,

1]f

(

x

+

(1如果

x

y,

(0,

1)

成?，則是嚴(yán)格凸的。如果

f

是凸的則

f為凹的。仿射函數(shù)既是凸的也是凹的。反之，如果函數(shù)既是凸的也是凹的則其為仿射函數(shù)。為何定義域?yàn)橥?

椗f

為凸函數(shù)的充要條件：?f?在開(kāi)集/QK

f

內(nèi)處處存在，/QK

f

為凸，

x,

y

/QK

f

，下式成?f

(y)

f

(x)

+

f

(x)T

(y

x)凸函數(shù)的?階

h v

HQ`

展開(kāi)近似實(shí)質(zhì)上是?個(gè)原函數(shù)的全局下估計(jì)。從?個(gè)凸函數(shù)的局部信息，可以得到?些全局信息。嚴(yán)格凸函數(shù)：

f

(y)

>

f

(x)

+

f

(x)T

(y

x)4?

椗??f

為凸函數(shù)的充要條件：>2bbB

M凸函數(shù)的充要條件是2

f

在

/QK

f

內(nèi)處處存在，

f

是2

f0,

半正定該條件說(shuō)明函數(shù)

f

的導(dǎo)數(shù)是?減的，因此在?何上可以理解為函數(shù)圖像在點(diǎn)

x

處有正的曲率。注意：

f

為嚴(yán)格凸時(shí)2

f0，但是反過(guò)來(lái)不成?，例如f

(x)=x45?

椗??6?

栽?'

RKTICRJf:

Rn7R

圖像：{(x,

f

(x))|x

/QK

f}

f

:

RnR

上境圖：2TBf

=

{(t,

f

(x))|x

/QK

f,

f

(x)

t}?個(gè)函數(shù)是凸函數(shù)，當(dāng)且僅當(dāng)其上境圖是凸。?個(gè)函數(shù)是凹函數(shù)，當(dāng)且僅當(dāng)其亞圖U>vTQ;`

T?V?vTQ

f

=

{(x,

t)|t f

(x)}是凸的。????

?栽

?如果(y,t)2TBf

，有t f

(y)f

(x)

+f

(x)T(y

x)上式可以描述為(y,

t)

2TBff

(x)1Tyt–xf

(x)0這意味著發(fā)向量為

(

f

(x),

1)

的超平?在邊界點(diǎn)2TBf

。(x,f

(x))?撐著89,

G

P

U

G

P

?

個(gè)

?

?

?

?如果函數(shù)

f

為凸函數(shù)x

+

yf

2f

(

x

+

(1

)y)

f

(x)

+

f

(y)

2f

(x)

+

(1)

f

(y),[0,

1]f

xi

ii

N

N

i

N

Ni

f

(xi

),ii

= 1

,

0URVUkVUjVi

N

N此不等式可以擴(kuò)展為積分。如果

S

/QK

f

上

p(x) 0

且則下式成?S

p(x)dx

=

1f

(x)p(x)dxSf

p(x)xdxf

(1x)S1

f

(x)U9VU8V?

?

抱

乸

猿樿

懷

▁

?

?

??負(fù)

求和：凸函數(shù)序列

{

fi|i

= 1,

2,

··

·

,

m}

和?負(fù)

序列

{wi0|i

=

1,2,··

·

,m}，有mf

=

wi

fii

=

1仍未凸。擴(kuò)展到積分。例如，固定任意yA，f

(x,y)關(guān)于x

是凸函數(shù)，且

w(y)

0,

y

A

。10?

?

抱

乸

猿

拱

?

?

??拱

?

?

?

?

?

?1112?

?

抱

乸

猿

拱

?

?

??拱

?

?

?

?

?

?建?凸函數(shù)的好?法，表?成?族仿射函數(shù)的逐點(diǎn)上確界。反過(guò)來(lái)也是成?：?乎所有的凸函數(shù)都可以表?成?族仿射函數(shù)的逐點(diǎn)上確界。例如，f

:Rn

R

是凸函數(shù)，其定義域?yàn)?QK

f

=Rnf

(x)

=

bmT{g(x)|

g為仿射

g(z)

f

(z)

z}函數(shù)f

是它所有的仿射全局下估計(jì)的逐點(diǎn)上確界。13?

?

抱

乸

猿

拱

?

?

??拱

?

?

?

?

?

?建?凸函數(shù)的好?法，表?成?族仿射函數(shù)的逐點(diǎn)上確界。反過(guò)來(lái)也是成?：?乎所有的凸函數(shù)都可以表?成?族仿射函數(shù)的逐點(diǎn)上確界。例如，f

:Rn

R

是凸函數(shù)，其定義域?yàn)?QK

f

=Rnf

(x)

=

bmT{g(x)|

g為仿射

g(z)

f

(z)

z}函數(shù)f

是它所有的仿射全局下估計(jì)的逐點(diǎn)上確界。?

扎

??yT

x

f

(x)14f

(y)

=bmTx

/QK

f共軛函數(shù)：設(shè)

f

:

RnR，定義函數(shù)

f:

Rn

R使上述上確界有限，即差值

yTx

f

(x)

在

/QK

f

有上界的所有

y構(gòu)成了共軛函數(shù)的定義域。Rn?

扎

??15?

扎

??1617?

扎

?

??

?

怉6M+?2H

不等式：從共軛函數(shù)的定義可以得到f

(x)

+

f

(y)

xT

yf

可微時(shí)亦稱(chēng)uQM;不等式。共軛的共軛：如果函數(shù)是凸的且是閉的，

f

=

f

?？晌⒑瘮?shù)：可微函數(shù)的共軛函數(shù)亦稱(chēng)為G2;2M/`2

變換。為了區(qū)分?般情況和可微情況，?般函數(shù)稱(chēng)為62M+?2H

共軛。設(shè)

f

為凸且可微，其定義域?yàn)?/p>

/QK

f使得

yTx

f

(x)

取最?的

x

滿?

y

=

f

(x)，反之亦成?。因此，如果

y

=

f

(x

)，f

(y)

=

f

(x

)T

x所以，對(duì)于任意y，可以求解梯度?程y

=f

(x

)f

(z)，從?得到y(tǒng)

處的共軛函數(shù)?

?

??

3WUKEQPXGZ及所有下?平集擬凸函數(shù)（單峰函數(shù)）：其定義域/QK

fS

=

{x

/QK

f

|f

(x)

},

RR，都是凸集。函數(shù)

f

是擬凹函數(shù)，如果

f

是擬凸函數(shù)，即每個(gè)上?平集

{x|

f

(x)

}

是凸集。如果某函數(shù)既是擬凸也是擬凹，其為擬線性函數(shù)。函數(shù)是擬線性函數(shù)，如果定義域和其?平集

UG2p2H

b2iV{x|

f

(x)=

}

都是凸集。凸函數(shù)具有凸的下?平集，所以也是凸函數(shù)。但是擬凸函數(shù)不?定是凸函數(shù)。A

quasilinear

function

isboth

quasiconvex

andquasiconcave.The

probability

density

function

of

the18is

quasiconcavebut

not

concave.?

?

?

???

?

?

怉擬凸函數(shù)的逆

C2bb2M

不等式：函數(shù)

f

是擬凸的充要條件：19f

(

x

+

(1

)y)R

上的擬凸連續(xù)函數(shù)：f

:RK

t{

f

(x),

f

(y)}R

是擬凸的，當(dāng)且僅當(dāng)下述條件?少有?個(gè)條件滿?：RX

f

?減；kX

f

?增；jX

c

/QK

f

，使得對(duì)于

t{

t|tc,

t

/QK

f

}，

f?增；使得對(duì)于

t

{t|tc,

t/QK

f

}，f

?減?

?

?抱

乸其中-wi?負(fù)

最?：擬凸函數(shù)的?負(fù)

最?定義為f

=K

t{w1

f1,

··

·

,

wm

fm}0，fi

擬凸。此性質(zhì)可以擴(kuò)展到?半的逐點(diǎn)上確界f

(x)

=

bmT(w(y)g(x,

y))y

C20?

?

?抱

乸通過(guò)抑制凸函數(shù)進(jìn)?表?：選擇?族凸函數(shù)t

:

RnR，t

R

表?凸函數(shù)的，這些函數(shù)滿?f

(x)

tt(x)

0t

的y@下?平集。顯然，xs(x)

t(x)。即擬凸函數(shù)f

的

t@下?平集是凸函數(shù)函數(shù)

t

是

t

的?增函數(shù)，即

s

t，f

(x)的t@下?平集的指?函數(shù)：Rnt(x)

=0

f

(x)

t其他情況如果

f

(x)

的

t@下?平集是閉的，

可以選取t(x)

=

/Bbi(x,

{z|

f

(z)

t})21??猿??????猿???通過(guò)?族凸函數(shù)進(jìn)?表?：選擇?族凸函數(shù)t

:

RnR，t

R

表?凸函數(shù)的，這些函數(shù)滿?f

(x)

tt(x)

0t

的y@下?平集。顯然，xs(x)

t(x)。即擬凸函數(shù)f

的

t@下?平集是凸函數(shù)函數(shù)

t

是

t

的?增函數(shù)，即

s

t，f

(x)的t@下?平集的指?函數(shù)：Rnt(x)

=0

f

(x)

t其他情況如果

f

(x)

的

t@下?平集是閉的，

可以選取t(x)

=

/Bbi(x,

{z|

f

(z)

t})2223??猿??????猿???對(duì)數(shù)

@凹（凸）函數(shù)：

f

:

Rn凸）函數(shù)。R,

x

/QK

f,

f

(x)

>

0，且

HQ;

f

為凹f

:

Rn

R，/QK

f

為凸集，且

x

/QK

f,

f

(x)

>

0，f

(

x

+

(1

)y)

f

(x)

f

(y)1對(duì)數(shù)函數(shù)在兩點(diǎn)之間的中點(diǎn)的函數(shù)值不?于兩點(diǎn)函數(shù)的?何平均值。??猿??????猿???24??猿??????猿???25??猿??????猿???26?

?

?怉?次可微的對(duì)數(shù)

@凸（凹）函數(shù)：設(shè)函數(shù)

f

?次可微，其中

.

Q

K

f

是凸集，

有f

(x)?2

HQ;

f

(x)

=

1

?2f

(x)f

(x)2

1

?f

(x)

f

(x)

Tf

(x)是對(duì)數(shù)@凸函數(shù)f

(x)

2

f

(x)f

(x)

f

(x)TURVf

(x)是對(duì)數(shù)@凹函數(shù)f

(x)

2

f

(x)f

(x)

f

(x)TUkVx

/QK

f對(duì)數(shù)@凸、凹函數(shù)對(duì)乘積、伸縮是封閉的。對(duì)數(shù)@凹函數(shù)的和?般不是對(duì)數(shù)@凹函數(shù)。對(duì)數(shù)－凸函數(shù)的和是對(duì)數(shù)凸函數(shù)。Cy

C,

f

(x,

y)

是對(duì)數(shù)

@凸函數(shù)，則函數(shù)

g(x)

=

f

(x,

y)dy

仍然是對(duì)數(shù)

@凸函數(shù)。2728?

?

?怉在?些特殊情況下，對(duì)數(shù)@凹在積分后仍然保留：如果函數(shù)f

:RnR

是對(duì)數(shù)@凹函數(shù)，則g(x)

=

f

(x,

y)dyRm是在

Rn

上的對(duì)數(shù)@凹函數(shù)。對(duì)數(shù)@凹的密度函數(shù)的周邊分布仍然是凹的。對(duì)數(shù)@凹的性質(zhì)對(duì)卷積運(yùn)算是封閉的：f,g

在Rn

上是對(duì)數(shù)@凹的(

f g)(x)

=

f

(x

y)g(y)dy是對(duì)數(shù)@凹的。?

?

?怉2930?

?

?

個(gè)

??

?

??義不等式的單調(diào)性：K

Rn

是?個(gè)正常錐，相應(yīng)的不等式為

K

。稱(chēng)f

:

RnR

為K@?減，如果下式成?x

K

y

f

(x)R

為K@?增，如果下式成?f

(y)稱(chēng)

f

:

Rnx

K

y,

x