數(shù)學(xué)符號(hào)

下面簡要介紹本書所使用的數(shù)學(xué)符號(hào)。我們?cè)诘?～4章中描述大多數(shù)數(shù)學(xué)概念，如果你不熟悉任何相應(yīng)的數(shù)學(xué)概念，可以參考對(duì)應(yīng)的章節(jié)。

數(shù)和數(shù)組

a　　標(biāo)量（整數(shù)或?qū)崝?shù)）

a　　向量

A　　矩陣

A　　張量

In　　n行n列的單位矩陣

I　　維度蘊(yùn)含于上下文的單位矩陣

e(i)　　標(biāo)準(zhǔn)基向量[0, ···,0,1,0, ···,0]，其中索引i處值為1

diag（a）　　對(duì)角方陣，其中對(duì)角元素由a 給定

a　　標(biāo)量隨機(jī)變量

a　　向量隨機(jī)變量

A　　矩陣隨機(jī)變量

集合和圖

　　集合

　　實(shí)數(shù)集

{0,1}　　包含0和1的集合

{0,1, ···,n}　　包含0和n之間所有整數(shù)的集合

[a,b]　　包含a和b的實(shí)數(shù)區(qū)間

（a,b]　　不包含a但包含b的實(shí)數(shù)區(qū)間

　　差集，即其元素包含于但不包含于B

　　圖

　　圖中xi的父節(jié)點(diǎn)

索引

　　向量a的第i個(gè)元素，其中索引從1開始

　　除了第i個(gè)元素，a的所有元素

　　矩陣A的i,j元素

：　　矩陣A的第i行

　　矩陣A的第i列

　　3維張量A的（i,j,k）元素

　　3維張量的2維切片

　　隨機(jī)向量a的第i個(gè)元素

線性代數(shù)中的操作

　　矩陣A的轉(zhuǎn)置

　　A的Moore-Penrose偽造

　　A和B的逐元素乘積（Hadamard乘積）

　　A的行列式

微積分

　　y關(guān)于x的導(dǎo)數(shù)

　　y關(guān)于x的偏導(dǎo)

　　y關(guān)于x的梯度

　　y關(guān)于X的矩陣導(dǎo)數(shù)

　　y關(guān)于X求導(dǎo)后的張量

　　的Jacobian矩陣

　　f在點(diǎn)x處的Hessian矩陣

　　x整個(gè)域上的定積分

　　集合上關(guān)于x的定積分

概率和信息論

　　a和b相互獨(dú)立的隨機(jī)變量

　　給定c后條件獨(dú)立

　　離散變量上的概率分布

　　連續(xù)變量（或變量類型未指定時(shí)）上的概率分布

　　具有分布P的隨機(jī)變量a

　　f（x）關(guān)于P（x）的期望

　　f（x）在分布P（x）下的方差

　　f（x）和g（x）在分布P（x）下的協(xié)方差

　　隨機(jī)變量x的香濃熵

　　P和Q的KL散度

　　均值為μ，協(xié)方差為Σ,x上的高斯分布

函數(shù)

　　定義域?yàn)锳值域?yàn)锽的函數(shù)f

fg　　f和g的組合

f（x; θ）　　由θ參數(shù)化，關(guān)于x的函數(shù)（有時(shí)為簡化表示，我們忽略θ而記為f（x））

logx　　x的自然對(duì)數(shù)

σ（x）　　Logistic sigmoid,

ζ（x）　　Softplus, log（1+exp（x））

||x||p　　x的Lp范數(shù)

||x||　　x的L2范數(shù)

x+　　x的正數(shù)部分，即max（0,x）

1condition　　如果條件為真則為1，否則為0

有時(shí)候我們使用函數(shù)f，它的參數(shù)是一個(gè)標(biāo)量，但應(yīng)用到一個(gè)向量、矩陣或張量：f（x）、f（X）或f（X）。這表示逐元素地將f應(yīng)用于數(shù)組。例如，C=σ（X），則對(duì)于所有合法的i、j和k, Ci,j,k=σ（Xi,j,k）。

數(shù)據(jù)集和分布

pdata　　數(shù)據(jù)生成分布

　　由訓(xùn)練集定義的經(jīng)驗(yàn)分布

　　訓(xùn)練樣本的集合

x(i)　　數(shù)據(jù)集的第i個(gè)樣本（輸入）

y(i)或y(i)　　監(jiān)督學(xué)習(xí)中與x(i)關(guān)聯(lián)的目標(biāo)

X　　m×n的矩陣，其中行Xi, ：為輸入樣本x(i)