第一篇：典型相關分析習題1設標準化變量X=X1X2TY=Y1Y2T的相關

典型相關分析習題

TT1、設標準化變量X=(X1,X2),Y=(Y1,Y2)的相關系數矩陣為

?1???1?????????????????,|?|?1,|?|?1,??01????1?試計算X,Y的典型相關變量與典型相關系數。

2、設樣本的相關系數矩陣為

0.5050.5690.602??1??0.50510.4220.467???0.5690.42210.926???0.6020.4670.9261??（1）、計算其典型相關系數與典型相關變量。（2）、檢驗其典型相關變量的相關性。

3、CRM（Customer Relationship Management）即客戶關系管理案例，有三組變量，分別是公司規模變量兩個（資本額，銷售額），六個CRM實施程度變量（WEB網站，電子郵件，客服中心，DM 快訊廣告Direct mail縮寫，無線上網，簡訊服務），三個CRM績效維度（行銷績效，銷售績效，服務績效）。試對三組變量做典型相關分析。

4、俱樂部分別對20名中年人測量了3個生理指標：體重?x1?，腰圍?x2?，脈搏?x3?和3個訓練指標：引體向上次數?y1?，起坐次數?y2?，跳躍次數?y3?。試分析生理指標與訓練指標的相關性。具體數據見下表：

5、下表列舉了25個家庭的成年長子和次子的頭長和頭寬。利用典型相關分析法分析長子和次子頭型的典型相關性。

長子頭長

191 195 181 183 176 208 189 197 188 192 179 183 X1 長子頭寬155 149 148 153 144 157 150 159 152 150 158 147 X2 次子頭長Y1 179 201 185 188 171 192 190 189 197 187 186 174 次子頭寬Y2 145 152 149 149 143 152 149 152 159 151 148 147

6、測量15名受試者的身體形態以及健康情況指標，如下表。第一組是身體形態變量，有年齡、體重、胸圍和日抽煙量；第二組是健康狀況變量，有脈搏、收縮壓和舒張壓。要求測量身體形態以及健康狀況這兩組變量之間的關系。

年齡

X1 體重X2 抽煙量X3 胸圍X4 脈搏Y1 收縮壓Y2 舒張壓Y3 25 26 28 29 27 32 年齡125 131 128 126 126 118 體重30 25 35 40 45 20 抽煙量83.5 82.9 88.1 88.4 80.6 88.4 70 72 75 78 73 70 脈搏Y1 130 135 140 140 138 130 收縮壓Y2 85 80 90 92 85 80 舒張壓Y3 X1 X2 X3 胸圍X4 31 34 36 38 41 46 47 48 45 120 124 128 124 135 143 141 139 140 18 25 25 23 40 45 48 50 55 87.8 84.6 88.0 85.6 86.3 84.8 87.9 81.6 88.0 68 70 75 72 76 80 82 85 88 135 135 140 145 148 145 148 150 160 75 75 80 86 88 90 92 95 95

第二篇：多元變量典型相關分析的分類：最小二乘配方、擴展和分析.

多元變量典型相關分析的分類：最小二乘配方、擴展和分析

摘要——典型相關分析（CCA）是一種尋找兩個多維變量之間相關性的著名的技術。它是一項把兩組變量化到一個低維空間中并且使他們之間的相關性最大的工作。CCA通常在兩組變量分別的是來源于數據和類標簽上申請監督降維。眾所周知,CCA可以制定作為在二進制類案件中的一個最小二乘問題。然而,擴展到更一般的變量尚不清楚。在本文中,我們表明,在傾向于保持高維數據的溫和條件,CCA在多元變量的情況下可以制定作為一個最小二乘問題。在此基礎上等價關系,高效的算法求解最小二乘問題可以應用于非常大的數據集規模CCA問題。此外,我們提出幾個CCA擴展,包括基于1規范正規化的稀疏CCA方程式。我們進一步擴展最小二乘方程式為偏最小二乘法。此外,我們表明,投影,讓一群CCA變量是獨立的，正則化在另組多維變量,提供新的見解的影響CCA的正規化。我們使用基準數據集進行了實驗。實驗數據集確認建立了等價關系。結果也證明了CCA擴展的有效性和效率的提議。

關鍵字——典型相關分析、最小二乘法、多元變量學習,偏最小二乘法、正規化。引言

典型相關分析(CCA)[1]是一個眾所周知的尋找兩套多維變量之間的相關性的技術。它使用兩個視圖相同的組對象和項目到一個與他們最相關的低維空間中去。CCA已經成功應用在各種應用中[2]、[3]。一個流行的使用CCA是監督式學習,它其中一個觀點是來源于數據并且其他的觀點來源于類標簽。在這種背景，數據可以用標簽信息定向的被投影到一個低維空間。這樣的一個方程式在對多元變量進行降維的情況下是非常的吸引人的。

多元線性回歸(多元)即最小平方和成本函數是一種專門研究回歸問題的技術。它還可以被應用于通過定義一個合適的類指標矩陣的分類問題[5],[6]。多元的解決方案基于最小二乘法通過求解一個線性方程組來獲得。一個數量的算法包括共軛梯度算法,可以應用到它有效地解決[7]。此外,最小二乘方程式可以很容易使用正則化技術進行擴展。例如,1規范可以被納入正規化最小二乘方程式來控制模型復雜性和提高稀疏[8]。稀疏常常會導致容易解釋和良好的泛化能力。它已經被成功地應用在幾個算法中,包括主成分分析[9]和支持向量機[10]。

與最小二乘法相比，CCA涉及廣義特征值問題,它解決時，計算更加費時[11]。此外,它是具有挑戰性的,因為它獲得稀疏CCA時涉及到一個困難稀疏的廣義特征值問題。凸松弛的稀疏CCA的研究[12]放在,確切的稀疏的CCA配方一直放松在幾個步驟上。另一方面,最小二乘法和CCA已經建立在文學上建立起一個有趣的聯系。特別是,CCA被證明是相當于Fisher線性判別分析(LDA)的二進制類問題[13]。與此同時,眾所周知,在這種情況下LDA相當于最小二乘法[5],[6]。因此,CCA可以作為一個對于二進制類問題制定最小二乘問題。在實踐中,多元變量問題非常普遍。因此研究它們在更一般的變量中的關系更具誘惑。

在本文中,我們研究 CCA和最小二乘在多元變量問題之間的關系。我們表明,在傾向于保持高維數據的溫和條件下,CCA可以作為一個通過制定構造一個特殊類指標矩陣的最小二乘問題。在此等價關系的基礎上,我們提出幾個CCA擴展,包括使用1規范正規化的稀疏CCA。我們表明,最小二乘方程式及其擴展的CCA可以有效地解決。例如,相當于2規范的最小二乘配方和正規化的擴展可以通過計算迭代共軛梯度算法LSQR進行處理[14],這種算法可以處理非常大規模的問題。我們通過建立OPLS 和 CCA之間的等價關系使最小二乘方程式擴展到正交最小二乘(OPLS)和偏最小二乘法(PLS)。此外,我們分析正則化在CCA上的效果。特別是,我們表明,CCA投影,讓一群變量是獨立的正規化另組多維變量,闡明正規化在CCA上的影響。此外,它能顯示出我們的分析可以擴展到內核誘導功能空間。提供更多細節的補充文件,可以發現在計算機協會數字圖書館在http://doi。ieeecomputersociety.org/10.1109/TPAMI.2010.160。

注釋：訓練樣本的數量,數據維數,數量的標簽分別用n、d、k。xi?R表

kd?n??y?RX?x,?,x?Rii1n示第個觀察。并且表示編碼對應的標簽信息。讓是k?n????Y?y,?,y?R1n數據矩陣，是類標簽矩陣。我們假設所有的xii?1和

nd?yi?in?1是集中的，?i?1xi?0n和?i?1nyi?0。

AF弗羅貝尼烏斯的規范表示矩陣A。I是單位矩陣和e是一個單位向量。背景和相關工作

在本節中,我們回顧CCA,最小二乘法,和一些相關的工作。2.1 典型相關分析

在CCA,兩種不同造型的同一組對象,給出了一個投影計算了每個表示這樣

dw?Rx的,他們是最大的維度降低空間相關。正式,CCA計算兩個投影向量和wy?Rk這樣的相關系數

??TwTxXYwyTTT(wTxXXwx)(wyYYwy)

（1）

是最大化

因為?是

wx,wywx和wy不變的縮放，CCA可以相等的變換為

（2）

TmaxwTxXYwy 2

Ts.twTxXXwx?1,TwTyYYwy?1.以下，我 們假設YY是滿秩的。這表明

wxTwx以下問題的最優解來獲得：，TT?1TmaxwTxXY(YY)YXwx,TTs.t wxXXwx?1。

(3)兩種方法在(2)和(3)中試圖找到所對應的特征向量與特征值的頂部以下廣義特征值問題:

XYT(YYT)?1YXTwx??XXTwx，（4）

特征值?與特征向量wx是相對應的。它也表明,多個投影向量在某些正規化約束由頂部的?特征向量的廣義特征值問題(4)[2]。

在正規化CCA(rCCA),兩個正則化條件?xI和

TT?yI，并且

?x?0,?y?0被添加在(2)來防止過度擬合,避免奇點XX和YY的[2], [15]。具體來說,解決了以下商資歸農廣義特征值問題: XXT(YYT??yI)?1YXTwx??(XXT??xI)wx

（5）

2.2 最小二乘法的回歸和分類 在回歸,我們就有了一種訓練集??xi,ti??ni?1dkx?Rt?Rii，其中是觀察數據，是相應的目標。我們假設兩把觀察結果和目標集中。結果,攔截在回歸可以被消除。在這種情況下, 最小二乘方法可以用于計算投影 矩陣W通過最小化以下平方和成本 功能：

nminf(W)??Wxi?tiTWi?122?WX?TT2F

（6）

k?n??T?t,?t?R1n其中。眾所周知,最優投影矩陣給出了[5],[6]

WLS?(XXT)?XTT

(7)T?(XX)代表雅可比矩陣XXT的偽偽逆。其中最小二乘公式也可應用于分類問題。在一般的多級情況下,我們是給定一個

nd??xi,yi??i?11,2,?,k?表示第i類標號的樣x?Rin樣品組成的數據集，其中，yi?? 3 本，k>2。應用最小二乘的多類配方情況下,1 k的二進制編碼方案通常是把向量值類代碼應用于每個數據點[5]。解決方案取決于選擇類指標矩陣。幾類指標矩陣的提出在文獻[6]。

2.3 相關工作

最小二乘法的內在關系和其他幾個模型在過去已經建立。特別是,它是一個經典的效果，最小二乘問題是等價的LDA對二進制類問題[5]。最近,這種等價關系是延伸到通過定義一個特定的類指標矩陣的多類案件[16]。CCA已被證明是相當于LDA對多類問題[13]。因此,CCA相當于最小二乘法在多類案件。我們顯示在接下來的部分,在溫和條件下,可作為制定CCA最小二乘問題的更一般的設置,即，多元變量問題當一個用來源于標簽的CCA的視圖。CCA和最小二乘對于MULTILABEL之間的關系分類

在本節中,我們的相關關系和最小二乘法的CCA multilabel案例，由于空間限制,所有的證據是提供在補充文件,可以在計算機協會數字圖書館中找到http://doi.ieeecomputersociety.org/10.1109/TPAMI.2010.160。

首先為我們的推導定義四個矩陣:

H?Y(YY)TT?12?Rn?k，（8）

CXX?XXT?Rd?d，（9）CHH?XHHTXT?Rd?d，（10）CDD?CXX?CHH?Rd?d，（11）

注意，我們假設n??k并且rank(Y)?k為多元變量的問題。這樣(YY)T?12就很明確了。遵循上面的定義,解決CCA可以表達為特征值所對應的特征向量與矩陣C?XXCHH的頂部。

3.1 基本矩陣屬性

在本節中,我們研究的基本性質的矩陣參與下面的討論。以下定義在(8)中的H,我們有：

引理 3.1 讓H被定義為在(8)，并且讓我們有：

（1）H已經正規化的列，T（2）He?0。

?yi?in?1集中的，?i?1yi?0。這樣，nHTH?IK'。

鑒于H?R言之 n?k與列正交，存在D?Rn?(n?k)n?n??H,D?R使得是正交矩陣，簡而

In??H,D??H,D??HHT?DDTT

TTC?C?C?XDDXDDXXHH于是就出現了的結果，讓奇異值分解計算X且

X?U?VT??U1,U2?diag(?r,0)?V1,V2??U1?rV1TT

其中r?rank(X),U,V是正交矩陣，??Rd?n,U1?Rd?r,U2?Rd?(d?r),V1?Rn?r,V1?Rn?(n?r),?r?Rr?rT很明顯U2位于零空間X中，簡而言之

XTU2?0

（12）

3.2 通過特征分解計算CCA

?C回想一下,解決CCA由矩陣XXCHH的頂部特征向量?.我們下一個展示如何計算這些特征向量。定義了矩陣A?Rr?k且

(13)

r?k1TTA???rU1XH?V1H讓奇異值分解A，使對角線的。這樣 A?P?AQTr?rk?k?RP?R,Q?R，其中是正交的，?A是

TAAT?P?A?TAP

(14)?C矩陣XXCHH的特征分解總結了下面的定理：

?C定理3.1 矩陣XXCHH有k個非零特征值。具體來說,CCA的解決辦法是由與矩陣CXXCHH最頂端的特征值?(??k)相對應的特征向量組成的，可以得到：

1WCCA?U1??rP?

(15)其中Pl在包含第一列?的P。

3.3 和最小二乘法等價的CCA 考慮類指標矩陣T定義如下：

~ 5

T?(YY)Y?HT

(16)

~T?12它遵循從(7),解決最小二乘問題給定T

1TWLS?(XXT)?XH?U1??rP?AQ~

(17)

T從(15)和(17)中可以很明顯的看出之間(CCA)和最小二乘法的區別在于?A和Q 我們下一個顯示所有的對角元素?A的在溫和的條件下,即rank(X)?n?1，rank(Y)?k.注意,第一個條件是相當于要求原始數據點是線性獨立前定心,傾向于保持高維數據。出示之前主要結果總結在定理3.2下面,我們有以下引理: 引理 3.2 我們假設

rank(CXX)?s?rank(CHH)?rank(CDD)，Tr?r?A??A?A?diag(a1,a2,?,ar)?RS對于一些非負整數有。那么對于矩陣，^我們有

1???af?s?af?s?1???af?af?1???0其中f?rank(?A)。

定理 3.2 假設rank(X)?n?1,rank(Y)?k為多元變量問題，這樣我們有rank(CXX)?n?1,rank(CHH)?k,rank(CDD)?n?k?1，因此S在引理3.2中的定義相當于零，并且有

1?a1???ak?ak?1???ar?0。

這就意味著?A的所有的對角元素是單位的。

既然rank(?A)?k，CXXCHH包含k個非零特征值。如果我們令??k，則有

1WCCA?U1??rPk(18)

?WLS和WCCA唯一的區別在于正交矩陣在QT和WLS。

在實踐中,我們可以使用WCCA和WLS兩個項目的原始數據到一個低維空間在分類之前。對于分類器基于歐幾里得距離,正交變換QT不會影響分類性能，任何正交轉換歐幾里得距離是不變的。一些著名的算法滿足這個屬性包括k最近鄰(k 最近鄰)算法[6]基于歐氏距離和線性支持向量機(SVM)[17]。在下面,相當于最小二乘CCA配方被稱為“IS-CCA。”

4.擴展最小二乘的CCA 基于等價關系建立在上一節中,古典CCA配方可以擴展使用正則化技術,它 常用于控制的復雜性和提高模型的泛化性能。類似于嶺回歸[6],我們得到2規范正則化最小二乘CCA配方(稱為“LS-CCA2”),從而減少以下目標函數通過使用目標矩陣T(16):

L2(W,?)??(?(xwj?Tij)2??wj)Tij?1i?12kn~2~

其中W?[w1,?wk],??0是正則化參數。

眾所周知,稀疏通常可以通過懲罰1規范變量的[8]得到。它已經被引入最小二乘配方，由此產生的模型被稱為套索[8]。基于等價關系的建立(CCA)和最小二乘法,我們推導出1規范正則化最小二乘CCA配方(稱為“LS-CCA1”),從而減少以下目標函數: L1(W,?)??(?(xwj?Tij)2??wj)。

Tij?1i?11kn~LS-CCA1使用最先進的算法[18]、[19]可以有效地解決。此外,整個解決方案的路徑用最小角回歸算法[20]計算所有值?。

5.高效實現的CCA 回想一下,我們處理問題的廣義特征值在(4)來解決CCA,雖然,在我們的理 推導,等價特征值問題是代替。大規模的廣義特征值問題是已知的比常規的特征值問題[11]、[21]來的更難。有兩個選項轉換中的問題(4)成一個標準的特征值問題[21]:1)因素XXT和2)使用標準的蘭索斯算法矩陣(XXT)?1XHHTXT使用XXT內積。在對于高維問題與一個小正則化這種情況下，第二個選擇都有它自己的奇異矩陣的問題。因此,在本文中,我們XXT因素和解決對稱特征值問題使用蘭索斯算法。

相當于導致一個有效的最小二乘制定實施。該算法的偽代碼,給出了算法1。復雜的第一步是O(nk2)。在第二步中,我們解決最小二乘問題的k。在我們的實現中,我們使用LSQR算法在[14],這是一個實現了共軛梯度式法求解稀疏最小二乘問題。注意,原始矩陣X?Rd?n很稀少在應用在程序中,如文本文檔建模。然而, 7 在中心,X不再是稀疏的。為了保持X稀疏的,向量xi是由一個額外的組件作為增強x?[1,x]。這個新組件充當對最小二乘法的攔截。擴展X來標示X?RTiTminWX?T~W~~~2~(d?1)?k~Ti~(d?1)?k,修訂后的最小二乘問題表示為dW?RF，其中

。對于一個新的數據點x?R，它的投影給出了

WT[1;x]~

算法1。高效的實現通過LSQR CCA 輸入：X，Y 計算矩陣診H?Y(YY)斷基于奇異值分解的Y。用LSQR在T?HT上回歸X。

對于一個密集的數據矩陣,計算成本參與每個迭代的是O(3n?5d?2dn)[14]。因為最小二乘問題解決了k次,總體成本是O(NK(3n?5d?2dn)),其中N是迭代的總數。當矩陣X是稀疏的,成本明顯降低。

~~TT?12假設非零元素的數量在 X中是z。總成本減少到O(NK(3n?5d?2z))。總之,總時間復雜度為解決最小二乘配方通過LSQR是O(nk?NK(3n?5d?2z))當是X稀疏的。

6.擴展最小二乘的配方

回想一下,CCA尋求一對線性變換,一個用于每一組變量,這樣數據最相關 轉換空間。相比之下,偏最小二乘法(PLS)發現方向最大協方差。協方差和相關性是兩種不同的統計措施為如何共變的量化的變量。CCA和PLS已被證明是有密切聯系[22]。在[23]和[24],一個統一的框架,請和CCA的開發,并正交(CCA)和偏最小二乘法(OPLS)[25]的一個變體,可視為特殊情況的統一框架,通過選擇不同的正則化參數值。然而,OPLS 和CCA內在的等價關系尚未研究過。在本節中,我們證明了OPLS 和CCA等價關系,從而擴展最小二乘OPLS配方。以下優化問題被認為是在OPLS: maxtr(WTXYTYXTW)W~2~

（20）

stWTXXTW?1

給出了最優W以下的特征向量的廣義特征值問題: 8

TTXHplsHTplsXw??XXw（21）

矩陣Hpls被定義為

Hpls?YT?Rn?k（22）

回想一下,在CCA,矩陣A?V1TH定義在(13)中和奇異值分解給出了A?P?AQ。同樣的，我們定義TApls?V1THplspls，允許細微的Apls奇異分解值為

V1THplsApls?Ppls?plsQTpls，其中

Ppls?Rr?k,?k?k?Rk?k,QTpls?R。在范圍的空間我們有下面的結果：

引理 6.1 讓A?VH定義在(13)中，T1Apls?V1THpls?Rr?k。這樣R(A)?R(Apls)Ppls?pkR，其中R(A)和

R(Apls)是A和

Apls的列空間。此外,存在一種像這樣的正交矩陣R，pk由p的第k列組成。

本節的主要結果總結了以下定理： 定理 6.1 讓(18)。然后,Wpls是最優解的優化問題(20)和讓WCCA是最佳CCA變換定義在為正交矩陣R。Wpls?WCCAR它遵循從定理6.1,OPLS可以很容易為一個等價的最小二乘問題的新配方使用相同的類指標矩陣定義在(16)。

7.分析正則化在CCA 在本節中,我們調查在CCA正規化的影響。最小二乘CCA制定建立在本文假設沒有正則化應用。然而,正則化通常用于控制復雜性的學習模式,它已應用于各種機器學習算法。使用正則化在CCA自然統計解釋[15],[26]。在實踐中,正則化通常在CCA中執行兩種多維變量,因為它一般認為的解決方案是依賴于CCA正規化兩變量。從前面部分后的推導,我們表明,投影,讓一群CCA變量是獨立的正規化另組多維變量,提供新的影響CCA正規化的見解。7.1 正規化在Y 在CCA中對Y使用正則化導致下列廣義特征值問題: XYT(YYT??yI)?1YXTw??(XXT)w

（23）

?y?0是正則化參數。廣義特征值問題在(23)可以表示為: XHrHrTXTw??(XXT)w

(24)n?kH?Rr矩陣為正規化CCA的定義是: Hr?Y(YY??yI)TT?12

(25)主要結果概括如下定理: 定理7.1 讓WrCCA是矩陣組成的主要特征向量的廣義特征值問題在(24)的非零特征值對應。然后,WrCCA?WCCA為正交矩陣R。它很容易檢查在在(8)中H的和在(25)中的Hr的范圍的空間一致。證明遵循相同的參數在引理6.1和定理6.1。

定理7.1表明CCA配方被認為是可以制定作為一個最小二乘問題相當于當Y正則化。注意,Y可以是任意矩陣(不一定是類標簽矩陣)。一個重要的結果從等價關系的投影為一個視圖是獨立的CCA的正規化的其他視圖。一個類似的結果能夠獲取內核CCA。

7.2 正規化在X 對Y自正則化不影響投影的X,我們接下來考慮正則化在X分開。由此產生的廣義特征值問題在CCA可以制定如下:(XHHTXT)w??(XXT??xI)w

（26）

T?1TT?x?0是參數X正則化。(XX??I)(XHHX),x同樣,我們可以推導出正交矩陣結果總結了以下引理: 引理 7.1 定義矩陣B?R21r?k為

12B?(???xI)TB?PB?BQB??VH11H，（27）

r?kr?Rr?R?RP?RQ?R為他的奇異分解，B,B是正交的，?B是對角

T?1TT(XX??I)(XHHX)的特征值最高所對應的特征向量給出x線的。然后,與矩陣了

W?U1(???xI)PB?21?12，（28）

PB?由PB的第一列?(??rank(B))組成。

它可以觀察到,B的空間范圍與A不是同于一個;因此,CCA和最小二乘的等價關系被認為是不持有當正則化在X。然而,OPLS CCA的等價關系仍然持有當正則化在X是應用。主要結果總結在定理7.2以下(證明遵循類似的參數在引理 6.1): 定理 7.2 Bpls?(???xI)21?12?VH11Hpls，讓B和

Bpls少量的奇異分解值為

BBTB?PB?B(QB)TBpls?Ppls?Bpls(Qpls),BPB,Ppls?Rr?k,rB?rank(B)?rank(Bpls)BPB?PplsRB。然后,這個B和

Bpls范圍的空間一致。此外,還存在一個像

r?rB這樣的正交矩陣R?RBB。因此,CCA和OPLS是等價的任何?x?0.回想一下,制定可歸納為CCA廣義特征值問題如(5),這就需要計算矩陣的逆YYT?Rk?k。計算逆可能計算量大,當維數k的數據Y是很大的。這種情況在基于內容的圖像檢索[27],兩個視圖對應的文本和圖像數據,都是高維度。一個重要的結果,建立了OPLS和 CCA的等價關系是逆的大型矩陣可以有效避免計算投影一個視圖。

8.實驗

我們在實驗中使用三種類型的數據。基因表達模式圖像data1描述果蠅的基因表達譜[28]。每個圖像標注一個變量數量的文本術語(標簽)從受控詞匯表。我們應用伽柏過濾器中提取一個384維的特征向量從每個圖像。我們用五個數據集和不同數量的術語(類標簽)。我們也評估擬議的方法在現場數據集[29],這是常用的作為一個基準數據集對多元變量的學習。研究提出了最小二乘的可伸縮性配方,一個文本文檔數據集與高維度從雅虎!使用[30]。這些數據集的統計歸納如表1。

表1

匯總統計的數據集

表2

比較不同的CCA配方 意思是中華民國方面得分

所有的數據集,報告10個隨機數據的分區訓練集和測試集生成和平均性能。對于高維文本文檔的數據集,我們遵循特征選擇方法研究[31]文本文檔和提取不同數量的術語(特性)調查性能的算法。與算法5進行比較,包括在(5)中CCA和正規化的版本(指示為商資歸農),提出了最小二乘CCA配方(指示為ls CCA)及其2規范和1規范正規化的版本(指示為LS-CCA2和LS-CCA1,分別)。所有的方法都是用于項目數據到一個低維空間中線性支持向量機進行分類為每個不同的標簽。接受者操作特性(ROC)得分計算為每個不同的標簽,在標簽和平均性能報告所有剝片。

8.2 等價關系的評估和性能比較

我們首先對(CCA)和最小二乘法的等價關系進行評估。我們觀察到,當數據維 數d遠遠大于樣本大小n,在定理3.2的條件往往持有。它遵循從定理3.2,rank(CXX)等于rank(CHH)?rank(CDD),?A所有對角元素是單位的,這是符合觀測的實驗。

在表2中,我們報告的平均分數超過所有的標簽和中華民國為每個數據集都剝片。主要的觀察包括:1)CCA和ls CCA達到同樣的性能,所有的數據集,這是符合我們的理論結果,2)正規化CCA擴展包括商資歸農,LS-CCA2,LS-CCA1執行更好的比他們的同行CCA和ls CCA沒有正規化,3)LS-CCA2比得上在所有的數據集商資歸農,而LS-CCA1達到最好的性能對于所有基因圖像數據集。這些觀察結果證明用正則化最小二乘擴展技術的有效性使。

8.3 敏感性研究

在這個實驗中,我們調查ls CCA的性能相比CCA當在定理3.2的條件中并不持有,這種情況存在許多真實世界的應用程序中。具體來說,我們使用一個基因數據集基因圖像2維數固定在d=384和k= 15的標簽,而訓練集的大小變化從100年到900年與步長約100。

不同的線性算法的性能作為訓練集規模的增加呈現在圖a1。我們可以發現,總體而言,所有算法的性能增加的培訓規模增加。當n是很小,條件在定理3.2成立,因此CCA和ls CCA是等價的,它們達到同樣的性能。當n進一步增加,CCA和ls CCA實現不同的變動率指標數,雖然在我們的實驗差異分數總是非常小的。類似于上次的實驗,我們可以從圖觀察到,正則化方法能夠比CCA和ls-CCA,LS-CCA2與rCCA更好地執行。這個數據集稀疏配方LS-CCA1執行的最好。

實驗的靈敏度也表現在現場數據集。結果總結在圖b1,可以類似的觀察。

8.4 可擴展性研究

在這個實驗中,我們研究相比最小二乘原CCA配方的可伸縮性配方。因為正規化算法是首選在實踐中,我們比較正規化CCA配方(rCCA)和2規范正規化最小 13 二乘配方(LS-CCA2)。最小二乘問題是解決LSQR算法[14]。

圖a2一個顯示了計算時間的兩個配方的高維文本文檔數據集雅虎 Arts&Humanities作為數據維數隨著訓練集的大小固定為1000。它可以觀察到兩種算法隨著數據維數不斷增加，計算時間不斷增加。然而,計算時間的最小二乘配方(LS-CCA2)是大大低于原來的配方(rCCA)。事實上,LS-CCA2所有測試數據維數計算時間小于5秒。我們也評估兩個配方的可伸縮性方面的訓練樣本大小。圖b2陰謀計算時間的兩個公式在文本文件數據集當訓練樣本大小隨數據維數固定為2000,可以類似的觀察。訓練集的大小由于高計算成本的原始特征值問題是沒有進一步增加。從圖2,我們得出了最小二乘配方是比原來CCA配方更加可伸縮。

8.5 正則化分析

在這個實驗中,我們研究的影響為CCA正規化。此外,我們比較OPLS 和 CCA在不同正則化參數值下得性能。具體來說,我們隨機選擇700樣本數據集進行訓練的場景,不同的正則化參數值從1e-6到1e4。

首先,我們考慮只在X正規化。CCA的性能和OPLS現場數據設置為變量?x總結了圖3。我們可以觀察到從圖,在所有的?x值,(CCA)和OPLS的性能是相同的。這證實了CCA 和OPLS的等價關系定理7.2成立。我們還觀察到OPLS 和CCA的性能可以提高，通過使用一個適當的顯著正則化參數,證明了利用正則化在X。

接下來,我們考慮正則化只在Y。CCA和OPLS的性能的不同值3 b。我們可以觀察到CCA的表現依然是分析。

?y總結了圖

?y變化,驗證正則化在y不影響其性能。另外,我們觀察到兩種方法的性能在所有的情況下是相同的,這是符合我們的理論

9.總結

在本文中,我們在溫和條件下為CCA建立一個等價的最小二乘配方,傾向于保持高維數據。在本文中基于等價關系建立,我們提出幾個CCA擴展包括稀疏CCA。一個高效的算法擴展CCA配方非常大的數據集。我們進一步擴展的等價關系正交偏最小二乘法。此外,我們表明,投影一視圖CCA獨立的正規化的其他視圖。我們進行了多元變量數據集的集合的實驗。我們的實驗表明,最小二乘法CCA配方和原始CCA配方的性能非常接近甚至當條件是違反的。

版權聲明

這項研究是由美國國家科學基金會組織(NSF)iis0953662,NIH,hm1582 R01-HG002516 NGA1-0016。

參考文獻：

[1] H.Hotelling, “Relations between Two Sets of Variables,” Biometrika, vol.28, pp.312-377, 1936.[2] D.Hardoon, S.Szedmak, and J.Shawe-Taylor, “Canonical Correlation Analysis: An Overview with Application to Learning Methods,” Neural Computation, vol.16, no.12, 2004.[3] J.-P.Vert and M.Kanehisa, “Graph-Driven Feature Extraction from Microarray Data Using Diffusion Kernels and Kernel CCA,” Proc.Ann.Conf.Neural Information Processing Systems, vol.15, pp.1425-1432, 2003.[4] S.Yu, K.Yu, V.Tresp, and H.-P.Kriegel, “Multi-Output Regularized Feature Projection,” IEEE Trans.Knowledge and Data Eng., vol.18, no.12, pp.1600-1613, Dec.2006.[5] C.Bishop, Pattern Recognition and Machine Learning.Springer, 2006.[6] T.Hastie, R.Tibshirani, and J.Friedman, The Elements of Statistical Learning: Data Mining, Inference, and Prediction.Springer, 2001.[7] G.Golub and C.V.Loan, Matrix Computations.Johns Hopkins Press, 1996.[8] R.Tibshirani, “Regression Shrinkage and Selection via the Lasso,” J.Royal Statistical Soc.: Series B, vol.58, no.1, pp.267-288, 1996.[9] A.d’Aspremont, L.Ghaoui, M.Jordan, and G.Lanckriet, “A Direct Formulation for Sparse PCA Using Semidefinite Programming,” Proc.Ann.Conf.Neural Information Processing Systems, vol.16, pp.41-48, 2004.[10] J.Zhu, S.Rosset, T.Hastie, and R.Tibshirani, “1-Norm Support Vector Machines,” Proc.Ann.Conf.Neural Information Processing Systems, vol.15, pp.49-56, 2003.[11] D.Watkins, Fundamentals of Matrix Computations.John Wiley & Sons, Inc., 1991.[12] B.Sriperumbudur, D.Torres, and G.Lanckriet, “Sparse Eigen Methods by D.C.Programming,” Proc.Int’l Conf.Machine Learning, pp.831-838, 2007.[13] T.Hastie, A.Buja, and R.Tibshirani, “Penalized Discriminant Analysis,”

Annals of Statistics, vol.23, pp.73-102, 1995.[14] C.Paige and M.Saunders, “LSQR: An Algorithm for Sparse Linear Equations and Sparse Least Squares,” ACM Trans.Math.Software, vol.8, no.1, pp.43-71, 1982.[15] F.Bach and M.Jordan, “Kernel Independent Component Analysis,” J.Machine Learning Research, vol.3, pp.1-48, 2003.[16] J.Ye, “Least Squares Linear Discriminant Analysis,” Proc.Int’l Conf.Machine Learning, pp.1087-1094, 2007.[17] B.Scho¨lkopf and A.J.Smola, Learning with Kernels: Support Vector Machines, Regularization, Optimization, and Beyond.MIT Press, 2002.16 [18] J.Liu, S.Ji, and J.Ye, SLEP: Sparse Learning with Efficient Projections.Arizona State Univ.,

第三篇：物流采購與供應管理典型習題分析與解答

物流采購與供應管理典型習題分析與解答 物流〒典型習題分析與解答〒 典型習題

一、選擇題

1.采購與供應管理的利潤杠桿效應指的是()A.利潤的增加可以帶來采購數量的增加 B.采購數量的增加可以帶來利潤率的提高

C.采購費用節省較少比例可以帶來利潤率更大比率的提高 D.利潤率提高較小比例可以帶來采購費用更大比率的節省

2.某公司的銷售收入為1000萬元，假設其稅前利潤率為5%，采購成本為銷售收入的60%，假設采購成本減少1%，則利潤杠桿效應使利潤率增加了多少()A．1% B．10% C．12% D．20%

3.某公司銷售收入為1000萬元，稅前利潤為5%，采購成本為銷售收入的60%，存貨為150萬元，它為公司總資產的30%，求此時的資產收益率（）

A．5% B．10% C．15% D．20%

4.在上題中，如果采購成本降低了10％，此時的資產收益率為（）A．24.4% B．23.4% C．22.8% D．25.2%

5.下面哪項不是采購與供應管理對于企業的作用：()A．利潤杠桿效應

B．資產收益率效應

C．提高企業競爭地位和顧客滿意度 D．牛鞭效應

6.在下列采購類別中，那一個不屬于按采購制度進行分類的類別（）A．政府采購

B．集中采購

C．分散采購 D．混合采購

7.為了做好采購工作，采購部門應該承擔許多職責，其中有管理層面的，也有作業層面的。在下面各項職能描述中，哪一項是屬于管理層面的職能（）

A．協助供應商建立品質管理制度

B．提供長期的需求計劃給供應商

C．編制采購計劃與預算 D．提供技術及測試儀器，使供應商生產更佳的產品

8.全球化采購可以實施是由許多原因造成的，下列哪項不是原因（）A.更低的價格 B.更高的質量 C.競爭的需要 D.沒有風險

二、簡答題

1.如何理解采購的信息源作用？ 2.集中采購有哪些優點？ 3.JIT采購的含義是什么？

三、論述題

1.試述采購與供應管理的目標。2.試述采購與供應管理的演變歷程。

四、案例分析題

【案例1】很難想象1979年的某一天，克萊斯勒（現在的戴姆勒─克萊斯勒）會沒有足夠的現金支付他的雇員、供應商和金融債權人，而且幾乎要宣告破產。使克萊斯勒能夠繼續營業需要汽車工會的讓步，同時銀行債務的重組則包括數以百家的社會機構和超過10億美元的政府援助貸款。盡管20世紀70年代末的經濟蕭條是造成這一現象的原因之一，但克萊斯勒最大的問題在于它的運營管理。該公司組織內部有功能強大的信息庫進行經營，但在跨部門或與供應鏈的其他成員相聯系的功能方面卻很差。資方與工會為敵，采購部門與供應商為敵，而產品開發以工程師為主，生產出客戶并不想要得產品。這個信息系統甚至不能有效地幫助公司有效提高產品質量。

現在克萊斯勒公司與20年前相比已經大為不同。這該如何解釋呢？為了更好地滿足汽車購買者，公司采用了“大企業”策略，該策略將整個公司的采購供應鏈的活動進行了更好的整合——從原材料到零部件到各零部件供應商，從生產商到分銷商，最后，將成品遞送至客戶。通過這種更為緊密的整合，克萊斯勒變得對市場需求的反應更迅速。它在產品設計與開發的革新上贏得了良好的聲譽。

采購在克萊斯勒公司的變革中發揮了與眾不同的重大作用。該公司被認為是北美與供應商關系最好的企業之一。較散亂的聯系已經讓位于更為緊密的供應商管理方式。供應商能夠更早更積極地參與新產品的開發。實際上，主要供應商已經為克萊斯勒實際開發的每輛汽車和卡車提供設計與制造系統。采購部門已建立了一項極為成功的稱之為SCORE的供應商建議項目，該項目每年能產生數以千條的供應商建議，從這些建議中節約的資金每年可達到數億美元。

如果沒有了解采購流程以及知道如何利用這些流程創造價值的人們，這些變化是不可能發生的。克萊斯勒意識到采購并不是僅供低素質的采購人員隨意進行傳統操作的地方，而應接近于供應鏈管理。公司招募高學歷人士進入采購梯隊，當這些人的職業道路從策略采購轉變為戰略資源時，他們必須對采購的基本原理有徹底的了解。為了幫助他們的發展，克萊斯勒使用了一種強調采購的訓練項目。訓練者通過在不同領域循環工作，取得豐富的經驗知識。簡而言之，管理層已經明白，采購部門未來的領導者必須在他們承擔開 發戰略的重任前擁有足夠的采購運作經驗。【問題】

1.你認為克萊斯勒在前期的采購方面出了哪些問題？ ⒉結合案例談談你對采購工作重要性的認識。

【案例2】與我國大型國有企業相比，通用的采購體系可以說是含著銀匙出世，它沒有必要經歷體制、機構改革后的陣痛，全球集團采購策略和市場競標體系自公司誕生之日起，就自然而然地融入了世界上最大的汽車集團——通用汽車的全球采購聯盟系統中。相對于尚在理論層次彷徨的眾多國有企業和民營企業而言，通用的采購已經完全上升到企業經營策略的高度，并與企業的供應鏈管理密切結合在一起。

據統計，在美國的采購量每年為580億美金，全球采購金額總共達到1400~1500億美金。1993年，通用汽車提出了全球化采購的思想，并逐步將各分部的采購權集中到總部統一管理。目前，通用下設四個地區的采購部門：北美采購委員會、亞太采購委員會、非洲采購委員會、歐洲采購委員會，四個區域的采購部門定時召開電視會議，把采購信息放到全球化的平臺上來共享，在采購行為中充分利用聯合采購組織的優勢，協同殺價，并及時通報各地供應商的情況，把某些供應商的不良行為在全球采購系統中備案。

在資源得到合理配置的基礎上，通用開發了一整套供應商關系管理程序，對供應商進行評估。對好的供應商，采取持續發展的合作策略，并針對采購中出現的技術問題與供應商一起協商，尋找解決問題的最佳方案；而在評估中表現糟糕的供應商，則請其離開通用的業務體系。同時，通過對全球物流路線的整合，通用將各個公司原來自行擬定的繁雜的海運線路集成為簡單的洲際物流線路。采購和海運路線經過整合后，不僅是總體采購成本大大降低，而且使各個公司與供應商的談判能力也得到了質的提升。

【問題】

你認為上面的案例中涉及到了哪些采購的新趨勢？結合中國實際談談你的看法。典型習題解答

一、選擇題 1.【C】

分析：概念題根據利潤杠桿效應的定義很容易就可以得到正確答案。2.【C】

分析：這是一道計算題，答題的關鍵也是要把握好基本概念。由題目可以知道，該公司的總利潤為1000萬×5%=50萬，采購成本=1000萬×60%=600萬，采購成本節約1%，也就是節約了6萬元，那么公司總利潤相應將增加6萬元。于是利潤率增加了6/50=12%，C為正確的答案。3.【B】

分析：這道題主要是考察對資產收益率的掌握情況。根據題目中給出的數據容易計算出該公司的稅前利潤為50萬元，采購成本為600萬元，總資產為150萬/（30%）=500萬，那么資產收益率=稅前利潤/總資產=（50/500）×100%=10%。4.【A】

分析：如果采購成本降低10％，采購成本節約了60萬元，同時，由于采購成本的下降，庫存成本也降低10％，總資產變為（150萬×90%）/（30%）=450萬。此時資產收益率變為：（50+60）/450×100%=24.4%。5.【D】

分析：用排除法既可以得到正確答案，前三項教材上都敘述了，可選答案只有最后一項牛鞭效應。牛鞭效應指的是：當供應鏈的各節點企業只根據來自其相鄰的下級需求信息進行生產或供應決策時，需求信息的不真實性會沿著供應鏈逆流而上，產生逐級放大的現象，達到最源頭供應商時，其獲得的需求信息和實際消費市場中的顧客需求信息發生了很大的偏差，需 求變異系數比分銷商和零售商的需求變異系數大得多。由于這種需求放大效應的影響，上游供應商往往維持著比下游供應商更高的庫存水平，這是企業要盡量抑制的一種效應，是一種負面影響。6.【A】 分析：略 7.【C】 分析：略 8.【D】

A.更低的價格 B.更高的質量 C.競爭的需要 D.沒有風險 分析：全球化采購將面臨更大的風險。

二、簡答題

1.答：采購部門與市場的接觸可以為企業內部各部門提供有用的信息。這主要包括價格、產品的可用性、新供應源、新產品及新技術信息。這些信息對企業中其他許多部門都具有重要的作用。供應商所采用的新的營銷技術和配送體系可能對銷售部門大有用處；而關于投資、合并、兼并對象、國際政治經濟動態、即將來臨的破產、提升和任命以及當前和潛在顧客等方面的信息，對銷售、財務、研發和高層管理部門都有一定的意義。由于直接與市場接觸，采購部門可以廣泛地收聽到各種信息。

2.答①可以使采購數量增加，提高與賣方的談判力度，比較容易獲得價格折扣和良好的服務。

②由于只有一個采購部門，采購方針比較容易統一實施，采購物料也可以統籌安排，也就是說可以協調企業內部的各種情況制定比較合理的采購方針，權力越分散，不一致發生的可能性就越大。

③采購功能集中，精簡了人力，便于培養和訓練，提高了工作的專業化程度，有利于提高采購績效，降低采購成本。④可以綜合利用各種信息，形成信息優勢，為企業經營活動提供信息源。3.答：JIT采購又稱為準時采購，是一種先進的采購模式，它的基本思想是：在恰當的時間、恰當的地點、以恰當的數量、恰當的質量提供恰當的物品。它是從準時生產發展而來的，是為了消除庫存和不必要的浪費而進行持續性改進。要進行準時化生產必須有準時的供應，因此準時采購是準時化生產管理模式的必然要求。它與傳統的采購方法在質量控制、供需關系、供應商的數目、交貨期的管理等方面有許多的不同，其中關于供應商的選擇、質量控制是其核心內容。

三、論述題

1.答案要點：對于采購職能總體目標的標準描述是：它要求在合適的時間、地點從合適的供應商那里以合理的價格獲得滿足質量和數量要求的物品。對采購與供應管理的具體目標表述如下： ①提供不間斷的物料、供應和服務，以便使整個組織正常地運轉。②使庫存投資和損失保持最低限度

③保持并提高質量。為了生產所需要的產品或服務，每一項物料都要達到一定的質量要求，否則最終產品或服務將達不到期望的要求或者是達到期望的最終產品的生產成本遠遠超過可以接受的成本額。

④發現或發展有競爭力的供應商。一個采購部門必須有能力找到或發展供應商，分析供應商的能力，從中選擇合適的供應商并且與其一起努力對流程進行持續的改進。

⑤當條件允許的時候，將所購物資標準化。在供應商保證服務水平的前提下，通過大批量采購的采購協議和低庫存，標準化能夠提供價格低又符合要求的物資。

⑥以最低的總成本獲得所需的物資和服務。在企業中，企業采購部門的活動消耗的資金比例最大，采購成本的降低可以極大提高企業的利潤率。

⑦在企業內部和其他職能部門之間建立和諧而富有效率的工作關系。在一個現代企業中，由于專業化程度的不斷提高，如果沒有其他部門和個人的合作，采購經理的工作就不可能圓滿完成。

⑧以可能的最低水平的管理費用來實現采購目標。采購部門應該盡可能有效和節儉地完成采購目標，這就需要采購經理經常對部門的運作情況進行回顧，以確保所有的活動耗費都是有效的。

⑨提高公司的競爭地位。從長遠來看，任何企業的成功都依賴于它與顧客建立和維護良好的關系的能力，而對供應的有效管理則會直接或間接地影響最終顧客。對于企業的全局戰略和提升企業的競爭地位而制定的特別的內部供應戰略來說，采購和供應管理都會有潛在的貢獻。

2.答案要點：①在第一次世界大戰之前，大多數企業主要把采購職能看作是一種文書工作。

②在第一次和第二次世界大戰期間，由于巨大的市場需求，企業的成功不在于它能夠銷售什么，而是它取決于企業從供應商那里獲得原材料、用品和服務的能力。這些保證工廠和礦山運營的必要條件成了決定企業成功的關鍵因素。從那時開始，人們開始關注采購職能的組織、政策和程序，采購職能開始作為一項獨立的管理活動而出現。

③20世紀五六十年代，采購職能所應用的技術更加先進，受過專門訓練的采購人員也越來越多，他們有能力做出合理的采購決策，采購職能在企業中的地位也越來越重要，許多企業把首席采購官提升到管理層，這也加強了采購部門的吸引力，促進了采購管理理念的進一步發展。

④進入二十世紀七十年代以來，企業面臨著兩個問題：一方面，支持運營的所有原材料幾乎都出現了國際范圍內的短缺；而另一方面，價格的增長幅度卻遠遠超過了第二次世界大戰結束時的水平。這一變化使得采購部門倍受關注，因為他們能否從供應商那里獲得所需要的物品，將決定企業的命運。這樣，采購部門被推上了戰略地位，人們開始關注采購戰略的制定。

⑤二十世紀九十年代后，企業已經清楚地認識到，企業要想成功地與國內外的企業競爭，就必須有一個頗具效益和效率的采購與供應管理部門。因為在大多數企業中，采購和服務的成本都大大超過勞動力和其他成本，所以，改進采購職能可以長久控制成本。許多企業正在嘗試把采購戰略與企業整體戰略整合，應用先進的信息和網絡技術，推進企業流程的重組，采購職能正在從以交易為基礎的戰術職能發展到以流程為導向的戰略職能。從世界范圍來看，采購與供應管理主要呈現出全球化采購、網上采購、JIT采購、供應商伙伴關系（雙贏采購）等趨勢，而且在發達國家，這些采購理念已經投入實施，取得了很好的效果。

四、案例分析

【案例1】分析思路：這道案例題主要考察采購在企業中的重要性這個知識點，在分析中要結合教材中的相關原理和克萊斯勒前后發生巨大轉變的例子將采購在現代企業中的重要作用加以闡明。由于受到篇幅限制，對案例分析題目我們僅給出答題要點。答案要點：

1.①主要問題首先在于沒有充分認識到采購的重要作用。沒能利用好采購的信息源作用和利潤杠桿作用來增進企業的經營績效。

②沒能和供應商建立良好的關系，與供應商具有良好的關鍵對于企業供應鏈的正常運作以及成本的節減非常重要。③公司沒有將采購工作提升到戰略的高度，缺乏專業的高素質的采購人員。

2.①采購與供應管理主要有利潤杠桿作用、資產收益率作用、信息源作用、營運效率作用、對企業競爭優勢作用五個方面的作用。

②從克萊斯萊在前一個時期中虧損的原因看，一個很重要的方面是采購工作沒有做好，未能處理好與供應商的關系，導致采購成本過高，企業嚴重虧損。在實施改革后，采購流程得以理順，采購成本大大下降，公司業績顯著，這充分體現了采購的利潤杠桿和資產收益率作用。

③采購流程改進以后，使得企業內部的信息的流通的質量和數量大為改善，提高了產品質量，以及供應鏈各方的滿意度，充分體現了采購的信息源作用，同時，企業業績的好轉和競爭力的上升也是采購的營運效率作用和對企業競爭優勢作用的體現。

【案例2】 答案要點：

案例中涉及到了全球化采購、供應商關系管理等采購新趨勢。

案例直接反映出在不同的市場機制和管理模式下，企業變革需要面對的一些現實問題。但從另一個角度看，我們就會發現采購在整個企業物流管理中的重要地位已經被絕大多數的企業所認可。更多的生產企業專注于自己的核心業務，把采購物流業務外包，建立在合作基礎上的現代供應鏈管理，無疑是對傳統的采購管理模式的一次革命性的挑戰。

從不同“采購現象”背后，可以看到“采購理念”在中國發展遇到的現實問題，不僅在于企業對先進思維方式的消化能力，更重要的是在不同的體制和文化背景下的執行是否通暢。而在落實理念的過程中，必須革新中國的企業文化，要求高層決策人員和中層的管理人員應當應具備解決系統設計問題的能力，底層的運作人員應能解決系統操作的問題，同時必須有發現問題的能力和正確理解問題的能力。