第一篇：2018年深度學習教學大綱(審核)

《深度學習》教學大綱

適用專業： 學 時 數： 課 程 號： 信息類 32

課程性質： 學 分 數： 開課學期： 大綱審核人：

公選課 2 春季 謝鵬壽 大綱執筆人： 趙宏

一、課程的地位和教學目標

深度學習技術促進了人工智能在圖像識別、語音識別、自然語言處理等領域的突破，成為實現人工智能的重要技術之一。本課程采用Google開源軟件TensorFlow作為深度學習技術實現的平臺，講解全連接神經網絡、自編碼器和多層感知機、卷積神經網絡、循環神經網絡等的設計與實現，以及網絡訓練過程中的數據處理、網絡調優與超參數設置，并介紹深度強化學習和網絡模型可視化、多GPU并行與分布式處理技術。通過本課程學習使學生掌握深度學習技術并能夠應用該技術解決實際問題。

二、課程教學內容和基本要求

（一）深度學習技術和平臺概述（4學時）教學重點、難點：

教學重點：深度學習技術，深度學習的平臺，TensoFlow； 教學難點：TensorFlow； 教學內容和基本要求

1、掌握部分：TensorFlow平臺構建；

2、理解部分：深度學習技術原理；

3、了解部分：Caffe，Neon，Torch等平臺；

（二）全連接神經網絡（4學時）教學重點、難點：

教學重點：全連接神經網絡設計，訓練數據預處理，網絡調優和超參數設置； 教學難點：損失函數、激活函數； 教學內容和基本要求

1、掌握部分：全連接神經網絡設計與訓練；

2、理解部分：網絡調優和超參數設置；

3、了解部分：訓練過程可視化；

（三）自編碼器和多層感知機（4學時）教學重點、難點： 教學重點：自編碼器設計，多層感知機設計； 教學難點：目標優化函數設置； 教學內容和基本要求

1、掌握部分：自編碼器設計和多層感知機設計與訓練；

2、理解部分：目標優化函數設置；

3、了解部分：自編碼器設計和多層感知機的拓展應用；

（四）卷積神經網絡（6學時）教學重點、難點：

教學重點：卷積神經網絡設計； 教學難點：卷積運算原理； 教學內容和基本要求

1、掌握部分：卷積神經網絡設計與訓練；

2、理解部分：Pooling技術和Dropout技術；

3、了解部分：LRN技術；

（五）循環神經網絡（6學時）教學重點、難點：

教學重點：循環神經網絡設計； 教學難點：雙向LSTM網絡； 教學內容和基本要求

1、掌握部分：循環神經網絡設計與訓練；

2、理解部分：LSTM網絡；

3、了解部分：網絡欠擬合和過擬合處理方法；

（六）深度強化學習（4學時）教學重點、難點：

教學重點：策略網絡和估值網絡設計； 教學難點：獎勵和估值設計； 教學內容和基本要求

1、掌握部分：策略網絡和估值網絡設計與訓練；

2、理解部分：獎勵和估值設計；

3、了解部分：Alpha Go的實現；

（七）多GPU并行與分布式處理技術（4學時）教學重點、難點：

教學重點：GPU的配置； 教學難點：GPU間通信； 教學內容和基本要求

1、掌握部分：GPU的配置；

2、理解部分：GPU內存使用策略和GPU間通信；

3、了解部分：TPU；

三、課內練習環節的教學內容及基本要求、課時分配和場地

（一）網絡模型設計與簡單訓練（2學時）。要求學生自行設計網絡模型并進行簡單訓練。

（二）訓練數據預處理（2學時）。要求學生按照網絡模型要求對訓練數據進行預處理并將數據分為訓練數據與測試數據。

（三）教學場地能夠以較快速度接入互聯網，方便教學中快速訪問網絡資源。

四、本課程教學建議

（一）要求學生完成各種網絡的設計并進行訓練和調優；

（二）要求學生針對具體應用設計網絡，處理數據，訓練和優化網絡，并得到與其他方法相比的較好結果。

五、本課程評價方式

考試（綜測）

六、建議教材和教學參考書

（一）Ian Goodfellow等著，趙申劍等譯.深度學習[M].北京：人民郵電出版社，2017.（二）黃文堅，唐源.TensorFlow實戰[M].北京：電子工業出版社, 2017.（三）鄭澤宇，梁博文，顧思宇.TensorFlow：實戰Google深度學習框架（第2版）[M].北京：電子工業出版社, 2018.（四）吳岸城.神經網絡與深度學習[M].北京：電子工業出版社, 2016.（五）鄧力，俞棟.深度學習方法及應用[M].北京：機械工業出版社, 2016.

第二篇：10-法學專業教學大綱審核報告

法學專業教學大綱審核報告

按照學校要求，法學專業依據學校修改意見，參照提供的模版，對教學大綱進行了完善和修改。目前就審核情況總結如下：

1、本專業用的理論教學大綱應完成45份，40份經不同程度修改后合格，另外5份報告,包括:《物權法》《經濟法》《科技法》《中國律師學》）《票據法》主要一、四部分格式不規范;《經濟法》《科技法》《中國律師學》）《票據法》“課程地位”內容不符合要求，修改后仍存在問題。

2、應完成實習教學大綱9份，經修改后基本規范。

3、為國貿專業、信管專業、電子商務專業各提供1門課程的理論教學大綱，經修改后均已完成。

法學專業教研室2012、10

第三篇：審核計劃學習

審核計劃的制訂 質量管理 2007-11-13 12:33:29 閱讀85 評論0字號：大中小 訂

閱

審核計劃的制訂

審核計劃包括審核計劃和審核活動計劃(審核大綱)。審核計劃是審核策劃的始端也是總綱，審核活動計劃則是按照審核計劃安排具體實施。

組織審核計劃的內容可包括：審核目的、范圍、審核準則、審核組成員及分工、主 要審核活動的時間安排、首末次會議時間等。組織的審核計劃應以文件形式頒發，審核活動計劃應有審核組長簽名和總經理的批準。

●目的(1)保證內部審核的實施有計劃地進行。

(2)便于管理、監督和控制內部審核。

●要點

(1)組織內部審核計劃可包括質量管理體系、過程和服務的審核。

(2)質量管理體系審核應在年內對所有部門和過程全部覆蓋，并突出關鍵部門、過程。

(3)過程質量審核應在年內對所有關鍵過程、特殊過程全部覆蓋，還可考慮問題較多、比較薄弱的過程。

●考慮因素

(1)落實組織審核組織。

(2)組織審核范圍。

(3)認證機構及有關法規的要求。

(4)質量管理體系文件關于內部審核的要求。

(5)審核的頻次等。

●類型

(1)集中式審核工作計劃

主要特點是：

①在某計劃時間內安排的集中式審核。每次審核可針對全部適用過程及相關部門，也可針對某些過程或部門；

②審核后的糾正行動及跟蹤在限定時間內完成；

③審核的時機大多為：新建質量管理體系運行后;質量管理體系有重大變化時;發生 重大事故時;外部質量審核前;領導認為需要時。

(2)滾動式審核工作計劃

滾動式審核一般在通過第三方質量管理體系認證后被采用。

主要特點是：

①審核持續時間較長；

②審核和審核后的糾正行動及其跟蹤陸續展開；

③在一個審核時期內應保證所有適用過程及相關部門得到審核；

④重要的過程和部門可安排多頻次審核。

(3)審核活動計劃

審核活動計劃是對本次審核活動的具體安排，應形成文件，由審核組長制訂并經主管/管理 者批準。

審核活動計劃應明確審核的目的和范圍，審核依據的文件(標準、手冊及程序等)，審核組成 員名單及分工情況，審核日期和地點，受審核部門，首次會議、末次會議的安排，各主要質量審核活動的時間安排，審核報告日期等。

審核活動計劃還應體現本次審核所采用的主要方法，如是操作流程法，還是選擇部門法，或 是選擇過程法等。

(4)跟蹤審核計劃

對糾正措施的實施過程及結果應進行跟蹤審核，必要時該類審核活動也應制訂計劃，但其范 圍、對象將被限制在前次審核的不合格項方面。

(5)臨時性審核計劃

臨時性審核是指審核計劃安排以外的審核。該類審核往往是由于特殊情況或特殊要求而 提出的。

●編制審核計劃注意事項

(1)審核計劃可按部門或活動(過程)來編寫，不再以要素來編寫，一般更側重于按部門審核。審核計劃一般應寫明擬審核的職能部門、場

所，最好注明應審核哪些相應的活動或過程。過程可以包括產品實現過程和其支持過程(即管理過程)。審核也可以以過程為主審核，此時 則應注明審核哪些相關的職能部門。為此，審核組長應事先熟悉被審核方的質量管理體系文件及部門在相應過程或活動中的職責。受審核方如能提供部門和過程(活動)的職能分配表則更為理想。

(2)審核計劃的具體內容應與受審核方的規模和復雜程度相適應。在制訂審核計劃時 應考慮在對質量有較大影響的過程或活動以及承擔較重要職能的部門安排較多的時間，應確保在有 效的時間內完成有效的審核。

(3)在編制內審計劃時，若采用滾動式審核，則相應要素應改為相應的過程或活 動，應在一個審核周期內確保對產品實現過程和支持過程的全面覆蓋。對于主要的過程和活動，如 管理職責、資源管理、產品的實現過程、測量分析和改進等，每次審核時均應考慮到，對于其子過程則可以考慮抽樣。

(4)審核組分工時應注意把具備專業能力的審核員安排在產品實現過程或產品的測量 過程的審核上，以確保審核有效進行。

(5)審核計劃中應強調安排對領導層的審核。

2000版標準對最高管理者的承諾和職責進一步予以重視，這些承諾和職責通常反映在組織的 質量方針、質量手冊、質量管理體系文件中，并在相關過程和活動中體現。因此對最高管理者的承諾，自身的質量意識和對質量管理體系

及職責的理解，審核時應予充分了解，對最高 管理者的審核或座談應在審核計劃中予以明確并給予足夠的時間。

第四篇：深度學習（寫寫幫整理）

深度學習:讓學生語文核心素養落地生根

縱觀當下小學教育，依然存在一些問題:學科教學單一，教學模式化，知識碎片化，學習淺顯化等等。尤其是語文學習，一篇一篇課文，一節一節語文課，學習機械化、技術化，一學期一學期看不清楚語文能力的提升。為了給學生創設更加廣闊的學習天地，培養學生終身學習的能力，造就學生現在和未來必需的語文素養，我們必須研究、實踐深度學習。

一、深度學習視角下的語文核心素養培養

“核心素養”，其實就是要回答“培養什么樣的人”這一教育的根本問題。筆者認為應包含三個層次:學科特色核心素養、跨學科的共通素養以及自我發展素養。從學科的角度來看，學科素養是主干部分。從教學的角度來看，是從“學科教學”轉變為“學科教育”，從“知識本位”向“素養引領”的轉變，旨在彰顯育人價值，探索深度學習，讓學生健康發展、幸福成長。這也是踐行《中國學生發展核心素養》精神，將發展學生核心素養落實到語文學科教學之中，進行深度實踐的重要舉措。

（一）語文核心素養的內涵

核心素養的根本是促進學生形成穩定的人格，促進人的全面發展，培養適應社會需要的人才。因此，核心素養的培養與形成必須關注人格的四層要素:志向(愿望、興趣、理想、信念等)、經驗(知識、技能、熟練、習慣等)、反映(情緒、思考、體悟、感情、意志、記憶等)、氣質(性別特質、年齡特質、身體變化等)。北京清華附小提出學生發展的五大核心素養:身體健康、成志于學、天下情懷、審美雅趣和學會改變。筆者所在學校提出:寬和心態、問學精神、和諧融通、審美情趣、學會改變。這一切，最終都指向培養“全面發展的人”。小學語文素養是以小學語文能力為核心的綜合素養，是指小學生具有比較穩定的、最基本的、適應時代發展要求的聽說讀寫能力，在語文方面表現出來的文學、文章等學識修養和文風、情趣等人格修養。語文學科核心素養包括語言建構與運用、思維發展與提升、審美鑒賞與創造、文化傳承和理解。筆者認為，學生年齡越小，越應當去學科化，培養共同素養。隨著年級升高，語文核心素養逐漸細化。

（二）深度學習的內涵

深度學習是相對于淺層學習而言的，與淺層學習進行比較，在諸多方面都有較大差異，如:學習的狀況，記憶的方式，思維的層次，等等。深度學習是一種自主、批判式的學習方式，關注學生的理解、思維過程。它通常是個人在與他人分享學習和互動中發生的，其形成的知識是可遷移的，包括學科內容的知識及如何用這些知識來解決問題。國內提出的問學課堂、助學課堂、導學課堂等，在一定程度上都體現了深度學習的理念。美國課程學家拉爾夫?泰勒曾說:“學習是通過學生的主動行為而發生，學生的學習取決于他自己做了什么，而不是教師做了什么。”深度學習更注重學生對知識的理解與運用，提升學習力、思維力、表達力，使得學習成為有意義的過程。語文的深度學習，旨在讓學生在語言的海洋里感受多元的文化，接受情感熏陶，在閱讀與實踐中體驗、思索，做一個完整的人。

（三）深度學習與素養提升的關聯

深度學習基于真實的問題與情境，倡導自主、合作、探究的學習，培養學生思辨能力，關注學習的全過程，培養學生一生有用的帶得走的能力。深度學習能促進學生語文素養的快速提升。在深度學習的視角下，教師創造性地使用語文教科書，從學生的視野出發，構建一個具有豐富文化內涵與多元思維方式的語文課程，進而推動學生在語文學習中的自主探究和自我體驗，讓學生在生活中學習語言、運用語言和發展語言。這種摸索、探究、積累、體悟，自我發展與超越的學習過程，是促進學生語文素養發展的有力抓手。教師還可以引導學生把合作性動手探究活動和閱讀文本、寫調查研究報告以及小組討論、專家指導結合起來，把學習引向廣闊的自然和社會生活實踐，學生綜合能力、語文素養必然大大提升。

二、深度學習與語文核心素養的相融相通(一)深度學習的原則

康德說:“教育是由個體自我設計、自我選擇、自我構建、自我評價的過程，是自我能力的發展，它體現著社會意志和教育者與受教育者平等自由地、審慎嚴肅地共同探究的機理”，深度學習旨在讓學生達到深層的學習水平。

1.問學有機結合:不代替學生思維。“發明千千萬，起問在一點。”“問”為“學”指明了方向，是“學”的思維起點;“學”是對“問”的探索，是經歷解惑的過程，能夠促進思維的發展，催生人的智慧，獲得解惑的快樂。問學相融，相輔相成，螺旋上升，同構共生。“問學”既是提問，更是一種思維品質，是合乎兒童天性、順應兒童發展的一種學習方式。鼓勵學生提出問題，帶著問題學習，是深度學習的關鍵。學生在學習的過程中，還會不斷產生新的問題，這些真實的問題是學生的關注點所在，他們必然邀請同伴合作互助解決，甚至進圖書館、博物館查閱資料，向教師、專家等咨詢請教……問學，學生的思辨能力、自主學習能力、合作能力均能得以提升。

2.探究深度推進:不代替學生學習。語文學習的核心是培養學生的思維能力和語言表達能力。蘇教版小語教材一篇篇有價值的經典課文，尤其是那些文質兼美、能為學生精神打底的優秀課文，必須使用好。如《只揀兒童多處行》《望月》《黃果樹瀑布》等，僅一兩個課時是遠遠不夠的，需要一周甚至更長的時間。這就要靠教師創造性地拓展、加深，把短課變為長課，甚至空間變換。教師要多為學生搭建學習、探究的平臺，給學生分組，設計評價量表，督促學生全員參與，深度探究，合作前行。教師要站在一定的高度上，理性地調整學生生成性問題的方向，以促進學生的自主性和創造性得到充分的發揮，讓學生在探究中不斷提升語文素養，形成能力。

3.全心自主學習:不代替學生成長。學習不僅是教師向學生傳授知識的過程，而且是學生建構自己的知識和能力的過程。語文學習不是只給學生一個個答案，而應當讓學生總結自己的思維過程。教師主體性行為的合理讓渡，為學生主體性成長提供了空間，教師不再“以教代學”。原來本該由學生自己承擔的學習行為，比如自學、質疑、合作等到回歸學生本體，學生自己去動腦思考、動手操作、動眼觀察，對學生的學習能力、意志品質和情操陶冶都有積極的影響。教師對每個個體都要關照到，讓他們參與到深度學習中去，全面得到成長。

(二)建立與核心素養契合的語文學習架構

課程是學校提供給學生在校期間，得以獲取知識、能力、人格及學習經歷等一切活動的總和。教師應當成為課程的開發者、使用者，用課程促進學生的生活體驗，滿足學生理智生活、情感生活、審美生活、道德生活的需要。為此，必須建構與素養提升契合的語文學習。建議從三方面著手:

1.提供深廣的學習內容:讓學習豐富起來。學校教育的目的，是培養有理想、有道德、有文化、身心健康的人，其價值是為了學生的終生學習奠基。教學目的就是使得學生在日常的生活和教學生活兩個世界中，彰顯個性成長與生命成長，增強對幸福生活的敏感，收獲對自然、人生與社會的獨特理解，為學生一生的幸福奠基。為此，教師必須轉變教育觀、課程觀、教學觀、評價觀、學生觀、教師觀，把語文的淺層學習與深度學習，項目學習與主題學習等有機結合，培養學生必備的共有素養，同時關注學生差異，彰顯學生的個性。

2.追求幸福、自由、智慧的學習，讓學情真正發生。幸福、自由、智慧這三者，分別是對學生在道德學習活動、審美學習活動、認知學習活動中的終極關懷。首先，“立德樹人”第一，引領學生認識到幸福的真諦就是精神世界的豐盈，由他律到自律，團結合作，追求卓越。其次，“自由”是審美學習活動的終極追求。體味、感受、體驗……豐富情感，陶冶性情，讓學生自由徜徉、欣賞、創造。最后，乃是“智慧”，教育學生優秀傳統文化的誦讀記憶固然必要，更多的還是要發展和創造，從要學，走向會學，乃至學成。

3.教師行為的合理讓渡:讓學生成為自己。建構主義理論告訴我們:學習過程不是學習者被動地接受知識，而是積極地建構知識的過程。在小學語文學習中，教師雖然是學生學習活動的組織者和引導者，但應激發學生學習的興趣，培養他們自主學習的意識和習慣，引導他們掌握語文學習的方法，為學生創設有利于自主、合作、探究學習的環境。學生是學習的主體，是成長和發展的內因，教師應尊重他們的個體差異，鼓勵學生選擇適合自己的學習方式，健康地成長。

三、語文深度學習的支架與建構

語文課程最終會留給學生彌足珍貴的東西，這種東西一定是深藏在課程核心的、賴以影響學生后續發展的精神財富，語文的深度學習便是如此。

（一）深度學習支架建構的基本流程:

發現問題、確立專題→下發量表、自主學習→驅動問題、深度學習→完成量表、細致指導→成果展示、項目反思。

教師與學生一同閱讀教材，發現問題，師生共同擬定一個學年的語文深度學習專題內容;下發設計的深度學習總表、單項評價量表、過程及成效考核表(見表1、2、3);學生自主學習、合作學習，在同伴互助、教師引領、專家指導下深度學習，并完成各項量表;完成各項匯報材料，進行成果展示，同時撰寫學習反思，促進深度學習再度發生。

由三張表可以看出，深度學習關注的是培養學生的創新能力與實踐能力，更多關注知識、技能和態度的綜合表現，以整合的方式推升學生的語文素養。素養可學、可評、可測，可提升。在活動中讓學生學會求知、學會發展、學會合作，既訓練了運用語文的技能，同時陶冶人性，促進生命個體成長。

(二)深度學習的具體設計與實施

深度學習要在教材基礎上加以選擇。因此，教師要依托教材，帶領學生共同選擇，確立研究主題。

1.設計過程。開學初，先讓學生整體閱讀蘇教版五年級教材。教師精選具有典型性和范例性的內容，學生從中選擇感興趣的內容、存在問題較多的內容。蘇教版五年級教材共有53篇課文，其中《精讀與略讀》《神奇的克隆》等23篇課文讓學生自讀自悟即可;《望月》《水》等30篇課文需要精讀。師生最終確定開展深度學習共6個專題:“珍惜水資源”“走向大自然”“月亮的研究”“長征行”“追尋一個名人”“說名道姓”。這6個專題學習時間不一，短則一周，長則貫穿一個學期。每一專題學習都以解決實際問題的邏輯順序為主線，組織教學內容。如以“追尋一個名人”系列活動為例，凡教材中涉及的作家高爾基、蕭紅、冰心或者課文主人公錢學森、諾貝爾、法布爾、海倫?凱勒……以及《中外名人故事》中選擇的愛因斯坦、錢學森、喬布斯等均可選擇。確定研究主題后，指導學生在活動中持續學習，教師、專家等進行協助、幫助、扶助。

2.整合教材，實施深度學習。

(1)根據兒童發展需求，整合取舍現行教材。根據兒童發展需求選擇教材，刪減增修。保留文質兼美，富有童趣的文本精讀，補充優秀的文學作品。細讀文本，讓學生感受人性的溫暖，感悟語文的溫度，轉化為精神力量，轉化為自己的智慧。如，增加20首古詞，20篇小古文，閱讀《童心里的詩篇》50首小詩，必讀書目《三十六計》《海底兩萬里》等6部。

(2)利用兒童生活資源，充實優化課程內容。課堂只是小天地，課外乃為大課堂。優秀的文學作品可以引導學生不斷充實精神生活，完善自我人格，提升人生境界。學習一篇課文帶動幾篇，或者學習一篇課文帶出一本甚至多本專著。通過比較閱讀，拓展閱讀，有效充實課程內容。帶領學生走向廣闊的生活之路，閱讀之旅，實踐之程，才能刺激學生發展和創造的能量，成為他自己。

(3)合理改進學習方式，共建動態共生課程。“一事一物皆課程”。我們把課程視為師生、教材、環境等協調運作的動態生長過程。在學校系列成長課程的基礎上，設臵班本課程，如:《兩河讀書樂》《秀秀成語》《校園小向導》等。讓讀寫課、演講課、表演課成為常態，激發學生責任感、使命感，發展潛能，提升創造力。

具體操作如下:

第一階段，閱讀蘇教版五年級教材，先學習《朝代歌》，了解不同時期出現的名人(時間4周)。

第二階段，細讀文本(課文)，尋找作品或專著，進行閱讀、摘抄等(臵于大背景下的閱讀，時間2個月左右，地點自選)。

第三階段，提出問題，搜集資料，開展活動。通過講故事、看電影、寫感想、開演講會、寫研究報告、表演、參觀、訪談等促進學習(時間1月)。

第四階段，整理研究成果，匯報、展示，互相評價，撰寫學習心得，提出新的問題(時間2周)。這樣的設計與實施，真正關注了兒童成長，一切以學生為中心，強調學生對知識的主動探索、主動發現和知識意義的主動建構。注重學生對語文學習的獨特理解、質疑、應用上來，這種動態的運作過程，適用于不同學生的發展，真正通過深度學習，促進每一個學生語文素養的提升。我們應該讓學生思考，我要成為一個什么人，我將來想做什么。想通了、堅定了，學習就會成為自覺行為。

語文的世界是豐富多彩的，它不僅使得學生得到語文訓練，同時喚醒學生的情操與心靈、生命與人格，喚醒學生的主體性與創造力，喚醒學生生命成長的自覺。未來，教育者還需為深度學習的發生提供必要的資源和技術的支撐資源，這是進行深度學習的基礎和關鍵，沒有學習資源，深度學習就無從談起。深度學習——培養學生語文素養的應然之道。語文深度學習的探索依然在路上……

第五篇：深度學習講稿

卷積神經網絡是受靈長類動物視覺神經機制的啟發而設計的一種具有深度學習能力的人工神經網絡。卷積神經網絡屬于深度學習架構，其釆用了局部連接、權值共享和子釆樣操作，使得需要訓練的權值參數減少，因此，卷積神經網絡可以在層數較多的情況下，仍然具有良好的表現。除此之外，卷積神經網絡還有平移、縮放不變性等諸多優點。卷積神經網絡在模擬人類視覺方面效果顯著，當輸入是圖像時，卷積神經網絡的這個優點表現的會更為明顯，因為圖像可以直接作為卷積神經網絡的輸入，有效地避免了傳統算法中的特征提取和數據重建過程，提高了算法效率。卷積神經網絡的學習方式，在一般情況下，會釆用有監督的學習或者逐層無監督學習方式。逐層無監督學習存在訓練繁瑣，時間較長，且訓練得到的特征與具體任務不相關等問題；而有監督的學習存在梯度彌散，訓練樣本不足等問題。

下面我講一下卷積神經網絡的結構。卷積層是卷積神經網絡的核心組成部分，其具有局部連接和權值共享特征。卷積層所完成的行為就是前一層的一個或者多個特征圖作為輸入與一個或者多個卷積核進行卷積操作，產生一個或者多個輸出。為了使神經網絡具有非線性的擬合性能，須要將得到的結果輸入一個非線性的激活函數，通過該函數映射后最終得到卷積層的輸出特征圖。左圖是卷積的示意圖。

子采樣層的作用是對卷積層輸出的特征圖進行采樣，如右圖所示，采樣層是以采樣區域的大小為步長來進行掃描采樣，而不是連續的。每個子區域經過子采樣之后，對應輸出特征圖中的一個神經元，神經元的值有一個計算公式在這里我就不贅述了。

經過卷積神經網絡逐層提取到的特征可以輸入任何對于權值可微的分類器。這樣使得整個卷積神經網絡可以采用梯度下降法等基于梯度的算法進行全局訓練。下面我們詳細介紹一下在卷積神經網絡和其他神經網絡中都使用比較廣泛的softmax分類器和在分類任務中表現優秀的支持向量機。Softmax分類器其原理來源于softmax回歸模型，而softmax模型是將logistic回歸模型推廣到多分類問題上得到的，Softmax 分類器屬于有監督的分類器，但是很多時候，該分類器也可以和深度學習模型或者是無監督學習模型一起連接使用。

支持向量機是一種有監督的學習方法（分類器），與模式識別、計算機視覺有著緊密的聯系，已廣泛地應用于統計分類以及回歸分析。

支持向量機屬于線性分類器，其優點是能夠同時實現最大化幾何邊緣區與最小化經驗誤差，因此支持向量機也被稱為最大邊緣區分類器（maximal margin classifier)。

對于卷積神經網絡的訓練，包括人工神經網絡的訓練，經過多年的發展，主要有三種方式，即完全有監督方式[29,30]完全無監督方式[31]和有監督與無監督方式相結合的方式。

有監督學習是屬于機器學習中的一種學習方法，可以從已標記的訓練集樣本中學習到映射函數。在有監督的學習中，每一個訓練樣本都包括一個輸入對象（通常是以向量的形式表示）和一個理想的輸出值，該理想輸出值也被稱為監督信號。監督學習算法通過對數據分析，進而學習到一個映射函數，該函數能用于映射新的數據樣本。一個理想的情況是，對于新的數據樣本，該映射函數能正確的給出其類別標簽。

在卷積神經網絡中，通常采用有監督的方法直接進行訓練，有監督的方法最常用 的是基于梯度的方法。一般采用的是批處理隨機梯度下降法。與有監督學習相對應的是無監督學習，無監督學習并不要求輸入的訓練數據帶有標簽，其主要目的在于從無標簽的數據中找到隱藏的、更加抽象的結構。

在模式識別和計算機視覺領域，采用無監督學習算法來提取特征已經有很長時間的 應用歷史了。無監督學習的方法，如稀疏自動編碼機、限制玻爾茲曼機、高斯混合模型、主成分分析和k均值等在計算機視覺領域都有著 大量的應用。

可將具體的無監督學習算法看做一個黑盒子，其功能是從數據中學習到可以將輸入數據映射為一個新的特征向量的映射關系。

卷積神經網絡采用上述框架進行逐層無監督學習，有效解決了訓練樣本不足的問題。

隨著機器學習的迅速發展，無監督學習算法也越來越多，在卷積神經網絡的發展方面，今后的可能的發展方向是研究更加適合在卷積神經網絡中使用的無監督學習算法，改進傳統神經網絡的學習方式，以提升其性能。

由于深度網絡可以無監督地從數據中學習到特征，而這種學習方式也符合人類感知世界的機理，因此當訓練樣本足夠多的時候通過深度網絡學習到的特征往往具有一定的語義特征，并且更適合目標和行為的識別。

應用部分

虛擬人腦是谷歌2012年研發出來的基于深度學習的具有自動學習能力的人工智能項目。它采用1000臺計算機共 16000個計算節點，利用Youtube網站上的視頻作為訓練集，花費3天的時間訓練出9層的深度自編碼器網絡。其訓練出來的深度神經網絡已經可以模擬一些人腦的功能。

2010年開始的大規模視覺識別比賽(ILSVRC)是在ImageNet數據庫上進行的有關視覺目標識別的比賽。ImageNet 有超過 10000000 幅圖像，超過1000個類別，是目前公開的最大的視覺數據庫，因此在這個數據庫上進行的比賽反映了目前計算機識別技術的最高水平。

圖像的分類和標注是計算機視覺中的兩個重要問題。圖像分類指的是對圖像內容作整體的描述，例如給定一幅圖像判斷它屬于“海灘”、“廚房”、“臥室”等預先定義好的類別中的哪一類;而圖像的標注指的是對于圖像中包含的內容作出判斷，例如一幅圖像中是否包含“天空”、“汽車”“，樹木”等預先定義好的內容。很顯然，這兩個問題是相關的，雖然對于這兩類問題，都有很多方法來解決各自的問題，但是卻只有很少的工作嘗試同時解決這兩類問題兩類問題，目前最流行的方法是使用LDA來進行建模。

最近，有一批科學家提出使用基于神經自回歸分布估計器的監督性神經自回歸分布主題模型來同時處理圖像分類和標注問題。這個算法是一種基于NADE的監督性主題模型，它使用“前向—反向”兩步進行優化，在其優化過程中不存在像 LD一樣的難于計算的歸一化因子，因此整個模型可以準確地和有效地求解。文獻表明這個模型在同時解決圖像分類和標注問題中優于其他主題模型，并且會學習到具有語義特征的“主題”，就是這幅圖里面展示的。

[58]

。對于這