第一篇：個人移動智能終端與中職語文課程整合研究

個人移動智能終端與中職語文課程整合研究

摘要：在個人移動網絡化時代，能夠隨時隨地買賣支付，分享傳遞信息，展示特別自我，每個人隨時隨地都成為了網絡的一份子。在個人與網絡如此緊密聯系的前提下，中職語文教學面臨著與中職學生手中的個人移動智能終端（手機，平板電腦等）激烈競爭的嚴重困境。因此，加強個人移動智能終端與中職語文課程內容的全面整合，給中職語文教學改革帶來了前所未有的新思路。個人移動智能終端與中職語文教學環節、教學方法、教學內容的整合具有重大意義，經過整合、組合、相互融合，在整體優化的基礎上產生聚集效應，激發學生的學習熱情、拓寬學習渠道、提升教師的課堂教學技能，對推動中職語文教學改革和提高中職學生的語言運用能力具有一定的現實價值，從而高效完成中職語文的課程任務。關鍵詞：個人移動網絡終端； 中職語文； 整合

在個人移動網絡化時代，個人移動智能終端滲透到了社會生活的各個方面，對于教育的影響也日漸深入。中職語文作為一門公共基礎課程，如何實現與個人移動智能終端的有效整合對于提升中職學生的綜合能力有著重要意義。

一、個人移動智能終端與中職語文課程整合的內涵

移動終端作為簡單通信設備伴隨移動通信發展已有幾十年的歷史。移動終端或者叫個人移動通信終端是指可以在移動中使用的計算機設備，廣義的講包括手機、筆記本、平板電腦、POS機甚至包括車載電腦。但是大部分情況下是指手機或者具有多種應用功能的智能手機以及平板電腦。自2007年開始，智能化引發了移動終端基因突變，從根本上改變了終端作為移動網絡末梢的傳統定位。個人移動智能終端幾乎在一瞬之間轉變為互聯網業務的關鍵入口和主要創新平臺，新型媒體、電子商務和信息服務平臺，互聯網資源、移動網絡資源與環境交互資源的最重要樞紐，其操作系統和處理器芯片甚至成為當今整個ICT產業的戰略制高點。移動智能終端引發的顛覆性變革揭開了移動互聯網產業發展的序幕，開啟了一個新的技術產業周期。隨著個人移動智能終端的持續發展，其影響力將比肩收音機、電視和互聯網(PC)，成為人類歷史上第4個滲透廣泛、普及迅速、影響巨大、深入至人類社會生活方方面面的終端產品。

“教育教學中的整合就是運用系統科學方法，在教育學、心理學和教育技術學等教育理論和學習理論指導下的教學資源和教學要素的有機結合:在整合過程中要協調教育教學系統中教師、中職生、教育內容和教學媒體等教學諸元素的作用、聯系和相互之間的影響，使整個教學系統保持協調一致，維持整體過程或結果，從而產生聚集效應” ［1］。整合的目的在于發揮個人移動智能終端的特點與優勢，幫助教師開展高效的教學活動，從而提高教學效率，實現中職學生能力水平的提升。

基于學者的研究，作者認為中職語文教學課堂上不應該排斥個人移動智能終端的使用，個人移動智能終端與中職語文課程的整合，是指根據中職語文的課程特點，充分開發個人移動智能終端的優勢，從而高效完成中職語文課程的教學任務。

二、個人移動智能終端與中職語文課程整合的意義

當前的中職語文教學地位十分尷尬，首先大部分中職學生在小學初中的語文學習時期沒有打好基礎，在中職語文學習期間缺乏信心動力，其次部分班主任及輔導員在教學督導宣傳過程中消極宣傳“文化課無用論”,另外部分學校對于文化課與專業課教學管理的區別對待，以及甚至忽視管理，讓語文，數學，英語，德育，職業指導，心理健康等課程變成部分專業課程老師的兼職課程。此種情況在民辦中職學校屢見不鮮。鑒于以上原因，中職語文教學質量良莠不齊。面臨這種困境，我們迫切培養學生的語文學習興趣，發揮語文的教育功能。個人移動智能終端為中職語文課程提供了物質平臺和教學環境，個人移動智能終端與語文課程的整合應用，代表了當今語文教學的發展趨勢。

（一）激發學生的學習興趣

愛因斯坦說過:“興趣是最好的老師。”學生對所學的內容感興趣，才會激發內在的學習動力，個人移動智能終端，能提供大量的圖、文、聲、像信息，為學生提供多種感官的綜合刺激，充分調動學生的學習熱情。語文教材中的許多作品文字優美，意境豐富，例如，在語文課《致橡樹》中，就可以讓學生用個人移動智能終端自主搜索相關的朗誦音頻，然后相互比較，模仿朗誦，最終感受文學的優美。

（二）拓寬學習渠道

語文是一門知識綜合性很強的學科，網絡豐富的資源、數字化圖書館、電子讀物等，為學生提供豐富的信息知識，跨越了學習語文知識的時空限制。通過個人移動智能終端，學生可以獲取多樣的資料，在課上或在電腦上與老師、同學進行在線交流、討論，對大量的信息進行分析、加工，然后根據自身的需要加以充分的利用。在這個過程中，學生的語文綜合能力得到了培養和提高。

（三）促進教師與學生的交流

在個人移動智能環境下，語文教師可以即時與學生交流個人智能終端的共享信息導入新課。在無形中拉近老師與學生的距離，在不斷的交流與碰撞過程中，學生不斷學習到了知識技能，而且學會了自主篩選信息的自主學習能力。

三、個人移動智能終端與中職語文課程整合的路徑

（一）個人移動智能終端與中職語文教學環節的整合

首先，教師在上課前，利用個人移動智能終端查閱與教學相關的各類素材，如詩歌、散文、短評等，做好充分的授課準備，并且把自己準備的內容運用網絡使學生共享。其次，在教學之中，利用網絡和多媒體信息量大、圖文并茂、方便快速的技術性能，幫助學生學習字詞，分析語言，理解文章，收到事半功倍的效果。如在學習古代文學這部分時，由于這些知識在現實交際中使用很少，同時缺乏相應的生活場景鋪墊。因此，為了更好地理解文章內容，可以引導學生在個人移動智能終端搜索與所學內容相關的文字或圖片素材，通過相互交流，彼此溝通，從而在頭腦中構建起相應的知識背景，為后續學習打下良好的感性基礎。如學習《水滸傳》，在讓學生掌握相關知識的基礎上，讓學生欣賞電視劇《水滸傳》中的精彩片斷，使其觀其色、聽其音、看其像，如臨其境，從而加深對課文的整體理解。

(二)個人移動智能終端與中職語文教學方法的整合

中職語文課本中選取了很多經典作品，誦讀是學習這些作品的一個首要方法。可以利用多媒體課件配上優美的背景音樂和適當的圖像，營造一種美的氛圍，讓學生覺得誦讀不再枯燥，而是享受，從而使學生樂于學習，在輕松的氛圍中提高審美情趣。在充分誦讀的基礎上，學生可以利用個人移動智能終端查閱相關的資料，如作者生平，寫作背景等，加深對作者的了解和對作品的理解，培育學生主動學習的習慣和勇于思考的精神。在獲取資料的基礎上，進行交流性的學習，網絡打破了課堂的時空限制，師生之間的交流更為快捷和廣泛，信息反饋也更為及時，提高了教學效率。(三)個人智能終端與中職語文教學內容的整合

1、閱讀教學的整合

長期以來，我們的老師還是襲用傳統的閱讀教學方法，先是閱讀預習提示，接下來是作者、背景介紹，然后就是篇章、段落的解析課文。千篇一律，學生聽的興趣索然，教師覺的花了大力氣但收效甚微。現代信息技術與閱讀教學的整合大大激發了學生的閱讀興趣。

在閱讀教學中，運用個人移動智能終端，讓學生積極參與到教學過程中，發揮學生學習的內在動力，從而提高教學效率。例如在《靜女》鑒賞時，教學內容是掌握《詩經》的基本知識，鑒賞《詩經》中以愛情為主題的詩歌，提高鑒賞詩歌的能力。教學過程如下：（1）學生可以迅速從個人移動網絡終端，查找《詩經》的相關知識，用幻燈片的形式向師生展示。（2）配樂朗誦《靜女》，并輔以畫面。（3）播放一段視頻并展示一些圖片，讓學生對當時的倫理道德風尚有所了解。（4）提出問題，《靜女》寫一對青年男女幽會的情景。你認為哪個地方的描寫最具有生活情趣？為什么男青年喜歡姑娘送的這些禮物？（5）能力拓展:有興趣的同學可試著把《靜女》改寫成五言詩或七言詩或現代詩，你對當代人的愛情有怎樣的理解。（6）相互交流與評價，學生將自己的作品在同學之間，甚至在個人上進行交流，相互評價。

2、寫作教學的整合

寫作一直是中職語文教學的一大難題，學生沒有興趣，寫作時無話可說，難以下筆，教師批改任務繁重，不能與學生進行及時交流，而個人智能終端卻可以彌補這些不足。通過創設情境，激發學生的寫作熱情，同時，網絡包羅萬象，為學生提供豐富素材，使學生有話可說。而且個人移動智能終端使作文修改十分便捷，省去了抄寫的負擔，既可小作修改也可大刀闊斧。教師對個別作文的點評，都可公開到全體學生面前，產生平行性教育的效果。對學生作文的成績評價，可以把點擊率和收到的評語數量作為作文成績的主要依據，實行網上開放化的教學評價。例如寫作《我的中職生活》，教學過程如下。（1）創設情境，把教師自己的大學生活講述給學生，激發他們的寫作熱情，引導他們從平淡的生活挖掘出精彩，使他們有話可說，有話想說。（2）搜集素材，學生可上網查閱相關素材，拓寬寫作思路。（3）完稿，學生把構思好的內容輸入到計算機，轉化成書面語言。（4）批改，教師進行批改或同學互改交流。最后，把優秀作文放到網上，讓學生共享。總之，現代信息技術的運用，給我們的寫作教學提供了一個全新的發展領域，它另辟蹊徑，打破了傳統教學僵化、冷漠的面孔，變得更加生動活潑，更為貼近學生的實際，實為改善寫作教學的一條有力途徑。

語言學習是一門實踐性非常強的課程，需要學生課上課下進行大量的訓練，中職語文與個人智能終端現代信息技術的有效整合，不僅把教學活動場所設定在以多媒體和網絡為基礎的信息化環境中，教師可以利用用于教學的計算機網絡，動態、連續地把教學內容發布給學生作為學習資源，還能夠以個人移動智能終端為手段，推進課程改革，帶動教師團隊素質和能力的提高。總之，中職語文教學必須緊扣時代脈搏，做到與時俱進。

參考文獻：

［1］荊金奎.信息技術在基礎教育中的應用[M].青島:山東教育出版社，2006：25

第二篇：基于智能移動終端的工廠監控系統設計與實現

基于智能移動終端的工廠監控系統設計與實現

張川 蔡其星

浙江中控技術股份有限公司，浙江杭州，310053

摘要：工業自動化監控系統在各種工業生產領域廣泛應用，大大提高了工業生產效率和生產安全性，節省了生產成本。傳統的監控系統多為基于專用設備和PC實現，便攜性差，價格昂貴。近年來，電力、油氣傳輸、化工等行業對移動數據監控的需求越來越強烈，移動工廠的理念也逐漸形成。針對以上問題，本文設計了能夠運行在IOS智能移動終端上的監控系統，利用移動終端遠程無線傳輸、攜帶方便等優勢，實現現場數據遠程傳輸和數據查詢，降低產品價格，減少投資成本，提高競爭力。從而，使得移動工廠實施成為可能。

關鍵字：IOS、監控系統、移動終端、報警推送

Design and Implementation of Plant Monitoring System Based on Intelligent

Mobile Terminal

Chuan Zhang Qixing Cai

Zhejiang SUPCON Technology Co., Ltd., Hangzhou, Zhejiang, 310053

Abstract: Industrial automatic monitoring system is wildly applied in various industry production fields, which largely improves the efficiency and security of industry production and reduces production cost.Most traditional monitoring systems are implemented basing on special device and PC, which have poor portability and high price.Nowadays, industries such as electric power, oil and gas transportation and chemical industry increase their requirements for mobile data monitoring, and the theory of mobile plant is formed gradually.Thus, this article introduces the monitoring system for IOS intelligent mobile terminal.With the advantages of mobile terminal like remote wireless transmission and good portability, it realizes field data remote transmission and data query, reduces product price and investment cost and improves competitiveness.Thereby, the mobile plant implementation can be achieved.Keywords: IOS, monitoring system, mobile terminal, alarm push 引言

現有的工廠數據監控系統多基于PC運行，數據傳輸基于專用封閉式網絡，便攜式式差，成本高，難以實現異地數據查看。隨著移動網絡及智能移動終端硬件設備的日益發展，采用智能移動終端隨時隨地查看工廠生產實時數據的技術成為研究的熱點和趨勢。本文對基于移動智能終端的數據監控系統作了初步研究和探討，設計了一款基于IOS移動終端平臺的數據監控系統（SIMField）。實現了無需專用PC，只需通過智能移動終端即可查看工廠生產的實時數據。

本文闡述了移動終端數據監控系統在移動設備中（主要是IOS設備）流程圖、報警、報表等功能的設計與實現，利用移動設備獨特的圖形處理技術進行研究與開發。本系統同時支持與已有運行于PC的監控系統進行數據互聯，達到在手機中展示數據和報表的目標，從而滿足企業中管理層用戶的需求。移動監控系統方案

SIMField系統的主要功能是結合企業的生產監控系統（如SCADA系統，企業生產管理系統等）實現移動式監控，可以跟原有的PC生產監控系統無縫結合，共享數據、報警、流程圖、報表等。

系統架構采用B/S系統的一般架構模式，采用Web服務器和瀏覽器客戶端結合的體系結構。Web服務器主要功能是提供數據、文件服務、身份認證服務，通過OPC驅動獲取異構系統的數據，移動客戶端采用APP內部嵌入WEB頁面的技術，從Web服務器獲取頁面數據。移動終端監控軟件設計與實現 3.1 系統網絡部署

SIMField系統的網絡部署如圖3-1所示。

圖3-1 網絡部署圖

上圖展現了企業生產監控系統典型的網絡架構。其中PIMS[1]指某一實時監控系統，它對生產區上實行監控和生產管理；實時監控系統OPC服務器向第三方系統（如SCADA系統、SIMField服務器）提供實時數據；SIMField服務器對內作為組態轉存服務，將PIMS監控系統組態信息（流程圖、報表等）進行轉存，轉換為自身格式組態存檔，對外為SIMField移動終端提供數據。移動終端使用Internet公網或內部無線網接入生產監控網絡，訪問SIMFIeld服務器獲取組態信息和實時數據。

SIMField移動服務器在整套系統中的主要作用是數據中轉，文件解析，將生產管理系統中的數據和報表、流程圖解析為移動設備可以顯示的格式。選用OPC作為數據傳輸協議的目的是保證移動服務器的兼容性。

3.2 數據流圖

SIMField服務器接入三方監控系統的組態數據流及實時數據流如圖3-2所示。

注[1] PIMS： 企業生產管理系統，在此處用于給移動監控軟件提供數據。

圖3-2 數據流圖

SIMField服務器從三方監控系統獲取流程圖、報表等組態信息文件，并進行轉化為自身特定格式組態信息并存儲。通過OPC方式從三方監控系統獲取實時監控數據。

3.3 SIMField主要功能模塊

3.3.1 服務器管理模塊

服務器管理模塊實現服務器可視化的管理配置界面，具備數據庫設置、報警設置、流程圖管理、報表管理、設備管理等功能。界面如圖3-3所示。

圖3-3 服務器管理配置界面

移動監控服務器的主要功能是為移動設備接入數據，而服務器配置的目的就是為數據接入和管理做一個可視化的配置工具。主要包含的功能是:可以監控和啟停數據服務，配置組態和運行環境，設置報警，管理流程圖，管理報表，管理設備。

3.3.2 報警模塊

由于移動監控一般用于企業管理層，只會關注特別重要的報警點。本系統的報警獨立于第三方接入系統，需要專門針對移動設備進行報警配置。報警在服務器進行配置，每一條報警配置都對應一個位號，并且需要輸入報警類型、報警臨界值、報警等級、報警描述、聯系人、聯系人號碼。報警配置存儲到數據庫，同時可以進行修改和刪除。在服務器上有一個專門處理報警的線程，根據報警配置中的臨界值和相應的規則來生成報警。每次新報警產生時放入實時報警隊列并且存儲到歷史報警數據庫。

當報警產生時，服務器采用IOS的推送技術，將報警主動推送到IOS移動終端。移動終端在同一個界面中查看實時報警和歷史報警。客戶端在收到報警推送信息后，登錄SIMField客戶端軟件，對報警信息進行閱讀、確認等操作，同時可根據該報警關聯的聯系方式呼叫報警聯系人。報警工作流程如圖3-4所示。

圖3-4 報警工作流程

3.3.3 監控流程圖

SIMField系統的監控動態流程圖采用XML標準格式來描述。流程圖的圖形繪制和動畫效果使用第三方庫“Raphael.js”，根據不同的瀏覽器類型，自動采用SVG或者VML來繪制矢量圖形，通過JavaScript腳本改變圖形對象屬性實現圖形的動畫。流程圖模塊運行時，周期性從WEB服務器請求獲取數據，將獲取到的新值轉換成流程圖對象的動態屬性值，然后把屬性設置到圖形對象，實現圖形對象的動態效果。動態流程圖運行截圖如圖3-5所示。

圖3-5 流程圖效果

3.3.4 報表模塊

報表模塊從第三方系統中獲取報表組態信息，并進行轉換，存儲，供SIMField移動終端客戶端調用，瀏覽。

運行時，報表模塊從SIMField獲取數據，根據組態配置動態更新到報表頁面中，實現報表數據瀏覽。

本系統可以支持的報表文件類型有 Word 文檔，Excel文檔，PowerPoint文檔，PDF文檔，CSV文檔，并且可以擴展支持HTML文檔和TXT文檔。

3.3.5 用戶認證模塊

本系統的用戶認證方式采用密碼和移動終端設備編號結合的方式，服務器管理員將移動終端設備的唯一編碼審核后在SIMField服務器上進行注冊，并且給該終端設備分配用戶名和密碼，該終端設備即可通過該用戶名、密碼登錄SIMField監控系統。總結

本文設計的智能終端移動監控系統（SIMField）能夠運行于IOS智能移動終端，利用移動終端WIFI或者3G網絡，實現現場數據遠程傳輸和數據查詢。本系統可以緊密結合傳統的工廠監控系統，可以隨時隨地獲得現場運行狀況，關鍵數據，報警信息等。它利用幾乎每個人都配備的手機為載體，不但可以讓企業管理人員快速及時地獲取信息，提高效率，還可以減少網絡和報警設備的投資，降低系統的成本，提高競爭力。

參考文獻

[1] David Mark，Jack Nutting，Jeff LaMarche.Beginning iOS 5 Development Exploring the iOS SDK.Apress [2] Rapha?l Reference 作者簡介：

張川,1981年出生，男，浙江浦江人，2003年畢業于浙江大學計算機系，學士學位，工程師，從事工業控制軟件開發工作。通訊地址：浙江杭州市濱江區六和路309號A3研發大廳0-*** 電子郵箱： zhangchuan@supcon.com

310053 聯系電話： 郵政編碼：

第三篇：移動終端的教學應用模式研究

移動終端的教學應用模式研究

在互動學習時代，以iPad為代表的智能移動終端將成為學生的重要學習工具，因此，對智能移動終端的應用模式研究具有重要意義。目前，基于智能移動終端的教學應用模式大致有以下幾種：

1.基于快速反饋系統的應用模式

快速反饋系統最早的形式是每個學生手持一個類似遙控器的終端設備（Clicker），教師通過投影儀顯示題目，學生使用Clicker選擇正確答案，學生的答案可以立即反饋給教師，教師可以快速對學生的答題情況進行統計，這種系統俗稱“按按按”。現在這種快速反饋系統在平板電腦上已經得到實現，基于平板電腦的快速反饋系統比Clicker系統具有更加強大的功能和擴展空間，除選擇題和判斷題外，平板電腦快速反饋系統還可以實現連線題、排序題、拼圖題等更加復雜的客觀題型的快速反饋。

快速反饋系統可以實現課堂上教師和學生之間基于問題的互動，為教師及時了解課堂教學效果提供了方便，但是快速反饋系統不關注教師的教學方式和學生的學習方式，它只對課堂教學效果進行測試和快速反饋，因此，這種應用模式具有通用性，無論在哪一個學習時代，快速反饋系統都是一種重要而且必要的應用模式。

2.基于備授課平臺的應用模式 隨著智能移動終端進入課堂，很多公司都不約而同的開發了一種基于平板電腦的備授課平臺。教師將教學資源上傳到授課平臺，上課時，學生登錄平臺，下載教師提供的課件或學習資料，教師使用平板電腦進行課件的演示，演示畫面可以廣播到每一個學生終端。一般這種備授課平臺都實現了簡單的快速反饋、電子舉手、學生搶答和隨機點名等師生互動功能，為了進一步增加師生互動效果，這種平臺還實現了主觀題目的答題和上交功能，如拍照上傳、圖片標注上傳、學生課堂作業分享等功能。

“在課堂教學中，通過平板電腦實現教師和學生之間的互動”是這類平臺極力要實現的目標，但這是一個應用誤區。平板電腦最大的優勢是“人機互動”，而不是通過平板電腦實現師生互動，尤其在課堂教學中，教師直接面對學生，師生間的互動沒有必要通過平板電腦來實現，教師的教育觀察能力才是保證師生互動效果的最重要因素。因此，這種課堂應用模式總會給人一種平板電腦可用可不用的感覺，甚至有時感覺還不如不用。

這種備授課教學平臺基本上是按照傳統的課堂教學模式設計的，教師在熟悉了平臺操作和功能后，就可以很容易地在平臺上進行授課，任何一節課都可以使用，實現所謂的“常態化”應用。但實際上這種應用模式依然停留在只讀學習時代,技術仍然為教師服務，平板電腦被當成教師的教學工具，而沒有成為學生的學習工具，平板電腦的人機互動優勢沒有得到充分利用，學生的學習方式沒有改變，課堂教學模式也沒有發生本質變化。

3.基于電子教材的應用模式

電子教材整合了文字，圖片，音視頻資料，而且具有人機交互性。電子教材充分發揮了平板電腦的人機互動優勢，學生在使用平板電腦閱讀電子教材時，可以隨意放大或縮小文字的大小，使字體更加方便閱讀；可以點擊插圖或視頻，對插圖進行放大瀏覽或直接播放視頻資料；在電子教材中使用音頻技術，可以實現點讀機功能的英語教材；學生在做電子教材中的練習題時，完全是一種互動模式，做完題目后，可以立即得到結果反饋。

電子教材直接為學生的自主學習服務，不用紙，不用印刷，不受內容篇幅的限制，具有多媒體和交互性，在紙質教材內容基礎上，可以更加全面直觀地體現知識內容，改變了學生的閱讀方式，提高了學生的閱讀興趣。電子教材對傳統的紙質教材是一種革命性的改變，因此，電子教材是智能移動終端不可缺少的應用模式。

4.基于教育APP的人機互動應用模式

基于教育APP的人機互動應用模式是最能體現平板電腦教育價值的應用模式，是真正實現學生一對一互動學習的應用模式，也是最吸引家長為孩子購買平板電腦的應用模式。教育APP的內容比電子教材更加豐富，互動方式也更加吸引學生的學習興趣。學生的學習過程主要包括新知識的閱讀學習、知識的背誦記憶、知識的應用練習和技能的熟練掌握，基于平板電腦的教育APP能夠實現每一個過程的一對一互動學習，這種互動學習體驗是前所未有的，是對學習方式的革命性改變。

基于教育APP的人機互動應用模式是歐美、香港、新加坡等國家的主流教育應用模式，幾乎所有的實驗學校都在采用這種模式進行一對一的教學，在美國的App Store中，教育APP數量已經超過十萬個，內容可以覆蓋K12所有學科。但在中國，這種模式還沒有被大多數實驗學校認可，其主要原因是國內公司所提供的應用方案幾乎都是基于備授課平臺的，所有公司都在開發備授課平臺，很少有公司開發教育APP。教育APP的數量和質量是決定平板電腦能否真正成為學生的學習工具，并得到普及應用的關鍵因素，目前國內的教育APP數量和質量遠遠不能滿足學生和教師的需求，大多數學校和家長對教育APP不了解，這種應用現狀和觀念急需改變。

5.基于網絡學習空間的應用模式

電子教材和教育APP充分發揮了平板電腦的人機互動優勢，實現了一對一的人機互動學習，但是只靠人機互動是無法解決學生自主學習過程中的所有問題的。學生在學習過程中需要有系統的學習方案指導、需要教師或家長的引導、評價和鼓勵，需要學生之間的交流，需要一個共同成長的自主學習氛圍，在互動學習時代，這些需求可以通過網絡學習空間實現。

網絡學習空間的建設和應用在西方發達國家已經積累了豐富的經驗，例如美國的可汗學院，以豐富的微視頻課程資源、科學精細的知識點分級體系、優秀的互動學習體驗、全面的評價管理系統和學習進度管理系統，吸引了上千萬的美國中小學生進行在線自主學習，這種學習模式在國外被稱為“翻轉課堂”。

網絡學習空間為學生創造了人機互動、師生互動、家校互動和生生互動的個性化自主學習環境，網絡學習空間打破了課堂的界限，實現了課前、課中和課后的一體化學習，隨著無線網絡和智能移動終端的普及，網絡學習空間的互動學習體驗更加優秀，智能移動終端和網絡學習空間的有機結合，將成為互動學習時代的主流學習方式。

第四篇：智能移動終端公共服務平臺為個人信息提供保護

智能移動終端公共服務平臺為個人信息提供保護

隨著信息技術的廣泛應用和互聯網的不斷普及，個人信息在社會、經濟活動中的地位日益凸顯。與此同時，濫用個人信息的現象隨之出現。近年來，個人信息泄露事件頻發，并呈現迅猛發展的態勢，2011年底中國互聯網更是遭遇了史上最大規模的用戶信息泄露事件，多家大型網站的用戶數據被泄露，幾千萬用戶賬號和密碼被公開，給社會秩序和人民切身利益造成嚴重危害。如何合理利用和有效保護個人信息已成為政府、企業、個人和社會各界廣泛關注的熱點問題。

個人信息保護由來已久

年 “個人信息保護”納入工業和信息化部重點工作范疇，工業和信息化部信息安全協調司已續四年委托中國軟件評測中心開展相關研究和測評工作；2009年，工業和信息化部楊學山副部長在大連個人信息保護試點工作現場交流會上，要求全面推進個人信息保護工作，此次大會上，來自全國30多家省市的代表討論了由中國軟件評測中心編制的《個人信息保護規范》（草案）； 2010年3月15日，在工業和信息化部指導下，由中國電子信息產業發展研究院主辦，中國軟件評測中心、北京賽迪網信息技術有限公司共同承辦的“第一屆中國網站個人信息安全大會”在舉辦。來自工業和信息化部有關司局的領導，國家信息中心、中國電子學會、中國社會科學院、北京信息產業協會等單位的專家學者以及電子商務、招聘、婚戀、游戲等領域的被測網站代表共150余人參加了會議。

年，在信息安全標準委員會的指導下，由中國軟件評測中心牽頭制定了國家標準《信息安全技術 公共及商用服務信息系統個人信息保護指南》（全國信息安全標準化技術委員會2011年國家標準編制計劃，編號：TC260-BZZXD-WG7-2011018），該標準旨在提高個人信息保護意識，促進個人信息的合理利用，指導和規范利用信息系統處理個人信息的活動，從而推動我國信息服務產業個人信息保護體系的建立。該標準已于12月上旬通過投票表決，目前已進入送審階段。在“指南”基礎上，信息系統個人信息保護標準體系中其它技術、管理和行業標準也已進入計劃制定階段。

年5月，受工業和信息化部信息安全協調司委托，中國軟件評測中心邀請個人信息安全相關專家，組成評測專家組，根據國家標準《信息安全技術 公共及商用服務信息系統個人信息保護指南》內容，研究制定了2011年互聯網網站個人信息保護政策測評方案和測評指標，并選取電子商務、論壇博客、銀行、保險、婚戀、招聘、游戲七類共105家網站進行了個人信息保護政策測評，整個評測工作歷經6個月，測評結果整理為《2011年網站個人信息保護政策測評報告》。同時，中國軟件評測中心與北京大學互聯網安全技術實驗室合作，選取Android手機各類熱門軟件對其個人信息安全狀況進行了測試評估，并結合測試結果對當前Android手機軟件用戶隱私信息安全狀況進行了分析形成《2012年Android手機軟件個人信息安全報告》。

年3月15日，中國軟件評測中心將以“掌握行業動態，增強隱私保護”為主題，舉辦“2012中國個人信息安全大會”。本屆大會得到工業和信息化部領導的支持與指導，是目前國內首屈一指的個人信息保護專題盛會。本屆大會誠邀相關行業主管部門、領域專家、參評企業等各界來賓與會，為幫助企業洞察政策導向、參與標準研討、了解行業個人信息保護態勢提供良好的互動交流平臺。

智能移動終端公共服務平臺提供技術支撐

智能移動終端的個人信息保護具有3個特點：首先，用戶基數大，根據CNNIC統計，2011年底中國手機網民數3.56億；其次，移動互聯網應用日益豐富，手機上網、手機支付、手機炒股、手機郵箱和移動商務等業務層出不窮，終端和個人生活的關系日益密切；第三，移動互聯網領域普遍采用后向收費模式，應用推廣通常是通過應用商店直接在開發者和用戶之間發生，缺少第三方質量保障。由此帶來了隱私泄露、惡意扣費、涉黃涉非、破壞系統、遠程控制等一系列問題，損害了消費者權益，影響了產業的健康發展，同時也給國家的信息安全帶來了威脅。個人信息保護是中國軟件評測中心在智能移動終端領域關注的眾多問題之一。

作為智能移動終端廣泛使用的Android系統，由于系統開放性強，眾多企業將其作為優先選擇，最近幾年市場份額上升很快。此外，由于Android系統的開放性，可以便捷地加載第三方應用，應用的質量又參差不齊，導致Android應用的質量問題成為目前業界關注的焦點。對Android系統進行評測只是中國軟件評測中心的第一步，未來他們將逐步向IOS、Windows Mobile等系統拓展。

作為工信部電子發展基金支持的第三方公共服務平臺--智能移動終端軟件公共服務平臺是目前中國軟件評測中心承建的眾多公共服務平臺之一，其主要職能定位有四個方面：

第一，作為工信部的一類科研事業單位，首先要做好政府主管部門的決策支撐和技術支撐服務。

第二，面向產業和市場，面向應用軟件商店、應用開發企業和個人、終端用戶等，提供第三方應用質量測評服務。

第三，在應用開發者和終端用戶之間搭建橋梁，提供優秀應用推廣服務，營造脫穎而出的氛圍，促進產業健康發展。

第四，提供資源共享服務，開放地集成研究院所、安全企業的研究成果，為產業和市場提供開放式的服務。

第五篇：基于移動智能終端的聽障兒童言語康復訓練系統

基于移動智能終端的聽障兒童言語康復訓練系統說明書

2017年“挑戰杯”吉林省大學生課外學術科技作品競賽

長春大學作品

基于移動智能終端的聽障兒童言語康復

訓練系統說明書

團隊成員： 侯佳帥、徐杰、陳靜哲、李節龍、姜麗敏、王原、任書銳 指導教師： 參賽單位：

史麗娟、趙劍

電子信息工程學院、計算機科學技術學院 吉林省殘疾人康復設備及技術科技創新中心

基于移動智能終端的聽障兒童言語康復訓練系統說明書

目 錄

摘 要.........................................................I 第1章 研究背景及意義.........................................1

1.1 研究背景..............................................1 1.2 國內外研究現狀........................................2 1.3 研究意義..............................................6 第2章 作品介紹...............................................7

2.1 作品簡介..............................................7 2.2 作品設計..............................................7 2.3 作品使用說明..........................................8 2.4 作品性能優化.........................................10 第3章 系統設計及工作原理....................................13

3.1 系統流程.............................................13 3.2 工作原理.............................................14 3.2.1三維模型驅動...................................14 3.2.2發音訓練模塊...................................18 3.2.3反饋系統.......................................21 第4章 主要創新點............................................23

4.1 相對于傳統方式的優勢.................................23 4.2 技術的創新點.........................................24 4.3 項目未來優化發展.....................................25 第5章 市場分析..............................................26 團隊簡介.....................................................28 參考文獻.....................................................29 附 件........................................................31

附件目錄.................................................31 附件圖片.................................................32

基于移動智能終端的聽障兒童言語康復訓練系統說明書

摘 要

聽障兒童由于聽力障礙造成言語的缺失，嚴重影響其認知能力、思維能力的發展，最終將影響其情感和智力的發育。聽障兒童的發音器官是正常的，只要對其進行聽力補償并進行及時科學的言語康復，就能讓他們走出無聲世界，進入有聲世界，和正常兒童一樣認識事物，發展智力，為以后入學、工作打下基礎。當前聽障兒童言語康復訓練主要采用言語康復訓練教師一對一的對聽障兒童示范發音過程，聽障兒童進行模仿的訓練方式。這種訓練方式存在主要問題是聽障兒童數量多，而言語康復訓練教師少，導致部分聽障兒童錯過最佳言語康復期。隨著計算機技術的發展，出現了一些聽障兒童言語康復的輔助軟件和設備，但由于這些軟件和設備還需要大量的專業人員參與而沒有得到廣泛的有效應用。

為了解決上述傳統言語康復訓練存在的問題，本作品將面部捕捉技術與三維可視化技術引入聽障兒童言語康復訓練領域，將面部捕捉技術與三維可視化相結合，建立真實的三維頭像模型，并模擬發音器官做出發音動作，為聽障兒童展示真實的發音過程，提高聽障兒童言語康復訓練效果。尤其在手機等移動設備較為普及的今天，本作品將該技術應用于移動智能終端系統中，建立基于移動終端的聽障兒童言語康復訓練系統。此系統將在移動智能終端系統實現三維虛擬會話頭像模擬漢語發音過程，聽障兒童應用本系統可以隨時隨地的自主進行言語康復訓練，解決了聽障兒童語言康復訓練過程中語訓教師不足，不能得到及時的康復訓練等問題。

關鍵詞：言語康復訓練，面部捕捉，三維可視化，移動智能終端

I 基于移動智能終端的聽障兒童言語康復訓練系統說明書

第1章 研究背景及意義

1.1研究背景

聽力障礙是人類殘疾類型中的一種，早在《左傳》中就有“耳不聽無聲之和為聾”的說法。中國是世界上聽力障礙（簡稱“聽障”）兒童數量最多的國家之一，聽障兒童是指由于疾病、藥物、噪聲、意外事故等影響，造成聽覺系統中傳音、感音，以及對聲音綜合分析的各級神經中樞發生異常，引發聽力障礙，聽不見或聽不清周圍聲音的兒童[1]。2017年5月21日是我國第二十七次全國助殘日。據中國殘聯介紹，我國目前有8500萬殘疾人（如圖1-1所示），每年新增近200萬人，有40%的殘疾人有康復需求。其中聽力殘疾2780萬人，約占24.16%；言語殘疾130萬人，約占1.53%，其中聽力障礙兒童83.5萬，6歲以下聽障兒童13.7萬，每年新生聽障兒童約2.3萬（如圖1-2所示）。

圖1-1 我國殘疾人總數

圖1-2 我國聽障人群現狀 /47 基于移動智能終端的聽障兒童言語康復訓練系統說明書

醫學專家指出0～3歲是兒童大腦發育最快的時期，也是學習語言的最關鍵時期，7歲以前是語言最佳形成期，7～12歲是可塑期[2]。如果錯過最佳言語康復訓練期，聲音信號沒有在腦部形成刺激，則嚴重影響兒童后期的言語發育，且聽障兒童在語言發育滯后的同時，還常伴有運動、認知等方面的異常或障礙。在重度和極重度聽障兒童中，高達25%的兒童有多重殘疾。我國第二次全國殘疾人抽樣調查顯示，在0-6歲聽障兒童中，有72%同時伴有其他殘疾，直接影響了兒童認知能力、思維能力和記憶能力的發展，這給他們在獲取知識上造成一定難度，勢必會影響其情感和智力的正常發育。雖然聽障兒童聽不見或聽不清聲音，但是他們的發音器官是正常的。聽障兒童說出的話一般較難聽懂，這主要是因為他們發音方式和發音位置不正確。在聽力障礙兒童群體中有殘余聽力的約占85%以上，只要聽力能得到及時的補償和重建，同時進行科學的言語康復訓練，大部分聽障兒童是可以掌握有聲語言的[3]。據調查，我國聽力語言康復事業仍處于發展的初級階段，聽力語言康復服務普及率低，基礎薄弱，服務供給及保障能力不足等問題依然十分突出。據全國聾兒康復機構的調查顯示，全國有54%的地市級殘聯沒有自己的聾兒康復機構，有59個地市沒有一所聾兒康復機構。從全國范圍看，殘聯所屬聾兒康復機構只占全國機構總數的30%。國內適齡聽障兒童能夠有機會進入康復機構進行言語康復訓練的僅占聽障兒童群體總數的60%，要實現0～6歲聽障兒童言語訓練健康全覆蓋，還有一定距離。本研究主要借助技術手段，針對3～7歲聽障兒童，進行言語康復訓練，幫助聽障兒童學習發音、理解語言，使其提高語言及表達能力，為聽障兒童正常的工作、學習、融入社會奠定基礎[4]。

1.2國內外研究現狀

國內的聽障兒童言語康復訓練從80年代開始，主要采用傳統的康復訓練方法，依靠語訓教師一對一的進行康復訓練。這種訓練方式由語訓教師發音，聽障兒童進行模仿。語訓教師在言語訓練過程中對聽障兒童描述發音的位置，然后示范發音過程中的嘴唇形狀及舌部在口腔內的變化過程，聽障兒童同步進行模仿，通常此種康復訓練的方法稱為傳統康復訓練法。傳統康復訓練方法主要是讓聽障兒童通過觀察發音過程中的舌、嘴唇等發音器官的位置和動態變化，然后通過不斷強化練習發音過程，逐漸感知正確的發音從而完成言語康復訓練[5]。這種方法/47 基于移動智能終端的聽障兒童言語康復訓練系統說明書

在聽障兒童言語康復訓練中發揮了較大的作用，取得了一定效果，但主要存在的問題是人在發音過程中，內部發音器官不可視，聽障兒童年齡較小，看不見內部發音器官的情況下，很難根據語訓教師的描述來理解和感知內部發音器官，如舌頭的狀態和變化過程。因此，需要專人指導，高昂的額外開支使聽障兒童家庭因聾致貧，未進行聽障康復訓練的兒童幾乎不能與人交流，學習工作很難，成人后更難自主生活。

（a）聽障兒童模仿語訓教師口型發音訓練

（b）聽障兒童感受發音時語訓教師的聲帶震動

圖1-3 語訓教師指導聽障兒童進行言語康復訓練

隨著科學技術的發展，我們逐漸將聾兒語言康復訓練設備用到聾兒語言功能康復訓練中。天津市聾兒語言康復中心開發的《聰聰學話》多媒體聾兒語訓系統，把語音識別技術和多媒體技術結合起來，配以視覺反饋，利用多變的畫面,吸引聾兒的興趣,讓聾兒在游戲中進行呼吸訓練、發音訓練、單音練習(英文)，并可對聾兒發音實現實時評價，給出發音的波形圖和音強、音長和音調等參數，幫助聾兒找到發音存在的問題。此系統還能提供元音、語譜圖和共振峰等視覺反饋信息[6]。雖然此系統能在聾兒語言康復過程中發揮一定作用，但它的使用需要專業指導人員的配合，如讓聾兒自己讀懂這些復雜的語音分析結果是很困難的。另外，此系統沒有配備正確的發音指導提示信息，聾兒即使知道自己發音錯誤，卻不知如何改進。

中國科學院深圳先進技術研究院研究員王嵐開發的基于中文的三維說話人頭像連續發音運動模擬系統[7]為言語康復領域提供了信息化的創新工具，改進了傳統的依靠聽力和圖片進行言語康復訓練的模式，同步采集說話人的面部視頻和音頻錄像，以及口腔內部X光錄像，標注說話人發音器官運動特征控制點，并建立對應每個因素的特征點數據庫，實現發音器官不同類型的變形運動，對于解/47 基于移動智能終端的聽障兒童言語康復訓練系統說明書

決該領域的發展瓶頸起到了至關重要的作用。隨著產業化目標的推進，有聽障兒童的家庭將不必再為高昂的培訓或治療費用而擔心，低齡患者可以通過客戶端，在家人的指導下進行適量適度的持續訓練。此系統需要家長的陪同訓練。

國內主要是基礎訓練與針對訓練相結合的言語康復方式和聽覺口語法。前者康復方法中，基礎訓練包括發聲放松訓練與聲帶協調性訓練，目的是為聽障兒童聲調、語調發音奠定良好的生理基礎，其中發聲放松訓練包括頸部放松訓練與聲帶放松訓練，聲帶協調性訓練主要是運用重讀治療法的節奏訓練完成。針對性訓練包括聲調鞏固訓練、語調整句強化訓練和邊界調強化訓練，主要是結合特定的聲調和語調進行語調表達的訓練，屬于超音段音位的訓練，由三個相互獨立又包含的內容組成:鞏固單、雙字調的聲調鞏固訓練；逐字增加句長法和句子升降調訓練組合的語調整句強化訓練;借助言語測量儀完成邊界調強化訓練。這一言語康復方法將醫學解剖生理學基礎與言語測量儀等現代技術輔助手段相結合，是醫教結合理念在特殊教育領域上的完美呈現，但該類訓練方法對干預實施人員的手法要求較高，需要經過專業的言語語言病理學訓練才能發揮該康復方法的作用。后者康復方法適合于人工耳蝸術后或佩帶助聽器后聽覺補償比較理想的聾兒，主要借助助聽設備，將聽覺、語言、認知依其自然發展之程序結合起來，在有意義的情境中透過會話式的互動，讓聽障兒童學習、傾聽、會說話。因其十分注重殘余聽力的運用與口語的表達能力，強調“聽”對言語的自我反饋、自我監控以及自我調整，所以必須在沒有視覺線索的情形下先行訓練聽覺能力，否則很難建立起聽覺習慣或視聽并用的技巧。

在國外，使用較好的“IBMSpeechViewer”、“BoxofTricks”、“OLP”治療器、MicroVideoCorporation 的VideoVoice[8]。一個比較有影響的系統是IBM可視語言訓練系統(IBMSpeechViewer)，其最早源于1983年啟動的可視語言計劃，現今已適用于12種不同的語言。系統由一個帶有彩色顯示器的PC機，附帶著麥克、放大器和揚聲器，能保存和分析用戶的語音，然后顯示和重放。反饋采用各種圖形設計和類似游戲帶有選擇性回放的功能。程序分為三種不同用途：基本認知，技能培養，語音體系練習以及必要的語音模板模塊。這套系統是高性能的實時語音治療設備，其軟件包含13個互動程序，能夠幫助聽力損傷兒童學會認知和控制濁音發音、定時、音調和響度及發聲和韻律。此外，還能協助成人或正/47 基于移動智能終端的聽障兒童言語康復訓練系統說明書

常聽力者學習語言。這些程序涵蓋了繁簡、難易各個程度的治療方法。由于系統沒有集成訓練詞匯庫或結構性訓練設計方案，它要求使用者具備對語音學和傳統臨床療法更深層次的理解，才能更高效地發揮系統潛力。

“Box of Tricks”聽力損傷兒童教學和訓練系統是另一個比較著名的系統，由歐洲“INCO-Copernicus計劃”的“SPECO”子計劃研發支持。這套訓練系統設計適用于四種語言。在能夠實時提供語音聲學參數反饋的同時，系統還以圖形形式顯示重要的發音特征。這些被稱為“語音圖形”的東西可以用清晰娛樂的方式展示。在其幫助下，聾兒很容易區分出不正確發音和參考模板的正確發音。通過觀看自己發音的圖形并將其與正確發音圖形比較，從而學會正確發音。系統包括一個通用的獨立于語言的測量工具和數據庫編輯器。數據庫編輯器可構建針對其它語言不同的模塊和詞匯庫。每種語言都有依賴于語言的語音和圖形數據庫，一個用于教學和訓練元音，另一個用于摩擦音和塞擦音。“BoxofTricks”系統使用戶有友好的感覺，非常適用于12歲以下語言和聽力損傷兒童。采用預設詞匯庫、可比較的10歲兒童參照語音、各個音素符號語音圖形和針對不識字兒童的提示詞匯使用戶很方便操縱，但不具備設立特定個體訓練練習的治療內容，訓練效果不佳。

“OLP”治療器是由歐洲生命質量和生活資源管理項目支持的。OLP項目針對兒童構音障礙、顎裂和聽力損傷三種病理學來實施研究。項目的目標是應用新的技術方法改進發音器官損傷造成的生活質量的下降，以便在發音方面支持傳統的語音治療方法。這個方案基于兒童最佳發音并與自動語音識別相結合，而且根據每個兒童的具體情況設計方案。OLP療法遵照為各個等級的治療設置的時間表，實施量身定做的治療計劃。基于Internet的遠程學習OLP治療系統含有訓練詞匯庫和結構性訓練方法，但沒配備參照講話者。運用自動語音識別技術，系統很復雜且耗時。綜合評價表明此方法不適合聽力損傷兒童的使用，但更適合機能性發音失常的成人患者。

上述國外的聾兒語言康復訓練系統設備（如圖1-4所示）雖然取得了一定的發展，但多以二維平面的形式進行反饋，對于確認發音準確性和正確性主要依靠第三方教學人員的參與，并沒有真正的實現完全依靠人與機器的言語康復訓練。/47 基于移動智能終端的聽障兒童言語康復訓練系統說明書

圖1-4語言康復訓練系統

綜上所述，輔助訓練系統，需要專業人員參與，存在時間和場地的限制，且需要高額的費用，并且主要反饋信息集中在音頻比對，并無系統的評估過程。如何通過現代計算機技術、信息科學及控制技術等科學技術幫助聾兒及家庭擺脫這些困擾，在減少人工干預情況下自主的進行言語康復是目前康復科學領域一個重要課題[9]。

1.3研究意義

智能化的人機交互是計算機發展的趨勢，也是現在的研究熱點。人機交互中因為增加了虛擬人物的設計，給人們帶來了全新的感覺。尤其增加了虛擬人物的視聽結合的語音教學方式比單獨的視覺或聽覺教學更有助于聽障兒童的語言學習。因此，團隊在前期的研究中針對聽障兒童在言語康復訓練過程中語訓教師數量無法滿足聽障兒童言語康復需求，以及傳統言語康復訓練過程中內部發音器官不可視等問題，將三維會話頭像引入聽障兒童言語康復領域，采用三維頭像模型模擬人的發音動作，輔助康復訓練，取得了較好的效果。隨著移動設備的普及，智能手機、ipad等移動智能終端逐漸走入家庭，本作品將三維頭像技術移植到移動智能終端，開發出一套適用于移動智能終端的聽障兒童言語康復訓練的系統軟件。用惠及廣大聽障家庭的方法，解決經過聽力補償之后的聽障兒童在減少甚至擺脫人工干預的情況下，能夠利用可視模型自主的進行言語康復訓練的問題，在低廉的成本下聽障兒童可隨時隨地的進行康復訓練，符合我國國情的需要，符合國家科技發展規劃的要求。/47 基于移動智能終端的聽障兒童言語康復訓練系統說明書

第2章 作品介紹

2.1作品簡介

針對言語訓練師不足，訓練條件具有局限性，訓練費用昂貴等問題，我們利用三維運動捕捉系統建立相應三維模型，將數據傳輸，加密，音頻解析等技術結合，開發出 “基于移動智能終端的聽障兒童言語康復訓練系統”。系統可在移動智能終端（安裝Andriod、IOS系統的智能手機、ipad等設備），實現三維可視化模擬漢語發音。聽障兒童可以通過觀察三維頭像模擬發音過程，一邊模仿一邊練習。我們作品應用逼真的三維動畫效果可以指導聽障兒童進行發音訓練，對數據的分析，并對聽障兒童發音訓練進行評估，評估出聽障兒童發音的具體情況，因材施教，提供個性化的訓練方案，具有顯著的訓練效果。這種面向聽障兒童言語的訓練方式，其特征在于：使聽障兒童在家，在一切可利用環境下發音訓練，并且通過視覺直觀看到顯示屏幕上的三維頭像模擬發音過程和音頻波形，一邊模仿一邊練習，效果顯著。

2.2作品設計

為了克服目前語言障礙者學習發音過程中出現的無反饋、單調枯燥等不足。我們提出將三維建模與可視語音技術相結合,建立基于特征坐標點參數驅動的三維頭像模型及適合發音學習者康復的三維漢語輔助發音的語音庫。并在建立 3D會話頭像的基礎上, 結合語音識別和圖像識別技術對發音進行校正,以達到幫助語言障礙者恢復發音功能即達到語言矯治的目的。發音訓練是語言康復的重要環節，聽障兒童發音時唇部，舌部以及下顎等面部的動作對于發音的準確性有很大的影響，根據移動終端操作系統的特點，本作品通過事先捕捉的說話時人的面部表情、唇部動作，舌頭的狀態等三維數據，建立三維動態驅動數據庫，用以建立移動終端三維頭像表情真實，動作精準，發音準確，協調一致的語言康復訓練系統。/47 基于移動智能終端的聽障兒童言語康復訓練系統說明書

2.3作品使用說明

用戶首先進入登錄界面，可以選擇注冊或者登錄。如選擇注冊界面，用戶可以根據系統提示信息注冊為本系統用戶（使用者擁有唯一的登錄號，全國聯網同步訓練情況），然后進入登錄界面，輸入正確的用戶名和密碼，進入訓練單元。用戶通過選擇系統中的字母、聲母、韻母、聲調符、字、詞等不同訓練單元進入相應單元，然后可選擇具體訓練內容對應發音項。用戶根據自身情況選擇某一發音訓練項，系統自動進入三維頭像模擬發音訓練模塊。用戶點擊三維頭像模擬發音訓練模塊中三維頭像所在區域，系統播放三維頭像發音動畫。聽障兒童通過反復訓練，以達到正確發音目的。用戶學習結束后可以選擇退出系統，終止學習，也可以選擇返回鍵繼續學習其他單元或其他發音項的內容。我們系統前期已經研發的基于Android系統的康復訓練系統V1.0版本，該系統已授權軟件著作權，該系統相對簡單，接下來會對初級版本進行升級，建立相應的更為精確的反饋機制與評分獎勵，使其更具有生動有趣性，具有真實感，豐富發音模塊，建立更全面的發音康復資源，同時開發基于IOS系統的軟件系統。下列圖片為CCU聽障兒童言語康復訓練系統實際APP圖片（圖2-1到圖2-6）。

圖2-1 PC機系統登錄界面 /47 基于移動智能終端的聽障兒童言語康復訓練系統說明書

圖2-2移動設備系統登錄界面圖2-3 系統訓練庫選擇界面

圖2-4 系統訓練素材界面圖2-5 系統訓練發音界面 /47 基于移動智能終端的聽障兒童言語康復訓練系統說明書

圖2-6系統播放發音過程

本項目康復訓練過程就是受訓者通過觀察了解一個詞語的發聲過程，然后模擬面部動作和發聲，最后進行訓練檢測，并通過信息反饋給受訓者，指導其進行正確訓練。即觀察—模擬—檢測這樣一個循環訓練過程。其中，結果檢測在整個訓練系統中是至關重要的，通過音頻圖像結果的反饋，受訓者可以清楚的知道自己的發聲和標準發聲相比有什么不同。通過語音識別結果的反饋，受訓者可以知道自己當前的發聲是否正確。通過這樣一個訓練系統可以幫助聽障兒童掌握發音規律，能夠為接下來獲得言語交流能力打下基礎。

2.4 作品性能優化

針對聽障兒童的認知特征與正常兒童的差異性[10]（主要表現在以下幾個方面），聽障兒童訓練時存在的一些問題，我們對系統進行了優化設計，如圖2-7所示。/47 基于移動智能終端的聽障兒童言語康復訓練系統說明書

內部發音不直觀建立三維面部模型信息反饋不及時多級反饋計算差異注意力無法集中獎勵機制、寓教于樂 圖2-7系統性能優化

（1）感知活動不完整。聽覺的喪失或減退使聽障兒童在感知事物的聲音屬性方面存在一定障礙，不利于形成視聽結合的知覺形象，影響了知覺的完整性。針對聽障兒童的知覺特征，在設計學習時采用了補償聲音效果、增強視覺效果的設計策略。

（2）無意注意為主，有意注意穩定性差。聽障兒童的注意力以無意注意為主，有意注意發展滯后且穩定性差，注意的分配和轉移存在一定程度的困難。所以聽障兒童的移動智能終端既要能夠吸引其無意注意又不能對其有意注意造成障礙，我們對系統界面布局、主題風格、背景 顏色及資源粒度大小等方面進行合理設計。

（3）思維形象化。通常有“十聾九啞”之說，聽覺的障礙造成聽障兒童言語發展的滯后或喪失，使其思維較長時間停留在形象思維階段，更加注重事物的外部特征，表現出很大的具體、形象性。而卡通具有豐富多彩的視覺效果，能夠形成強烈的視覺沖擊力，切合了聽障兒童以形象思維為主的認知特征。

（4）詞語——邏輯記憶薄弱。聽障兒童的記憶以視覺記憶為主。由于很難形成言語表象，聽障兒童對文字、詞語的理解、記憶比較困難，缺乏邏輯性，“記得慢，忘得快”的現象在聽障兒童中時常發生。針對聽障兒童記憶的這種特性，設計的移動語音數據要能夠重復利用，使聽障兒童可以隨時復習、時時復習；聽障兒童主要以視覺獲取信息，對信息無障礙需求主要是：他們對獲取文本、圖形等視覺信息是沒有困難的。

結合聽障兒童的認知特征與記憶流圖（如圖2-8所示），我們采用交互式的設計方式，有利于聽障兒童與訓練內容的良好交互，對于訓練的發生以及訓練的效果都有積極的影響。學習是主動的、個性化的學習方式，移動智能終端康復訓練系統與聽障兒童的交互應該能夠保證聽障兒童獨立、自主地完成有關內容的訓/47 基于移動智能終端的聽障兒童言語康復訓練系統說明書

練。我們操作反饋采用可視化的、振動的形式。提高學習過程的可控性，由于聽障兒童的認知水平參差不齊，接受訓練知識的快慢程度迥異，因而訓練過程的可控性對于聽障兒童自主學習顯得尤為重要，聽障兒童可以選擇自己要訓練的內容與難易程度，全方位提高記憶效果與訓練療效。

選擇語詞組織語詞語詞耳朵耳朵語言模型整合畫面眼睛先前知識選擇圖像眼睛組織圖像圖像模型多媒體呈現感覺記憶工作記憶長時記憶

圖2-8 聽障兒童記憶流圖

因此本系統的優勢體現在以下幾個方面：

（1）系統本身具備一對多的教學模式，利用三維模型代替老師，成功的解決康復訓練師數量不足的問題。

（2）聽障兒童可實行自主獨立的訓練，解決了依靠專業人員訓練的難題。最后我們的移動智能終端，創造出隨時隨地的訓練條件，使聽障兒童可在一切環境下進行發音訓練，訓練效果十分有效。/47 基于移動智能終端的聽障兒童言語康復訓練系統說明書

第3章 系統設計及工作原理

3.1系統流程

聽障兒童言語康復訓練系統（如圖3-1所示）主要分為三個模塊，分別是可視化模塊，傳輸模塊，標準語義庫。

可視化模塊包括三維頭像模擬發音和音頻文字轉語言音頻波形，通過采集不同人的語音信息，利用統計原理篩選出與標準發音度匹配的音頻，然后對語音進行分幀處理以提取語音的特征參數，建立語音幀與唇形類別的映射關系，數據加載后驅動三維模型發音，同時將訓練者的音頻文字轉為波形。傳輸模塊不僅對音頻進行傳輸，還將特征點以半結構化的XML文件形式進行傳輸，音頻信息與標準語義庫進行對比，從而綜合評判并反饋結果信息。

圖3-1 基于智能移動終端的聽障兒童言語康復系統整體流程圖 /47 基于移動智能終端的聽障兒童言語康復訓練系統說明書

3.2 工作原理

3.2.1三維模型驅動

本實驗中使用FBX格式的面部模型，該格式文件是MotionBuilder軟件所固有的文件格式，在文件兼容性和對象的材質、燈光等方面均高于其他的類型的文件格式[11-12]。

根據 MPEG-4標準，人臉模型上定義了數據在空間上可參考的特征點，將這些特征點可分為不同的區域進行處理，并定義索引來表示特征點所在的區域，所有符合 MPEG-4人臉動畫標準[13]的人臉模型均定義了上述所有特征點位置。在本文的研究工作中，使用 3Dmax軟件對人臉模型進行構建[14-15]：首先，建立人臉面部模型，定義人臉模型面部骨骼特征點數量；其次，建立骨骼空間結構，在各個特征點之間構建關聯，以配置和表達面部骨骼模型運動特性；最后，根據捕獲到的面部數據特征點名稱建立人臉模型特征點的映射關系，實現對人臉模型骨骼特征點的驅動，從而實現演員面部表情數據驅動虛擬角色面部運動并呈現表演效果。上述過程中的人臉模型在軟件默認的工作情況下采用 3DS格式保存，該格式不支持 MotionBuilder對其直接讀入和使用。因此，使用 3DMax軟件將面部模型進行轉換，將其輸出為網格格式，以支持使用 MotionBuilder進行三維數據表達，從而構建了 3DMax和 MotionBuilder之間的兼容渠道。選擇帶有面部表情節點的三維面部模型，根據重建后特征點的位置關系，將特征點與模型的面部表情節點進行映射。根據特征點的映射區域關系，分別建立眼眉、眉角、鼻翼、嘴角、上唇、下唇、眼睛等模型表情節點與數據源間的映射關系，映射關系建立完成后，觸發重定向事件，達成數據源成功驅動三維面部模型。通過不同視圖，展現出面部模型的正面與側面[16]，如圖3-2所示。/47 基于移動智能終端的聽障兒童言語康復訓練系統說明書

圖3-2三維頭像基本模型

采用面部表情捕捉系統對面部表情進行捕捉，該系統由成像模塊，標定套件、處理軟件、標志套件等組成。通過紅外相機完成對面部關鍵點運動進行捕獲與跟蹤，追蹤精度可達0.1毫米以下，可實時模擬出人臉表情運動。

采集前，需要對紅外相機進行相機光學標記，對6個相機的坐標系進行統一，確保數據采集的精準性。外參完成對坐標系的統一，相機內參與二維點坐標計算面部特征點進行三維信息確定。相機標定的目的是為了求出相機的內參和外參。其中，內參包括內參矩陣與畸變系數，外參包括平移向量與旋轉向量。利用相機參數，建立世界坐標系到圖像像素坐標系之間的轉換關系，實現了像素點從二維平面到三維空間中的相互轉換，如圖3-3所示。

圖3-3三維運動捕捉系統

根據模型與重構后特征點之間的映射關系，觸發綁定事件，驅動三維面部模型。在利用面部表情捕捉系統進行面部表情采集時，采集者面部需粘貼23個感光標示點（圖3-4所示），頭部4個用于固定頭部相對位置，23個感光標示點可/47 基于移動智能終端的聽障兒童言語康復訓練系統說明書

捕獲正常人在發音時的面部表情，如唇部、兩腮、嘴角等部位。通過特征點的運動驅動三維面部模型，與此同時利用攝像機進行音頻采集。采集的數據文件以XML文件的形式進行保存（如圖3-5所示），XML文件具有半結構化的特點，具有便捷快速性，可以通過節點找尋所需文件。

將捕獲到面部標識點的三維數據保存至XML文件中。上述用于記錄和呈現面部表情捕捉數據的 XML文件內容項包括：

（a）數據幀采集時間戳節點（數據項的標簽名為），其用于保存獲取該幀數據的時間信息；

（b）頭部位置標定數據節點（數據項的標簽名為），對應感光表示點的個數標簽名分別為、、和，其用于表示目標對象的頭部空間位置；

（c）面部骨骼節點的空間位置坐標（數據項的標簽名為