第一篇:數據挖掘中易犯的十大錯誤
0.缺乏數據(Lack Data)
1.太關注訓練(Focus on Training)
2.只依賴一項技術(Rely on One Technique)
3.提錯了問題(Ask the Wrong Question)
4.只靠數據來說話(Listen(only)to the Data)
5.使用了未來的信息(Accept Leaks from the Future)
6.拋棄了不該忽略的案例(Discount Pesky Cases)
7.輕信預測(Extrapolate)
8.試圖回答所有問題(Answer Every Inquiry)
9.隨便地進行抽樣(Sample Casually)
10.太相信最佳模型(Believe the Best Model)
咦,11項錯誤了喔!呵呵!詳情如下:
0.缺乏數據(Lack Data)
對于分類問題或預估問題來說,常常缺乏準確標注的案例。
例如:
-欺詐偵測(Fraud Detection):在上百萬的交易中,可能只有屈指可數的欺詐交易,還有很多的欺詐交易沒有被正確標注出來,這就需要在建模前花費大量人力來修正。
-信用評分(Credit Scoring):需要對潛在的高風險客戶進行長期跟蹤(比如兩年),從而積累足夠的評分樣本。
1.太關注訓練(Focus on Training)
IDMer:就象體育訓練中越來越注重實戰訓練,因為單純的封閉式訓練常常會訓練時狀態神勇,比賽時一塌糊涂。
實際上,只有樣本外數據上的模型評分結果才真正有用!(否則的話,直接用參照表好了!)
例如:
-癌癥檢測(Cancer detection):MD Anderson的醫生和研究人員(1993)使用神經網絡來進行癌癥檢測,驚奇地發現,訓練時間越長(從幾天延長至數周),對訓練集的性能改善非常輕微,但在測試集上的性能卻明顯下降。
-機器學習或計算機科學研究者常常試圖讓模型在已知數據上表現最優,這樣做的結果通常會導致過度擬合(overfit)。
解決方法:
解決這個問題的典型方法是重抽樣(Re-Sampling)。重抽樣技術包括:bootstrap、cross-validation、jackknife、leave-one-out...等等。
2.只依賴一項技術(Rely on One Technique)
IDMer:這個錯誤和第10種錯誤有相通之處,請同時參照其解決方法。沒有對比也就沒有所謂的好壞,辯證法的思想在此體現無遺。
“當小孩子手拿一把錘子時,整個世界看起來就是一枚釘子。”要想讓工作盡善盡美,就需要一套完整的工具箱。
不要簡單地信賴你用單個方法分析的結果,至少要和傳統方法(比如線性回歸或線性判別分析)做個比較。
研究結果:按照《神經網絡》期刊的統計,在過去3年來,只有1/6的文章中做到了上述兩點。也就是說,在獨立于訓練樣本之外的測試集上進行了開集測試,并與其它廣泛采用的方法進行了對比。
解決方法:
使用一系列好的工具和方法。(每種工具或方法可能最多帶來5%~10%的改進)。
3.提錯了問題(Ask the Wrong Question)
IDMer:一般在分類算法中都會給出分類精度作為衡量模型好壞的標準,但在實際項目中我們卻幾乎不看這個指標。為什么?因為那不是我們關注的目標。a)項目的目標:一定要鎖定正確的目標
例如:
欺詐偵測(關注的是正例!)(Shannon實驗室在國際長途電話上的分析):不要試圖在一般的通話中把欺詐和非欺詐行為分類出來,重點應放在如何描述正常通話的特征,然后據此發現異常通話行為。
b)模型的目標:讓計算機去做你希望它做的事
大多數研究人員會沉迷于模型的收斂性來盡量降低誤差,這樣讓他們可以獲得數學上的美感。但更應該讓計算機做的事情應該是如何改善業務,而不是僅僅側重模型計算上的精度。
4.只靠數據來說話(Listen(only)to the Data)
IDMer:“讓數據說話”沒有錯,關鍵是還要記得另一句話:兼聽則明,偏聽則暗!如果數據+工具就可以解決問題的話,還要人做什么呢?
4a.投機取巧的數據:數據本身只能幫助分析人員找到什么是顯著的結果,但它并不能告訴你結果是對還是錯。
4b.經過設計的實驗:某些實驗設計中摻雜了人為的成分,這樣的實驗結果也常常不可信。
5.使用了未來的信息(Accept Leaks from the Future)
IDMer:看似不可能,卻是實際中很容易犯的錯誤,特別是你面對成千上萬個變量的時候。認真、仔細、有條理是數據挖掘人員的基本要求。
預報(Forecast)示例:預報芝加哥銀行在某天的利率,使用神經網絡建模,模型的準確率達到95%。但在模型中卻使用了該天的利率作為輸入變量。金融業中的預報示例:使用3日的移動平均來預報,但卻把移動平均的中點設在今天。
解決方法:
要仔細查看那些讓結果表現得異常好的變量,這些變量有可能是不應該使用,或者不應該直接使用的。
給數據加上時間戳,避免被誤用。
6.拋棄了不該忽略的案例(Discount Pesky Cases)
IDMer:到底是“寧為雞頭,不為鳳尾”,還是“大隱隱于市,小隱隱于野”?不同的人生態度可以有同樣精彩的人生,不同的數據也可能蘊含同樣重要的價值。異常值可能會導致錯誤的結果(比如價格中的小數點標錯了),但也可能是問題的答案(比如臭氧洞)。所以需要仔細檢查這些異常。
研究中最讓激動的話語不是“啊哈!”,而是“這就有點奇怪了??”
數據中的不一致性有可能會是解決問題的線索,深挖下去也許可以解決一個大的業務問題。
例如:
在直郵營銷中,在對家庭地址的合并和清洗過程中發現的數據不一致,反而可能是新的營銷機會。
解決方法:
可視化可以幫助你分析大量的假設是否成立。
7.輕信預測(Extrapolate)
IDMer:依然是辯證法中的觀點,事物都是不斷發展變化的。
人們常常在經驗不多的時候輕易得出一些結論。
即便發現了一些反例,人們也不太愿意放棄原先的想法。
維度咒語:在低維度上的直覺,放在高維度空間中,常常是毫無意義的。解決方法:
進化論。沒有正確的結論,只有越來越準確的結論。
8.試圖回答所有問題(Answer Every Inquiry)
IDMer:有點像我爬山時鼓勵自己的一句話“我不知道什么時候能登上山峰,但我知道爬一步就離終點近一步。”
“不知道”是一種有意義的模型結果。
模型也許無法100%準確回答問題,但至少可以幫我們估計出現某種結果的可能性。
9.隨便地進行抽樣(Sample Casually)
9a 降低抽樣水平。例如,MD直郵公司進行響應預測分析,但發現數據集中的不響應客戶占比太高(總共一百萬直郵客戶,其中超過99%的人未對營銷做出響應)。于是建模人員做了如下抽樣:把所有響應者放入樣本集,然后在所有不響應者中進行系統抽樣,即每隔10人抽一個放入樣本集,直到樣本集達到10萬人。但模型居然得出如下規則:凡是居住在Ketchikan、Wrangell和Ward Cove Alaska的人都會響應營銷。這顯然是有問題的結論。(問題就出在這種抽樣方法上,因為原始數據集已經按照郵政編碼排序,上面這三個地區中不響應者未能被抽取到樣本集中,故此得出了這種結論)。
解決方法:“喝前搖一搖!”先打亂原始數據集中的順序,從而保證抽樣的隨機性。
9b 提高抽樣水平。例如,在信用評分中,因為違約客戶的占比一般都非常低,所以在建模時常常會人為調高違約客戶的占比(比如把這些違約客戶的權重提高5倍)。建模中發現,隨著模型越來越復雜,判別違約客戶的準確率也越來越高,但對正常客戶的誤判率也隨之升高。(問題出在數據集的劃分上。在把原始數據集劃分為訓練集和測試集時,原始數據集中違約客戶的權重已經被提高過了)解決方法:先進行數據集劃分,然后再提高訓練集中違約客戶的權重。
10.太相信最佳模型(Believe the Best Model)
IDMer:還是那句老話-“沒有最好,只有更好!”
可解釋性并不一定總是必要的。看起來并不完全正確或者可以解釋的模型,有時也會有用。
“最佳”模型中使用的一些變量,會分散人們太多的注意力。(不可解釋性有時也是一個優點)
一般來說,很多變量看起來彼此都很相似,而最佳模型的結構看上去也千差萬別,無跡可循。但需注意的是,結構上相似并不意味著功能上也相似。
解決方法:把多個模型集裝起來可能會帶來更好更穩定的結果。
原文標題為“Top 10 Data Mining Mistakes”,作者是John F.Elder IV, Ph.D.編譯:IDMer(數據挖掘者)
第二篇:數據分析過程中易犯的錯誤
數據分析過程中易犯的錯誤
家在數據分析過程中老是很容易犯一些錯誤:
1、沒有明確分析數據的目的咱們要分析一個數據,首先要明確自己的目的,為什么要收集和分析這樣一份數據,也是只有明確了目的之后,才能夠把握好接下來應該收集哪些數據,應該怎么收集數據,應該分析哪些數據等。
2、沒有合理安排時間
數據分析要合理安排時間,一般我們有幾個步驟,收集數據>>整理數據>>分析數據>>美化表格,在做這些之前,我們要預估一下每一個步驟需要花多少時間,哪一步比較重要,需要花更多的時間等,這些都要在開始收集數據前就計劃好,然后在操作的過程中在規定的時間里完成每一個步驟。
3、重收集輕分析
不少項目就犯了這樣的一個錯誤,做任務的時間為3個月,卻用了兩個多月來收集數據,最后基本沒有時間去分析,緊趕慢趕最后交上來一份沒有怎么分析的數據。數據分析重點應該在于分析,應該以最快的速度收集完數據,才有更多的時間整理和分析,最后經過分析的數據才是最有價值的。
4、收集數據太多,導致無法整理及分析
在我們開始收集數據的時候,容易看到什么內容比較符合的就都收集下來,這樣的情況是數據越來越多,表格里文檔里的內容越來越多,到最后一看,自己都暈了!其實我們在收集數據的時候也要有一個標
準,什么樣的數據是我們需要的,什么數據是不符合條件的,作一個初步的判斷,這樣就可以減少后面整理的更多工作量了。
5、不懂得分析哪些數據
收集了數據后卻不知道要分析哪些項目,哪些數據點才能體現出分析的目的。其實這也是前面說的目的不明確造成的,不清楚為什么要收集這份數據,這份數據是用來做什么用的,那就不會有一個評判標準,就沒有辦法找到數據的要點。比如我們要分析崗位績效排名后三位的作業崗位或作業人員,那就要知道什么樣的崗位績效是最好的,最好崗位績效應該具備什么條件,把這些條件列出來,然后根據條件去收集數據,最后所有數據綜合加權最差的三位就是最終分析結論。
6、表格不美觀,結論不清晰
咱們做數據分析一般使用的是excel表格記錄,一份美觀清晰的表格不僅使我們可以清楚的看到這份數據的重點,方便查到所想要的數據,我們在收集數據的過程中,也可以提高我們收集和分析數據的效率。Excel還不熟練的朋友,建議找些教程,然后多練習,最后得到一份漂亮的數據,自己看著舒服,工作的延續性將得到提高。
7、不能堅持
數據收集和分析是一件非常悶的工作,不管是收集還是分析,海量的數據里,經常會讓人摸不著頭緒,數據越多,整理分析起來越麻煩,也越容易讓人煩燥,堅持不了的就會半途而廢。所以,做好以上6點,也就是明確目標、合理安排時間、把握重點、懂得取舍數據、制作精美表格,都可以讓你更輕松的完成數據的收集和分析。
第三篇:01 中國父母易犯的十大錯誤
中國父母易犯的十大錯誤
1.讓他人帶孩子,不自己親自照顧
很多中國父母以為孩子只要身邊有人看著,沒有生命危險就好。其實從出生開始,孩子就需要和別人交流。不會說話也可以交流。肌膚的接觸,擁抱,關注的眼光,和他說話。孩子需要不斷的交流,會變得比較聰明,對愛有安全感。我們很多家庭的孩子,是在沒有關注的環境下長大。腦子會變得怪異呆滯。然后永遠缺乏愛的安全感。終生追求那童年,嬰兒時期失去卻永遠追不回的愛。
2.把孩子當炫耀比較的對象
中國人一方面愛面子,一方面想鼓勵孩子上進。常常說,你看人家孩子多用功,成績多好。人家又得了什么獎。這種比較最要不得。況且常常是當著很多人的面說。說難聽點,孩子考試考不好只怪你基因太差。人受到基因影響太多了,包括智力,個性種種等等,并不是孩子不愿意做好。你每一次把孩子和別人比,只帶給他多一份不滿和痛苦。對于事情沒有什么幫助。
這種比較和競爭的心里,也導致中國人團體比較無法和諧合作做事。喜歡互斗。對于能力強的人不是佩服,而是嫉妒,要拉他下來。學校的老師更是火上加油。整個家長和老師的教育觀念需要加速修正。否則中國人的團隊合作永遠不如人。
3.不尊重孩子的隱私和權利
很多父母抱著傳統的觀念,把父母擺在權威的角色。認為子女是屬于父母的。這種不把孩子當一個擁有完整權利個體的錯誤觀念,導致個人和社會的很多不良的后果。父母進入子女房間應該先敲門。移動或用孩子的東西應該得到他的允許。任何牽涉到子女的決定應該先和子女商談。不要隨意翻看子女的日記或隱私。應該尊重孩子的所有權利,把他當一個成人一樣尊重。這個尊重是從出生換尿片開始。換
尿片前,先和顏悅色告訴他要換尿片了,向他道歉,請他忍耐一下。這種尊重的精神是我們社會所缺乏的。導致社會缺乏服務和尊重的觀念。不被尊重的人以后也不知道尊重別人。
4.把孩子塑造成自己想要的方向
很多父母把自己一生的遺憾寄托在孩子身上。一直逼孩子往自己以為是正確的路走。即使孩子并不適合,或者不喜歡。譬如學鋼琴。譬如出國。在這種壓力下,家庭變的不快樂。親子的愉快時光成了斗爭大會。犧牲了親子的和諧關系,追求一些莫明其妙,也不見得正確的父母理想。當子女長大回想起童年,盡是不快樂的回憶。的確是些愚蠢父母的作為。
5.把學校成績當成一切表現的指標
中國家長都認為越用功越好。很多父母愚蠢地以為學校的成績代表一切。這個科舉時代遺留的過時觀念,仍舊深存人心。其實事實擺在面前,在學校的成績并不代表一切。反而是全面的能力,活力,毅力,性格,才是影響他們一生的重要因素。
6.認為早起才好,睡覺就是懶惰
成長中孩子需要充分的睡眠。目前全國教育界正在集體剝奪孩子們的睡眠時間。很多孩子6點就起床。每天睡不足8小時。還在推廣早起才健康的錯誤觀念。睡不足會影響發育。腦力會減退。我們的孩子需要充分的睡眠。違法讓孩子在周末學習或晚睡覺的教育人士應該用嚴厲的法律措施來禁止
7.認為孩子不該做家事,該把時間拿來學習
社會學家調查的結果,在家常做家事的孩子將來生活比較幸福。可能是因為處理事情的能力比較強。所以長大以后比較不容易有挫折。或者比較能面對挫折。中
國的父母為了讓孩子學習,剝奪了一切孩子做家事的機會。剝奪了他學習工作,學習分擔責任,學習面對問題的機會。教養出一個個只會解幾題數學(又解不好)的傻孩子。中國父母應該讓子女充分分擔家事。學校應該全面減低作業份量。
8.缺乏幽默感和輕松的一面
或許因為各種壓力,家庭的基本氣氛就是逼孩子學習。什么是家庭生活?什么是親子活動?完全不知道。父母因為生活壓力,失去了幽默感,失去了輕松。一切都是逼,都是趕,都是高考。實在不知道人活著是為什么。親子或夫妻在這種缺乏輕松和幽默感的氣氛下,一個小挫折就會引爆沖突。
9.認為父母的愛是對子女不合理要求的借口
男女之間,愛并不是為一切所欲為的借口。或許因為電視劇演太多了。很多人以為愛就可以當一切的借口。很多父母常對子女說的一句話:我們這樣做,也是因為愛你,為你好啊。想用這句話堵住子女的反駁。這簡直荒謬。要求不合理就是不合理。別把愛扯進來當擋箭牌。父母的要求應該要合理。讓孩子心服口服。
10.認為養孩子是艱苦的義務,不是享受
中國父母,經過傳統的教育,習慣把養育兒女當成艱苦的義務。也因為這個苦,而常常暗示或明示子女要回報,孝順。比較正確的態度是養孩子是一種上天賜予的享受。
第四篇:考試中十大不能犯的錯誤
考試中十大不能犯的錯誤
1、不讀題
2、不檢查
3、不注意調整時間
4、丟題落題
5、有空白(不
會做的不做)
6、閱讀題、作文字數太少
7、作文寫跑題
8、字跡潦草,卷面不整潔
9、缺乏自信,做題慌張
10、心浮氣躁,穩定不住
各種考試題型的應對
一、基礎題
1、字音、字形、字義、詞句要求準確,別出現錯字、錯音、錯詞。
2、要充分利用起字典,一切需要字典的地方都要用;字典版本最好是最新版的《現代漢語詞典》;常用的查字典的方法一定要熟練,如:音序查字法、部首查字法、數筆畫法等。
二、口語交際
1、聯系話題情境
2、內容具體,字數充足
3、注意符合人物的身份,注
意說話的語氣
4、句子通順連貫
5、以理服人或以情感人,視具體情況而定
三、閱讀題
1、認真讀短文
2、審清題目,按要求答題
3、充分利用短文中的有效信
息
4、盡量發揮,內容要具體,切不可草草了事
四、作文(弄懂作文要求,緊扣話題,切不可寫跑題)
1、工整的字跡
2、充足的字數(400字以上)
3、新穎的題目
4、精彩的開頭
5、深刻的結尾
6、通順的語句
7、真摯的感情
8、正確的標點
9、合理的想象
10、適當地運用(平時積累的好詞好句、寫作手法、修辭方法、名人名言、經典語段等)
11、注意應用文的格式及內容(如:書信、演講稿、建議書、調查報告、讀后感等)
五、靈活性的題目(綜合性題目)
沉著冷靜,深入思考;聯系自己在語文學習中的日積月累,把自己平時積累的能量在做題中全部釋放出來;以不變應萬變。
六、聽力題
1、集中注意力聽,走神是做本題最大的敵人。
2、靜下心來聽,不要著急,也不要緊張,聽力題難度不會太大。
3、答題時除結合聽力材料還要聯系生活實際。
4、答題時思路清晰、語句通順、內容充實,有一定的創造性。
考場上的要求1、2、3、4、5、保持鎮定,隨機應變。注意時間,保證檢查(至少15---20分鐘)。萬分仔細,不放過1分。正常發揮,激發潛能,爭取超常發揮。和上學期相比必須要有明顯的進步,把自己的成績發揮到極致,別留下
絲毫的遺憾。
第五篇:網絡招聘廣告中易犯的低級錯誤
網絡招聘廣告中易犯的低級錯誤
今天,要是哪個公司說從未使用過網絡招聘,那真是一件很稀奇的事情。網絡招聘以其快捷、便利、跨區域、成本低等優點迅速占領各單位的主流招聘渠道,已經成為公司網羅人才最重要的前沿陣地。
但是由于受單位HR水平高低和認識問題,同樣的陣地、相同的付出得到的效果卻大不相同。以前,我曾在拙文《網絡招聘,你可以做的更好》一文談過做好網絡招聘的一些辦法,本文試從網絡廣告方面再次論述網絡招聘常見問題和解決辦法。
一、單位名稱隨意更改
有些招聘單位感覺自己單位名稱不夠響亮,便隨意更改單位名稱。表現手法為:要么在單位名稱前加上美國、歐洲、中國字樣,彰顯外資公司或“中字頭”公司形象,要么在單位名稱后邊加上集團公司字樣,突出自己公司是規模大、實力強的大集團。如果你公司法人名稱的確有這些字樣,那倒無可厚非。如果沒有,那不是故意混混淆是非,欺騙求職者嗎?當求職者發現真相時,除了感覺你公司愛慕虛榮、喜歡浮夸外,不會再留下其他更好的印象。因此,當我們在發布招聘廣告時,還是以企業合法的名稱來進行宣傳,不要隨意更改單位名稱。
二、單位介紹夸大其詞
就象個人求職做簡歷一樣,在基于事實的基礎上,把個人優勢、閃光點突出出來可以增加個人競爭力,以獲得面試和錄用的機會。招聘單位為增加對求職者的吸引力,同樣可以在招聘廣告中把單位的行業地位、福利體系、辦公環境、企業文化等恰如其分地展示出來。但是,萬不可弄虛作假,把沒有的說成有,把小的說成大的。這種事情往小了說是商業誠信問題,往大了說是招聘欺詐,為以后的勞動爭議埋下風險地雷。
三、不留單位地址和網址
現如今,網絡招聘在超大級城市象北京、上海、廣州、深圳等非常普及。而對于這些城市的求職者來說,受交通工具、交通狀況等因素影響,單位的位置遠近對他們非常重要。誰也無法長期忍受一天3-4個小時都在上下班的路上奔波,那種辛苦和疲憊足以使人放棄原本不錯的工作機會。可恰恰有那么一些招聘單位,招聘廣告里就是不留單位的辦公地址。這除了增加HR篩選無效簡歷的數量,通知面試時被候選人因地址遠而拒絕外,還能給你帶來什么好處呢?
眾所周知,公司網站是對外宣傳的重要窗口,它的瀏覽量越多越好。而對單位招聘來說,全過程都是在做營銷,是單位對人才最好的展示和宣傳機會。因此,如果招聘單位已經有對外公開的網站,HR不妨把地址留在招聘廣告里,讓求職者更多地了解地你單位的情況,這樣做的好處是既宣傳了公司,又免去了你日后很多的解釋工作。
四、職位名稱定位不清
不知道是為節省職位數,還是真的不清楚自己到底要招聘什么樣的人,不少單位喜歡把多個職位名稱放在一起招聘。比如人力資源總監(經理)、人力資源經理(主管、專員)、銷售經理(主管)等等。如此招聘,除了讓求職者感覺崗位職責、任職資格混亂以外,還會覺得連招聘單位自己都不知道應該招聘總監、經理還是主管,或者隨便來個人都行。單位職位體系混亂無序,工作分工模糊不清也是一覽無余。
因此,不管是出于節省發布職位數,還是其他原因,為了不給求職者留下不好的印象,千萬不要把多個不同級別的職位放在一起招聘。
以上四種看似舉手之勞就能解決的小問題,卻經常出現在ZHAOPIN、51JOB等主流招聘網站中。無一例外,這些錯誤或給招聘單位帶來負面影響,或給招聘工作帶來諸多不便。中國人力資源管理水平參差不齊體現于所有人力資源實踐活動中,正所謂有則改之,無則加勉,讓我們都在不斷提高中進步!