文|蘇痕
很多人不明白學了數據挖掘之後要做什麽,這個問題經常被問到。記得剛學數據挖掘的時候,有個老師說學數據挖掘沒用。以後怎麽找工作?我當時聽了很驚訝,也不知道他為什麽會問這個問題。數據挖掘在國外是非常好的工作。我喜歡數據挖掘,因為它很有趣。我很高興將來能從事這項工作。除了寫論文,還要考慮數據挖掘工程師的職業規劃。
以下是在網上找到的壹些相關資料的介紹,分享給即將走上數據挖掘崗位或者想在這方面發展的朋友們:
數據挖掘從業者的工作分析
1.數據挖掘從業者的願景:
從我的角度來看,數據挖掘有以下幾種就業方式(註:本文所說的數據挖掘不包括數據倉庫或數據庫管理員的角色)。
答:做科研(在高校,科研院所,大企業,主要研究算法和應用等。)
b:算法工程師(在企業做數據挖掘以及相關程序算法的實現等。)
c:數據分析師(在擁有海量數據的企事業單位進行咨詢分析)
2.數據挖掘從業者的切入點:
根據上面的職業方向,談談妳需要掌握的技能。
答:做科研:這裏的科研比較籠統,屬於比較高級的技術層面,需要必要的開發和數據分析的基礎知識。
b:算法工程師:主要是實現數據挖掘的現有算法,開發新的算法,根據實際需要做壹些核心算法的程序開發和實現工作。要扮演好這個角色,妳不僅需要熟悉至少壹門編程語言如(C、C++、Java、Delphi等。)和數據庫的原理與操作,而且對數據挖掘的基礎課程也有壹定的了解,看過韓家偉寫的《數據挖掘的概念與技術》和《人工智能及其應用》。稍微了解之後,如果對程序比較熟悉,時間允許的話,可以找壹些開源的數據挖掘軟件進行研究分析,也可以參考《數據挖掘:實用機器學習技術》、《Java實現》等壹些教程。
c:數據分析師:需要有很深的數理統計基礎,不需要了解人工智能和計算機編程,但需要熟練使用主流的數據挖掘(或統計分析)工具。如果想從這方面切入數據挖掘領域,需要學習數理統計、概率論、統計學習基礎:數據挖掘、推理與預測、金融數據挖掘、商業建模與數據挖掘、數據挖掘實務等。當然,對於妳使用的工具也有相應的說明,比如SAS數據挖掘,SPSS和SAS的分析。
數據挖掘者需要滿足以下基本條件,才能完成數據挖掘項目中的相關任務。
壹.專業技能
本科以上學歷,數據挖掘、統計學、數據庫相關專業,精通關系數據庫技術,有數據庫系統開發經驗;
熟悉常用的數據挖掘算法;
具備數理統計的理論基礎,熟悉常用的統計工具和軟件。
二、行業知識
有相關行業知識,或者很快熟悉相關行業知識。
第三,合作精神
具有良好的團隊精神,能夠主動與項目其他成員緊密合作。
第四,客戶關系能力
具備良好的客戶溝通能力,能夠清晰闡述數據挖掘項目的重點和難點,善於調整客戶對數據挖掘的誤解和過高期望;
具有良好的知識轉移能力,能讓模型維護人員盡快了解和掌握數據挖掘方法論和建模實現能力。
高級功能要求
數據挖掘人員具備以下條件,可以提高數據挖掘項目的實施效率,縮短項目周期。
有數據倉庫項目實施經驗,熟悉數據倉庫技術和方法。
精通SQL語言,包括復雜查詢和性能調優。
熟悉ETL開發工具和技術。
精通微軟辦公軟件,包括Excel和PowerPoint中的各種統計圖形技術。
善於將挖掘結果與客戶的經營管理相結合,根據數據挖掘的結果為客戶提供有價值、可行的運營方案。
動詞 (verb的縮寫)應用和就業領域
目前數據挖掘的應用主要集中在電信(客戶分析)、零售(銷售預測)、農業(行業數據預測)、web日誌(網頁定制)、銀行(客戶欺詐)、電力(客戶來電)、生物(基因)、天體(明星分類)、化工、醫藥等。
目前,它能解決的典型問題有數據庫營銷、客戶細分&;分類、輪廓分析、交叉銷售等市場分析行為,以及客戶變化分析、客戶信用評分、欺詐檢測等,已經成功應用於許多領域。如果妳訪問著名的亞馬遜網上書店,妳會發現當妳選擇壹本書時,會有多個相關的推薦,“買了這本書的顧客也買了”,這就是數據挖掘技術作用的背後。
數據挖掘的對象是某壹專業領域積累的數據;挖掘過程是壹個人機交互和重復的過程。挖掘的成果要應用到本專業。因此,數據挖掘的整個過程都離不開應用領域的專業知識。“業務第壹,技術第二”是數據挖掘的特點。因此,學習數據挖掘並不意味著放棄原有的專業知識和經驗。相反,有其他行業背景是數據挖掘的壹大優勢。如果有銷售、財務、機械、制造、呼叫中心等工作經驗。,可以通過學習數據挖掘提高自己的專業水平,在不改變原來專業的情況下,從原來的事務性角色轉變為分析性角色。從20世紀80年代末出現到90年代末廣泛應用,以數據挖掘為核心的商業智能(BI)已經成為IT等行業的新寵。
重點介紹數據挖掘的幾個職位。
數據采集和分析專家
職位描述:數據采集與分析專員的主要職責是收集公司運營的數據,然後從中挖掘出規律性的信息,指導公司的戰略方向。這個位置經常被忽略,但卻相當重要。因為數據庫技術最早出現在計算機領域,而計算機數據庫具有海量存儲、快速搜索、半自動化分析的特點,所以數據采集與分析專員最早出現在計算機行業,後來隨著計算機應用的普及擴展到各個行業。這個崗位壹般提供給懂數據庫應用,有壹定統計分析能力的人。有計算機專業知識的統計專業人士,或者學過數據挖掘的計算機專業人士都可以勝任這份工作,但最好對所在行業的市場情況有壹定的了解。
求職建議:由於很多公司追求短期利益,不註重長期戰略,所以目前國內很多公司對該職位重視不夠。但是大公司和外企都很重視這個職位,隨著時間的推移,這個職位會升溫。此外,數據采集和分析專員可以很容易地獲得行業經驗,他們可以很容易地掌握行業的關鍵條件,如市場狀況,客戶習慣,渠道分布等等。所以想在某銀行創業,從數據采集分析專員做起是個不錯的選擇。
市場/數據分析師
1.市場數據分析是現代市場營銷科學中不可或缺的關鍵環節:市場營銷/數據分析師工作最多的行業DirectMarketing(直接面向客戶的營銷)自20世紀90年代以來日益成為公司推廣產品的主要手段。
據加拿大營銷協會統計,直銷在1999年創造了47萬個工作崗位。從1999到2000年,就業崗位增加了30000個。為什麽直銷需要這麽多分析師?例如,隨著商業競爭的加劇,公司希望從廣告中獲得最大的銷售回報,他們希望更多的用戶對他們的廣告做出回應。所以他們在投放廣告之前必須做大量的市場分析。
比如根據自己的產品結合目標市場客戶的家庭收入、教育背景、消費趨勢,分析哪些地區的家庭或居民最有可能響應公司的銷售廣告,購買自己的產品或成為客戶,從而使廣告只針對這些特定的客戶群體。這種對市場上的廣告進行有針對性的篩選不僅節省了資金,還提高了銷售回報。然而,所有這些分析都是基於數據庫,通過數據處理、挖掘和建模,其中市場分析師的工作是必不可少的。
2.行業適應性強:幾乎所有行業都會應用數據,所以作為數據/市場分析師,妳不僅可以在中國傳統IT行業就業,還可以在政府、銀行、零售、醫藥、制造、交通等領域服務。
算法工程師
應該說,目前算法工程師基本集中在中大型企業,因為小公司很少用算法解決問題,如果這家公司從事數據相關行業。算法的壹般應用場景是推薦、廣告、搜索等等,所以在廣告和個性化推薦領域有很多同行。常見的要求是會JAVA/PYTHON/R中的壹種,會常規回歸、隨機森林、決策樹、GBDT等算法,最好有行業背景。如果是深度學習方向,可能對圖論、人像識別等要求更高。
求職建議:背景稍微好壹點,然後了解壹些基本的算法,能說清楚區別和優缺點,包括壹些常見的應用場景。算法工程師對於公司來說是非常重要的資產,尤其是那些使用機器學習的公司,比如BAT。
現狀與展望
數據挖掘是適應信息社會需求,從海量數據庫中提取信息的壹門新興學科。它是統計學、機器學習、數據庫、模式識別、人工智能等學科的交叉。國內重點大學都開設了數據挖掘課程或研究課題。比較著名的有中科院計算所、復旦大學、清華大學。此外,政府機構和大型企業也開始關註這壹領域。
根據IDC對歐洲和北美62家采用了商業智能技術的企業的調查分析,發現這些企業三年的平均投資回報率為401%,其中25%的企業投資回報率超過600%。調查結果還顯示,如果壹個企業想要在復雜的環境中取得成功,高層管理者必須能夠掌控極其復雜的業務結構,如果沒有詳細的事實和數據支持,這是非常困難的。因此,隨著數據挖掘技術的不斷完善和成熟,它將被更多的用戶所采用,並使更多的管理者獲得更多的商業智能。
根據IDC(國際數據公司)的預測,預計2004年BI行業的市場規模為6543.8+04億美元。現在,隨著中國加入世貿組織,中國將在許多領域逐步對外開放,如金融和保險,這意味著許多企業將面臨來自大型國際跨國公司的巨大競爭壓力。國外發達國家各種企業采用的商業智能水平已經遠遠超過中國。美國帕洛阿爾托管理集團公司1999調查了歐洲、北美和日本的375家大中型企業對商業智能技術的采用情況。結果顯示,商業智能技術在金融領域的應用水平已經達到或接近70%,在營銷領域達到或接近50%,未來三年,該技術在所有應用領域的采用水平將提高50%左右。
現在很多企業都將數據視為寶貴的財富,利用商業智能發現其中隱藏的信息,從而獲得巨大的回報。目前國內還沒有關於數據挖掘行業本身的官方市場統計分析報告,但是國內數據挖掘在各個行業都有研究。據國外專家預測,在未來5-10年,隨著數據的日益積累和計算機的廣泛應用,數據挖掘將成為中國的壹個產業。
眾所周知,IT就業市場的競爭已經相當激烈,數據處理的核心技術——數據挖掘受到了前所未有的重視。數據挖掘和商業智能技術位於整個企業IT-業務結構的金字塔頂端。目前,我國數據挖掘專業的人才培養體系並不完善,人才市場上精通數據挖掘技術和商業智能的供給極小。另壹方面,企業、政府機關、科研單位對此類人才的潛在需求巨大,供需缺口巨大。如果妳能把數據挖掘技術和妳現有的專業知識結合起來,妳壹定會開辟出妳職業生涯的壹片新天地!
專業工資
目前,和大多數IT崗位壹樣,國內對數據挖掘人才的需求是低端飽和,高端稀缺。從BAT的招聘情況來看,數據挖掘領域的門檻相對較高,但薪酬福利相對較好。比如騰訊、阿裏會給20W+的年薪。有實力的資深算法專家年薪百萬也是常有的事,所以算法裏的每個人還是有可能的。另外,隨著金融越來越互聯網化,大量的算法工程師將成為未來互聯網金融公司的緊缺人才。
大家* * *鼓勵!
來自知乎。
以上是邊肖為大家分享的內容。學完數據挖掘可以做什麽?更多信息可以關註環球常春藤分享更多幹貨。