Just Friendly Page Not Found

No Problem! This Page Don't Exist

Don't Worry If Your Requested Page Not Found We Have 10000's of Page to compensate Just Go To HomePage



吳老師教學部落格: 21 二月 2016

2016年2月26日 星期五

公訓處Big Data加值應用課程分享

公訓處Big Data加值應用課程分享

台北市公訓處之邀,在一天六小時裡來談Big Data加值應用
因為時間短,所以能講得並不可能太深入,
時間不多,所以應用的方式,
就以大家比較熟悉的 EXCEL環境配合函數與VBA做加值應用,
處理大數據的應用能力已經漸漸變為平時工作的一部分,
如果不能適時地升級自己的專業技能,
用人工處理將無法處理這些大數據,
因此學習快速處理的自動化技巧,將成為辦公室應用的趨勢

參考資料
翟本喬大數據的理念與應用 2015.03.02
https://www.youtube.com/watch?v=OQQO08EX6TM(49:29)
結論:
真正的價值,是在後面怎麼寫出程式來分析這些數據

課程理念
根據維基百科:
大數據(英語:Big data或Megadata),或稱巨量資料、海量資料、大資料
指的是所涉及的資料量規模巨大到無法透過人工,在合理時間內達到擷取、管理、處理、並整理成為人類所能解讀的形式的資訊。
可用來察覺商業趨勢、判定研究品質、避免疾病擴散、打擊犯罪或測定即時交通路況等;這樣的用途正是大型資料集盛行的原因

維基百科定義
在一份2001年的研究與相關的演講中,麥塔集團(META Group,現為高德納)分析員道格·萊尼(Doug Laney)指出資料增長的挑戰和機遇有三個方向:
量(Volume,資料大小)
速(Velocity,資料輸入輸出的速度)
多變(Variety,多樣性),合稱「3V」或「3Vs」
另外,有機構在3V之外定義第4個V:真實性(Veracity)
大數據必須藉由計算機對資料進行統計、比對、解析方能得出客觀結果。
美國在2012年就開始著手大數據,歐巴馬更在同年投入2億美金在大數據的開發中,更強調大數據會是之後的未來石油。

何謂巨量資料 
Big Data資料特徵與趨勢
應用範例
RFID、感測裝置網路、天文學、大氣學、交通運輸、基因組學、生物學、大社會資料分析、網際網路檔案處理
製作網際網路搜尋引擎索引、通信記錄明細、軍事偵查、社群網路、通勤時間預測、醫療記錄、相片圖像和影像封存、電子商務等。
政府以巨量資料打擊與預防犯罪,強化國安
槓桿社群與公開性資料提升預測準確性

巨量資料應用的成功案例
Google – 流感趨勢預測
Google發現,某些搜尋關鍵字有助於追蹤流感疫情發展,彙總搜尋資料,提供近乎即時的全球流感疫情趨勢預測
Google曾在美國的九個地區做了測試,發現此技術比聯邦疾病控制和預防中心提前7到14天準確預測了流感爆發
阿里巴巴將消費者數據轉化為企業獲利,小額貸款無需抵押和擔保,直接實現了網路數據的價值。截至2013年,阿里小貸累計獲貸客戶數64.2萬家,累計放款1,722億元人民幣
電視新聞與巨量資料結合,2014年春運(36億人次),百度利用巨量分析觀察大陸過年時人類的遷移行為,並以易懂的視覺化呈現在人們眼前

注意
巨量資料5大觀念,挖出潛在新商機
資料數量要夠大、夠多,量比質更重要
找出「相關性」,而非因果關係
地理位置、情緒貼文、社群圖譜、看似無用的散漫紀錄,都是有用的
只要有巨量資料思惟,小公司也能靠創新的點子致勝
要小心資料獨裁,不要被巨量資料掌控
駕馭資料,發揮創意,做對關鍵決策,達成智能管理
出處:《大數據》牛津大學教授 麥爾荀伯格

Big Data海量資料的分析概說:
Big Data資料加值應用與相關範例
如何取得Big Data的方式?
 開放資料範例
  內政部實價登錄YAHOO股市資料
GOOGLE表單
  範例:GOOGLE試算表複選結果資料切割
如何處理與統計分析Big Data?
 EXCLE統計函數
  範例:黑名單篩選樂透彩中獎機率
樞紐分析表
  範例:銷貨系統分析
開放資料加值應用實例
  範例:實價登錄用EXCEL一鍵批次下載股市資料
 EXCLE VBA(與R語言比較)
 PowerPivot增益集
  海量資料的分析工具-PowerPivot實作演練
  視覺化數位儀表與報表–PowerView資料地圖實作

與大數據課程的經驗
超過20年的程式設計教學經驗(VBA、VB.NET、ASP.NET、JAVA、ANDROID、PHP等)
台北市公務人員訓練處:Big Data資料加值應用
新北市勞工大學:EXCEL VBA大數據自動化進階
東吳大學進修推廣部:EXCEL VBA 與資料庫雲端設計(初階與進階)
自強工業基金會:從Excel函數到VBA雲端巨量資料庫應用班

多年的實務與教學經驗所累積的課程範例,最短時間學會處理大數據,
以提高效率,正確決策。

預覽:


教學影音:


其他相關學習:

    教學論壇:
    https://groups.google.com/forum/#!forum/scu_excel_vba2_83

    與前幾期的課程雖然用的是相同的範例,但最大的不同在:
    1.除了解說建函數公式,並將之轉成自訂函數,把複雜的公式變簡單。
    2.如何將複雜的公式變成簡單的按鈕,按下按鈕就自動完成工作。

    內容主要分成:
    1.常用函數
    2.進階函數應用
    3.從函數到VBA設計
    4.如何自訂函數
    5.VBA程式設計入門
    6.如何錄製巨集與修改
    7.如何將大量資料轉存到資料庫
    8.如何讀取資料庫資料
    詳細目錄:http://goo.gl/eQptxx

    有講義與範例和完成的畫面公式與程式碼,
    只要按照每周的順序學習,學會EXCEL VBA自動化絕非難事,
    優點:
    1.可非線性學習:可按照自己最不熟的部分多次學習。
    2.可反覆學習:有疑問可以多次聽講,保證學的會。
    3.可攜帶學習:只要有瀏覽器就可以播放SWF檔,MAC電腦也沒問題。

    上課參考用書:
    看!就是比你早下班-50個ExcelVBA高手問題解決法
    作者:楊玉文  出版社:松崗
    出版日期:2011年02月15日  定價:550元

    課程理念:
    1.以循序漸進的方式, 透過詳細的說明和實用的Excel VBA範例, 逐步了解整個 VBA 的架構與輪廓,進而學習 VBA 變數、函式及邏輯的觀念, 即使沒有任何程式設計基礎, 也能自己親手撰寫 VBA 程序來提昇工作效率, 晉身職場 Excel 高手! 2.進而解說EXCEL與資料庫的結合,將EXCEL當成資料庫來使用,結合函數、VBA等更深入的功能,讓資料處理和分析的應用更上層樓。 3.將結合GOOGLE雲端試算表,教您如何將EXCEL函數雲端化與網路化。

    更多EXCEL VBA連結:
    01_EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
    02_EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524

    吳老師  105/2/15

    台北市公務人員訓練處,big data應用,big data定義,big data是什麼,大數據分析教學,excel數據分析,excel數據圖表,大數據應用實例,大數據應用案例,開放資料應用,open data應用


    Just Friendly Page Not Found

    No Problem! This Page Don't Exist

    Don't Worry If Your Requested Page Not Found We Have 10000's of Page to compensate Just Go To HomePage