導(dǎo)讀：騰訊作為國內(nèi)體量**大的互聯(lián)網(wǎng)公司之一，業(yè)務(wù)涵蓋用戶日常生活的方方面面，面對(duì)如此巨大業(yè)務(wù)數(shù)據(jù)量，如果不能對(duì)數(shù)據(jù)進(jìn)行專業(yè)化處理并高效有序地存、管、用，如果不能使數(shù)據(jù)產(chǎn)生應(yīng)有的價(jià)值，那么數(shù)據(jù)資產(chǎn)將會(huì)成為數(shù)據(jù)垃圾，成為社會(huì)和企業(yè)的負(fù)擔(dān)。大數(shù)據(jù)平臺(tái)作為騰訊底層的基礎(chǔ)設(shè)施之一，每天必須處理千萬級(jí)規(guī)模的離線數(shù)據(jù)任務(wù)及十萬億級(jí)別的實(shí)時(shí)計(jì)算，否則無法滿足業(yè)務(wù)每天數(shù)以億計(jì)的數(shù)據(jù)分析計(jì)算的需求。本文主要介紹騰訊大數(shù)據(jù)的構(gòu)建理念和總體架構(gòu)。01騰訊大數(shù)據(jù)的構(gòu)建理念項(xiàng)目立項(xiàng)的時(shí)候我們?cè)羞^激烈討論，是自主研發(fā)還是使用開源，“Tobe,ornottobe:thatisthequestion”。當(dāng)時(shí)業(yè)務(wù)需求比較迫切，2009年上半年，QQ空間引入了“開心農(nóng)場”業(yè)務(wù)，開啟了瘋狂增長的模式，業(yè)務(wù)部門的同事看著幾乎是垂直的增長曲線笑逐顏開，我們看著曲線卻笑不出來。如何能快速構(gòu)建全新的數(shù)據(jù)倉庫，滿足業(yè)務(wù)快速增長的計(jì)算需求，我們?cè)谂ふ掖鸢?。?008～2009年，開源在國內(nèi)還沒大行其道，很多程序員都有一種偏見，覺得使用開源都是沒什么技術(shù)含量的。幾乎所有的程序員心里都有一個(gè)夢(mèng)想和追求，希望能自己實(shí)現(xiàn)一套前列的系統(tǒng)，從而在中國乃至世界的軟件行業(yè)揚(yáng)名立萬。數(shù)據(jù)采集可以幫助企業(yè)進(jìn)行預(yù)測和預(yù)測，準(zhǔn)確預(yù)測市場需求和趨勢(shì)，以便做出更明智的決策。鎮(zhèn)江光學(xué)數(shù)據(jù)采集單價(jià)
如果這個(gè)年輕的父親在賣場只能買到兩件商品之一，則他很有可能會(huì)放棄購物而到另一家商店，直到可以一次同時(shí)買到啤酒與尿布為止。沃爾瑪發(fā)現(xiàn)了這一獨(dú)特的現(xiàn)象，開始在賣場嘗試將啤酒與尿布擺放在相同的區(qū)域，讓年輕的父親可以同時(shí)找到這兩件商品，并很快地完成購物；而沃爾瑪超市也可以讓這些客戶一次購買兩件商品、而不是一件，從而獲得了很好的商品銷售收入，這就是“啤酒與尿布”故事的由來。[7]當(dāng)然“啤酒與尿布”的故事必須具有技術(shù)方面的支持。1993年美國學(xué)者Agrawal提出通過分析購物籃中的商品**，從而找出商品之間關(guān)聯(lián)關(guān)系的關(guān)聯(lián)算法，并根據(jù)商品之間的關(guān)系，找出客戶的購買行為。艾格拉沃從數(shù)學(xué)及計(jì)算機(jī)算法角度提出了商品關(guān)聯(lián)關(guān)系的計(jì)算方法——Aprior算法。沃爾瑪從上個(gè)世紀(jì)90年代嘗試將Aprior算法引入到POS機(jī)數(shù)據(jù)分析中，并獲得了成功，于是產(chǎn)生了“啤酒與尿布”的故事。[7]2、Suncorp-Metway使用數(shù)據(jù)分析實(shí)現(xiàn)智慧營銷Suncorp-Metway是澳大利亞一家提供普通保險(xiǎn)、銀行業(yè)、壽險(xiǎn)和理財(cái)服務(wù)的多元化金融服務(wù)集團(tuán),旗下?lián)碛?個(gè)業(yè)務(wù)部門，管理著14類商品，由公司及共享服務(wù)部門提供支持,其在澳大利亞和新西蘭的運(yùn)營業(yè)務(wù)與900多萬名客戶有合作關(guān)系。嘉興數(shù)據(jù)數(shù)據(jù)采集訂制價(jià)格數(shù)據(jù)采集需要進(jìn)行數(shù)據(jù)清洗和處理，以確保數(shù)據(jù)的準(zhǔn)確性和可靠性。
然后將采集得到的數(shù)據(jù)，通過實(shí)時(shí)或者批量的方式，向后進(jìn)行傳輸；對(duì)于這些傳輸過來的數(shù)據(jù)，選擇合適的數(shù)據(jù)模型進(jìn)行ETL和建模，并且根據(jù)后續(xù)的應(yīng)用選擇合適的存儲(chǔ)方案；在數(shù)據(jù)完成建模并且存儲(chǔ)下來之后，就可以對(duì)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)、分析和挖掘等數(shù)據(jù)應(yīng)用；而這些數(shù)據(jù)應(yīng)用的結(jié)果，一方面，可以通過數(shù)據(jù)可視化的方式，直接展現(xiàn)，并幫助我們做出各種產(chǎn)品、運(yùn)營和商業(yè)等方面的決策；另一方面，這些數(shù)據(jù)應(yīng)用的結(jié)果，也可以直接反饋給產(chǎn)品，以類似于「猜你喜歡」的產(chǎn)品形態(tài)，直接作用在產(chǎn)品上。很顯然，在一個(gè)典型的數(shù)據(jù)應(yīng)用上，數(shù)據(jù)采集是***個(gè)環(huán)節(jié)，是源頭，是一切數(shù)據(jù)應(yīng)用的起點(diǎn)。如果數(shù)據(jù)采集沒有做好，影響了整體的數(shù)據(jù)質(zhì)量，那么，在后面環(huán)節(jié)再想進(jìn)行彌補(bǔ)，其代價(jià)會(huì)很大，效果也會(huì)大打折扣。**終的數(shù)據(jù)應(yīng)用，以及基于應(yīng)用得到的決策與反饋的質(zhì)量也必然會(huì)受到影響。從這個(gè)意義上來講，無論我們?nèi)绾螐?qiáng)調(diào)數(shù)據(jù)采集的重要性，也都不為過。正是因?yàn)槲覀円庾R(shí)到了數(shù)據(jù)采集的重要性，神策數(shù)據(jù)的愿景隨之誕生，即“幫助中國三千萬企業(yè)重構(gòu)數(shù)據(jù)根基，實(shí)現(xiàn)數(shù)字化經(jīng)營”，希望通過我們的努力，能夠幫助我們的客戶和合作伙伴更好、更***地采集數(shù)據(jù)，從而**大化地發(fā)揮數(shù)據(jù)的價(jià)值。
但是盤點(diǎn)了業(yè)務(wù)的需求以及對(duì)比了那時(shí)候團(tuán)隊(duì)能力和所能調(diào)配的人力之后，我們發(fā)現(xiàn)實(shí)現(xiàn)這么一套系統(tǒng)，無異于登天。完全自主研發(fā)新一代的數(shù)據(jù)倉庫是難以攀爬的珠峰。此路不通，只能改走開源路線。其實(shí)開源有很多好處，它有著豐富的社區(qū)資源和社區(qū)生態(tài)，有著龐大的各路代碼貢獻(xiàn)者，使用開源的系統(tǒng)，相當(dāng)于利用了全世界的資源，利用了全世界的程序員的智慧。使用開源項(xiàng)目，能快速搭建適應(yīng)業(yè)務(wù)需求的平臺(tái)。但開源對(duì)于我們來說也并不容易。首先，技術(shù)棧不一樣，我們?cè)瓉硎荂/C++技術(shù)棧，是做計(jì)費(fèi)系統(tǒng)的，而大數(shù)據(jù)開源基本以Java為主，需要從頭去學(xué)，幸好語言的差異并不是很難克服，我們邊學(xué)習(xí)邊招聘有大數(shù)據(jù)經(jīng)驗(yàn)的開發(fā)者，慢慢地做了起來；另外，大數(shù)據(jù)生態(tài)是很龐大的，每一個(gè)項(xiàng)目都不足以達(dá)到企業(yè)級(jí)的需求，每一個(gè)項(xiàng)目都要進(jìn)行大量的優(yōu)化，才能符合我們可用性方面的需求。從**初的蹣跚學(xué)步到現(xiàn)在，騰訊大數(shù)據(jù)走過了十余年，歷經(jīng)三代技術(shù)演進(jìn)。***代是“拿來主義”，拿來就用，但部分系統(tǒng)比如HDFS（HadoopDistributedFileSystem,Hadoop分布式文件系統(tǒng)）、Hive等因?yàn)樾阅?、功能不能滿足需求，我們對(duì)**模塊進(jìn)行了定制化的優(yōu)化；第二代是有限自主研發(fā)的階段。數(shù)據(jù)采集可以幫助企業(yè)進(jìn)行目標(biāo)市場定位，提高市場營銷的效果。
工廠生產(chǎn)數(shù)據(jù)采集系統(tǒng)特色1、實(shí)時(shí)數(shù)據(jù)庫企業(yè)級(jí)的生產(chǎn)數(shù)據(jù)實(shí)時(shí)平臺(tái)分布式數(shù)據(jù)架構(gòu)、滿足集團(tuán)需求實(shí)時(shí)訪問全廠生產(chǎn)數(shù)據(jù)高效的數(shù)據(jù)壓縮算法長期保存歷史數(shù)據(jù)支持在線計(jì)算和統(tǒng)計(jì)支持遠(yuǎn)程范圍多種數(shù)據(jù)接口個(gè)性化定制服務(wù)、靈活滿足用戶需求不間斷穩(wěn)定運(yùn)行2、車間組態(tài)組件專業(yè)的圖形仿真技術(shù)監(jiān)控畫面與實(shí)際生產(chǎn)活動(dòng)保持一致豐富的設(shè)計(jì)工具工程組態(tài)模板（采集模板、畫面模板、腳本模板、圖形模板）組態(tài)工程開發(fā)XML多語言操作系統(tǒng)兼容支持完整的PLC協(xié)議具備定制化組態(tài)能力可進(jìn)行設(shè)備改造、信號(hào)轉(zhuǎn)接數(shù)據(jù)采集技術(shù)在能源管理中可以用于監(jiān)測能源消耗和優(yōu)化能源利用。嘉興企業(yè)數(shù)據(jù)采集開發(fā)
上位機(jī)要采集到下位機(jī)記錄的數(shù)據(jù)，這個(gè)過程就是數(shù)據(jù)采集，數(shù)據(jù)采集有利于管理者對(duì)生產(chǎn)情況的監(jiān)控。鎮(zhèn)江光學(xué)數(shù)據(jù)采集單價(jià)
我們?cè)谔剿髟圃髷?shù)據(jù)，我們也在嘗試AI、大數(shù)據(jù)及云計(jì)算結(jié)合和軟硬件結(jié)合，我們還在研究數(shù)據(jù)湖和隱私計(jì)算等前沿技術(shù)……大數(shù)據(jù)、人工智能和云計(jì)算，正在成為支撐業(yè)務(wù)發(fā)展的基礎(chǔ)設(shè)施，下一代，會(huì)更精彩。本文摘編于《騰訊大數(shù)據(jù)構(gòu)建之道》，（書號(hào)：69）。推薦語：騰訊官方出品！騰訊大數(shù)據(jù)構(gòu)建之道***對(duì)外披露！騰訊大數(shù)據(jù)平臺(tái)十年磨一劍，踐行“科技向善”落地方案更多精彩回顧書訊|8月書訊（上）|重磅新書來襲！書訊|8月書訊（下）|重磅新書來襲！資訊|《Java**技術(shù)》基于Java17***升級(jí)！干貨|再見了Java8，Java17：我要取代你干貨|李三紅：Java版本升級(jí)需要納入到可持續(xù)性維度干貨|市面上的大前端崗位到底是做什么的？新書|全球首本系統(tǒng)介紹對(duì)偶學(xué)習(xí)理論、算法、應(yīng)用的著作。鎮(zhèn)江光學(xué)數(shù)據(jù)采集單價(jià)