就是說在你的操作系統(tǒng)開機(jī)的時(shí)候，計(jì)數(shù)器從0開始計(jì)數(shù)，這也是我們從手機(jī)“設(shè)置”里能看到的手機(jī)開機(jī)時(shí)長(zhǎng)，因此，用這個(gè)時(shí)間來計(jì)算用戶的App使用時(shí)長(zhǎng)，得到的數(shù)據(jù)100%是正確的。挑戰(zhàn)三：退出事件補(bǔ)發(fā)前些年有人提出這個(gè)場(chǎng)景：假如用戶的手機(jī)掉水里了，神策能否采集到退出事件？我的回答是，如果用戶的手機(jī)能從水里拿出來，能正常開機(jī)并正常啟動(dòng)App，那么就可以實(shí)現(xiàn)退出事件補(bǔ)發(fā)。什么叫補(bǔ)發(fā)？因?yàn)橛脩粼谑褂肁pp的時(shí)候，可能會(huì)隨時(shí)退出，針對(duì)此，我們?cè)谟脩魡?dòng)頁(yè)面的時(shí)候，完成計(jì)數(shù)，每隔一定時(shí)間記錄一次，如果在用戶下一次啟動(dòng)App的時(shí)候，我們發(fā)現(xiàn)這個(gè)時(shí)間戳還在，但是沒有觸發(fā)啟動(dòng)事件，那么我們就會(huì)立即把上一次的退...

作者：陸興海彭華盛編著來源：大數(shù)據(jù)DT（ID：hzdashuju）人們對(duì)新事物的認(rèn)知過程總是螺旋式迭代演進(jìn)的，對(duì)于智能運(yùn)維也是如此，智能運(yùn)維是運(yùn)維發(fā)展的方向，而且是一個(gè)長(zhǎng)期的過程—從經(jīng)驗(yàn)主義到數(shù)據(jù)驅(qū)動(dòng)，再回歸到業(yè)務(wù)驅(qū)動(dòng)的過程。從2016年對(duì)于Gartner的概念的理解，到之后每一年不斷的探索與實(shí)踐，到2020年，在筆者參加的智能運(yùn)維國(guó)家標(biāo)準(zhǔn)編寫組會(huì)議上，行業(yè)內(nèi)達(dá)成了高度的、更加面向現(xiàn)實(shí)的共識(shí)：以數(shù)據(jù)為基礎(chǔ)、以場(chǎng)景為導(dǎo)向、以算法為支撐，如圖2-1所示?！鴪D2-1行業(yè)對(duì)智能運(yùn)維發(fā)展演進(jìn)的理解智能運(yùn)維一定來源于非常好的數(shù)據(jù)基礎(chǔ)，同時(shí)，如果沒有明確的業(yè)務(wù)場(chǎng)景，或者需求，或者功能方面的落腳點(diǎn)，所...

那么建議采用鏈接服務(wù)器的形式來處理，或者使用openset和opendatasource的方式，這個(gè)需要對(duì)數(shù)據(jù)庫(kù)的訪問進(jìn)行**服務(wù)器的配置。不同類型的數(shù)據(jù)庫(kù)之間的連接就比較麻煩，需要做很多設(shè)置才能生效，這里不做詳細(xì)說明。開放數(shù)據(jù)庫(kù)方式可以直接從目標(biāo)數(shù)據(jù)庫(kù)中獲取需要的數(shù)據(jù)，準(zhǔn)確性很高，是**直接、便捷的一種方式；同時(shí)實(shí)時(shí)性也有保證；開放數(shù)據(jù)庫(kù)方式需要協(xié)調(diào)各個(gè)軟件廠商開放數(shù)據(jù)庫(kù)，其難度很大；一個(gè)平臺(tái)如果要同時(shí)連接很多個(gè)軟件廠商的數(shù)據(jù)庫(kù)，并且實(shí)時(shí)都在獲取數(shù)據(jù)，這對(duì)平臺(tái)本身的性能也是個(gè)巨大的挑戰(zhàn)。3、基于底層數(shù)據(jù)交換的數(shù)據(jù)直接采集方式通過獲取軟件系統(tǒng)的底層數(shù)據(jù)交換、軟件客戶端和數(shù)據(jù)庫(kù)之間的網(wǎng)絡(luò)...

如果這個(gè)年輕的父親在賣場(chǎng)只能買到兩件商品之一，則他很有可能會(huì)放棄購(gòu)物而到另一家商店，直到可以一次同時(shí)買到啤酒與尿布為止。沃爾瑪發(fā)現(xiàn)了這一獨(dú)特的現(xiàn)象，開始在賣場(chǎng)嘗試將啤酒與尿布擺放在相同的區(qū)域，讓年輕的父親可以同時(shí)找到這兩件商品，并很快地完成購(gòu)物；而沃爾瑪超市也可以讓這些客戶一次購(gòu)買兩件商品、而不是一件，從而獲得了很好的商品銷售收入，這就是“啤酒與尿布”故事的由來。[7]當(dāng)然“啤酒與尿布”的故事必須具有技術(shù)方面的支持。1993年美國(guó)學(xué)者Agrawal提出通過分析購(gòu)物籃中的商品**，從而找出商品之間關(guān)聯(lián)關(guān)系的關(guān)聯(lián)算法，并根據(jù)商品之間的關(guān)系，找出客戶的購(gòu)買行為。艾格拉沃從數(shù)學(xué)及計(jì)算機(jī)算法角度...

?線上行為數(shù)據(jù)：頁(yè)面數(shù)據(jù)、交互數(shù)據(jù)、表單數(shù)據(jù)、會(huì)話數(shù)據(jù)等。?內(nèi)容數(shù)據(jù)：應(yīng)用日志、電子文檔、機(jī)械數(shù)據(jù)、話音數(shù)據(jù)、社交傳媒數(shù)據(jù)等。?大數(shù)據(jù)的主要來源：1）商貿(mào)數(shù)據(jù)2）互聯(lián)網(wǎng)數(shù)據(jù)3）傳感器數(shù)據(jù)數(shù)據(jù)采集與大數(shù)據(jù)采集區(qū)別傳統(tǒng)數(shù)據(jù)采集1.來源單一，數(shù)據(jù)量相對(duì)于大數(shù)據(jù)較小2.構(gòu)造單一3.聯(lián)系數(shù)據(jù)庫(kù)和并行數(shù)據(jù)儲(chǔ)藏室大數(shù)據(jù)的數(shù)據(jù)采集1.來源普遍，數(shù)據(jù)量極大2.數(shù)據(jù)種類充沛，包括結(jié)構(gòu)化，半結(jié)構(gòu)化，非結(jié)構(gòu)化3.分布式數(shù)據(jù)庫(kù)傳統(tǒng)數(shù)據(jù)收集的缺乏傳統(tǒng)的數(shù)據(jù)采集來源單一，且存儲(chǔ)、管理和分析數(shù)據(jù)量也相對(duì)較小，大都使用關(guān)系型數(shù)據(jù)庫(kù)和并行數(shù)據(jù)庫(kù)房即可處置。對(duì)仰賴并行測(cè)算提升數(shù)據(jù)處理速度方面而言，傳統(tǒng)的并行數(shù)據(jù)庫(kù)技術(shù)追求高...

并表示：為元宇宙構(gòu)建基礎(chǔ)平臺(tái)是一條漫長(zhǎng)的道路。我們發(fā)布了售價(jià)299美元的128GB版Quest2，這一愿景付諸實(shí)踐并不**只是打造一款眼鏡產(chǎn)品。這是一個(gè)完整的生態(tài)系統(tǒng)。我們正在同時(shí)構(gòu)建多代VR和AR產(chǎn)品，以及新的操作系統(tǒng)、開發(fā)模型、數(shù)字商務(wù)平臺(tái)、內(nèi)容工作室，當(dāng)然還有社交平臺(tái)。從**上看，OculusQuest2在2021年的銷量已經(jīng)超過1000萬臺(tái)。這也意味著Facebook將在消費(fèi)電子領(lǐng)域直面和蘋果的競(jìng)爭(zhēng)。從用戶體驗(yàn)的角度看，目前Oculus的用戶體驗(yàn)確實(shí)獲得了**性的提升。無論從屏幕的顯示清晰度、視覺體驗(yàn)帶來的沉浸感，還是手柄的高精度定位系統(tǒng)，Quest2都已經(jīng)相當(dāng)成熟，而同等性能...

圍繞規(guī)劃、系統(tǒng)與實(shí)施三個(gè)**階段工作，面向運(yùn)維數(shù)據(jù)的全生命周期與業(yè)務(wù)導(dǎo)向結(jié)果，從數(shù)據(jù)的整體規(guī)劃、運(yùn)維數(shù)據(jù)源、數(shù)據(jù)采集、數(shù)據(jù)的計(jì)算與處理、指標(biāo)管理體系的規(guī)劃與實(shí)施、專業(yè)運(yùn)維數(shù)據(jù)庫(kù)的建立、數(shù)據(jù)的典型應(yīng)用場(chǎng)景等多角度進(jìn)行思考。但需要正視的是我們對(duì)運(yùn)維數(shù)據(jù)的認(rèn)識(shí)及應(yīng)用還處于皮毛階段，雖有理念但缺乏必要的、可執(zhí)行的方法。隨著運(yùn)維數(shù)據(jù)平臺(tái)的建設(shè)，將極有可能出現(xiàn)當(dāng)前大數(shù)據(jù)領(lǐng)域出現(xiàn)的數(shù)據(jù)孤島、數(shù)據(jù)不可用、數(shù)據(jù)質(zhì)量不高、融合應(yīng)用難、有數(shù)據(jù)不會(huì)用等諸多問題。上述問題，在當(dāng)前運(yùn)維領(lǐng)域資源投入不足時(shí)顯得尤其重要。借鑒大數(shù)據(jù)領(lǐng)域數(shù)據(jù)治理的經(jīng)驗(yàn)，反思運(yùn)維數(shù)據(jù)平臺(tái)建設(shè)應(yīng)該關(guān)注的問題，減少不必要的坑，做好運(yùn)維數(shù)據(jù)治理...

數(shù)據(jù)采集(DAQ)，是指從傳感器和其它待測(cè)設(shè)備等模擬和數(shù)字被測(cè)單元中自動(dòng)采集非電量或者電量信號(hào),送到上位機(jī)中進(jìn)行分析，處理。數(shù)據(jù)采集系統(tǒng)是結(jié)合計(jì)算機(jī)或者其他測(cè)試平臺(tái)的測(cè)量軟硬件產(chǎn)品來實(shí)現(xiàn)靈活的、用戶自定義的測(cè)量系統(tǒng)。數(shù)據(jù)范圍電力系統(tǒng)采集方式傳感器和計(jì)算機(jī)數(shù)據(jù)采集，又稱數(shù)據(jù)獲取，是利用一種裝置，從系統(tǒng)外部采集數(shù)據(jù)并輸入到系統(tǒng)內(nèi)部的一個(gè)接口。數(shù)據(jù)采集技術(shù)廣泛應(yīng)用在各個(gè)領(lǐng)域。比如攝像頭，麥克風(fēng)，都是數(shù)據(jù)采集工具。被采集數(shù)據(jù)是已被轉(zhuǎn)換為電訊號(hào)的各種物理量，如溫度、水位、風(fēng)速、壓力等，可以是模擬量，也可以是數(shù)字量。采集一般是采樣方式，即隔一定時(shí)間（稱采樣周期）對(duì)同一點(diǎn)數(shù)據(jù)重復(fù)采集。采集的數(shù)據(jù)大多...

隨著信息化時(shí)代的來臨，大數(shù)據(jù)越來越被重視，數(shù)據(jù)采集的挑戰(zhàn)變的尤為突出。許多大型企業(yè)和****在信息化過程中結(jié)合自身業(yè)務(wù)搭建起了各種各樣的軟件系統(tǒng)，其中積累了大量的行業(yè)和**，他們急需將這些數(shù)據(jù)匯聚起來，形成自己的大數(shù)據(jù)平臺(tái)，做數(shù)據(jù)挖掘和分析，精細(xì)地服務(wù)他們的客戶。當(dāng)前數(shù)據(jù)采集的挑戰(zhàn)如下：1、數(shù)據(jù)源多種多樣2、數(shù)據(jù)量大，更新**、如何保證數(shù)據(jù)采集的可靠性的性能4、如何避免重復(fù)數(shù)據(jù)5、如何保證數(shù)據(jù)的質(zhì)量。那么如何將這么多軟件系統(tǒng)中形形**的數(shù)據(jù)快速、準(zhǔn)確地采集出來呢？***就和大家討論幾種針對(duì)各種軟件系統(tǒng)的數(shù)據(jù)采集的方式方法。重點(diǎn)關(guān)注它們的實(shí)現(xiàn)過程、各自的優(yōu)缺點(diǎn)。1、軟件接口對(duì)接方式2、開...

創(chuàng)作者可以自行為游戲提供的內(nèi)容或者道具等定價(jià)，設(shè)計(jì)商業(yè)模式，確定是**還是內(nèi)購(gòu)以及什么東西需要充錢，甚至可以掏錢給游戲打廣告，做營(yíng)銷活動(dòng)，與外部資源進(jìn)行合作。如果有一定資本，創(chuàng)作者可以自己招聘人手，組建工作室。創(chuàng)作者對(duì)作品有著很強(qiáng)的掌控力。至此，Roblox平臺(tái)的兩大關(guān)鍵點(diǎn)就開始發(fā)揮作用，即開放經(jīng)濟(jì)與放權(quán)（放權(quán)給游戲開發(fā)者）、擁抱VR新型入口。開放平臺(tái)以后，公司的經(jīng)營(yíng)數(shù)據(jù)爆發(fā)式增長(zhǎng)。新商業(yè)模式的第二個(gè)特點(diǎn)是接入VR等設(shè)備，***擁抱元宇宙。開放游戲平臺(tái)的模式一直延續(xù)到上市。這期間Roblox增加了VR入口，提供了清晰的元宇宙用戶體驗(yàn)。2021年3月10日，Roblox上市當(dāng)天漲幅54%...

?線上行為數(shù)據(jù)：頁(yè)面數(shù)據(jù)、交互數(shù)據(jù)、表單數(shù)據(jù)、會(huì)話數(shù)據(jù)等。?內(nèi)容數(shù)據(jù)：應(yīng)用日志、電子文檔、機(jī)械數(shù)據(jù)、話音數(shù)據(jù)、社交傳媒數(shù)據(jù)等。?大數(shù)據(jù)的主要來源：1）商貿(mào)數(shù)據(jù)2）互聯(lián)網(wǎng)數(shù)據(jù)3）傳感器數(shù)據(jù)數(shù)據(jù)采集與大數(shù)據(jù)采集區(qū)別傳統(tǒng)數(shù)據(jù)采集1.來源單一，數(shù)據(jù)量相對(duì)于大數(shù)據(jù)較小2.構(gòu)造單一3.聯(lián)系數(shù)據(jù)庫(kù)和并行數(shù)據(jù)儲(chǔ)藏室大數(shù)據(jù)的數(shù)據(jù)采集1.來源普遍，數(shù)據(jù)量極大2.數(shù)據(jù)種類充沛，包括結(jié)構(gòu)化，半結(jié)構(gòu)化，非結(jié)構(gòu)化3.分布式數(shù)據(jù)庫(kù)傳統(tǒng)數(shù)據(jù)收集的缺乏傳統(tǒng)的數(shù)據(jù)采集來源單一，且存儲(chǔ)、管理和分析數(shù)據(jù)量也相對(duì)較小，大都使用關(guān)系型數(shù)據(jù)庫(kù)和并行數(shù)據(jù)庫(kù)房即可處置。對(duì)仰賴并行測(cè)算提升數(shù)據(jù)處理速度方面而言，傳統(tǒng)的并行數(shù)據(jù)庫(kù)技術(shù)追求高...

▲圖2***代離線計(jì)算平臺(tái)架構(gòu)第二代架構(gòu)從2012～2014年，在承載離線計(jì)算的基礎(chǔ)上，擴(kuò)展了平臺(tái)能力，支持實(shí)時(shí)計(jì)算的需求，如圖3所示。▲圖3第二代實(shí)時(shí)計(jì)算平臺(tái)架構(gòu)在***代離線計(jì)算平臺(tái)基礎(chǔ)之上，我們?nèi)诤蟂torm和Spark構(gòu)建了第二代實(shí)時(shí)計(jì)算平臺(tái)。主要的演進(jìn)如下。1）集成Spark，離線計(jì)算比Hadoop性能更高。2）引入Storm，支持秒級(jí)/毫秒級(jí)的流式計(jì)算任務(wù)。3）建設(shè)了實(shí)時(shí)采集系統(tǒng)TDBank，數(shù)據(jù)采集實(shí)現(xiàn)從天級(jí)（T+1）到秒級(jí)的飛躍。4）支持資源和任務(wù)調(diào)度方面，平臺(tái)支持離線與在線混合部署，任務(wù)容器化，資源管理的維度支持CPU、內(nèi)存，以及網(wǎng)絡(luò)與I/O，進(jìn)一步提升了平臺(tái)輕量化、...

這是工業(yè)物聯(lián)網(wǎng)存量改造項(xiàng)目開展時(shí)**先遇到的問題——想要解決“萬國(guó)牌”設(shè)備的數(shù)據(jù)采集，耗時(shí)又費(fèi)力。如果是新建設(shè)的工廠，應(yīng)從**開始的規(guī)劃階段考慮車間、廠級(jí)和跨地域的企業(yè)級(jí)工業(yè)物聯(lián)網(wǎng)應(yīng)用要求，在沒有歷史包袱的情況下，通過制定標(biāo)準(zhǔn)，綜合評(píng)估現(xiàn)場(chǎng)的電磁環(huán)境抗干擾要求、數(shù)據(jù)帶寬要求、傳輸距離、實(shí)時(shí)性、組網(wǎng)時(shí)支持的設(shè)備節(jié)點(diǎn)數(shù)量限制、星形或Daisy-Chain網(wǎng)絡(luò)拓?fù)?、后期擴(kuò)展性等因素，選擇合適的技術(shù)路線，并設(shè)計(jì)好OT與IT互通的接口，這將**降低數(shù)據(jù)采集的難度和工作量。2.時(shí)間序列數(shù)據(jù)工業(yè)數(shù)據(jù)采集大多數(shù)時(shí)候帶有時(shí)間戳，即數(shù)據(jù)在什么時(shí)刻采集。大量工業(yè)數(shù)據(jù)建模、工業(yè)知識(shí)組件和算法組件，均以時(shí)間序列...

數(shù)據(jù)采集通常有兩種解釋：一種是從數(shù)據(jù)源收集、識(shí)別和選取數(shù)據(jù)的過程。另一種是數(shù)字化、電子掃描系統(tǒng)的記錄過程以及內(nèi)容和屬性的編碼過程。數(shù)據(jù)采集系統(tǒng)包括了：可視化的報(bào)表定義、審核關(guān)系的定義、報(bào)表的審批和發(fā)布、數(shù)據(jù)填報(bào)、數(shù)據(jù)預(yù)處理、數(shù)據(jù)評(píng)審、綜合查詢統(tǒng)計(jì)等功能模塊。通過信息采集網(wǎng)絡(luò)化和數(shù)字化，擴(kuò)大數(shù)據(jù)采集的覆蓋范圍，提高審核工作的全面性、及時(shí)性和準(zhǔn)確性；實(shí)現(xiàn)相關(guān)業(yè)務(wù)工作管理現(xiàn)代化、程序規(guī)范化、決策科學(xué)化，服務(wù)網(wǎng)絡(luò)化。生產(chǎn)現(xiàn)場(chǎng)數(shù)據(jù)采集在品質(zhì)過程中的非常重要的一個(gè)環(huán)節(jié)，好的數(shù)據(jù)采集方案可把品質(zhì)管理人員從處理數(shù)據(jù)的繁重工作中解放出來，有更多的時(shí)間去解決實(shí)際的品質(zhì)問題，同時(shí)即時(shí)的數(shù)據(jù)采集也使系統(tǒng)真正地...

基于通用控制器的設(shè)備接入，完成自動(dòng)化裝備自身數(shù)據(jù)、工藝過程數(shù)據(jù)采集。2.**數(shù)據(jù)采集模塊第二類是**數(shù)據(jù)采集模塊，采集現(xiàn)場(chǎng)對(duì)象的物理信號(hào)，傳感器將物理信號(hào)變換為電信號(hào)后，**數(shù)據(jù)采集模塊通過模擬電路的A/D模數(shù)轉(zhuǎn)換器或數(shù)字電路將電信號(hào)轉(zhuǎn)換為可讀的數(shù)字量。例如風(fēng)力發(fā)電機(jī)利用力傳感器實(shí)現(xiàn)風(fēng)機(jī)混凝土應(yīng)力狀態(tài)的實(shí)時(shí)在線監(jiān)測(cè)，為風(fēng)機(jī)混凝土基礎(chǔ)承載力的評(píng)估提供依據(jù)，同時(shí)利用加速度傳感器采集振動(dòng)信號(hào)，在風(fēng)力發(fā)電系統(tǒng)的運(yùn)行過程中，實(shí)時(shí)在線監(jiān)測(cè)振動(dòng)狀況并發(fā)送檢測(cè)信息，根據(jù)檢測(cè)信息有效控制風(fēng)機(jī)運(yùn)轉(zhuǎn)狀態(tài)，避免由于共振而造成的結(jié)構(gòu)失效，并對(duì)超出幅度閾值的振動(dòng)進(jìn)行安全預(yù)警。將力傳感器和加速度傳感器安裝固定于風(fēng)機(jī)...

大數(shù)據(jù)敞開了一個(gè)大規(guī)模生產(chǎn)、分享和運(yùn)用數(shù)據(jù)的時(shí)期，它給技術(shù)和商貿(mào)帶來了龐大的變化。麥肯錫研究說明，在診療、零售和制造業(yè)領(lǐng)域，大數(shù)據(jù)每年可以提高勞動(dòng)生產(chǎn)率。大數(shù)據(jù)技術(shù)，就是從各種種類的數(shù)據(jù)中迅速取得有價(jià)值信息的技術(shù)。大數(shù)據(jù)領(lǐng)域早就涌現(xiàn)出了大量新的技術(shù)，它們成為大數(shù)據(jù)采集、存儲(chǔ)、處置和展現(xiàn)的有力兵器。大數(shù)據(jù)關(guān)鍵技術(shù)大數(shù)據(jù)處理關(guān)鍵技術(shù)一般包括：大數(shù)據(jù)采集、大數(shù)據(jù)預(yù)處理、大數(shù)據(jù)存儲(chǔ)及管理、大數(shù)據(jù)分析及挖掘、大數(shù)據(jù)展現(xiàn)和應(yīng)用（大數(shù)據(jù)檢索、大數(shù)據(jù)可視化、大數(shù)據(jù)應(yīng)用、大數(shù)據(jù)安全等）。然而調(diào)查顯示，未被采用的信息比重高達(dá)，很大程度都是由于高價(jià)值的信息無法得到采集。如何從大數(shù)據(jù)中收集出有用的信息早已是大...

這種情況作決定的依據(jù)是，考慮以后可能會(huì)出現(xiàn)功能改動(dòng)，勢(shì)必會(huì)對(duì)現(xiàn)有系統(tǒng)造成影響，選擇受變動(dòng)影響比較小的方案。2）確定方案，編碼3）編碼結(jié)束，進(jìn)入測(cè)試、調(diào)試階段4）交付使用接口對(duì)接方式的數(shù)據(jù)可靠性較高，一般不存在數(shù)據(jù)重復(fù)的情況，且都是客戶業(yè)務(wù)大數(shù)據(jù)平臺(tái)需要的有價(jià)值的數(shù)據(jù)；同時(shí)數(shù)據(jù)是通過接口實(shí)時(shí)傳遞過來，完全滿足了大數(shù)據(jù)平臺(tái)對(duì)于實(shí)時(shí)性的要求。但是接口對(duì)接方式需花費(fèi)大量人力和時(shí)間協(xié)調(diào)各個(gè)軟件廠商做數(shù)據(jù)接口對(duì)接；同時(shí)其擴(kuò)展性不高，比如：由于業(yè)務(wù)需要各軟件系統(tǒng)開發(fā)出新的業(yè)務(wù)模塊，其和大數(shù)據(jù)平臺(tái)之間的數(shù)據(jù)接口也需要做相應(yīng)的修改和變動(dòng)，甚至要**以前的所有數(shù)據(jù)接口編碼，工作量很大且耗時(shí)長(zhǎng)。2、開放數(shù)據(jù)...

關(guān)于作者：胡典鋼，***工業(yè)物聯(lián)網(wǎng)**，順豐物聯(lián)網(wǎng)平臺(tái)負(fù)責(zé)人，兼任順豐集團(tuán)職業(yè)發(fā)展評(píng)審委員和ZETA聯(lián)盟工業(yè)物聯(lián)網(wǎng)高級(jí)顧問，負(fù)責(zé)順豐物聯(lián)網(wǎng)平臺(tái)建設(shè)及產(chǎn)品化工作。在物聯(lián)網(wǎng)、邊緣計(jì)算、工業(yè)大數(shù)據(jù)領(lǐng)域從業(yè)10余年，有豐富的實(shí)踐經(jīng)驗(yàn)。歷任NI公司應(yīng)用工程師、高級(jí)應(yīng)用工程師、大區(qū)銷售經(jīng)理，兼任GSDZone社區(qū)專欄作者和海南大學(xué)校外**，NI（中國(guó)）**認(rèn)證雙架構(gòu)師——LabVIEW架構(gòu)師和TestStand架構(gòu)師，主導(dǎo)大型工業(yè)自動(dòng)化測(cè)試控制和工業(yè)物聯(lián)網(wǎng)項(xiàng)目的開發(fā)工作。2016年受邀撰寫專著《TestStand工業(yè)自動(dòng)化測(cè)試管理》，廣受業(yè)界好評(píng)，多次重印。本文摘編自《工業(yè)物聯(lián)網(wǎng)：平臺(tái)架構(gòu)、關(guān)鍵技...

運(yùn)營(yíng)人員、數(shù)據(jù)分析人員等非技術(shù)人員均可埋點(diǎn)。缺點(diǎn)：由于可視化埋點(diǎn)是依賴于全埋點(diǎn)，因此他天然繼承了全埋點(diǎn)的缺點(diǎn)，比如兼容性問題、無法采集和業(yè)務(wù)相關(guān)的數(shù)據(jù)問題。那么，埋點(diǎn)方案未來發(fā)展的趨勢(shì)是什么呢？我理解，未來會(huì)逐步向場(chǎng)景化、行業(yè)化、智能化方向發(fā)展，比如如何通過可視化的方式，給事件添加動(dòng)態(tài)屬性，類似于可視化動(dòng)態(tài)屬性關(guān)聯(lián)。三、數(shù)據(jù)采集的原則面對(duì)這么多的數(shù)據(jù)采集方案，我們究竟該如何選擇呢？神策這5年來，已累計(jì)服務(wù)1500+家企業(yè)客戶，通過深度服務(wù)客戶，我們發(fā)現(xiàn)其實(shí)目前并沒有一種非常完美的埋點(diǎn)方案能夠適應(yīng)所有的場(chǎng)景。不同的埋點(diǎn)方案，它們各有優(yōu)缺點(diǎn)，都有他適應(yīng)的場(chǎng)景和不適應(yīng)的場(chǎng)景。面對(duì)這么多的埋點(diǎn)...

作者：陸興海彭華盛編著來源：大數(shù)據(jù)DT（ID：hzdashuju）人們對(duì)新事物的認(rèn)知過程總是螺旋式迭代演進(jìn)的，對(duì)于智能運(yùn)維也是如此，智能運(yùn)維是運(yùn)維發(fā)展的方向，而且是一個(gè)長(zhǎng)期的過程—從經(jīng)驗(yàn)主義到數(shù)據(jù)驅(qū)動(dòng)，再回歸到業(yè)務(wù)驅(qū)動(dòng)的過程。從2016年對(duì)于Gartner的概念的理解，到之后每一年不斷的探索與實(shí)踐，到2020年，在筆者參加的智能運(yùn)維國(guó)家標(biāo)準(zhǔn)編寫組會(huì)議上，行業(yè)內(nèi)達(dá)成了高度的、更加面向現(xiàn)實(shí)的共識(shí)：以數(shù)據(jù)為基礎(chǔ)、以場(chǎng)景為導(dǎo)向、以算法為支撐，如圖2-1所示?！鴪D2-1行業(yè)對(duì)智能運(yùn)維發(fā)展演進(jìn)的理解智能運(yùn)維一定來源于非常好的數(shù)據(jù)基礎(chǔ)，同時(shí)，如果沒有明確的業(yè)務(wù)場(chǎng)景，或者需求，或者功能方面的落腳點(diǎn)，所...

導(dǎo)讀：在元宇宙趨勢(shì)確立的過程中，標(biāo)志性公司的價(jià)值確立起到了重要支撐作用。元宇宙***股Roblox、元宇宙游戲***股EpicGames和元宇宙社區(qū)**公司Facebook（已改名為Meta）這三家公司對(duì)于確立元宇宙趨勢(shì)起到了重要推動(dòng)作用，我們稱它們是元宇宙先鋒隊(duì)并不為過。下面對(duì)三家公司分別做詳細(xì)的介紹和分析。作者：周掌柜來源：大數(shù)據(jù)DT（ID：hzdashuju）01Roblox與元宇宙▲Roblox官網(wǎng)**（KnowledgeRevolution）的教育科技初創(chuàng)公司。KnowledgeRevolution開發(fā)了基于模擬程序的二維實(shí)驗(yàn)室，學(xué)生和教師可以在那里用虛擬杠桿、斜坡、滑輪和射...

將其儲(chǔ)存為統(tǒng)一的本地?cái)?shù)據(jù)文件，并以結(jié)構(gòu)化的方法儲(chǔ)存。它贊成圖表、音頻、視頻等文件或附件的采集，附件與正文可以自動(dòng)聯(lián)系。除了網(wǎng)絡(luò)中涵蓋的內(nèi)容之外，對(duì)于網(wǎng)絡(luò)流量的采集可以用到DPI或DFI等帶寬管理技術(shù)開展處理。?其他數(shù)據(jù)采集方式對(duì)于企業(yè)生產(chǎn)經(jīng)營(yíng)數(shù)據(jù)或?qū)W科研究數(shù)據(jù)等保密性要求較高的數(shù)據(jù)，可以通過與企業(yè)或研究部門協(xié)作，采用特定系統(tǒng)接口等相關(guān)方法收集數(shù)據(jù)。大數(shù)據(jù)采集平臺(tái)也許有些小的公司無法自己迅速的得到自己的所需的數(shù)據(jù)，這就需到了第三方的數(shù)據(jù)供給或平臺(tái)來搜集數(shù)據(jù)。在這里，為大家介紹一款大數(shù)據(jù)采集平臺(tái)——觀向數(shù)據(jù)，觀向數(shù)據(jù)是一款針對(duì)品牌商、零售商的線上運(yùn)營(yíng)數(shù)據(jù)分析系統(tǒng)，匯流全網(wǎng)多平臺(tái)、多維度數(shù)據(jù)...

全埋點(diǎn)優(yōu)點(diǎn)如下：（1）前期埋點(diǎn)成本相對(duì)較低；（2）若分析需求或事件設(shè)計(jì)發(fā)生變化，無需應(yīng)用程序修改埋點(diǎn)和發(fā)版；（3）可以有效地解決“歷史數(shù)據(jù)回溯”問題。同時(shí)，全埋點(diǎn)也有一些缺點(diǎn)：（1）由于技術(shù)方面的原因，對(duì)于一些復(fù)雜的操作，比如縮放、滾動(dòng)等，很難做到***覆蓋；（2）無法自動(dòng)采集和業(yè)務(wù)相關(guān)的數(shù)據(jù)；（3）無法滿足更精細(xì)化的分析需求；（4）各種兼容性方面的問題；（5）傳輸?shù)臄?shù)據(jù)量太大、浪費(fèi)資源。3.可視化埋點(diǎn)所謂可視化埋點(diǎn)，即通過可視化的方式進(jìn)行埋點(diǎn)?？梢暬顸c(diǎn)，一般需要依賴全埋點(diǎn)相關(guān)的技術(shù)?？梢暬顸c(diǎn)一般有兩種表現(xiàn)方式：一是默認(rèn)情況下，不進(jìn)行任何埋點(diǎn)，然后通過可視化的方式進(jìn)行圈選，圈選哪些...

二、數(shù)據(jù)采集方式有哪些？數(shù)據(jù)感知可分為“硬感知”和“軟感知”，面向不同場(chǎng)景，即數(shù)據(jù)采集技術(shù)可以分為這兩個(gè)方面的技術(shù)?！坝哺兄敝饕迷O(shè)備或裝置進(jìn)行數(shù)據(jù)的收集，收集對(duì)象為物理世界中的物理實(shí)體，或者是以物理實(shí)體為載體的信息、事件、流程等。而“軟感知”使用軟件或者各種技術(shù)進(jìn)行數(shù)據(jù)收集，收集的對(duì)象存在于數(shù)字世界，通常不依賴物理設(shè)備進(jìn)行收集?；谖锢硎澜绲摹坝哺兄蹦芰?shù)據(jù)采集方式主要經(jīng)歷了人工采集和自動(dòng)采集兩個(gè)階段。自動(dòng)采集技術(shù)仍在發(fā)展中，不同的應(yīng)用領(lǐng)域所使用的具體技術(shù)手段也不同?；谖锢硎澜绲摹坝哺兄币揽康木褪菙?shù)據(jù)采集，是將物理對(duì)象鏡像到數(shù)字世界中的主要通道，是構(gòu)建數(shù)據(jù)感知的關(guān)鍵，是實(shí)現(xiàn)人工智能...

集成了影像、聲音、文本等多種信息。視頻的獲取方式包括網(wǎng)絡(luò)下載、從VCD或DVD中捕獲、從錄像帶中采集、利用攝像機(jī)拍攝等，以及購(gòu)買視頻素材、屏幕錄制等。（8）傳感器數(shù)據(jù)采集傳感器是一種檢測(cè)裝置，能感受到被檢測(cè)的信息，并能將檢測(cè)到的信息按一定規(guī)律變換成信號(hào)或其他所需形式的信息輸出，以滿足信息的采集、傳輸、處理、存儲(chǔ)、顯示、記錄等要求。信號(hào)類型包括IEPE信號(hào)、電流信號(hào)、電壓信號(hào)、脈沖信號(hào)、I/O信號(hào)、電阻變化信號(hào)等。傳感器數(shù)據(jù)的主要特點(diǎn)是多源、實(shí)時(shí)、時(shí)序化、海量、高噪聲、異構(gòu)、價(jià)值密度低等，數(shù)據(jù)通信和處理難度都較大。（9）工業(yè)設(shè)備數(shù)據(jù)采集工業(yè)設(shè)備數(shù)據(jù)是對(duì)工業(yè)機(jī)器設(shè)備產(chǎn)生數(shù)據(jù)的統(tǒng)稱。在機(jī)器中...

數(shù)據(jù)采集：又稱數(shù)據(jù)獲取，是利用一種裝置，從系統(tǒng)外部采集數(shù)據(jù)并輸入到系統(tǒng)內(nèi)部的一個(gè)接口。在互聯(lián)網(wǎng)行業(yè)快速發(fā)展的現(xiàn)在，數(shù)據(jù)采集已經(jīng)被廣泛應(yīng)用于人工智能等相關(guān)領(lǐng)域，攝像頭、麥克風(fēng)等，都是數(shù)據(jù)采集的工具。數(shù)據(jù)采集系統(tǒng)整合了信號(hào)、傳感器等數(shù)據(jù)采集設(shè)備和應(yīng)用軟件。在數(shù)據(jù)大膨脹的互聯(lián)網(wǎng)時(shí)代，數(shù)據(jù)的類型也是復(fù)雜多樣的，包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)high常見，就是具有模式的數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)是數(shù)據(jù)結(jié)構(gòu)不規(guī)則或不完整，沒有預(yù)定義的數(shù)據(jù)模型，包括所有格式的辦公文檔、文本、圖片、HTML、各類報(bào)表、圖像和音頻/視頻信息等等。大數(shù)據(jù)采集，是大數(shù)據(jù)分析的入口，所以是相當(dāng)重要的一個(gè)環(huán)...

也正是堅(jiān)守于此，過去五年，不論是在數(shù)據(jù)采集技術(shù)，還是數(shù)據(jù)治理方案等方面，我們都做了很多的工作，也幫助了很多的客戶。比如我們建立強(qiáng)大的數(shù)據(jù)采集SDK研發(fā)團(tuán)隊(duì)，并將SDK全部開源，也維護(hù)著近1500人的開源討論社群，同時(shí)不斷向業(yè)界輸出我們的積累、經(jīng)驗(yàn)和沉淀，讓數(shù)據(jù)采集技術(shù)不再神秘，更讓數(shù)據(jù)采集技術(shù)的生態(tài)更好、更健康的向前發(fā)展。二、業(yè)內(nèi)常見的數(shù)據(jù)采集方案目前，市面上常見的埋點(diǎn)方式主要有三種：代碼埋點(diǎn)、全埋點(diǎn)和可視化埋點(diǎn)。1.代碼埋點(diǎn)代碼埋點(diǎn)，即客戶端集成SDK，在客戶端啟動(dòng)的時(shí)候初始化SDK，然后在某個(gè)事件（行為）發(fā)生時(shí)，客戶端顯示調(diào)用SDK的接口觸發(fā)相應(yīng)的事件。代碼埋點(diǎn)，是**常見的埋點(diǎn)方...

這是工業(yè)物聯(lián)網(wǎng)存量改造項(xiàng)目開展時(shí)**先遇到的問題——想要解決“萬國(guó)牌”設(shè)備的數(shù)據(jù)采集，耗時(shí)又費(fèi)力。如果是新建設(shè)的工廠，應(yīng)從**開始的規(guī)劃階段考慮車間、廠級(jí)和跨地域的企業(yè)級(jí)工業(yè)物聯(lián)網(wǎng)應(yīng)用要求，在沒有歷史包袱的情況下，通過制定標(biāo)準(zhǔn)，綜合評(píng)估現(xiàn)場(chǎng)的電磁環(huán)境抗干擾要求、數(shù)據(jù)帶寬要求、傳輸距離、實(shí)時(shí)性、組網(wǎng)時(shí)支持的設(shè)備節(jié)點(diǎn)數(shù)量限制、星形或Daisy-Chain網(wǎng)絡(luò)拓?fù)?、后期擴(kuò)展性等因素，選擇合適的技術(shù)路線，并設(shè)計(jì)好OT與IT互通的接口，這將**降低數(shù)據(jù)采集的難度和工作量。2.時(shí)間序列數(shù)據(jù)工業(yè)數(shù)據(jù)采集大多數(shù)時(shí)候帶有時(shí)間戳，即數(shù)據(jù)在什么時(shí)刻采集。大量工業(yè)數(shù)據(jù)建模、工業(yè)知識(shí)組件和算法組件，均以時(shí)間序列...

大數(shù)據(jù)敞開了一個(gè)大規(guī)模生產(chǎn)、分享和運(yùn)用數(shù)據(jù)的時(shí)期，它給技術(shù)和商貿(mào)帶來了龐大的變化。麥肯錫研究說明，在診療、零售和制造業(yè)領(lǐng)域，大數(shù)據(jù)每年可以提高勞動(dòng)生產(chǎn)率。大數(shù)據(jù)技術(shù)，就是從各種種類的數(shù)據(jù)中迅速獲取有價(jià)值信息的技術(shù)。大數(shù)據(jù)領(lǐng)域早就涌現(xiàn)出了大量新的技術(shù)，它們成為大數(shù)據(jù)采集、存儲(chǔ)、處置和顯現(xiàn)的有力兵器。大數(shù)據(jù)關(guān)鍵技術(shù)大數(shù)據(jù)處理關(guān)鍵技術(shù)一般包括：大數(shù)據(jù)采集、大數(shù)據(jù)預(yù)處理、大數(shù)據(jù)存儲(chǔ)及管理、大數(shù)據(jù)分析及挖掘、大數(shù)據(jù)展現(xiàn)和應(yīng)用（大數(shù)據(jù)檢索、大數(shù)據(jù)可視化、大數(shù)據(jù)應(yīng)用、大數(shù)據(jù)安全等）。然而調(diào)查顯示，未被用到的信息百分比高達(dá)，很大程度都是由于高價(jià)值的信息無法得到采集。如何從大數(shù)據(jù)中收集出有用的信息早就是...

所做的事甚至都很難讓IT條線的產(chǎn)品、項(xiàng)目、開發(fā)明白系統(tǒng)架構(gòu)越來越復(fù)雜、迭代頻率越來越高、外部環(huán)境越來越嚴(yán)峻等需要持續(xù)性的運(yùn)維投入，更不要說讓IT條線以外的部門理解你在做的事，在運(yùn)維的資源投入通常是不夠的。所以，運(yùn)維數(shù)據(jù)體系建設(shè)要強(qiáng)調(diào)投入產(chǎn)出比，在有限的資源投入下，收獲更多的數(shù)據(jù)價(jià)值。二、數(shù)據(jù)標(biāo)準(zhǔn)化比例低。運(yùn)維數(shù)據(jù)主要包括監(jiān)控、日志、性能、配置、流程、應(yīng)用運(yùn)行數(shù)據(jù)。除了統(tǒng)一監(jiān)控報(bào)警、配置、機(jī)器日志、ITIL里的幾大流程的數(shù)據(jù)格式有相關(guān)標(biāo)準(zhǔn)，其他數(shù)據(jù)存在格式眾多、非結(jié)構(gòu)化、實(shí)時(shí)性要求高、海量數(shù)據(jù)、采集方式復(fù)雜等特點(diǎn)，可以說運(yùn)維源數(shù)據(jù)天生就是非標(biāo)準(zhǔn)的，要在“資源投入不夠”的背景下，采用業(yè)務(wù)大...