第 1章 物聯(lián)網的發(fā)展歷程與大數(shù)據(jù) 001 1.1 物聯(lián)網概念的演化與內涵解析 001 1.1.1 物聯(lián)網概念的起源 001 1.1.2 物聯(lián)網定義的形成 002 1.2 物聯(lián)網產業(yè)的發(fā)展歷程 005 1.2.1 射頻識別產業(yè)的興起 005 1.2.2 傳感器及智能終端產業(yè)的發(fā)展 006 1.2.3 網絡通信產業(yè)的發(fā)展 008 1.2.4 物聯(lián)網中的數(shù)據(jù)處理 009 1.2.5 物聯(lián)網云平臺的應用 010 1.3 物聯(lián)網系統(tǒng)與大數(shù)據(jù)技術的深入融合 011 1.3.1 聯(lián)網設備帶來數(shù)據(jù)量的急劇增長 012 1.3.2 物聯(lián)網系統(tǒng)中大數(shù)據(jù)的特征 013 1.3.3 物聯(lián)網系統(tǒng)專用的大數(shù)據(jù)處理平臺 015 1.3.4 工業(yè)物聯(lián)網應用與大數(shù)據(jù)的融合 016 1.4 物聯(lián)網產業(yè)面臨的挑戰(zhàn)與機遇 018 1.4.1 物聯(lián)網發(fā)展面臨的主要挑戰(zhàn) 018 1.4.2 物聯(lián)網將邁入全智能化的新階段 021 第 2章 物聯(lián)網技術體系架構的多視圖分析 025 2.1 物聯(lián)網系統(tǒng)的技術架構 027 2.1.1 總體技術架構 027 2.1.2 感知技術 027 2.1.3 網絡技術 028 2.1.4 支撐平臺技術 029 2.1.5 應用技術 030 2.1.6 公共技術 030 2.2 物聯(lián)網系統(tǒng)的概念模型 032 2.2.1 概念模型的總體構成 032 2.2.2 域的描述及關聯(lián)關系 033 2.3 物聯(lián)網系統(tǒng)的功能體系架構 035 2.3.1 系統(tǒng)功能實體構成 035 2.3.2 功能實體簡要描述 035 2.3.3 系統(tǒng)部署功能視圖 037 2.4 物聯(lián)網系統(tǒng)的通信參考架構 038 2.4.1 通信功能實體構成 038 2.4.2 通信功能實體描述 039 2.4.3 通信網絡參考視圖 040 2.5 物聯(lián)網系統(tǒng)的數(shù)據(jù)參考架構 042 2.5.1 數(shù)據(jù)功能實體構成 042 2.5.2 數(shù)據(jù)功能實體描述 042 2.6 物聯(lián)網系統(tǒng)的應用體系架構 043 2.6.1 角色、子角色和活動 043 2.6.2 六域模型的映射關系 047 2.6.3 物聯(lián)網系統(tǒng)應用實例 048 2.7 物聯(lián)網產品生命周期的安全參考模型 049 第3章 物聯(lián)網系統(tǒng)的數(shù)據(jù)感知與數(shù)據(jù)融合 051 3.1 感知設備的描述 051 3.1.1 感知設備的類型 051 3.1.2 感知設備的硬件組成 055 3.1.3 感知設備的工作原理 057 3.2 感知設備的數(shù)據(jù)采集 061 3.2.1 使用傳感器進行數(shù)據(jù)采集 062 3.2.2 感知數(shù)據(jù)的傳輸與組網 064 3.2.3 數(shù)據(jù)采集的描述 068 3.3 感知數(shù)據(jù)的基本特性 089 3.3.1 感知數(shù)據(jù)的主要類型 089 3.3.2 感知數(shù)據(jù)的特征分析 091 3.3.3 感知數(shù)據(jù)的數(shù)據(jù)模型 092 3.4 感知數(shù)據(jù)的信息融合 093 3.4.1 信息融合的必要性 093 3.4.2 信息融合概念模型 094 3.4.3 各級信息融合過程 095 3.4.4 物聯(lián)網系統(tǒng)中的信息融合 104 第4章 物聯(lián)網的協(xié)同信息處理 108 4.1 協(xié)同信息處理的參考模型 108 4.1.1 協(xié)同信息處理的概念和內涵 108 4.1.2 協(xié)同信息處理的二維參考模型 109 4.1.3 協(xié)同信息處理的三維參考模型 110 4.2 協(xié)同信息處理的主要實體及處理過程 111 4.2.1 實體功能框架 111 4.2.2 協(xié)同信息處理實體 111 4.2.3 協(xié)同信息處理過程 113 4.3 協(xié)同信息處理的支撐服務及實例 115 4.3.1 協(xié)同信息處理的服務框架 115 4.3.2 支撐物聯(lián)網協(xié)同信息處理的核心服務 116 4.3.3 支撐物聯(lián)網協(xié)同信息處理的增強服務 116 4.3.4 協(xié)同信息處理支撐的周界防入侵系統(tǒng)應用 117 第5章 物聯(lián)網系統(tǒng)的大數(shù)據(jù)管理架構 120 5.1 物聯(lián)網系統(tǒng)中的大數(shù)據(jù)特征與架構 120 5.1.1 物聯(lián)網大數(shù)據(jù)的特征 121 5.1.2 物聯(lián)網大數(shù)據(jù)分析平臺的邏輯架構 122 5.2 物聯(lián)網系統(tǒng)中的大數(shù)據(jù)管理 124 5.2.1 物聯(lián)網大數(shù)據(jù)云平臺PaaS層數(shù)據(jù)處理 124 5.2.2 物聯(lián)網大數(shù)據(jù)存儲與管理 125 5.2.3 分布式文件系統(tǒng)關鍵技術 127 第6章 物聯(lián)網大數(shù)據(jù)的NoSQL數(shù)據(jù)庫 131 6.1 NoSQL數(shù)據(jù)庫概述 131 6.1.1 NoSQL數(shù)據(jù)庫的優(yōu)勢 131 6.1.2 NoSQL數(shù)據(jù)庫的劣勢 132 6.2 HBase數(shù)據(jù)庫 133 6.2.1 HBase簡介 133 6.2.2 HBase的應用場景 133 6.2.3 HBase Shell常用的終端命令 133 6.2.4 HBase的API介紹 134 6.2.5 HBase模式的數(shù)據(jù)模型 136 6.2.6 分布式模式的HBase 137 6.2.7 HBase和MapReduce 140 6.2.8 HBase的可靠性和可用性 141 6.2.9 HBase的優(yōu)化 141 6.3 MongoDB數(shù)據(jù)庫 142 6.3.1 MongoDB簡介 142 6.3.2 MongoDB的特點 143 6.3.3 MongoDB的體系結構 143 6.3.4 MongoDB目前存在的常見問題 144 6.3.5 MongoDB的Replica Set存在的隱含問題 145 6.3.6 MongoDB分片模式的隱含問題 145 6.3.7 MongoDB的優(yōu)點 146 6.3.8 MongoDB的缺點 146 6.3.9 MongoDB小結 146 6.4 Couchbase數(shù)據(jù)庫 147 6.4.1 Couchbase簡介 147 6.4.2 Couchbase數(shù)據(jù)存儲機制 147 6.4.3 Couchbase內存配額設置 148 6.4.4 Couchbase緩存層功能 150 6.4.5 Couchbase硬盤存儲機制 151 6.4.6 Couchbase負載均衡（Rebalancing）機制 151 6.4.7 Couchbase的特點 152 6.5 LevelDB數(shù)據(jù)庫 152 6.5.1 LevelDB簡介 152 6.5.2 LevelDB的優(yōu)勢 153 6.5.3 LevelDB的缺點 153 6.5.4 基于Python 的操作示例 153 6.5.5 LevelDB工作機制 154 6.5.6 LevelDB的SSTable文件工作機理 156 6.5.7 LevelDB的Compaction工作機制 157 6.5.8 LevelDB的Cache機制 160 6.5.9 LevelDB的版本控制機制 161 第7章 物聯(lián)網大數(shù)據(jù)的計算批處理 162 7.1 Apache Hadoop分布式計算 163 7.1.1 Hadoop簡介 163 7.1.2 HDFS的工作原理 164 7.1.3 HDFS分布式文件系統(tǒng)的優(yōu)勢 164 7.1.4 MapReduce在物聯(lián)網大數(shù)據(jù)中的應用 165 7.2 Apache Spark分布式計算 166 7.2.1 Spark簡介 166 7.2.2 Spark的特點 167 7.2.3 Spark與Hadoop的MapReduce對比分析 167 7.3 Apache Flink分布式計算 168 7.3.1 Flink簡介 168 7.3.2 Flink統(tǒng)一的批處理與流處理系統(tǒng) 169 7.3.3 Flink流處理的容錯機制 170 7.3.4 Flink流處理的時間窗口 173 7.3.5 基于時間戳的排序 173 7.3.6 定制的內存管理 174 7.3.7 JVM存在的問題 174 7.3.8 Flink的處理策略 175 第8章 物聯(lián)網大數(shù)據(jù)的交互式查詢 180 8.1 Apache Hive交互式查詢技術 180 8.1.1 Hive簡介 180 8.1.2 Hive的特點 181 8.1.3 Hive的體系結構 182 8.1.4 服務端和客戶端組件 183 8.1.5 Hive連接到數(shù)據(jù)庫的模式 184 8.1.6 Hive的存儲模式 184 8.1.7 Hive的數(shù)據(jù)模型介紹 184 8.1.8 Hive和數(shù)據(jù)庫的異同 186 8.1.9 Hive的工作原理 188 8.2 Apache Spark SQL交互式查詢技術 189 8.2.1 Spark SQL簡介 189 8.2.2 Spark SQL的特點 190 8.2.3 Spark SQL的簡單實例 190 8.2.4 通過SQL進行查詢 191 8.3 Apache Kudu交互式查詢技術 191 8.3.1 Kudu簡介 191 8.3.2 Kudu的主要優(yōu)點 192 8.3.3 Kudu常見的應用場景 192 8.3.4 Kudu的工作特點 192 8.3.5 Kudu與Impala的簡單實踐 194 8.4 Greenplum MPP交互式查詢技術 195 8.4.1 Greenplum MPP簡介 195 8.4.2 Greenplum的特點 195 8.4.3 Greenplum的應用場景 196 8.4.4 Greenplum MPP與Hadoop的異同點 197 8.4.5 Greenplum MPP與Hadoop的效率對比 197 8.4.6 Greenplum MPP與Hadoop的功能對比 198 8.4.7 Greenplum MPP與Hadoop的靈活性對比 199 8.4.8 如何選擇Hadoop和Greenplum MPP 200 第9章 物聯(lián)網大數(shù)據(jù)的流式計算 202 9.1 Apache Storm流數(shù)據(jù)處理技術 203 9.1.1 Storm簡介 203 9.1.2 Storm的特點 203 9.1.3 Storm的集群架構 204 9.1.4 Storm的核心概念 205 9.2 Apache Samza流數(shù)據(jù)處理技術 206 9.2.1 Samza簡介 206 9.2.2 Samza的工作機制 206 9.2.3 Samza的特點 208 9.3 Spark Streaming流數(shù)據(jù)技術 208 9.3.1 Spark Streaming簡介 208 9.3.2 Spark Streaming與Storm的對比 208 9.3.3 Spark Streaming的運行原理 209 9.3.4 Spark Streaming的簡單操作 211 9.4 三大流式計算框架的對比和應用 212 9.4.1 三大流式計算框架的對比 212 9.4.2 三大流式計算框架的應用場景 213 第 10章 物聯(lián)網系統(tǒng)的數(shù)據(jù)交換和共享 215 10.1 數(shù)據(jù)交換和共享的組織形式 216 10.2 數(shù)據(jù)交換和共享的應用需求場景 217 10.3 數(shù)據(jù)交換和共享的實現(xiàn)模式 220 10.3.1 概述 220 10.3.2 直連模式 221 10.3.3 中介模式 221 10.3.4 搜索模式 225 10.4 數(shù)據(jù)交換和共享架構 227 10.4.1 數(shù)據(jù)交換和共享在物聯(lián)網參考體系結構中的定位 227 10.4.2 《物聯(lián)網 信息交換和共享》系列國家標準中的 數(shù)據(jù)交換和共享架構 230 10.4.3 通用的物聯(lián)網系統(tǒng)數(shù)據(jù)交換和共享架構 231 10.5 數(shù)據(jù)交換和共享過程 241 10.5.1 概述 241 10.5.2 發(fā)送實時共享數(shù)據(jù) 241 10.5.3 接收實時共享數(shù)據(jù) 242 10.5.4 發(fā)送數(shù)據(jù)庫共享數(shù)據(jù) 242 10.5.5 接收數(shù)據(jù)庫共享數(shù)據(jù) 242 10.5.6 生成共享數(shù)據(jù)目錄 243 10.5.7 發(fā)送共享數(shù)據(jù)目錄 243 10.5.8 搜索共享數(shù)據(jù)目錄 243 10.5.9 從共享數(shù)據(jù)目錄進入數(shù)據(jù)共享界面 243 第 11章 物聯(lián)網系統(tǒng)的性能評價 244 11.1 系統(tǒng)的性能評價原則 244 11.2 系統(tǒng)架構類指標 246 11.2.1 系統(tǒng)管理 246 11.2.2 系統(tǒng)兼容與互操作 247 11.2.3 組件 248 11.3 系統(tǒng)安全類指標 248 11.3.1 信息安全和物理安全 249 11.3.2 可靠性和彈性 250 11.4 系統(tǒng)功能類指標 251 11.4.1 通用功能 252 11.4.2 感知控制功能 252 11.4.3 服務支撐功能 253 11.4.4 資源交換功能 253 11.4.5 運維管控功能 254 11.4.6 用戶接口功能 254 第 12章 大數(shù)據(jù)環(huán)境下的物聯(lián)網系統(tǒng)的智能化演進 255 12.1 人工智能的發(fā)展歷程 255 12.1.1 人工智能的概念內涵 255 12.1.2 人工智能的技術發(fā)展歷程 257 12.1.3 人工智能的特征與技術框架 260 12.1.4 人工智能涉及的關鍵技術 262 12.2 人工智能技術與物聯(lián)網的融合 263 12.2.1 大數(shù)據(jù)——人工智能的基石 263 12.2.2 人工智能——物聯(lián)網系統(tǒng)的大腦 264 12.2.3 人工智能技術與物聯(lián)網的融合應用 266 12.3 智能物聯(lián)網的發(fā)展前景展望 267 12.3.1 協(xié)同智能化的物聯(lián)網系統(tǒng) 267 12.3.2 服務智能化的物聯(lián)網系統(tǒng) 268 第 13章 智能物聯(lián)網的應用 271 13.1 自動駕駛汽車 272 13.1.1 自動駕駛汽車的技術現(xiàn)狀 272 13.1.2 自動駕駛汽車的發(fā)展趨勢 276 13.2 智能交通物聯(lián)網 277 13.2.1 從車聯(lián)網到智能交通物聯(lián)網 277 13.2.2 智能交通物聯(lián)網的應用前景 279 13.3 智能交通物聯(lián)網與自動駕駛汽車的協(xié)同 281 13.3.1 車網知識協(xié)同的優(yōu)勢 281 13.3.2 車網知識協(xié)同體系架構 282 13.3.3 基于智能交通物聯(lián)網環(huán)境的自動駕駛汽車發(fā)展展望 285