隨著互聯(lián)網(wǎng)技術的飛速發(fā)展，傳統(tǒng)的結構化數(shù)據(jù)模型已經(jīng)無法滿足人們對信息處理的要求。尤其是在云計算和物聯(lián)網(wǎng)高速發(fā)展的今天，對管理半結構化數(shù)據(jù)、大規(guī)模信息處理等領域的研究越來越多地被關注。由于半結構化數(shù)據(jù)模型既能描述半結構化數(shù)據(jù)又能描述結構化數(shù)據(jù)，而且具有靈活易擴展的存儲結構，其已被許多系統(tǒng)和應用作為公共數(shù)據(jù)模型，被廣泛地用于異構數(shù)據(jù)量大的應用中。如今，幾乎所有行業(yè)都制定了描述和共享本領域數(shù)據(jù)的半結構化數(shù)據(jù)模型應用標準。此外，由于半結構化數(shù)據(jù)模型具有易于描述結構、易于校驗、易于展現(xiàn)等特點，許多原本是以非結構化方式進行存儲的數(shù)據(jù)，也可以通過半結構化數(shù)據(jù)模型進行描述并存儲。

因此，如何對大規(guī)模半結構化數(shù)據(jù)進行有效的管理，在學術界是一個重要的理論研究課題，同時在工業(yè)界又是一項具有廣闊應用前景的技術。本書以XML為代表，探討了大規(guī)模半結構化數(shù)據(jù)管理中的關鍵問題模式提取、節(jié)點編碼、索引與查詢處理等研究課題。本書主要內容如下：

（1）針對現(xiàn)有基于正則表達式的模式提取方法的不足之處，本書根據(jù)XML Schema規(guī)范中元素內容模型的特點，提出了XTree算法，該算法可以快速、準確地并發(fā)提取多個大規(guī)模（GB級）XML文檔的結構。該算法與其他基于正則表達式的算法最顯著的區(qū)別在于，XTree對于元素內容模型的提取加入了對元素內容模型是否有序的區(qū)分，降低了算法的時間復雜度和空間復雜度。

（2）針對現(xiàn)有半結構化數(shù)據(jù)節(jié)點編碼方案的不足之處，本研究提出了D2編碼方案，該算法在靜態(tài)編碼和動態(tài)編碼中都表現(xiàn)出良好的性能，而且易于二進制串行化和反串行化，具有較高的實用價值。和其他半結構化數(shù)據(jù)節(jié)點編碼方案相比，D2編碼最顯著的特點在于，突破了傳統(tǒng)的以整數(shù)作為層標識的限制，采用二進制真分數(shù)作為層標識，由于真分數(shù)的取值區(qū)間是無窮的，所以可以保證在任意位置插入節(jié)點都存在有效的編碼。

（3）本書綜合考慮了目前已有的關系型數(shù)據(jù)庫和大規(guī)模半結構化數(shù)據(jù)的索引技術的優(yōu)缺點，提出一套完善的索引方案D2-Index索引策略，能夠支持高效的查詢處理。它并不只是使用了一種單一的索引技術，而是參考和借鑒了多種技術，如節(jié)點編碼索引、結構索引和倒排索引等。D2-Index索引策略的最顯著之處在于，它的索引文件包括了主索引、路徑輔助索引和值輔助索引，這三種索引都采用分塊存儲的方式提高索引的查找和修改效率。此外，由于是基于D2編碼方案的，所以D2-Index索引策略可以有效地支持節(jié)點的動態(tài)更新。

（4）根據(jù)目前對于大規(guī)模半結構化數(shù)據(jù)查詢處理的研究，本書提出一種以D2-Index索引策略為基礎，基于XPath表達式的CAS查詢處理。這種查詢處理最大的特點在于，將輸入的合法CAS語句拆分為多個BXCAS語句，再對拆分的語句按順序進行處理，根據(jù)D2-Index策略中的路徑和值輔助索引，獲取符合查詢條件的節(jié)點的D2物理編碼，再從主索引中獲取其在源數(shù)據(jù)中的位置信息，最終以異步的方式輸出結果。