世界對數據湖的興趣依然在不斷增長，但如果說對數據湖的宣傳都是煙霧彈的話(huà)，這就貶低了數據湖真正的能力。“數據倉庫”和“大(dà)數據”等概念都逐漸深入人心，但“數據湖”仍然是讓IT和業務相關者頭疼的一(yī)件事情。

       随着人們對于數據湖的清晰定義、使用案例、最佳實踐等信息的需求不斷增長，IT專業人士需要一(yī)則明确的數據湖指南(nán)，回答以下(xià)問題：數據湖是什麽?我(wǒ)們應該如何利用它?數據湖又(yòu)将如何改變大(dà)數據呢?

       1.定義及觀點

       數據湖成爲了核心數據架構中(zhōng)發展得很快的一(yī)環，但IT專業人士常有疑惑，數據湖究竟是一(yī)個架構策略還是架構的目标呢?實際上并沒有清晰的界限，但仍然有方法來解決定義的問題。數據湖是一(yī)個中(zhōng)央儲存庫，爲多種數據工(gōng)作負載儲存企業數據;通過數據湖，終端架構可以得到解決，同時數據結構相關的決策也是建立數據湖時的關鍵。 數據湖被越來越多的采用，而它的實施分(fēn)爲四個關鍵的階段：

技術評估。通過進行大(dà)數據實驗項目，關注幾個特定的業務目标和成果，數據湖的使用者可以對這項技術進行測試，并熟悉Apache Hadoop環境的管理。

       做出反應。在這個階段，各公司開(kāi)始利用Hadoop來解決現有架構的低效率問題，确立清晰可測的業務機會。此外(wài)，這個采納過程對于IT效率的提高也是非常關鍵的。

       主動利用。通過爲分(fēn)析項目合并數據以及利用Hadoop獲得經濟的可拓展性這兩種手段，各公司可以在一(yī)個單一(yī)的中(zhōng)央存儲中(zhōng)管理大(dà)量新出現的數據源，例如物(wù)聯網、社交媒體(tǐ)和非結構化的數據。

建立核心競争力。随着大(dà)數據成爲IT戰略的核心組成部分(fēn)，各公司最終能夠達到發展的高峰，消除所有業務應用和分(fēn)析應用之間的隔閡，重新建立一(yī)個單一(yī)的企業平台。

       2.數據湖的組織

       得益于Hadoop的靈活性和可拓展性，我(wǒ)們今天能夠保存、分(fēn)類、探索并利用的數據類型比以往任何時候都要多。但避免數據湖成爲數據沼澤的關鍵在于數據治理，數據的組織和安全性也是決定數據探索成敗的關鍵。一(yī)個清晰而有條理的數據組織(通常是按類目或者按數據用法劃分(fēn))能夠幫助Hadoop工(gōng)程師建立更加完善的技術決策，幫助分(fēn)析師和數據科學家從數據中(zhōng)獲取真正的洞察。

      對于企業BI需求、數據探索和數據科學的支持是推動數據湖部署的主要因素，這三項技術能将原始數據用于機器學習算法和統計功能。因爲敏捷方法學爲企業級 BI提供了自适應途徑，數據湖就能夠落實更多具體(tǐ)的企業業務、性能指标和度量權值，同時可用于儲存曆史數據。 充滿競争的商(shāng)業環境讓人目不暇接，各公司必須認識到探索技術的關鍵作用，并認識到解答未知(zhī)的重要性。這刺激了我(wǒ)們的需要，要把數據直接用于分(fēn)析技術，産生(shēng)意義重大(dà)的洞察、爲企業創造附加價值。

       要幫助企業從他們的數據湖中(zhōng)實現最大(dà)化效益，就必須要考慮以下(xià)幾個要素：

       從長遠角度考慮數據。在開(kāi)始一(yī)個數據項目時，必須仔細考慮數據在今後其他應用中(zhōng)的可重用性。要明白(bái)未來新産生(shēng)的數據需求往往是不可預知(zhī)的，了解這一(yī)點後公司就可以更好地相應準備并利用起他們的數據。

       先确立數據治理結構。數據治理被應用在了整個企業的數據和信息政策當中(zhōng)，所以在考慮數據湖時也不應該例外(wài)。數據治理規範了企業中(zhōng)的每個人對數據湖的使用，并最小(xiǎo)化了發生(shēng)錯誤和不當數據管理的可能性。

       預先解決安全問題。以數據爲中(zhōng)心的安全保護提供了從整個數據的生(shēng)命周期來看數據的宏大(dà)視角，此處的關鍵要素就是從第一(yī)天開(kāi)始就正視安全問題，确立好哪些數據可以引入數據湖，并爲數據湖中(zhōng)的各類數據制定使用權限