為大數據與各種工作負載設計的解決方案

現今的數據格式不僅相當多元，更會(huì )以實(shí)時(shí)串流的形式提供，同時(shí)散布于世界各地許多不同的數據中心和云端環(huán)境中。從數據分析、數據工程、人工智能與機器學(xué)習，到數據導向應用程序，運用及分享數據的方式仍在持續增加。數據的影響力不再僅限于分析師，現已擴及所有員工、客戶(hù)和合作伙伴。

由于數據、工作負載和用戶(hù)的數量與類(lèi)型急劇成長(cháng)，因此目前正處于一個(gè)臨界點(diǎn)上，即便將傳統數據架構部署于云端，也無(wú)法完整發(fā)揮數據的潛在價(jià)值，導致數據越來(lái)越難以轉化為實(shí)際價(jià)值。

為克服這些難題，我們正式發(fā)表多項數據云端的創(chuàng )新技術(shù)，協(xié)助大家處理各種工作負載中無(wú)窮無(wú)盡的數據，并讓所有人都能使用。這次發(fā)表的項目中包含 BigLake和Spanner變更串流，這些技術(shù)可以進(jìn)一步整合客戶(hù)數據，同時(shí)確保數據能夠實(shí)時(shí)傳遞。

另外，Vertex AI Workbench和Model Registry則能讓大家輕松將資料轉化為 AI方面的價(jià)值。為了讓所有人都能使用數據，我們將發(fā)表經(jīng)過(guò)統合的商業(yè)智能 （BI）服務(wù)，當中包含全新的Workspace整合方案，以及進(jìn)一步支持Google數據云端合作伙伴生態(tài)系的新計劃。

突破所有數據限制
我們發(fā)表的Beta版BigLake，這個(gè)數據湖泊儲存引擎可以整合不同的資料湖泊與倉儲，進(jìn)而打破其中的界線(xiàn)。如果分開(kāi)管理不同的數據倉儲與湖泊，會(huì )造成資料孤島的情形發(fā)生，并導致額外的風(fēng)險和費用，這樣的問(wèn)題在需要遷移數據時(shí)會(huì )特別明顯。

有了BigLake，企業(yè)就能整合數據倉儲和數據湖泊，并進(jìn)行分析，且不必擔心基礎的儲存空間格式或系統，這樣就不需要復制或遷移來(lái)源中的數據，進(jìn)而降低成本并提高效率。

在BigLake的協(xié)助下，客戶(hù)可以采用更細致的存取權控管機制，并透過(guò)API接口使用Google Cloud和Parquet等開(kāi)放原始碼文件格式，進(jìn)而運用Apache Spark等開(kāi)放原始碼處理引擎。這些功能將BigQuery十年的革新成果拓展至 Google Cloud Storage中的數據湖泊，實(shí)現了具備彈性并符合成本效益的開(kāi)放式資料湖倉架構。

Twitter已開(kāi)始采用BigQuery的儲存空間功能來(lái)打破數據限制，以便進(jìn)一步掌握其用戶(hù)使用Twitter平臺的方式，以及會(huì )感到興趣的內容類(lèi)型。因此，Twitter 能透過(guò)每秒可執行超過(guò) 300 萬(wàn)次聚合作業(yè)的廣告管道，每天為數兆個(gè)事件提供內容。

另一項重大創(chuàng )新技術(shù)是Spanner變更串流。這項即將推出的新產(chǎn)品會(huì )進(jìn)一步協(xié)助大家打破數據限制，并實(shí)時(shí)追蹤Spanner數據庫中的變更，以便創(chuàng )造全新價(jià)值。Spanner變更串流可以追蹤Spanner的植入、更新和刪除作業(yè)，并在整個(gè) Spanner數據庫中實(shí)時(shí)串流異動(dòng)內容。這樣一來(lái)，客戶(hù)就能隨時(shí)存取最新數據，同時(shí)輕松將Spanner中的變更復制到BigQuery來(lái)進(jìn)行實(shí)時(shí)分析、透過(guò) Pub/Sub觸發(fā)下游應用程序行動(dòng)，或是將變更儲存至Google Cloud Storage （GCS）來(lái)遵守法規要求。Spanner目前每秒最多可處理超過(guò)20億項要求，同時(shí)維持99.999%的可用性。而在增加變更串流之后，Spanner現在可以讓客戶(hù)在處理數據時(shí)享有無(wú)限可能。

消除數據工作負載的限制
我們的AI產(chǎn)品組合是以Vertex AI來(lái)驅動(dòng)，這個(gè)代管平臺提供建立、部署及擴充模型所需的各項機器學(xué)習工具，并經(jīng)過(guò)優(yōu)化的處理，可以順暢處理 BigQuery 等服務(wù)中的數據工作負載。Vertex AI創(chuàng )新技術(shù)提供更加流暢的體驗，讓客戶(hù)在更短時(shí)間內將AI模型部署至實(shí)際工作環(huán)境，并進(jìn)一步簡(jiǎn)化維護作業(yè)。

Vertex AI Workbench現已正式推出，能夠將數據和機器學(xué)習系統整合至單一接口，這樣一來(lái)無(wú)論是執行數據分析、數據科學(xué)或機器學(xué)習等工作，團隊都能使用相同的工具組來(lái)完成。Vertex AI Workbench與BigQuery、無(wú)服務(wù)器 Spark和Dataproc整合后，可讓團隊快速建立、訓練及部署機器學(xué)習模型，速度是傳統筆記本電腦的5倍。事實(shí)上，一間跨國零售公司采用了Vertex AI Workbench之后，銷(xiāo)售額增加了數百萬(wàn)美元，產(chǎn)品上市速度也加快了15%。

有了Vertex AI，就可以定期更新模型，不過(guò)要管理大量的構件并非易事，情況可能會(huì )在短時(shí)間內失控。為了能夠更輕松地管理模型的維護作業(yè)，我們發(fā)布全新的機器學(xué)習運作功能Vertex AI Model Registry。目前Vertex AI Model Registry為Beta版，提供中央存放區，可供探索、使用及管理機器學(xué)習模型，BigQuery ML中的模型也包含在內。如此，數據數據學(xué)家就能輕松分享模型，以方便應用程序開(kāi)發(fā)人員使用，進(jìn)而讓團隊能依據數據實(shí)時(shí)制定決策，在面對持續變化的市場(chǎng)環(huán)境時(shí)能保持更高彈性。

擴大數據觸及范圍
我們也推出Looker鏈接電子表格，以及在Data Studio中存取Looker數據模型的功能。無(wú)論是透過(guò)Looker探索（Looker Explore）、Google電子表格或是數據分析（Data Studio）的拖曳式接口，大家現在都能按照自己選取的方式與數據行互動(dòng)。

如此一來(lái)，所有人都能運用這個(gè)經(jīng)過(guò)整合的全新Google Cloud商業(yè)智慧 （BI）平臺，更輕松地存取資料、并從中擷取出深入分析的結果，藉此推動(dòng)革新，并依據資料來(lái)制定決策。有了這項整合式商業(yè)智慧服務(wù)，使用者就能輕松取得受管理且值得信賴(lài)的企業(yè)數據、采用新的數據集和計算功能，并與同事協(xié)同合作。

Mercado Libre是拉丁美洲最大的在線(xiàn)商務(wù)與支付服務(wù)系統，同時(shí)也是Looker鏈接電子表格的初期采用者。借助這項整合服務(wù)，他們已能透過(guò)原先慣用的電子表格接口將數據存取權分享給更多員工。藉由降低入門(mén)門(mén)坎，他們已經(jīng)營(yíng)造出數據導向文化，所有人都能依據數據制定決策。

強化支持資料云端合作伙伴生態(tài)系
如果沒(méi)有出色的合作伙伴生態(tài)系，我們即使擁有這些數據創(chuàng )新技術(shù)，也不可能讓用戶(hù)輕松發(fā)揮數據的價(jià)值。目前已有超過(guò)700個(gè)軟件合作伙伴使用 Google的數據云來(lái)驅動(dòng)自家的應用程序。Bloomreach、Equifax、Exabeam、Quantum Metric和ZoomInfo等許多合作伙伴均已開(kāi)始采用我們的數據云功能，并參加Built with BigQuery計劃，來(lái)享有專(zhuān)屬工程團隊、協(xié)同營(yíng)銷(xiāo)和市場(chǎng)開(kāi)發(fā)的支持。

我們的用戶(hù)希望合作伙伴解決方案不僅能夠與BigQuery等產(chǎn)品緊密整合，并可以進(jìn)一步優(yōu)化。因此Google Cloud Ready - BigQuery這項全新的驗證機制，能夠識別一系列符合功能性和互操作性核心需求的合作伙伴解決方案，例如 Fivetran、Informatica和Tableau所提供的服務(wù)。目前在「Google Cloud Ready - BigQuery」計劃中收錄了超過(guò)25個(gè)合作伙伴。這項嶄新的計劃可協(xié)助客戶(hù)減少評估新工具所需的成本，同時(shí)支持新的應用情境。

另外，我們也宣布一項新的數據庫遷移計劃，希望能夠協(xié)助大家在短時(shí)間內順暢且迅速地邁開(kāi)遷移的腳步，將地端部署環(huán)境和其他云端中的數據遷移至 Google的全代管數據庫服務(wù)上。除了由Deloitte等合作伙伴提供的工具、資源和專(zhuān)業(yè)知識之外，我們也提供獎勵來(lái)協(xié)助客戶(hù)節省遷移數據庫的費用。

我們會(huì )繼續與客戶(hù)挹注資源的數據與數據分析公司合作，持續推動(dòng)革新。Databricks、Fivetran、MongoDB、Neo4j和Redis也都已經(jīng)向Google Cloud 的用戶(hù)公布重大新功能。

（本文作者Gerrit Kazmaier為Google Cloud數據庫、數據分析及Looker商業(yè)智能平臺總經(jīng)理暨副總裁）