騰訊開(kāi)源數據組件 Fast-Causal-Inference，可用于分布式向量化統計分析及因果推算

IT之家 9 月 18 日消息，騰訊在其公眾號“騰訊開(kāi)源”中宣布，旗下開(kāi)源分布式數據科學(xué)組件項目 Fast-Causal-Inference 目前已經(jīng)在 GitHub 中公布。

▲ 圖源 “騰訊開(kāi)源”公眾號

據悉，這是由騰訊微信研發(fā)，采用 SQL 交互的，基于分布式向量化的統計分析、因果推斷計算庫，據稱(chēng)“解決已有統計模型庫 （R / Python) 在大數據下的性能瓶頸，提供百億級數據秒級執行的 Causal inference 能力，同時(shí)通過(guò) SQL 語(yǔ)言降低統計模型使用門(mén)檻，易用于生產(chǎn)環(huán)境中，目前已在微信視頻號、微信搜一搜等微信內部多個(gè)業(yè)務(wù)進(jìn)行了應用?！?/p>

官方介紹：

提供海量數據秒級執行的 Causal inference 能力 

基于向量化 OLAP 執行引擎 ClickHouse / StarRocks，速度上更益于極致化用戶(hù)體驗。

極簡(jiǎn)的 SQL 使用方式

SQLGateway WebServer 通過(guò) SQL 語(yǔ)言降低統計模型使用門(mén)檻，并在上層提供極簡(jiǎn)的 SQL 使用方式，透明做引擎相關(guān)的 SQL 展開(kāi)和優(yōu)化。

提供基礎算子、高階算子的因果推斷能力，及上層的應用封裝

支持 ttest, OLS, Lasso, Tree-based model, matching, bootstrap, DML 等。

IT之家同時(shí)得知，官方表示，首個(gè)版本已經(jīng)支持如下特性：

基礎因果推斷工具

• 基于 deltamethod 的 ttest，支持 CUPED

• OLS，億行數據，亞秒級

進(jìn)階因果推斷工具

• 以 OLS 為基礎的 IV，WLS，以及其他 GLS，DID，合成控制，CUPED，mediation 正在孵化

• uplift：千萬(wàn)數據分鐘級別運算

• bootstrap / permutation 等數據模擬框架，解決沒(méi)有顯示解的方差估計問(wèn)題

參考

• 開(kāi)源公告 | 騰訊分布式數據科學(xué)組件

• Tencent / fast-causal-inference — GitHub