Intel開源了基于Apache Spark的分布式深度學(xué)習(xí)框架BigDL。BigDL借助現(xiàn)有的Spark集群來運(yùn)行深度學(xué)習(xí)計(jì)算,并簡(jiǎn)化存儲(chǔ)在Hadoop中的大數(shù)據(jù)集的數(shù)據(jù)加載。
BigDL適用的應(yīng)用場(chǎng)景主要為以下三種:
1、直接在Hadoop/Spark框架下使用深度學(xué)習(xí)進(jìn)行大數(shù)據(jù)分析(即將數(shù)據(jù)存儲(chǔ)在HDFS、HBase、Hive等數(shù)據(jù)庫(kù)上);
2、在Spark程序中/工作流中加入深度學(xué)習(xí)功能;
3、利用現(xiàn)有的 Hadoop/Spark 集群來運(yùn)行深度學(xué)習(xí)程序,然后將代碼與其他的應(yīng)用場(chǎng)景進(jìn)行動(dòng)態(tài)共享,例如ETL(Extract、Transform、Load,即通常所說的數(shù)據(jù)抽?。?、數(shù)據(jù)倉(cāng)庫(kù)(data warehouse)、功能引擎、經(jīng)典機(jī)器學(xué)習(xí)、圖表分析等。
-
數(shù)據(jù)存儲(chǔ)
+關(guān)注
關(guān)注
5文章
1008瀏覽量
52202 -
AI
+關(guān)注
關(guān)注
88文章
37130瀏覽量
291186 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5586瀏覽量
123717
發(fā)布評(píng)論請(qǐng)先 登錄
用Linux和Apache Hadoop進(jìn)行云計(jì)算

基于Spark和BigDL的深度學(xué)習(xí)技術(shù)的案例解析
第1部分:如何將Bigdl部署為DOCKER容器或虛擬機(jī)
第4部分:BIGDL的長(zhǎng)短記憶和遞歸神經(jīng)網(wǎng)絡(luò)
第2部分:構(gòu)建具有BIGDL的基本神經(jīng)網(wǎng)絡(luò)模型
Apache Spark的分布式深度學(xué)習(xí)框架BigDL的概述
Apache Spark上的分布式機(jī)器學(xué)習(xí)的介紹
Apache Ignite上的TensorFlow!分布式內(nèi)存數(shù)據(jù)源

Apache與Weblogic的整合

Apache2+tomcat5.5集群及Apache負(fù)載均衡配置實(shí)例

物聯(lián)網(wǎng)數(shù)據(jù)上云,正好才是真的好 | Apache Edgent邊緣計(jì)算介紹

評(píng)論