.NET for Apache Spark

来自软件开发
跳转至: 导航搜索

A free, open-source, and cross-platform big data analytics framework

我们以前也介绍过,Apache Spark是Apache基金会旗下的时下最流行的开源分布式内存式大数据处理引擎。 Spark可用于处理批量数据,实时数据流,支持机器学习和即时数据查询。

.NET for Apache Spark项目主要用于创建跨Spark API的Spark原生操作库,为.net开发人员进行大数据分析提供方便。此前Spark官方支持Scala,Java,R和Python,至此又增加了.net。

.NET for Apache Spark为.net应用提供了原生的高性能API,他打包了Spark操作操作层上,可以为多种语言提供高性能访问类库,可以支持C#和F#等.net语言。

通过.NET API,我们可以高效访问Apache Spark的所有组件,包括Spark SQL,DataFrames,Streaming,MLLib等。

参考资料