Falcon (产品编号:13789)

Apache Falcon是一个用于管理Hadoop集群数据生命周期的框架。

标签:

开发商: Apache

当前版本: v0.8

产品类型:软件

产品功能:IDE集成开发环境

平台语言:

开源水平:不提供源码

本产品的分类与介绍仅供参考,具体以商家网站介绍为准,如有疑问请来电 023-68661681 咨询。

Apache Falcon 是一个面向Hadoop的、新的数据处理和管理平台,被用于数据移动、数据管道协调、生命周期管理和数据发现。它使终端用户可以快速地将他们的数据及其相关的处理和管理任务“上载(onboard)”到Hadoop集群。

产品质量分析及预测

* 关于本产品的分类与介绍仅供参考,精准产品资料以官网介绍为准,如需购买请先行测试。

整体架构:

Apache Falcon 提供了一个用于治理和编排 Hadoop 内部和周边数据流的数据处理框架。该框架为获取和处理数据集、复制与保留数据集、重新定向位于非Hadoop扩展中的数据集、维护审核跟踪与沿袭提供了关键性的管控框架。Knox拓展了Hadoop的安全边界,实现了与LDAP、用于证书管理的活动目录等框架进行了充分整合,为跨Hadoop和所有相关项目的授权提供了一个通用服务。下面是Falcon的架构图:

Apache Falcon

从上图可以看出,Apache Falcon:

  • 在Hadoop环境中各种数据和处理元素(processing element)之间建立了联系;

  • 可以与Hive/HCatalog集成;

  • 根据可用的Feed组向最终用户发送通知。

用途特性:

Apache Falcon可以满足企业数据管理的以下三方面需求:

需求特性
集中化数据生命周期管理
  • 用于数据摄取、处理与导出的管道集中化定义&管理。

  • 确保灾害预警&业务连续。

  • 数据复制&保留做到开箱即用的策略。

  • 数据管道端到端的监控。

合规与审计
  • 可视化的数据管道系统。

  • 跟踪数据管道的审计日志。

  • 使用业务数据元标记数据。

数据库复制与存档
  • 复制可跨越本地和基于云端的存储目标:Microsoft Azure 与Amazon S3。

  • 数据沿袭支持文档和示例。

  • HDFS中异构存储分层。

  • 在一个集群中定义冷/热存储层。

更新时间:2016-02-02 17:35:26.000 | 录入时间:2016-02-02 11:21:46.000 | 责任编辑:陈俊吉

相关产品
Space

是一个针对软件项目和团队的一体化解决方案。

RAD Studio

RAD Studio® 是一款终极 IDE,用于在 Delphi 中快速构建引人注目的单源多平台本机

Delphi

Delphi® 是先进的 IDE,可快速开发单源多平台高性能本机应用程序。

JetBrains AI

一款专用于程序开发的 AI 工具

GoLand

强大的Go IDE,使 Go 代码的阅读、编写和更改变得非常容易。

扫码咨询


添加微信 立即咨询

电话咨询

客服热线
023-68661681

TOP