• Apache Hadoop


    Apache Hadoop是一个用java语言实现的软件框架,在由大量计算机中运行海量数据的分布式计算,它可以让应用程序支持上千个节点和PB级 Hadoop是从google的MapReduce和Google文件系统的论文获得的灵 Hadoop是Apache的一线项目,开发和实用来自世界各地的社区,Yah 止最大的贡献者,并且Yahoo广泛使用它在搜索业务和广告业务上。IBM和联合就是使用的Hadoop,为大学的课程提供分布式计算。 Hadoop的创始人是Doug Cutting(目前在yahoo工作),关于hadoop Doug Cutting在它儿子画图时画了一只大象而获得的灵感。其实Doug C 的目的是想为Nutch搜索引擎提供分布式。 hadoop有三个子项目:Hadoop core,HBase, Zookeeper。

     

    点击次数   官方主页【官方主页】   下载地址【下载地址】

    网友留言/评论

    我要留言/评论

    相关开源项目

    Apache Tika: Apache Tika是一个Java工具包用于利用现有的解析类库,从不同格式的文档中(例如HTML,PDF,Doc),检测和提取出元数据和结构化内容。 功能包括: 1.检测文档的类型,字符编码,语言,等其他现有文档的属性。2.提取结构化的文字内容。3.该项目的目标使用群体主要为搜索引擎以及其他内容索引和分析工具。目前支持的文档格式和对应的解析类库如下: 



    文档格式
    相应的解析类库

    HTML
    TagSoup

    XML
    自定义

    微软的Office文档
    Apache POI

    OpenDocument format (ODF)
    自定义

    PDF
    Apache PDFBox

    EPUB
    自定义

    Rich Text Format (RTF)
    自定义

    压缩文件格式(如 ar, cpio, tar, zip, gzip, bzip2等)
    Apache组织的Commons Compress

    Txt
    ICU

    音频格式
    主要采用Java的标准图像处理包javax.sound

    图像格式
    Java的标准图像处理包javax.imageio, 以及 metadata-extractor软件包。

    视频格式
    目前只支持Flash格式。

    Java类文件
    自定义

    邮件mbox文件格式
    自定义
    Apache UIMA: Apache UIMA 是UIMA定义的Apache开源实现。UIMA是一个用于分析非结构化内容(比如文本、视频和音频)的组件架构和软件框架实现。这个框架的目的是为非结构化分析提供一个通用的平台,从而提供能够减少重复开发的可重用分析组件。 UIMA 架构允许您轻松插入定制的分析组件,并将它们与其他组件合并。您的 UIMA 应用程序不需要知道分析组件共同合作生成结果的细节。集成和组织多个分析组件是 UIMA 框架的工作。 UIMA 应用程序可能分析纯文本并识别人员、位置和组织;它也可能识别关系,比如为谁工作或在什么地方工作。应用程序通常可以拆分成组件。例如 “语言识别” => “特定于语言的部分” => “句子范围检测” => “实体检测(人员/位置的名称等等)”。
    Apache Compress Ant Library: Apache Compress Ant Library提供了一些Tasks和Types来读写各种类型的压缩文件和存档文件。支持AR、BZIP2、CPIO、GZIP、TAR和ZIP格式。
    CAROL:Java应用服务器利用CAROL中间件可以让用不同RMI实现的RMI客户端用同统一的接口进行访问,这样使得Java应用服务器无需关心不同的RMI实现问题。CAROL允许使用RMI规范被重新设计,实现,编译,打包,部署和执行分布式应用程序。
    Enhydra Kelp:Enhydra Java/XML应用服务器的IDE插件和开发工具。目前支持在Windows and Linux平台上的开发工具如:Eclipse, Netbeans, JBuilder 和JDeveloper
    DotNetJ:DotNetJ是一个中间件,为.NET 客户端提供了使用Java组件或J2EE应用程序的能力。这个项目旨在提供 .NET与Java之间的互操作性。
    云计算客户端开发包:Libcloud: Apache 网站的顶级项目,Libcloud是一个通用的云计算客户端开发包,Libcloud是许多流行的云服务提供商的标准客户端库,有Python和Java两种版本。以下是当前Java版对各云服务提供商的情况:
    Apache Directory Studio: Apache Directory Studio是一个LDAP工具平台,支持连接到任何 LDAP服务器并进行管理和开发工作,但主要还是设计用于Apache Directory Server。功能包括:LDAP浏览器、LDIF编辑器、Schema编辑器、嵌入式 ApacheDS、ACI编辑器。
    Jonathan:完全用Java开发的分布式的对象平台(DOP:Distributed Object Platform)。
    Apache Chemistry: Apache Chemistry是Content Management Interoperability Services (CMIS) 规范的一个开源实现。该项目当前由以下子项目组成:
    OpenCMIS - CMIS Java客户端和服务器端类库
    cmislib - CMIS Python客户端类库
    phpclient - CMIS PHP客户端类库
    DotCMIS - CMIS .NET客户端类库