Skip to content

hadoop_with_oss.md

Latest commit

 

History

History
113 lines (89 loc) · 3.06 KB

hadoop_with_oss.md

File metadata and controls

113 lines (89 loc) · 3.06 KB
Raw

Hadoop 访问阿里云 OSS + JindoFSx 透明加速

JindoSDK 为 JindoFSx 存储加速系统提供了 Apache Hadoop 支持。

前提条件：

  • 已部署 JindoFSx 存储加速系统

关于如何部署 JindoFSx 存储加速系统，请参考 部署 JindoFSx 存储加速系统

  • 已部署 JindoSDK

关于如何部署 JindoSDK，请参考 部署 JindoSDK

配置 JindoSDK

  • 配置 OSS 实现类

将 JindoFSx 服务 OSS 实现类配置到 Hadoop 的core-site.xml中。

<configuration>
    <property>
        <name>fs.AbstractFileSystem.oss.impl</name>
        <value>com.aliyun.jindodata.oss.OSS</value>
    </property>

    <property>
        <name>fs.oss.impl</name>
        <value>com.aliyun.jindodata.oss.JindoOssFileSystem</value>
    </property>

    <property>
        <name>fs.xengine</name>
        <value>jindofsx</value>
    </property>
</configuration>
  • 配置 Access Key

将 OSS 的 Bucket 对应的Access Key ID、Access Key Secret、Endpoint等预先配置在 Hadoop 的core-site.xml中。

<configuration>
    <property>
        <name>fs.oss.accessKeyId</name>
        <value>xxx</value>
    </property>

    <property>
        <name>fs.oss.accessKeySecret</name>
        <value>xxx</value>
    </property>

    <property>
        <name>fs.oss.endpoint</name>
        <value>oss-cn-xxx-internal.aliyuncs.com</value>
    </property>
</configuration>

JindoSDK 还支持更多的 AccessKey 的配置方式，详情参考 JindoSDK OSS Credential Provider 配置。

  • 配置 JindoFSx Namespace 服务地址

配置在 Hadoop 的core-site.xml中。

<configuration>
    <property>
        <!-- Namespace service 地址 -->
        <name>fs.jindofsx.namespace.rpc.address</name>
        <value>headerhost:8101</value>
    </property>
</configuration>

若使用高可用 Namespace, 请参考 高可用 JindoFSx Namespace 配置和使用

  • 开启缓存。

配置在 Hadoop 的core-site.xml中。

<configuration>
    <property>
        <!-- 数据缓存开关 -->
        <name>fs.jindofsx.data.cache.enable</name>
        <value>true</value>
    </property>
</configuration>

更多缓存优化相关参数，请参考 缓存优化相关参数

使用 JindoSDK 访问 OSS

用 Hadoop Shell 访问 JindoFS，下面列举了几个常用的命令。

  • put 操作
hadoop fs -put <path> oss://<Bucket>/
  • ls 操作
hadoop fs -ls oss://<Bucket>/
  • mkdir 操作
hadoop fs -mkdir oss://<Bucket>/<path>
  • rm 操作
hadoop fs -rm oss://<Bucket>/<path>

参数调优

JindoSDK 包含一些高级调优参数，配置方式以及配置项参考文档 JindoSDK 配置项列表