用户在DataWorks上执行MapReduce作业的时候

日期:2019-09-16编辑作者:网站概况

原标题:通过简单瘦身,解决Dataworks 10M文件限制问题

摘要: 用户在DataWorks上执行MapReduce作业的时候,文件大于10M的JAR和资源文件不能上传到Dataworks,导致无法使用调度去定期执行MapReduce作业。 解决方案: jar -resources test_mr.

用户在DataWorks上执行MapReduce作业的时候,文件大于10M的JAR和资源文件不能上传到Dataworks,导致无法使用调度去定期执行MapReduce作业。

解决方案:

第一步:大于10M的resources通过MaxCompute CLI客户端上传,

客户端下载地址:

客户端配置AK、EndPoint:

add jar C:test_mrtest_mr.jar -f;//添加资源

第二步:目前通过MaxCompute CLI上传的资源,在Dataworks左侧资源列表是找不到的,只能通过list resources查看确认资源;

list resources;//查看资源

第三步:瘦身Jar,因为Dataworks执行MR作业的时候,一定要本地执行,所以保留个main就可以;

图片 1

通过上述方法,我们可以在Dataworks上跑大于10M的MR作业。

作者:隐林

​本文为云栖社区原创内容,未经允许不得转载。返回搜狐,查看更多

责任编辑:

本文由云顶娱乐发布于网站概况,转载请注明出处:用户在DataWorks上执行MapReduce作业的时候

关键词:

翼龙贷2年30多条借贷纠纷 创始人王思聪从

原标题:翼龙贷2年30多条借贷纠纷 创始人王思聪从“守望者”变成“催债者” 更多资讯可登录运营商世界网(...

详细>>

而且会与韩国ICT公司平等竞争

原标题:韩国要求谷歌、FB、Netflix必须在韩安装服务器 引述新浪科技的消息,很多韩国相关企业都抱怨海外互联网公...

详细>>