?分类:分布式计算/Hadoop

分布式计算/Hadoop

在MapReduce中,如何将ArrayList作为值从mapper发送到reducer

我们如何将一个ArrayList作为值从映射器传递给reducer。 我的代码基本上有一定的规则可以使用,并会根据规则创建新的值(String)。我维护所有输出(在规则执行后生成)在列表中,现在需要将这个输出(Mapper值)发送到Reducer,并且没有办法这样做。 有人可以请我指向一个方向 添加代码 package develop; import java.i

IT屋 2018/6/1 12:42:40 喜欢

分布式计算/Hadoop

在java代码中找到hive-site.xml的位置

我想在我的java程序中传递hive-site.xml文件的位置。 自动找到这个文件的位置的最佳方法是什么在java代码中? 我不想将路径硬编码到 /etc/hive/conf/hive-site.xml for cloudera distibution 解决方案 默认情况下,Hadoop Configuration 构造函数在 CLASSPATH 中搜索目录中的“blahbl

IT屋 2018/6/1 12:42:38 喜欢

分布式计算/Hadoop

Mapreduce Hadoop的PDF输入格式

您好,我使用PDFBOX外部函数库解析mapreduce中的pdf输入文件,但我收到以下错误。 $ b 错误:抛出java.lang.ClassNotFoundException: org.apache.pdfbox.pdmodel.PDDocument在 $ java.net.URLClassLoader的1.run(URLClassLoader.java:366) 在java.n

IT屋 2018/6/1 12:42:35 喜欢

分布式计算/Hadoop

如何连接到远程HDFS

我在Windows机器上运行eclipse,并且HDFS在Unix机器上运行。 我试图连接到运行在远程机器上的HDFS实例。 。这是我已经尝试过的。 Configuration conf = new Configuration(); conf.set(“fs.defaultFS”,“hdfs:// remoteHostName:portNumber”); DFSClient cl

IT屋 2018/6/1 12:42:33 喜欢

分布式计算/Hadoop

Hive表格的JSON文件的条目分隔符

我们正在通过REST API调用收集JSON数据(特别是公共社交媒体帖子),我们计划将其转储到HDFS中,然后使用SerDe在其顶部抽象一个Hive表。我想知道在文件中每个JSON条目的合适分隔符是多少?是新行(“\\\ ”)?所以它看起来像这样: {id:entry1 ... post:} {id:entry2。 .. post:} ... {id:entryn ... p

IT屋 2018/6/1 12:42:28 喜欢

分布式计算/Hadoop

将本地数据复制到hadoop hdfs错误

我最近安装/配置了hadoop,并试图运行一些测试。我的问题是将本地数据复制到hdfs: 当我尝试运行时 hdfs dfs -copyFromLocal / home / develop / test / test 或任何类似的命令,所有我得到的是: pre $ copyFromLocal:`test':没有这样的文件或目录 如果我运行 ls

IT屋 2018/6/1 12:42:23 喜欢

分布式计算/Hadoop

Hadoop Pig有序分析函数

我是Pig中的新成员,并且希望使用有序的分析函数,类似于SQL中的可能。 我的数据如下所示: (b) $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ b(TAC,2001-08-07,16.3,16.54) (TAC,2001-08-08,16.55,16.44) (TAC,2001-08-09,16.45,16.48) (TAC,2001-08-10,1

IT屋 2018/6/1 12:42:16 喜欢

分布式计算/Hadoop

hadoop fs -ls不起作用

我使用Ubuntu 14.04 OS在本地计算机上安装了单节点Hadoop。现在我要使用HDFS,并且当我输入一个简单的命令时: hdu @ hadoop:?$ hadoop fs -ls 显示以下错误: 15/07/10 18:24:52 WARN util.NativeCodeLoader: 无法为您的平台加载native-hadoop库... 使用内建-

IT屋 2018/6/1 12:42:13 喜欢