流云
xinghaifeng2006 · 共 111 篇文章
Hbase 基础知识整理
1、扫描操作scan 可以输入startRow和stopRow参数,其中 起始行包括在内,而终止行是不包括在内的,用区间表示就是【startRow,stopRow). 2、Region的rowKey也是 前开后闭模式【startRow,stopRow).
2014-01-11T09:43:48Z · 开源软件 · 评论(0)
Hbase异常 正在找解决办法 ~~
14/01/06 21:31:31 WARN client.HConnectionManager$HConnectionImplementation: Encountered problems when prefetch META table: org.apache.hadoop.hbase.TableNotFoundException: Cannot find row in .META. for table: edit_user, row=edit_user,,99999999999999 at org.apache.hadoop.hbase.client.MetaScanner.meta…
2014-01-06T21:35:11Z · 开源软件 · 评论(1)
hadoop无法停止
hadoop无法停止 hadoop运行一段时间后,无法正常停止。 解决方法: 1.jps查询所有的相关进程,如namenode,然后kill -9 进程号 2.修改etc/hadoop/hadoop-env.sh 中的 hadoop-pid-dir 指定到一个有效的目录、 如:export hadoop-pid-dir=/data/hadoop/pids 产生的原因是 hadoop-pid-dir 这个环境变量默认是 /tmp,而/tmp中的所有的内容是要被操作系统定期清除的,清除后,hadoop-daemon.sh stop xxx 无法找到相应的进程号,所有无法停止。 转载自:http:…
2014-01-05T17:49:16Z · 开源软件 · 评论(0)
hbase 启动报错解决
转载自:http://hi.baidu.com/coconutnut/item/97ba15ca5da3820fac092f6c hbase 启动解决 今天搞了一天。经常出现Server is not running yet 的错误。找了几个小时。终于发现是 hadoop 启动的问题。 -------- NameNode在启动的时候首先进入安全模式,如果datanode丢失的block达到一定的比例(1-dfs.safemode.threshold.pct),则系统会一直处于安-全模式状态即只读状态。 dfs.safemode.threshold.pct(缺 省值0.999f)表示HDFS启…
2014-01-05T15:19:40Z · 开源软件 · 评论(0)
启动hive 抛异常 "org.eclipse.core.resources" but it cannot be resolved.ERROR
运行命令 启动hive hive --service metastore 命令运行后 ERROR DataNucleus.Plugin: Bundle "org.eclipse.jdt.core" requires "org.eclipse.core.resources" but it cannot be resolved.ERROR DataNucleus.Plugin: Bundle "org.eclipse.jdt.core" requires "org.eclipse.core.resources" but it cannot be resolved. 启动独立Metastore服务…
2014-01-04T23:18:15Z · 开源软件 · 评论(0)
Hadoop启动时进入安全模式 SafeModeException
用这个http://www.cnblogs.com/hustcat/archive/2010/06/30/1768506.html 解决的问题 。备忘~~ org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/input. Name node is in safe mode. 解决方法: NameNode在启动的时候首先进入安全模式,如果datanode丢失的block达到一定的比例(1-dfs.safemode.threshold.pct),则系统会一直处于安…
2014-01-04T23:06:09Z · 开源软件 · 评论(0)
hive 集成hbase 笔记
转载地址:http://blog.csdn.net/daniel_ustc/article/details/12795627 按这个博文安装成功,留个参考。 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为 MapReduce任务进行运行。其优点学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用, 十分适合数据仓库的统计分析。Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信,相互通信主要是依靠hive_hbase-ha…
2014-01-01T18:07:57Z · 开源软件 · 评论(0)
OOZIE上传mapReduce任务
例子路径:下载oozie-2.3.2-cdh3u6包 例子在oozie-2.3.2-cdh3u6/oozie-2.3.2-cdh3u6/docs/DG_Examples.html 文档中 ,可以用 Command方式 oozie job -oozie http://localhost:11000/oozie -config examples/apps/map-reduce/job.properties -run 还有使用cron定时功能 在cron包中,按例子执行一遍就大概明白流程 ,暂时写到这 详细后续跟上~
2013-12-31T23:05:12Z · 开源软件 · 评论(0)
Storm 本地运行 统计字母出现次数
说明:这个例子是在网上下载的,我将storm0.7.1的jar包引入 , 在windows环境eclipse下可以跑通 。 可以有助于理解storm处理流程,不用安装storm环境 , 将工程引入到项目 执行TopologyMain.java 传参words.txt路径 即可。
2013-12-25T15:21:38Z · 开源软件 · 评论(1)
Linux SSH远程文件/目录传输命令scp
出处: http://www.vpser.net/manage/scp.html 相信各位 VPSer 在使用VPS时会 经常在不同VPS间互相备份数据或者转移数据,大部分情况下VPS上都已经安装了Nginx或者类似的web server,直接将要传输的文件放到web server的目录,然后在目标机器上执行:wget http://www.vpser.net/testfile.zip 就行了。当VPS上没有安装web server和ftp server的时候或感觉上面的方法比较麻烦,那么用 scp命令 就会排上用场。 一、scp是什么? scp是secure copy的简写,用于在Linu…
2013-12-19T09:51:55Z · 操作系统 · 评论(0)
Google Protocol Buffers浅析(一)转载
原文出处: http://www.cnblogs.com/royenhome Google Protocol Buffers浅析(一) 本文主要偏向于介绍怎么使用Google的Protocol Buffer技术来压缩与解析你的数据文件,更加详细的信息请参阅Google开放的开发者网页文档,地址为: http://code.google.com/apis/protocolbuffers/docs/overview.html 。 一、简单的介绍 当然,在继续本文之前,读者还是需要对Google Protocol Buffers有一些基本的认识。Protocol buffers是一个用来序列化结构…
2013-12-11T14:44:38Z · 开源软件 · 评论(0)
Apache Thrift - 可伸缩的跨语言服务开发框架
转载自:http://www.ibm.com/developerworks/cn/java/j-lo-apachethrift/ 简介: Apache Thrift 是 Facebook 实现的一种高效的、支持多种编程语言的远程服务调用的框架。本文将从 Java 开发人员角度详细介绍 Apache Thrift 的架构、开发和部署,并且针对不同的传输协议和服务类型给出相应的 Java 实例,同时详细介绍 Thrift 异步客户端的实现,最后提出使用 Thrift 需要注意的事项。 前言: 目前流行的服务调用方式有很多种,例如基于 SOAP 消息格式的 Web Service,基于 JSON …
2013-12-10T21:50:47Z · 开源软件 · 评论(0)
Linux下高并发socket最大连接数所受的各种限制
Linux下高并发socket最大连接数所受的各种限制 12/06. 2013 1、修改用户进程可打开文件数限制 在Linux平台上,无论编写客户端程序还是服务端程序,在进行高并发TCP连接处理时,最高的并发数量都要受到系统对用户单一进程同时可打开文件数量的限制(这是因为系统为每个TCP连接都要创建一个socket句柄,每个socket句柄同时也是一个文件句柄)。可使用ulimit命令查看系统允许当前用户进程打开的文件数限制: 1 2 [speng@as4~]$ulimit-n 1024 这表示当前用户的每个进程最多允许同时打开1024个文件,这1024个文件中还得除去每个进程必然打开的标准…
2013-12-10T10:21:20Z · 操作系统 · 评论(0)
python网络框架twisted TCP客户端连接服务端例子
服务端: from twisted.internet import reactor from twisted.internet.protocol import Factory,Protocol class Echo(Protocol): def connectionMade(self): self.transport.write('hello yy:') # self.transport.loseConnection() def dataReceived(self,data): print data self.transport.write("good") factory=Factory()…
2013-12-06T15:00:15Z · 编程语言 · 评论(0)
常用Python第三方库 简介
如果说强大的标准库奠定了python发展的基石,丰富的第三方库则是python不断发展的保证,随着python的发展一些稳定的第三库被加入到了标准库里面,这里有6000多个第三方库的介绍: 点这里 或者访问: http://pypi.python.org/pypi?%3Aaction=index 。下表中加粗并且标红的都是我平时使用较多的一些第三方库。(P.S.CSDN的这个表格功能太难用了,改HTML代码调整了好半天啊,才见得人!) 转载:http://blog.csdn.net/magictong/article/details/6788208
2013-12-04T16:45:37Z · 编程语言 · 评论(0)