chenchao051
- 浏览: 135622 次
- 性别:
- 来自: 杭州
-
最新评论
-
SINCE1978：
还没细看，似乎取材自一本书《scala与clojure设计模式 ...
Scala设计模式 -
HowKeyond：
补充，我代码中监听了session失效事件，并做了重连，但重连 ...
ZK Timeout再讨论 -
HowKeyond：
请问这一般是什么原因引起的呢？怎么解决？我被这个问题困扰几个星 ...
ZK Timeout再讨论 -
chenchao051：
耶 耶 耶 耶 耶 耶 耶 耶 耶 耶 耶 耶 耶 耶 耶 耶 ...
回答一位网友对Scala的提问 -
dogstar：
唉.唉.唉.唉.唉.唉.唉.唉.唉.唉.唉.唉.唉.唉.唉.
回答一位网友对Scala的提问
文章列表
一、YouAreDeadException
FATAL org.apache.hadoop.hbase.regionserver.HRegionServer: ABORTING region server serverName=cloud13,60020,1348890729197, load=(requests=0, regions=375, usedHeap=2455, maxHeap=6035): Unhandled exception: org.apache.hadoop.hbase.YouAreDeadException: Server REPORT rejected; ...
很多同学可能有这样的疑问，我明明把连接zk客户端的超时时间sessionTimeout设置为180秒了，可是为什么仅仅过了40几秒就超时了？
其实只这么设置，根本没有任何作用，因为客户端将sessionTimeout的值传给zk时，zk还会根据minSessionTimeout与maxSessionTimeout两个参数重新调整最后的超时值
public int getMinSessionTimeout() {
return minSessionTimeout == -1 ? tickTime * 2 : minSessionTimeout;
...
转载两篇相关文章：
第一篇、http://blog.nosqlfan.com/html/3014.html
HBase 增量备份和还原工具
HBase自带的export/import机制可以实现Backup Restore功能。而且可以实现增量备份。下面设增量备份的python脚本。
在这个脚本中，每天做增量备份，每个月15日做全备份。
import time
import datetime
from datetime import date
import sys
import os
tablename=sys.argv[1]
backupDst=sys.arg ...
Python使用sorted函数来排序：
l = [2,1,3,5,7,3]
print sorted(l)
执行结果：[1, 2, 3, 3, 5, 7]
按列表每个元素，逗号前面的那个字符排序：
l=['c,3','a,5','d:4','b,2','a,3']
print sorted(l,key=lambda x:x.split(',')[0])
执行结果：['a,5', 'a,3', 'b,2', 'c,3', 'd:4']
也可以加上第二排序关键字：
l=['c,3','a,5','d,4','b,2','a,3']
print sorted( ...
运行：
Jar_path=/home/ppstat/hadoop/contrib/streaming/hadoop-streaming-0.20.203.0.jar
out_put_path=/userstat/cc/check
cd /home/ppstat/hadoop
bin/hadoop fs -test -e $out_put_path
if [ $? -eq 0 ];then
bin/hadoop fs -rmr $out_put_path
fi
bin/hadoop jar $Jar_path -Dmapred.reduce.tasks=40 -f ...
安装巨简单：
进入thrift根目录 ./configure --> ./make --> make install
为了在某些简单环境下，决定采用python来访问hbase
1、在make的时候出现fatal error: Python.h: No such file or directory的错误：
答：没有安装python-dev的包，运行sudo ...
Indices and tables
Index
Module Index
Search Page
Contents:
class redis.Redis(host='localhost', port=6379, db=0, password=None, socket_timeout=None, connection_pool=None, charset='utf-8', errors='strict', unix_socket_path=None)
Provides backwards compatibility with older versions of ...
1.Master写内存快照，save命令调度rdbSave函数，会阻塞主线程的工作，当快照比较大时对性能影响是非常大的，会间断性暂停服务，所以Master最好不要写内存快照。 2.Master AOF持久化，如果不重写AOF文件，这个持久化方式对性能的影响是最小的，但是AOF文件会不断增大，AOF文件过大会影响Master重启的恢复速度。 3.Master调用BGREWRITEAOF重写AOF文件，AOF在重写的时候会占大量的CPU和内存资源，导致服务load过高，出现短暂服务暂停现象。 下面是我的一个实际项目的情况，大概情况是这样的：一个Master，4个Slave，没有Sharding机制， ...
假如用hadoop0.20.203版本，hbase会提示hdfs不支持append特性而可能会导致数据丢失，而且事实上，这种情况在我们系统中已经遇到，在写数据的时候，rs挂掉，数据丢失。 暂时准备把hadoop迁移到cdh3u3上， 因为是不同版本之间的迁移，所以只能用hftp,
./hadoop distcp hftp://server1:50070/hbase/test hdfs://server1:9011/hbase/test 从前面拷到后面， 同时加入还需要迁移hbase的话，可以把保存在hdfs上的文件全部拷到新的集群中，然后执行./hbase org.jruby.Main ...
If you are thinking about using HBase you will likely want to understand HBase backup options. I know we did, so let us share what we found. Please let us know what we missed and what you use for HBase backup!
Export
You could export your tables using the Export (org.apache.hadoop.hbase.mapreduce ...
#String Comparison Operators
Operator True if...
str1 = str2a str1 matches str2
str1 != str2 str1 does not match str2
str1 < str2 str1 is less than str2
str1 > str2 str1 is greater than str2
-n str1 ...
简单记录一下，我是在vmware下装了3台虚拟机(ubuntu)， 用来测试hadoop及hbase的相关代码，他们直接需要通信。 步骤如下：
1、我原来已经装好了一个虚拟机，为这个虚拟机做了个snapshot，接下来的三台机子都准备由这个snapshot克隆。
2、vm-->manage-->clone-->选择完全克隆 重复3遍 创建三个虚拟机
3、将每个虚拟机的network Adapter 选择为 Host-Only
4、分别修改三个虚拟机的/etc/hostname 为 server1 server2 server3
5、分别修改三个虚拟机的 /et ...
为当前用户创建cron服务
1. 键入 crontab -e 编辑crontab服务文件
例如 文件内容如下：
*/2 * * * * /bin/sh /home/admin/jiaoben/buy/deleteFile.sh
保存文件并并退出
*/2 * * * * /bin/sh /home/admin/jiaoben/buy/deleteFile.sh
...
$0 shell的命令本身(包括完整路径)
$1到$9 数字表示shell 的第几个参数
$# 传递到脚本的参数个数
$* 以一个单字符串显示所有向脚本传递的参数
$$ 脚本运行的ID号
$! 后台运行的最后一个进程的ID号
$@ 与$*相同。
$- 显示shell使用的当前选项。
$? 显示最后命令的执行状况。0表示没有错误。
HBase LRU源码解析
- 博客分类：
- hbase
先来看下LruBlockCache的构造，关键是看清每个参数的作用:
/**
* Configurable constructor. Use this constructor if not using defaults.
* @param maxSize maximum size of this cache, in bytes
* @param blockSize expected average size of blocks, in bytes
* @param evictionThread whether to run evictions in a ...