ITeye博客

记录些细节的东西

chenchao051 · 共 39 篇文章

回答一位网友对Scala的提问

本来准备在私信里直接回复了,但是发现不太方便,就简要回答在这里。 问题 写道 对于scala的简洁十分佩服,但又觉得比较晦涩,例如一例,Map("a" -> List(11,111)).flatMap(_._2),可否说下最后那个函数做了什么,真正在开发的时候也会如此简洁?谢谢 先回答一点,在实际使用中,Scala毫无疑问就是这么简单。 首先 Map("a" -> List(11,111)).flatMap(_._2) //List(11, 111) 为什么能以_._2调用是因为 -> 标识符产生的是一个Tuple2对象(包含有两个元素的元组,如(1,2)) def -> [B](y: B)…

2013-10-25 14:54 · Scala · 评论(2)

Scala设计模式

Scala设计模式 我的话: 在国外网站上看到一篇文章,里面详细描述了很多设计模式,并且用Java及Scala两种语言描述,清晰的让我们看到各种常规的设计模式,在Scala中是如何在语言特性层面直接支持的。基于文章很nice,我利用今天的空闲时间将其翻译,希望大家能一起学习,讨论。翻译比较倡促,也就两小时左右,有何不当,请在下面留言指出。多谢! ps:翻译工作我是直接在google docs完成的,结果到iteye这个巨无语的编辑器中,有些格式显示不对劲,大家将就着看吧,抱歉了。 --------------------------------------------------------…

2013-10-22 21:30 · Scala · 评论(2)

Reasons why crontab does not work

这个链接可能会有解答 http://askubuntu.com/questions/23009/reasons-why-crontab-does-not-work 此外一定要注意,crontab的默认目录是什么,不要明明已经运行了,你还以为没运行。

2013-07-03 09:05 · shell · 评论(0)

vim一些简单记录

mac在/usr/share/vim/vimrc linux在/etc/vimrc 1、问:后退键不能删除数据,不能往后退怎么办? 答:在vimrc中加入set backspace=2 2、问:如何控制tab键的缩进? 答:在vimrc中加入set tabstop=4 (任何你想要缩进的字符数) 3、问:如何在mac的vim中开启语法高亮 答: 在/usr/share/vim/vimrc后加上 syntax on 4、问:如何切换lang到utf8 答:在/etc/profile中加入以下语句: LANG=zh_CN.UTF-8 LC_LOCALE=zh_CN.UTF-8

2013-05-31 14:22 · shell · 评论(0)

Linux安装mysql的一些坑

1、mysql不建议在root用户下运行 2、出现服务启动不了,111错误,注意要用chown来赋予权限, 我在root用户下装的mysql,我就把usr/share/mysql/mysql.server复制到/etc/init.d/mysqld, (同时把my-huge.cnf复制/etc/my.cnf) chown -R cc /etc/init.d/mysqld chown -R cc /usr/share/mysql/ chown -R cc /var/mysql/lib chown -R cc /usr/bin/mysql (cc是我的一个普通账户) 3、完后可以启动了,然后发现还…

2013-05-20 16:27 · mysql · 评论(0)

改变python的默认语言设置

import sys sys.getdefaultencoding() 可以测试出默认语言,要改变的话,需要在python lib的site-packages文件夹下新建: sitecustomize.py, 这个文件比较特殊,会在python启动时来加载,所以就可以在里面写上: import sys sys.setdefaultencoding('utf-8') 再次测试就ok。 如何寻找python的lib文件夹? 只需要whereis python就看的明白了。一般是/usr/local/lib/python2.7/

2013-05-17 14:54 · python · 评论(0)

MySQLdb用户指南

原网页被墙,放这里备用。 MySQLdb User's Guide Contents Introduction Installation _mysql MySQL C API translation MySQL C API function mapping Some _mysql examples MySQLdb Functions and attributes Connection Objects Cursor Objects Some examples Using and extending Embedded Server Introduction MySQLdb is an threa…

2013-05-17 09:15 · python · mysql · 评论(0)

redis做缓存时的一点优化

最近集群上有个job,其中需要短时间内频繁访问缓存,大概7亿多次。我这边的缓存是使用redis来做的,问题就来了。 首先,redis中存的是普通kv,没有考虑使用hash等解结构,那么以为着这个job需要访问7亿多次redis,导致效率低,且出现很多redis的read timeout exception. 我采取的一些办法: 1、使用pool来管理连接,并且适当放长timeout的时间,切记在每次使用完连接后放回池中。 2、把不同业务的缓存放到不同的redis实例上,效率有一定增加。 3、这个job访问的缓存有个特点,数据量不大,总共才几十兆,所以决定在每个node上使用map来保存,在r…

2012-12-13 16:35 · hadoop · redis · 评论(0)

为啥要用位运算代替取模呢

在hash中查找key的时候,经常会发现用&取代%,先看两段代码吧, JDK6中的HashMap中的indexFor方法: /** * Returns index for hash code h. */ static int indexFor(int h, int length) { return h & (length-1); } Redis2.4中的代码段: n.size = realsize; n.sizemask = realsize-1; //此处略去xxx行 while(de) { unsigned int h; nextde = de->next; /* Get the ind…

2012-11-14 14:36 · 操作系统 · 评论(13)

vmware中 ubuntu看不到共享文件的解决方法

问题如题 解决如下: 在terminal中运行sudo vmware-config-tools.pl 一路回车,结束后去/mnt/hgfs看,就有了。

2012-11-09 16:05 · 操作系统 · 评论(0)

redis -- hash_max_zipmap_entries设置过大有问题

使用redis时为了使用hash追求更高的内存使用率,我们一般都用hash结构,并且有时候会把hash_max_zipmap_entries这个值设置的很大,很多资料也推荐设置到1000,默认设置为了512,但是这里有个坑 #define ZIPMAP_BIGLEN 254 #define ZIPMAP_END 255 /* Return the number of entries inside a zipmap */ unsigned int zipmapLen(unsigned char *zm) { unsigned int len = 0; if (zm[0] < ZIPMAP_BI…

2012-11-08 14:00 · redis · 评论(0)

shell查找上个月,陷阱及野路子

date -d "-1 month" +%F 以上这段代码,假如在2012/10/31执行,结果并不会出现你预计的9月份,而是会出现八月份,原因是10月份有31天,9月份30天,所以-1 month在10月份看来要减去31天,所以直接到了8月31日这天,这不靠谱。 野路子解决:假设当天日期大于15号,那就减个十天,假如小于15号,那就使用当天日期。 currday=`date +%d` vd=`date +%F` if [ $currday -gt 15 ];then vd=`date +"%F" -d "-10 days"` fi 接着 date -d "$vd -1 month" +%F…

2012-11-01 09:04 · shell · 评论(0)

简单HBase笔记

一、Client-side write buffer 客户端缓存请求 描述:可以缓存客户端的请求,以此来减少RPC的次数,但是缓存只是被存在一个ArrayList中,所以多线程访问时不安全的。 可以使用getWriteBuffer()方法来取得客户端缓存中的数据。 默认关闭。 二、Scan的Caching 描述: next( )方法请求一行就要使用一次RPC,即使你指定了next(int nbRows)也一样,很明显这在性能上会存在一些问题,特别是每次都是请求一个很小的cell的时候。这时候,我们可以考虑在每次RPC的时候,取出更多的row, 这就被称为 scanner caching。这个…

2012-10-26 16:35 · hbase · hadoop · zookeeper · 评论(0)

诡异的超长时间GC问题定位

HBase的GC策略采用PawNew+CMS, 这是大众化的配置,ParNew经常会出现停顿时间特别长的情况,有时候甚至长到令人发指的地步,例如请看如下日志: 2012-10-17T05:54:54.293+0800: 739594.224: [GC 739606.508: [ParNew: 996800K->110720K(996800K), 178.8826900 secs] 3700515K->2985396K(6180736K), 187.4174260 secs] [Times: user=1.70 sys=2.42, real=191.35 secs] 不要慌,因为我也没见过这么…

2012-10-19 16:45 · hbase · hadoop · 操作系统 · JVM · 评论(0)

ZK Timeout再讨论

http://crazyjvm.iteye.com/blog/1693757 文中提到相关超时问题,但是又出现了一个问题,我把min和max都设置成了180000,但是仍然出现了以下的异常信息: Client session timed out, have not heard from server in 154339ms for sessionid 0x13a3f7732340003 ... Client session timed out, have not heard from server in 167805ms for sessionid 0x13a3f7732340000 ...…

2012-10-18 15:29 · hbase · zookeeper · 评论(2)