Blog

  • 同时向多个目标主机高效传输文件

    转自

    http://engineering.tumblr.com/post/7658008285/efficiently-copying-files-to-multiple-destinations

    需求:从一个源主机local-server拷贝out-1.ogv到两个目的地(或多个),remote-1.jpuyy.com和remote-2.jpuyy.com。不需要安全加密传输。

    平常的操作是从local-server先拷到remote-1,再拷到remote-2,需要两倍时间。如果同时拷,因为local-server的上传带宽要分给两个上传用,所以还是需要两倍的时间。如果你的文件是好几百GB,几TB,那么将等的非常痛苦。

    现在的方法是将local-server与remote-1和remote-2串接起来,形成一个链,由local-server发送最大带宽到remote-1,remote-1接到后不仅自己存,也同时最大带宽传给remote-2,如果还有更多的主机可继续接上。

    首先在最后一台主机(这里是remote-2)上运行

    nc -l 1234 | pigz -d | tar xvf -

    然后在链上的点(这里是remote-1)上执行

    mkfifo myfifo
    nc remote-2.jpuyy.com 1234 <myfifo &
    nc -l 1234 | tee myfifo | pigz -d | tar xvf -

    现在链接打通了,只需要在local-server上向第一台机传送

    tar cv out-1.ogv | pigz | nc remote-1.jpuyy.com 1234

    这样这条链上的所有主机几乎同时接收,就达到了我们的目的,节省了时间。

  • 从业的是一个圈子

    对于从业IT是一个圈子的想法,最近感觉越来越强烈。

    第一次是参加华东架构师大会(第二届),有五个讲师,主要讲的是架构设计方面的。其中竟有三个是和支付宝相关的,一个还任职于支付宝,两个离开了,他们曾经的座位就紧挨着。他们在这样的会议上相遇并不是偶然,而是必然。人从事一个行业之后,在一个方向的发展,并定要和同行合作交流,那么有共同兴趣点的人随着深入度的提升会越来越少,而他们相聚的可能性则越来越大。

    “圈子”的感受的加强是在今天参加中华架构师大会,又有新发现
    第一点发现,有一位讲师是上一次华东架构师大会的讲师,讲的东西也是上一次的东西;
    第二点发现,里面有个讲师还是支付宝的;
    第三是竟然碰到了之前的学校论坛的站长,从业比我长几年;也碰到了之前从公司跳走的同事;还有现在的同事也碰到了他以前的同事。

    大家从事的都是互联网行业,我相信以后还会在同一类会议中有更多的见面的机会。

    在回想起之前看到的博士是什么的几张图片,see http://loosky.net/2601.html and http://matt.might.net/articles/phd-school-in-pictures/,我看到的是跑在前面的人是很少很少的,这也决定了这个方向的人的圈子是如此的小。

    其实这个感受各行各业都会感觉到,那接下来要做的就是选择好一个方向,看看目标圈子里的人都在做啥,就做啥,努力到位最终就会入圈。更细化要做的就是方法,步骤。

    除了“圈子”这方面的感受,深刻感觉到IT圈子里这种隐隐的年龄或从业年限与成就的攀比,比方说谁谁谁才2X岁,就这么牛B了。比来比去就是因为IT职业的寿命有限,更新太快,面太宽广,一个人不学习,或太局限之后,很快就不知道别人说的是什么了。

  • bash while循环

    每0.01秒curl一下某网址

    while true ; do curl http://192.168.1.26/status; sleep 0.01;done

    逐行输出某日志文件

    cat 20131106_access.log1 | while read LINE; do echo $LINE; sleep 0.01 ; done

    checkCaps.sh检测CapsLock是否变化

    #!/bin/bash
    while true
    do
        stat="`/usr/bin/xset -q | grep Caps | awk '{print $4}'`"
        if [ "$stat" == "$statswap" ];then
            echo 
        else
            /usr/bin/notify-send  "Capslock changed"
        fi
        statswap=$stat
    done
  • 80 20原则读书笔记

    没有耐心的人不可能成为出色的谈判代表
    80%无价值的事物妨碍去发现20%有价值的事物
    作为80/20思维者,我们不急于采取行动,而是先静心思考,领悟出一些东西后再采取针对性的行动。
    一个人一生中最重要的决定之一就是选择盟友
    可以说单打独斗将一事无成
    减少行动,多思考
    付出不一定有回报
    如果你放弃一些低价值的活动,你就一定能把时间花在高价值的活动上

  • 命令行访问memcached

    有很多的web端和GUI可以访问到Memcached服务,比如phpMemCacheAdmin,但是有些时候需要在命令行进行Memcached的访问。 在本教程中使用Telnet来攻取Memcached信息,以及如何读取与删除数据。 连接

    telnet localhost 11211

    获取服务信息,如pid, uptime, version, 条目数, 连接数

    stats

    获取slab信息,那么什么是slab Memory is allocated in chunks internally and constantly reused. Since memory is broken into different size slabs, you do waste memory if your items do not fit perfectly into the slab the server chooses to put it in. Memcached会根据你数据的大小来存放不同的slab,可以理解为片或分区,这样不会浪费内存。

    stats slabs

    获取条目信息

    stats items

    访问和删除数据

    知道slab的概念和信息之后,可以使用如下命令访问slab

    stats cachedump [slab ID] [number of items, 0 for all items]

    如在ID=36的slab中有3个条目

    stats cachedump 36 0
    ITEM model1 [223301 b; 1383751902 s]
    ITEM modelNodeid1 [223301 b; 1383751902 s]
    ITEM id1 [223300 b; 1383751902 s]
    END

    获取id1

    get id1

    删除id1

    delete id1

    退出

    quit 或 ctrl + ]

    Command Description Example

    get Reads a value get mykey
    set Set a key unconditionally set mykey 0 60 5
    add Add a new key add newkey 0 60 5
    replace Overwrite existing key replace key 0 60 5
    append Append data to existing key append key 0 60 15
    prepend Prepend data to existing key prepend key 0 60 15
    incr Increments numerical key value by given number incr mykey 2
    decr Decrements numerical key value by given number decr mykey 5
    delete Deletes an existing key delete mykey
    flush_all Invalidate specific items immediately flush_all
    Invalidate all items in n seconds flush_all 900
    stats Prints general statistics stats
    Prints memory statistics stats slabs
    Prints memory statistics stats malloc
    Print higher level allocation statistics stats items
    stats detail
    stats sizes
    Resets statistics stats reset
    version Prints server version. version
    verbosity Increases log level verbosity
    quit Terminate telnet session quit

    参考: http://www.alphadevx.com/a/90-Accessing-Memcached-from-the-command-line

  • tcpdump使用方法

    tcpdump是linux命令行下常用的的一个抓包工具,抓包的目的是分析问题。

    tcpdump -i eth0 -nn 监听eth0,-nn表示以ip和port方式显示包,不将ip转为主机名,这种在装B的时候可以刷屏,意义不大

    所以要实现更精细化的抓包还是需要加更多的参数,使用man tcpdump | less -Ip examples可以查看手册中的例子。以下是常用的例子

    查看所有网卡

    tcpdump -D

    抓取具体协议的包

    tcpdump -i eth0 -nn 'udp'
    tcpdump -i eth0 -nn 'tcp'
    tcpdump -i eth0 -nn 'icmp'

    抓取192.168.1.233的包

    tcpdump -i eth0 -nn 'host 192.168.1.233'

    抓取从192.168.1.233发送的包

    tcpdump -i eth0 -nn 'src host 192.168.1.233'

    抓取发送到192.168.1.233的包

    tcpdump -i eth0 -nn 'src host 192.168.1.233'

    多种参数用and连接,如

    tcpdump -i eth0 -nn 'tcp port 80 and host 192.168.1.233'

    使用tcpdump截取HTTP包会很方便

    tcpdump 过滤 HTTP GET

    tcpdump -s 0 -A 'tcp[((tcp[12:1] & 0xf0) >> 2):4] = 0x47455420'

    tcpdump 过滤 HTTP POST

    tcpdump -s 0 -A 'tcp dst port 80 and (tcp[((tcp[12:1] & 0xf0) >> 2):4] = 0x504f5354)'

    tcpdump -e 显示以太网数据帧

    tcpdump -v 显示进行的分组交换

    tcpdump 查看 http 响应全部报文

    tcpdump -A -vvvv -s 9999 -i eth0 port 80

    查看HTTP的请求和反回头和内容,详见https://sites.google.com/site/jimmyxu101/testing/use-tcpdump-to-monitor-http-traffic

    tcpdump -A -s 0 'tcp port 80 and (((ip[2:2] - ((ip[0]&0xf)<<2)) - ((tcp[12]&0xf0)>>2)) != 0)'
    tcpdump -X -s 0 'tcp port 80 and (((ip[2:2] - ((ip[0]&0xf)<<2)) - ((tcp[12]&0xf0)>>2)) != 0)'

    1. To monitor HTTP traffic including request and response headers and message body:

    tcpdump -A -s 0 ‘tcp port 80 and (((ip[2:2] – ((ip[0]&0xf)<<2)) – ((tcp[12]&0xf0)>>2)) != 0)’

    2. To monitor HTTP traffic including request and response headers and message body from a particular source:

    tcpdump -A -s 0 ‘src example.com and tcp port 80 and (((ip[2:2] – ((ip[0]&0xf)<<2)) – ((tcp[12]&0xf0)>>2)) != 0)’

    3. To monitor HTTP traffic including request and response headers and message body from local host to local host:

    tcpdump -A -s 0 ‘tcp port 80 and (((ip[2:2] – ((ip[0]&0xf)<<2)) – ((tcp[12]&0xf0)>>2)) != 0)’ -i lo

    4. To only include HTTP requests, modify “tcp port 80” to “tcp dst port 80” in above commands

    5. Capture TCP packets from local host to local host

    tcpdump -i lo

    tcpdump flag解读

    tcpdump-data-flags

    TCP Flag Flag in tcpdump Flag Meaning
    SYN s Syn packet, a session establishment request. The first part of any TCP connection.
    ACK ack Ack packet, used to acknowledge the receipt of data from the sender. May appear in conjunction with other flags.
    FIN f Finish flag, used to indicate the sender’s intention to terminate the connection to the receiving host.
    RESET r Indicates the sender’s intention to immediately abort the existing connection.
    PUSH p Signals the immediate push of data from the sending host to the receiving host. For interactive applications such as telnet, the main issue is the quickest response time, which this “push” flag signals.
    URGENT urg Urgent data should take precedence over other data. For example, a Ctrl-C to terminate a FTP download.
    Placeholder 0 If the connection does not have a syn, finish, reset, or push flag set, this placefolder flag will be found after the destination port. Note that it also appears in conjunction with the ack flag.

    tcpdump读出来的信息可以保存方便查看和分析
    保存pcap信息,可以用WireShark来查看

    tcpdump -i vmbr1 -nn -vv -tttt -s 65535 -w tcpdump.pcap

    如果担心文件过大可以加 -C 跟数字,当文件达到这个值(MB)之后,会新生成tcpdump.pcap.2

    抓取 sql 语句

    tcpdump -i bond0 -s 0 -l -w -  | strings | perl -e '
    while(<>) { chomp; next if /^[^ ]+[ ]*$/;
        if(/^(SELECT|UPDATE|DELETE|INSERT|SET|COMMIT|ROLLBACK|CREATE|DROP|ALTER|CALL)/i)
        {
            if (defined $q) { print "$q\n"; }
            $q=$_;
        } else {
            $_ =~ s/^[ \t]+//; $q.=" $_";
        }
    }'
    

    查看保存文件的格式

    # file tcpdump.pcap
    tcpdump.pcap: tcpdump capture file (little-endian) - version 2.4 (Ethernet, capture length 65535)

    对于保存的文件可以用-r读取,相当于对之前的抓取的过程进行回放。

    tcpdump -ttttnnr tcpdump.pcap
    tcpdump -qns 0 -X -r tcpdump.pcap
    tcpdump -e -r tcpdump.pcap

    wireshark filter

    重传

    tcp.analysis.retransmission
    

    过滤 tcp stream

    tcp.stream eq 1