Blog

  • dd创建大文件制作iso启动盘

    生成一个2GB的文件
    dd if=/dev/zero of=test bs=1024k count=2048
    生成一个10GB的文件
    dd if=/dev/zero of=test bs=1024k count=10240

    dd if=/dev/zero of=test bs=8M count=128

    mac下用dd制作启动u盘

    确定盘符

    ➜  quick diskutil list

    /dev/disk0

    #:                       TYPE NAME                    SIZE       IDENTIFIER

    0:      GUID_partition_scheme                        *121.3 GB   disk0

    1:                        EFI EFI                     209.7 MB   disk0s1

    2:                  Apple_HFS mac                     120.5 GB   disk0s2

    3:                 Apple_Boot Recovery HD             650.0 MB   disk0s3

    /dev/disk1

    #:                       TYPE NAME                    SIZE       IDENTIFIER

    0:      GUID_partition_scheme                        *500.1 GB   disk1

    1:                        EFI EFI                     209.7 MB   disk1s1

    2:                  Apple_HFS 500G                    499.8 GB   disk1s2

    /dev/disk2

    #:                       TYPE NAME                    SIZE       IDENTIFIER

    0:     FDisk_partition_scheme                        *7.7 GB     disk2

    1:               Windows_NTFS 21                      7.7 GB     disk2s1

    去掉挂载

    ➜  quick diskutil umountDisk /dev/disk2

    Unmount of all volumes on disk2 was successful

    用dd写入光盘镜像

    ➜  quick sudo dd if=/Users/jpuyy/Downloads/CentOS-7.0-1406-x86_64-GnomeLive.iso of=/dev/disk2 bs=1m

  • C2960S交换机汇聚

    这里的汇聚要达到的目的:交换机之间可以扩展带宽,同时增强可用性。C2960S是二层交换机。实现汇聚的两个协议

    Link Aggregation Control Protocol (LACP) 和 Port Aggregation Protocol (PAgP)

    LACP是IEEE 802.3ad中规定的协议,所以具有通用性,所以linux又网卡绑定时,需要选择Mode 4 (802.3ad),这样交换机与服务器之间就能增加带宽。

    而PAgP是思科自己的汇聚协议,它适用于思科产品之间的连接。

    一句话,服务器与交换机,只能用LACP才有汇聚效果,而交换机与交换机既可以是LACP,也可以是PAgP,同时要注意,互相连接的端口之间协议要统一。不管是LACP还是PAgP,组成的新的虚拟通道在思科里叫做etherchannel。

    下面是将1/0/1与1/0/2汇聚,前提进入enable模式,

    配置LACP

    Switch#configure terminal
    Switch(config)#interface range gigabitEthernet 1/0/1 - 2
    Switch(config-if-range)#switchport mode trunk
    Switch(config-if-range)#channel-group 1 mode active
    Switch(config-if-range)#end

    配置PAgP

    Switch#configure terminal
    Switch(config)#interface range gigabitEthernet 1/0/1 - 2
    Switch(config-if-range)#switchport mode trunk
    Switch(config-if-range)#channel-group 1 mode desirable
    Switch(config-if-range)#end

    几个有用的查看命令

    show running-config查看当前配置信息

    interface GigabitEthernet1/0/1
     switchport mode trunk
     spanning-tree portfast
     channel-group 1 mode active
     !
     interface GigabitEthernet1/0/2
     switchport mode trunk
     spanning-tree portfast
     channel-group 1 mode active

    show ip interfaces brief 显示interfaces的状态

    Port-channel1          unassigned      YES unset  up               up

    show spanning-tree 查看生成树,如果汇聚成功会只显示

    Po1                 Desg FWD 3         128.224  P2p

    更改port-channel的负载均衡的方式为src-mac

    Switch#configure terminal
    Switch(config)#port-channel load-balance src-mac

    可选的方式有:

    dst-ip Dst IP Addr
    dst-mac Dst Mac Addr
    src-dst-ip Src XOR Dst IP Addr
    src-dst-mac Src XOR Dst Mac Addr
    src-ip Src IP Addr
    src-mac Src Mac Addr

    查看etherchannel负载均衡的方式:

    Switch#show etherchannel load-balance
    EtherChannel Load-Balancing Configuration:
    src-mac

    查看interfaces的trunk状态

    Switch#show interfaces trunk

    Port Mode Encapsulation Status Native vlan
     Po1 on 802.1q trunking 1
     Po3 on 802.1q trunking 1
     Po4 on 802.1q trunking 1
    Port Vlans allowed on trunk
     Po1 1-4094
     Po3 1-4094
     Po4 1-4094
    Port Vlans allowed and active in management domain
     Po1 1
     Po3 1
     Po4 1
    Port Vlans in spanning tree forwarding state and not pruned
     Po1 1
     Po3 1
     Po4 1

    查看ether channel状态

    Switch#show etherchannel summary
    
    Flags: D - down P - bundled in port-channel
    I - stand-alone s - suspended
    H - Hot-standby (LACP only)
    R - Layer3 S - Layer2
    U - in use f - failed to allocate aggregator
    
    M - not in use, minimum links not met
    u - unsuitable for bundling
    w - waiting to be aggregated
    d - default port
    Number of channel-groups in use: 4
    Number of aggregators: 4
    
    Group Port-channel Protocol Ports
    ------+-------------+-----------+--------------------------------------------
    1 Po1(SU) PAgP Gi1/0/1(P) Gi1/0/2(P)
    2 Po2(SD) LACP Gi1/0/3(D) Gi1/0/4(D)
    3 Po3(SU) LACP Gi1/0/5(P) Gi1/0/6(P)
    4 Po4(SD) LACP Gi1/0/7(D) Gi1/0/8(D)

    可以看到正在运行的是第一个PAgP,第3LACP

    参考:

    http://www.cisco.com/en/US/docs/switches/lan/catalyst2960/software/release/12.2_55_se/configuration/guide/swethchl.html#wpxref12539

    服务器 bond0  mode0 交换机做 etherchannel 使交换机 show logging 没有 flapping.

    在 configure terminal 下,做好 port-channel

    switch(config)#interface port-channel 2
    switch(config-if)#switchport mode access
    switch(config-if)#switchport access vlan 6

    将 gi 口加入到 port-channel,这里用的 mode 是 on

    switch(config-if)#int range gi 1/0/10 - 13
    switch(config-if-range)#channel-group 2 mode on

    默认是 no shutdown ,这样以后会有几十秒的中断,然后查看 etherchannel

    2 Po2(SU) - Gi1/0/10(P) Gi1/0/11(P) Gi1/0/12(P)
     Gi1/0/13(P)
  • shell判断文件,目录是否存在或者具有权限

    #!/bin/sh

    myPath=”/var/log/httpd/”
    myFile=”/var/log/httpd/access.log”

    #这里的-x 参数判断$myPath是否存在并且是否具有可执行权限

     if [ ! -x "$myPath"]; then
     mkdir "$myPath"
     fi

    #这里的-d 参数判断$myPath是否存在

     if [ ! -d "$myPath"]; then
     mkdir "$myPath"
     fi

    #这里的-f参数判断$myFile是否存在

     if [ ! -f "$myFile" ]; then
     touch "$myFile"
     fi

    #其他参数还有-n,-n是判断一个变量是否是否有值

     if [ ! -n "$myVar" ]; then
     echo "$myVar is empty"
     exit 0
     fi

    #两个变量判断是否相等

     if [ "$var1" = "$var2" ]; then
     echo '$var1 eq $var2'
     else
     echo '$var1 not eq $var2'
     fi

    判断一个变量是不是纯数字

    if [[ $object_id =~ ^[0-9]+$ ]]; then
        echo "$object_id is a number"
    fi
  • mysql绑定多个ip地址

    my.cnf中有选项bind-address=127.0.0.1,是说mysql server监听的是本地发来的请求,如果是任意主机都可以请求,则写为0.0.0.0,但是这样又不太安全。监听某ip,指定此ip地址即可,但是要保证mysql的user中有允许此ip访问,否则不能对数据库操作。那么是否可以在配置里只规定几个ip呢?

    简单直接回答:不可能

    请参考:http://dev.mysql.com/doc/refman/5.1/en/server-options.html#option_mysqld_bind-address

    The MySQL server listens on a single network socket for TCP/IP connections. This socket is bound to a single address, but it is possible for an address to map onto multiple network interfaces. The default address is 0.0.0.0. To specify an address explicitly, use the –bind-address=addr option at server startup, where addr is an IPv4 address or a host name. If addr is a host name, the server resolves the name to an IPv4 address and binds to that address. The server treats different types of addresses as follows:

    If the address is 0.0.0.0, the server accepts TCP/IP connections on all server host IPv4 interfaces.
    If the address is a “regular” IPv4 address (such as 127.0.0.1), the server accepts TCP/IP connections only for that particular IPv4 address.

    但是有此需求,就会到访问控制,那么使用防火墙iptables可实现此效果

    mysql-server为192.168.1.3,只允许192.168.1.4,  192.168.1.5,  192.168.1.6来访问3306端口

    在my.cnf中

    bind-address = 0.0.0.0

    在访问3306端口的主机中,只允许192.168.1.4-6,其他ip一律DROP掉

    /sbin/iptables -A INPUT -p tcp -s 192.168.1.4 --dport 3306 -j ACCEPT
    /sbin/iptables -A INPUT -p tcp -s 192.168.1.5 --dport 3306 -j ACCEPT
    /sbin/iptables -A INPUT -p tcp -s 192.168.1.6 --dport 3306 -j ACCEPT
    /sbin/iptables -A INPUT -p tcp --dport 3306 -j DROP

    /sbin/iptables -A INPUT -p tcp --dport 3306 ! -s 192.168.1.4 -j DROP
    /sbin/iptables -A INPUT -p tcp --dport 3306 ! -s 192.168.1.5 -j DROP
    /sbin/iptables -A INPUT -p tcp --dport 3306 ! -s 192.168.1.6 -j DROP

    保存防火墙规则

    service iptables save

    查看INPUT链包含3306的规则

    echo -e "target prot opt source destination\n$(iptables -L INPUT -n | grep 3306)"

    这样就实现了mysql只允许指定ip访问。

    参考:

    http://www.cyberciti.biz/faq/unix-linux-mysqld-server-bind-to-more-than-one-ip-address/

  • mysql主从复制

    大致思路:设置master端,用于复制的账户,锁表导入数据库,在slave中导入数据库,设置slave端

    mysql主从复制是一种比较靠谱的备份方式,这里用最简单的,一个master,一个slave

    12.34.56.789- Master Database

    12.23.34.456- Slave Database

    前提条件:

    主从数据库大版本要一样,可以用mysql -V查看,我这里用的是mysql  Ver 14.14 Distrib 5.5.31

    设置master端

    配置文件vim /etc/mysql/my.cnf,mysql的bind-address只能绑一个特定的ip或0.0.0.0,我现在用的是0.0.0.0,即

    bind-address            = 0.0.0.0

    在 [mysqld]段下为server-id设置一个独立的编号

    server-id               = 1

    主从复制需要binary的log日志,将log_bin这一行取消注释

    log_bin                 = /var/log/mysql/mysql-bin.log

    设置要复制的数据库jpuyydb

    binlog_do_db            = jpuyydb

    master的配置文件设置完了,重启mysql

    /etc/init.d/mysql restart

    接下来在mysql中操作,mysql -u root -p,添加一个复制用的账户slave_user密码是password,这里的权限是可以复制所有数据库

    GRANT select, replication client, replication slave *.* TO 'slave_user'@'%' IDENTIFIED BY 'password';

    刷新权限

    FLUSH PRIVILEGES;

    接下来的操作需要按步骤操作,将jpuyydb锁表,防止有其他操作影响当前状态

    use jpuyydb;
    flush tables with read lock;

    接下来查看master状态,并将下面的值file和position记录下来

    mysql> show master status;
    +------------------+----------+--------------+------------------+
    | File | Position | Binlog_Do_DB | Binlog_Ignore_DB |
    +------------------+----------+--------------+------------------+
    | mysql-bin.000001 | 107 | jpuyydb | test |
    +------------------+----------+--------------+------------------+
    1 row in set (0.00 sec)

    如果在当前的界面有一些操作的话,数据库的表会自动解锁,所以新开一个窗口,将数据库备份下来,

    mysqldump -u root -p --opt jpuyydb > jpuyydb.sql

    然后在原窗口解锁,退出,master端就设置好了

    UNLOCK TABLES;
    QUIT;

    在slave中创建并导入数据库,

    在mysql中创建数据库

    create database if not exists jpuyydb default charset utf8 collate utf8_general_ci;

    导入数据库

    mysql -u root -p jpuyydb < jpuyydb.sql

    设置slave端,vim /etc/mysql/my.cnf,需要修改的如下

    server-id               = 100

    添加一条relay-log

    relay-log               = /var/log/mysql/mysql-relay-bin.log
    log_bin                 = /var/log/mysql/mysql-bin.log
    binlog_do_db            = jpuyydb

    修改好之后退出,重启mysql,之后进入mysql控制界面,运行

    CHANGE MASTER TO MASTER_HOST='12.34.56.789',MASTER_USER='slave_user', MASTER_PASSWORD='password', MASTER_LOG_FILE='mysql-bin.000001', MASTER_LOG_POS=  107;

    现在slave设置好了,启动slave

    START SLAVE;

    查看slave的状态,\G将输出以适合阅读的方式显示出来

    SHOW SLAVE STATUS\G

    如果下面两条都是Yes表示成功

    Slave_IO_Running: Yes
    Slave_SQL_Running: Yes

    Trouble Shooting:

    如果一直是连接状态,需要做如下排查,

    在slave端尝试连接master

    mysql -u slave_user -p -P 3306 -h 12.34.56.789

    在master端查看3306的连接情况,应该有一条类似于下面的ESTABLISHED的记录

    lsof -i tcp:3306
    mysqld  10310 mysql   15u  IPv4 7636301      0t0  TCP ip-10-128-.internal:mysql->112.65.13.1s:55781 (ESTABLISHED)

    在slave端如果一直是connecting状态,则尝试如下操作

    SET GLOBAL SQL_SLAVE_SKIP_COUNTER = 1; SLAVE START;

    在slave端出现如下错误时

    ERROR 1201 (HY000): Could not initialize master info structure; more error messages can be found in the MySQL error log

    解决方法一:

    进入到/var/lib/mysql/删掉

    master.info
    relay-log.info

    解决方法二:

    mysql> flush slave;
    
    Query OK, 0 rows affected (0.00 sec)
    
    mysql> reset slave;
    Query OK, 0 rows affected (0.00 sec)

    参考:

    https://www.digitalocean.com/community/articles/how-to-set-up-master-slave-replication-in-mysql

  • rsync使用方法

    服务器1:192.168.1.1
    服务器2:192.168.1.2
    要求:
    将192.168.1.1的abc目录同步到192.168.1.2上的/tmp/temp下
    rsync -a [email protected]:/home/bak/abc /tmp/temp/

    如果端口为非22,则加上 -e 'ssh -p 537', –progress显示进度

    rsync -a --progress -e 'ssh -p 537' [email protected]:/data/jpuyy.com /home/bak/

    rsync增量备份

    增量硬链备份,对比bk1,如果有增量则备份到bk2中

    rsync -au myadmin bk1
    rsync -au --link-dest=/root/bk1 myadmin bk2

    实际增量备份脚本

    #!/bin/bash
    
    cur_date=`date +%F`
    rsync="/usr/bin/rsync"
    args="-au --bwlimit=30000 --copy-links"
    user='root'
    local_dir='/data/all_web_backup/abc.com/'
    
    IFS=' '
    while read project ip path
    do
    # rsync loop , project one by one
    mkdir -p $local_dir/$project
    last_rsync=`ls $local_dir/$project | grep -P "\d{4}-\d{2}-\d{2}" | sort | tail -1`
    if [ -d "$local_dir/$project/$last_rsync" ]; then
    $rsync $args -e 'ssh -p 22' --link-dest=$local_dir/$project/$last_rsync $user@$ip:$path $local_dir/$project/$cur_date
    else
    $rsync $args -e 'ssh -p 22' $user@$ip:$path $local_dir/$project/$cur_date
    fi
    done < backup_list
    

    backup_list的内容需要如下格式

     bbs 192.168.1.5 /home/www/abc/bbs

    rsync的时候同步到远端并exclude .git目录

    rsync -r --exclude=.git . /var/www/html/jpuyy.com

    控制传输带宽

    rsync --bwlimit=kb/second source dest