MYSQL主从同步

1、解决问题

数据分布不同节点、负载均衡、读写分离、容灾备份、高可用应用、故障切换等

2、同步原理

Master将操作记录到bin-log

salve的一个线程去Master读取bin-log

上面的线程结尾工作会把它们保存到relay-log中

salve另外线程去重复relay-log

参考

http://my.oschina.net/zijian1315/blog/202599

http://blog.csdn.net/qmhball/article/details/8233769

http://www.jb51.net/article/27222.htm

http://blog.csdn.net/hguisu/article/details/7325124

SOCKET,TCP/UDP,HTTP,FTP

(一)TCP/UDP,SOCKET,HTTP,FTP简析

TCP/IP是个协议组,可分为三个层次:网络层、传输层和应用层:
网络层:IP协议、ICMP协议、ARP协议、RARP协议和BOOTP协议
传输层:TCP协议与UDP协议
应用层:FTP、HTTP、TELNET、SMTP、DNS等协议

HTTP是应用层协议,其传输都是被包装成TCP协议传输。可以用SOCKET实现HTTP。
SOCKET是实现传输层协议的一种编程API,可以是TCP,也可以是UDP。

(二)Socket连接与HTTP连接区别
【Socket】
由于通常情况下Socket连接就是TCP连接,因此Socket连接一旦建立,通信双方即可开始相互发送数据内容,直到双方连接断开。但在实际网络应用中,客户端到服务器之间的通信往往需要穿越多个中间节点,例如路由器、网关、防火墙等,大部分防火墙默认会关闭长时间处于非活跃状态的连接而导致 Socket 连接断连,因此需要通过轮询告诉网络,该连接处于活跃状态。
【Http】
HTTP协议是建立在TCP协议之上的一种应用,HTTP连接使用的是“请求—响应”的方式,不仅在请求时需要先建立连接,而且需要客户端向服务器发出请求后,服务器端才能回复数据。在请求结束后,会主动释放连接。从建立连接到关闭连接的过程称为“一次连接”。由于HTTP在每次请求结束后都会主动释放连接,因此HTTP连接是一种“短连接”,要保持客户端程序的在线状态,需要不断地向服务器发起连接请求。通常的做法是即时不需要获得任何数据,客户端也保持每隔一段固定的时间向服务器发送一次“保持连接”的请求,服务器在收到该请求后对客户端进行回复,表明知道客户端“在线”。若服务器长时间无法收到客户端的请求,则认为客户端“下线”,若客户端长时间无法收到服务器的回复,则认为网络已经断开。

HTTP协议是建立在请求/响应模型上的。首先由客户建立一条与服务器的TCP链接,并发送一个请求到服务器,请求中包含请求方法、URI、协议版本以及相关的MIME样式的消息。服务器响应一个状态行,包含消息的协议版本、一个成功和失败码以及相关的MIME式样的消息。
【适用情况】
很多情况下,需要服务器端主动向客户端推送数据,保持客户端与服务器数据的实时与同步。此时若双方建立的是Socket连接,服务器就可以直接将数据传送给客户端;
若双方建立的是HTTP连接,则服务器需要等到客户端发送一次请求后才能将数据传回给客户端,因此,客户端定时向服务器端发送连接请求,不仅可以保持在线,同时也是在“询问”服务器是否有新的数据,如果有就将数据传给客户端。
【SOCKET原理】
(1)套接字(socket)概念:
套接字(socket)是通信的基石,是支持TCP/IP协议的网络通信的基本操作单元。它是网络通信过程中端点的抽象表示,包含进行网络通信必须的五种信息:连接使用的协议,本地主机的IP地址,本地进程的协议端口,远地主机的IP地址,远地进程的协议端口。
应用层通过传输层进行数据通信时,TCP会遇到同时为多个应用程序进程提供并发服务的问题。多个TCP连接或多个应用程序进程可能需要通过同一个 TCP协议端口传输数据。为了区别不同的应用程序进程和连接,许多计算机操作系统为应用程序与TCP/IP协议交互提供了套接字(Socket)接口。应用层可以和传输层通过Socket接口,区分来自不同应用程序进程或网络连接的通信,实现数据传输的并发服务。
(2)建立socket连接:
建立Socket连接至少需要一对套接字,其中一个运行于客户端,称为ClientSocket ,另一个运行于服务器端,称为ServerSocket 。
套接字之间的连接过程分为三个步骤:服务器监听,客户端请求,连接确认。
服务器监听:服务器端套接字并不定位具体的客户端套接字,而是处于等待连接的状态,实时监控网络状态,等待客户端的连接请求
客户端请求:指客户端的套接字提出连接请求,要连接的目标是服务器端的套接字。为此,客户端的套接字必须首先描述它要连接的服务器的套接字,指出服务器端套接字的地址和端口号,然后就向服务器端套接字提出连接请求。
连接确认:当服务器端套接字监听到或者说接收到客户端套接字的连接请求时,就响应客户端套接字的请求,建立一个新的线程,把服务器端套接字的描述发给客户端,一旦客户端确认了此描述,双方就正式建立连接。而服务器端套接字继续处于监听状态,继续接收其他客户端套接字的连接请求。
(3)SOCKET连接与TCP连接
创建Socket连接时,可以指定使用的传输层协议,Socket可以支持不同的传输层协议(TCP或UDP),当使用TCP协议进行连接时,该Socket连接就是一个TCP连接。

(三)TCP 与 UDP
【概念】
TCP — 传输控制协议,提供的是面向连接、可靠的字节流服务。当客户和服务器彼此交换数据前,必须先在双方之间建立一个TCP连接,之后才能传输数据。TCP提供超时重发,丢弃重复数据,检验数据,流量控制等功能,保证数据能从一端传到另一端。 理想状态下,TCP连接一旦建立,在通信双方中的任何一方主动关闭连接前,TCP 连接都将被一直保持下去。断开连接时服务器和客户端均可以主动发起断开TCP连接的请求
UDP — 用户数据报协议,是一个无连接的简单的面向数据报的运输层协议。UDP不提供可靠性,它只是把应用程序传给IP层的数据报发送出去,但是并不能保证它们能到达目的地。由于UDP在传输数据报前不用在客户和服务器之间建立一个连接,且没有超时重发等机制,故而传输速度很快
【适用情况】
TCP发送的包有序号,对方收到包后要给一个反馈,如果超过一定时间还没收到反馈就自动执行超时重发,因此TCP最大的优点是可靠。一般网页(http)、邮件(SMTP)、远程连接(Telnet)、文件(FTP)传送就用TCP
UDP是面向消息的协议,通信时不需要建立连接,数据的传输自然是不可靠的,UDP一般用于多点通信和实时的数据业务,比如语音广播、视频、QQ、TFTP(简单文件传送)、SNMP(简单网络管理协议)、RTP(实时传送协议)RIP(路由信息协议,如报告股票市场,航空信息)、DNS(域名解释)。注重速度流畅。
【TCP连接的三次握手】
要了解TCP,一定要知道”三次握手,四次拜拜”所谓的三次握手,就是发送数据前必须建立的连接叫三次握手,握手完了才开始发的,这也就是面向连接的意思。
第一次握手:客户端发送syn包(syn=j)到服务器,并进入SYN_SEND状态,等待服务器确认;
第二次握手:服务器收到syn包,必须确认客户的SYN(ack=j+1),同时自己也发送一个SYN包(syn=k), 即SYN+ACK包,此时服务器进入SYN_RECV状态;
第三次握手:客户端收到服务器的SYN+ACK包,向服务器发送确认包ACK(ack=k+1),此包发送完毕,客户端 和服务器进入ESTABLISHED状态,完成三次握手。

(四)FTP
文件传输协议(File Transfer Protocol, FTP)是TCP/IP网络上两台计算机传送文件的协议,FTP是在TCP/IP网络和INTERNET上最早使用的协议之一,它属于网络协议组的应用层。FTP客户机可以给服务器发出命令来下载文件,上载文件,创建或改变服务器上的目录。

Ubuntu搭建pure-ftpd简单使用

1、安装pure-ftpd

apt-get install pure-ftpd

2、配置puref-ftpd

groupadd ftpgroup#新增一个用户组
useradd -g ftpgroup -d /dev/null -s /etc ftpuser
pure-pw useradd test1 -u ftpuser -d /home/ftpusers/test1
pure-pw mkdb#生成DB
pure-pw passwd test1
pure-pw show test1
ln -s /etc/pure-ftpd/conf/PureDB /etc/pure-ftpd/auth/50pure #认证方式,前面的数字越小,标示当前采用的认证方式

经纬度坐标距离计算

百度地图两点之间距离【传送门
PHP版本

<?php
/**
 * 计算两点之间直线距离
 * @param float $lon1    经度
 * @param float $lat1    维度
 * @param float $lon2    经度
 * @param float $lat2    维度
 * @return float         浮点数
 */
function distance($lon1, $lat1, $lon2, $lat2){
    return (2*ATAN2(SQRT(SIN(($lat1-$lat2)*PI()/180/2)
            *SIN(($lat1-$lat2)*PI()/180/2)+
            COS($lat2*PI()/180)*COS($lat1*PI()/180)
            *SIN(($lon1-$lon2)*PI()/180/2)
            *SIN(($lon1-$lon2)*PI()/180/2)),
            SQRT(1-SIN(($lat1-$lat2)*PI()/180/2)
                    *SIN(($lat1-$lat2)*PI()/180/2)
                    +COS($lat2*PI()/180)*COS($lat1*PI()/180)
                    *SIN(($lon1-$lon2)*PI()/180/2)
                    *SIN(($lon1-$lon2)*PI()/180/2))))*6378140;
}
echo distance(116.3896,39.91917,116.3940,39.91726);
?>

 
JS版本

function toRad(d) {  return d * Math.PI / 180; }
	function getDisance(lat1, lng1, lat2, lng2) {
	    var dis = 0;
	    var radLat1 = toRad(lat1);
	    var radLat2 = toRad(lat2);
	    var deltaLat = radLat1 - radLat2;
	    var deltaLng = toRad(lng1) - toRad(lng2);
	    var dis = 2 * Math.asin(Math.sqrt(Math.pow(Math.sin(deltaLat / 2), 2) + Math.cos(radLat1) * Math.cos(radLat2) * Math.pow(Math.sin(deltaLng / 2), 2)));
	    return dis * 6378137;
	} 
	console.log(  getDisance(39.91917,116.3896,39.91726,116.3940) );

 
MySQL版本
 
#其中39.91578为用户维度 116.3899为用户经度

#表结构如下
CREATE TABLE `map` (
  `id` int(11) unsigned NOT NULL AUTO_INCREMENT,
  `lat` decimal(12,6) NOT NULL,
  `lng` decimal(12,6) NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=4 DEFAULT CHARSET=utf8;
SELECT id,lat,lng,((
2*ATAN2(SQRT(SIN((39.91578-lat)*PI()/180/2)   
        *SIN((39.91578-lat)*PI()/180/2)+   
        COS(lat*PI()/180)*COS(39.91578*PI()/180)   
        *SIN((116.3899-lng)*PI()/180/2)   
        *SIN((116.3899-lng)*PI()/180/2)),   
        SQRT(1-SIN((39.91578-lat)*PI()/180/2)   
        *SIN((39.91578-lat)*PI()/180/2)   
        +COS(lat*PI()/180)*COS(39.91578*PI()/180)   
        *SIN((116.3899-lng)*PI()/180/2)   
        *SIN((116.3899-lng)*PI()/180/2))))*6378140) as len FROM `map` order by len asc ;

 

为何GPS坐标和百度坐标不一致?

美国GPS使用的 是WGS84的坐标系统,以经纬度的形式来表示地球平面上的某一个位置。但在我国,出于国家安全考虑,国内所有导航电子地图必须使用国家测绘局制定的加密 坐标系统,即将一个真实的经纬度坐标加密成一个不正确的经纬度坐标,在业内将前者称之为地球坐标,后者称之为火星坐标。

《条例》要求地图不得“危害国家统一、主权和领土完整;危害国家安全、损害国家荣誉和利益;国家秘密;影响民族团结、侵害民族风俗习惯”,规定互联网地图服务必须经过审批,要求“从事互联网地图服务的,应当将存放地图数据的服务器设在中华人民共和国境 内,建立互联网地图数据安全管理制度和保障措施,并具有经测绘行政主管部门考核合格的互联网地图安全审校人员。”由于地图涉及“国家机密”,中国官方要求 地图服务商加装“国家保密插件”,以“保障国家安全”。此插件会将真实的坐标加密成虚假的坐标,且此加偏并非线性加偏,所以各地的偏移情况都会有所不同。

国家保密插件,也叫做加密插件或者加偏或者SM模组,其实就是对真实坐标系统进行人为的加偏处理,按照几行代码的算法,将真实的坐标加密成虚假的坐标,而这个加偏并不是线性的加偏,所以各地的偏移情况都会有所不同。而加密后的坐标也常被人称为火星坐标系统。

所有的电子地图所 有的导航设备,都需要加入国家保密插件。第一步,地图公司测绘地图,测绘完成后,送 到国家测绘局,将真实坐标的电子地图,加密成“火星坐标”,这样的地图才是可以出版和发布的,然后才可以让GPS公司处理。第二步,所有的GPS公司,只 要需要汽车导航的,需要用到导航电子地图的,统统需要在软件中加入国家保密算法,将COM口读出来的真实的坐标信号,加密转换成国家要求的保密的坐标,这 样,GPS导航仪和导航电子地图就可以完全匹配,GPS也就可以正常工作。

Ubuntu12.04+php5.3.10编译安装Swoole

参考:http://wiki.swoole.com/wiki/page/6.html
编译错误提示:
In file included from /usr/include/php5/ext/spl/spl_iterators.h:27:0,
from /back/soft/swoole/swoole-1.8.2/swoole.c:28:
/usr/include/php5/ext/pcre/php_pcre.h:29:18: fatal error: pcre.h: No such file or directory

解决问题:
apt-get install php-pear
apt-get install libpcre3-dev

QQ截图20160315152626
编译参数

--enable-swoole-debug  打开调试日志,开启此选项后swoole将打印各类细节的调试日志。生产环境不要启用。
--enable-sockets增加对sockets资源的支持,依赖sockets扩展。开启此参数,swoole_event_add就可以添加sockets扩展创建的连接到swoole的事件循环中。
--enable-async-mysql增加异步mysql支持, 依赖mysqli和mysqlnd扩展。
--enable-async-redis增加异步Redis客户端支持, 依赖hiredis库
--enable-async-httpclient增加异步Http和WebSocket客户端支持
--enable-ringbuffer开启RingBuffer内存池
--enable-openssl启用SSL支持