您好、欢迎来到现金彩票网!
当前位置:秒速快3平台 > 双向唯一性 >

实现MySql延迟复制高逼格的数据库操作(二)

发布时间:2019-06-16 08:59 来源:未知 编辑:admin

  昨天我讲了mysql的主从单双向复制,有人提出说讲一下主从单双向复制的优缺点,还有关于双向复制中唯一主键冲突问题。今天我就稍微的在最后补充一下,我可能补充的不是很好,更多的我希望各位去自己手动实践一下,然后在实践中发现归纳这些优缺点,在实践中掌握这一个技能。如果单纯的是我说,我明白了,你明白吗?

  今天主要还是讲一下关于实现双向主从复制之后,我们一般都会进一步实现的延迟复制,为什么要延迟复制,我在我的25讲最后有提到,大家有疑问的可以翻一翻。另外补充一下如何实现一主多从和多个互为主的原理。mysql的读写分离我应该会放到明天讲。

  昨天如果你自己实现了mysql的主从复制,那么我想一主多从你应该也会做,因为无非就是多一个slave,多一个id。关于多个互为主的实现,我们可以这样实现,A--B--C--A,这样就会避免应该会出现的问题,防止重复插入,同时在配置文件中写入这样一条代码:log-slave-updates。原理不难,主要靠自己实践,千万不要做伸手党,因为那样一点点用都没有,哪怕一点点。如果有朋友遇到问题的,可以先自己尝试解决一下,如果解决不了就进群,大家一起讨论一下。

  延迟复制,我们想要实现的功能大概是这样的,假如我slave延迟一小时更新数据,那么master在12点插入数据,slave在13点更新,master在12:59分插入数据,slave在13:59分插入数据。那么我们如何实现呢,首先我们关闭slave的SQL进程,我们之前介绍了二进制文件,我们读取二进制文件主要通过postion来定位,我们可以通过读取postion以及读取postion的时间来确定我们什么时候执行postion对应的sql命令。percona就实现了这样的功能,它其实也是个脚本,我们也可以用shell或者python写一个这样的脚本,原理都一样。

  这里需要注意的是,在mysql5.6以后,我们执行change master的同时可以指定延迟时间,它本身就实现了延迟复制的功能,那么在mysql5.6之前呢,我们还是通过percona来实现。我现在mysql的版本是5.1.73,所以我使用percona,如果大家没有找到工具的rpm包,在我的微信公众号中回复:percona,获取这个工具。

  2.安装好之后,可以通过man手册查看这个工具提供了那些命令,这里我主要就讲pt-slave-delay,这个命令就实现了设置从服务器延迟复制,设置它,那么就应该需要连接到从服务器中,所以需要在从服务器中为这个工具创建一个用户来连接。

  我们通过阅读man手册可以知道创建这个用户需要的权限有三个,分别是super。process。replication,后面的ip特别说明一下,你在那个主机上运行这个脚本,就写那个主机的ip,不一定要是master上运行。

  1.前面我们已经实现了如何设置slave延迟复制,但是大家有没有感觉每次都要输这么一长串命令,不觉的很烦吗,所以我们可以通过编写一个脚本来自动化的实验mysql延迟复制的功能。先讲一下这个脚本应该有的功能,Usage:{startstoprestartshowlogstatus}。脚本我就用shell写了,基本的case语句,这个脚本贴出来很麻烦,加群或者公众号,回复autoslavedelay,获取。

  mysql主从复制的单向复制,优点很明显,master实现业务,slave实现存储,这样我们的master就能够更多去实现业务,在master宕机之后,slave还能继续的技工服务,不过缺点也有,slave单单只作复制,是不是很浪费,后面会讲如何高效的使用slave。同时单向复制有一个很大的问题就是master的误操作,也会更新到slave中,但是这个问题今天已经用延迟复制解决了。

  双向复制优缺点,不讲了,感觉你都配置好了,再问优缺点是不是有点晚了。双向复制是基于单向复制的,单向复制的缺点可能就是双向复制所要解决的。

  解决双向复制唯一主键冲突,我们可以设置master和slave从不同的基数开始,然后设置增长步数,这样我们可以实现在master中是13579,slave中2468,当然方法有其他的,我需要再想想,因为我又不是特别厉害,我也需要一直学才行。

  今天主要讲了关于延迟复制的原理和实现方法,希望大家能够明白为什么要使用延迟复制,以及延迟复制能给我们带来什么好处。最后,我今天在地铁上看了一篇文章,程序员面试官写的,他说程序员无论你面试的职位高低,还是你原来的职位高低,一张笔试题试卷,就能告诉你需要什么人,最技术不要太虚,很多内容,我认为这个还是非常重要的,所以跟大家分享一下。

  半同步复制一、半同步复制的原理1、当Slave主机连接到Master时,能够查看其是否处于半同步复制的机制。2、当Master上开启半同步复制的功能时,至少应该有一个Slave开启其功能。此时,一个线...博文来自:******* ▄︻┻┳═一 *******

  1:MySQL复制滞后解决MySQL复制被普遍认为是十分有效的,主服务器进行更改后,从服务器可在几秒内做出相应的改动。但如果发生两者之间同步缓慢的问题,那么主要有以下两个原因:从结点磁盘问题:复制操作...博文来自:hmy_362322的博客

  转自姜承尧段子:元旦,X骑着摩拜单车去深圳金茂JW万豪酒店happy。酒店门口把摩拜扔给门童,让其泊车。作为平时泊车法拉利、宾利等豪车的门童,顿时一脸懵逼。在内网看到同事写的文章,关于并行复制的调优,...博文来自:formydream的博客

  在测试环境中,因为没有专门的设置备份,所以在测试环境设置了延时复制,这样就算是当备份使用了,数据出错误的时候,能在备库上找回来。 CHANGEMASTERTO MASTER_DELAY=1200,–延...博文来自:神秘的凯

  一、从库复制延迟问题1、可能的原因如下(1)主从服务器处于不同的网络之中,由于网络延迟导致;(2)主从服务器的硬件配置不同,从服务器的硬件配置(包括内存,CPU,网卡等)远低于主服务器;(3)主库上有...博文来自:张冲andy的博客

  语法:  INSERTDELAYED...说明:  INSERT语句的DELAYED选项是一个MySQL扩展标准的SQL,是非常有用的,如果你有客户,不用或不需要等待插入完成。  当一个客户使用插入延...博文来自:江淮猫

  【背景】 某业务数据库load报警异常,cpuusr达到30-40,居高不下。使用工具查看数据库正在执行的sql,排在前面的大部分是:SELECTid,cu_id,name,info,biz_type...博文来自:大树叶 技术专栏

  使用MySQLProxy解决MySQL主从同步延迟MySQL的主从同步机制非常方便的解决了高并发读的应用需求,给Web方面开发带来了极大的便利。但这种方式有个比较大的缺陷在于MySQL的同步机制是依赖...博文来自:Allen专栏

  前言:我相信很多人都遭遇过MySQL主从复制延迟的问题,处理方案基本上就是你能搜索到的那些,那么我今天却要说说如何让MySQL延迟复制。对于刚组建的团队来说,这可能会救了你的项目。简单的说延迟复制就是...博文来自:Enweitech Software Works

  目录目录不使用新变量的情况下交换两个变量的值一个数字与自身的取反值相加等于-1最快的取整方式数组去重Es6使用consoletable来进行调试寻找数组中的最大值计算数组的总和数组拼接观察者模式1.不...博文来自:anaction的博客

  曾经有很多朋友问过我,为什么你做的PPT就比较好看,比较有逼格,讲起来特别顺我的回答可能有点虚,或者有点难以理解,但这些技巧就是我在工作中总结的,或者身边的朋友中学习的,那么我就分享下我的一些小技巧及...博文来自:TZCOO

  一.开始准备工作1.首先,你的电脑不一定要高配置,但是必须得是双屏,而且越大越好,如果能一个横屏一个竖屏那就更好了。这样,一个用来查资料,一个用来写代码。总之要显得信息量很大,效率特别高。2.再次,你...博文来自:gb4215287的博客

  一、MySQL为什么会延迟数据延迟:是指master执行了N个事务,slave却只执行了N-M个事务,说明master和slave之间产生了延迟延迟原因:延迟的原因很多种,大部分情况下是slave的处...博文来自:weixin_40581617的博客

  前几天做的实验,基于时间点的恢复以及基于position的恢复有同样的问题,就是需要手动一个一个的应用所有binlog(除非 自己开发一个程序自动应用binlog),并且恢复到全备状态需要比较长的时间...博文来自:jolly10的专栏

  自从软件开源火爆互联网之后,一些开源数据库也越来越受到大家关注和重视,自从阿里去IOE之后,更是全面推广开源数据库Mysql,替换商业数据库Oracle,经过经过双11的洗礼,已证明Mysql的稳定性...博文来自:落叶

  MySQL数据库主从同步延迟原理。MySQL数据库主从同步延迟是怎么产生的。MySQL数据库主从同步延迟解决方案。MySQL数据库主从同步延迟产生的因素。1.MySQL数据库主从同步延迟原理。答:谈到...博文来自:Cym_summer的博客

  主库更新操作之后,从从库查询数据没发生改变。前提:主从库没有不同步可能原因:主从库同步延迟导致MySQL数据库主从同步延迟原理。答:谈到MySQL数据库主从同步延迟原理,得从mysql的数据库主从复制...博文来自:纸上得来终觉浅

  一天又要过去了,为了不使得这一天过得虚无,没意义,结束今天工作之前来记录点东西,纯粹为了给自己一个以后的回顾。 今天任务不是特别忙,于是想看点DB的东西,想到DB前端时间记录slow.sql的一个分享...博文来自:yzongyu的专栏

  背景在MySQL5.6之前从库复制都是单线程的,因此当主库压力比较大,从库访问量也比较大的时候容易出现从库延迟的状况,以下列出了一些造成从库延迟的原因以及可能的解决办法。参考了淘宝内核月报的文章,这篇...博文来自:shuxiang1990的专栏

  作者:键盘手 浏览次数:3820 17/06/2223:17想法创意logo商标营销文案取名.......经常为选字体而搞的眼花?网上有不少字体,却找不到真正需要的,且又涉及到版权的,怎么办?来下载免...博文来自:zoomla188的博客

  用Python编程很久了,总感觉写的很low,可不能总这样呢。程序员逼格很重要,特别是以后还得不断进阶。于是学习一下别人Pythonic的风格,以备不时之需.............1.简洁的编码...博文来自:中国小宝

  从大学开始我就希望能有一个自己的个人网站,觉得那样真的很酷,就自学了HTML和Java编程,从此踏上了码农搬砖的不归路。。。。现如今,建一个网站的成本真的是太低了,特别是有了GitHub以后,不懂代码...博文来自:迹_Jason

  各种设计模式,用不用没关系,要会吹各种数据结构,各种树,堆,栈,图,名字都要记住了,越拗口的越重要各种奇葩算法,都要心中有数,名字听起来越是不知所云的,越要烂熟于胸千万别和人争框架,一争,就low了千...博文来自:hyd789的博客

  使用延迟插入操作DELAYED调节符应用于INSERT和REPLACE语句。当DELAYED插入操作到达的时候,服务器把数据行放入一个队列中,并立即给客户端返回一个状态信息,这样客户端就可以在数据表被...博文来自:奋斗吧_-小青年

  用ASHX页面接收客户端收到的JSON 字符串然后做解析后返回确认值。 由于JSON 字符串里面有很多条目,所以一个客户端的数据会插入数据N条数据。 代码基本是这样的 ----解析JSON成array论坛

  一、缘由:某天看到主从复制延时的告警有点频繁,就想着是不是彻底可以解决一下。一般主从复制,有三个线程参与,都是单线程:BinlogDump(主)-----gt;IOThread(从)...博文来自:jolly10的专栏

  最近跟同事讨论,总结了下复制延迟产生的原因,当然这些原因都是外在原因,不是复制本身单线程回放应用relaylog。  1、master执行包含delete、update大事务、或者altertable...博文来自:aeoluspu的专栏

  MySQL复制问题的最后一篇,关于双向同步复制架构设计的一些设计要点与制约。问题和制约数据库的双主双写并双向同步场景,主要考虑数据完整性、一致性和避免冲突。对于同一个库,同一张表,同一个记录中的同一字...博文来自:瞬息之间

  【背景】 某业务数据库load报警异常,cpuusr达到30-40,居高不下。使用工具查看数据库正在执行的sql,排在前面的大部分是:SELECTid, cu_id, name, info, biz_...博文来自:很多时候,你缺少的不是知识而是热情

  这就是逼格如果你点进来了,那么恭喜你!我是一个标题党。哈哈哈,为了报答你的一次点击,我特地选了个搞笑图片,是不是很有趣,不会埋怨我了吧。下面我要说我的英文的发展了!如果你愿意看这么逗逼的语言的话,请往...博文来自:weixin_33744141的博客

  1.伪装黑客:t.cn/RzrucGb在网吧/图书馆打开这个页面,随便敲几下键盘,是不是瞬间就高大上了呢!2.实时展示全球恶意软件攻击:t.cn/Rx3egx2你可以直观看到全球黑客的攻击活动情况,查...博文来自:小帅的博客

  还记得前段时间火极一时的“看到……应该想到”系列吗?由此可见国学早已渗透到生活的方方面面,关键时候还能映衬出你的儒(liao)雅(mei)高(zhuang)深(bi)。今天小编给大家带来一些流行语相对...博文来自:GarfieldEr007的专栏

  当单台MYSQL服务器无法满足当前网站流量时的优化方案。需要搭建mysql集群技术。一.数据同步的几种方式:1.触发器,在数据库中建立增删改的触发器,每当数据库有变化,就会激活触发器,进而执行相应的操...博文来自:摇滚吧.技术

  搜了搜网上的关于mysql延迟关联的sql,都是这样的(大部分都是抄的第一个人的,链接如下:)改进前:SELECTid,cu_...博文来自:忧伤的可乐鸡

  从事IT行业的都知道一个开发者的水平基本取决于你做过多少项目,唯有见多才能识广,这次收集的34套Java经典项目主要包括26套Java web项目,6套Java swing项目,2套Java控制台项目...博文来自:明礼馨德的博客

  一、适用场景内存属于稀缺资源,不能随意浪费。如果在一个系统中有很多个完全相同或相似的对象,我们就可以使用享元模式,让他们共享一份内存即可,不必每个都去实例化对象,从而节省内存空间。二、模式核心 享...博文来自:小小本科生成长之路

  一、前言最近由于研究需要,要用到线性判别分析(LDA)。于是找了很多资料来看,结果发现大部分讲的都是理论知识,因此最后还是看的一知半解,后来终于找到了个英文的文档,作者由PCA引入LDA,看过后豁然开...博文来自:jnulzl的专栏

  相信学习编程的同学,或多或少都接触到算法的时间复杂度和空间复杂度了,那我来讲讲怎么计算。        常用的算法的时间复杂度和空间复杂度 一,求解算法的时间复杂度,其具体步骤是: ⑴ 找出算法...博文来自:杨威的博客

  作者fbysss声明:本文由fbysss原创,转载请注明出处关键字:tomcat监控...博文来自:fbysss的专栏

  从trust zone之我见知道,支持trustzone的芯片会跑在两个世界。 普通世界、安全世界,对应高通这边是HLOS,QSEE。 如下图: 如下是HLOS与QSEE的软件架...博文来自:邓永坚的blog

  公司产品之前使用xmpp作为底层库,之前同事编译自己的sdk静态库想生成.a库,但是各种编译问题(其实耐心修改配置都能解决),但是从百度找到方案用framework可以解决,所以最终使用的是frame...博文来自:mingming24的专栏

  本篇文章是根据我的上篇博客,给出的改进版,由于时间有限,仅做了一个简单的优化。相关文章:将excel导入数据库2018年4月1日,新增下载地址链接:点击打开源码下载地址十分抱歉,这个链接地址没有在这篇...博文来自:Lynn_Blog

  偶然间发现各路大牛的一些python创作,不得不说python是一个比较全面的语言,附上网址以后可能需要用到python视觉处理,爬虫数据分析的时候可以用的上吧2333 python小项目: ht...博文来自:王甲评的博客

  docx4j官方提供了一些例子,本文只是其中一部分应用的简单例子。需要注意的地方是页眉和页脚,必须创建对应关系才能起作用。页眉和页脚添加图片的时候,第二个参数sourcePart是必须的,调用的cre...博文来自:偶尔记一下

  扫二维码关注,获取更多技术分享 本文承接之前发布的博客《 微信支付V3微信公众号支付PHP教程/thinkPHP5公众号支付》必须阅读上篇文章后才可以阅读这篇文章。由于最近一段时间工作比较忙,...博文来自:Marswill

  jquery/js实现一个网页同时调用多个倒计时(最新的) 最近需要网页添加多个倒计时. 查阅网络,基本上都是千遍一律的不好用. 自己按需写了个.希望对大家有用. 有用请赞一个哦! //js ...博文来自:Websites

  安装cadence之前对操作系统需要进行一些必要的配置。博文来自:maxwell2ic的博客

  强连通分量: 简言之 就是找环(每条边只走一次,两两可达) 孤立的一个点也是一个连通分量   使用tarjan算法 在嵌套的多个环中优先得到最大环( 最小环就是每个孤立点)   定义: int Ti...博文来自:九野的博客

  一、代理模式为某个对象提供一个代理,从而控制这个代理的访问。代理类和委托类具有共同的父类或父接口,这样在任何使用委托类对象的地方都可以使用代理类对象替代。代理类负责请求的预处理、过滤、将请求分配给委托...博文来自:小小本科生成长之路

  在MATLAB中,可以注释一段程序。 使用“%{”和“%}”。 例如 %{ 。。。 %} 即可。 经典方法是用 if 0,但缺点是不够直观,注释掉的内容仍然保持代码的颜色。现在可以用 ...博文来自:知识小屋

  junyang44:怎么大部分文章都是用manager接口部署的,实际中绝大部门项目都不会开放这个接口啊

http://raggedydreams.com/shuangxiangweiyixing/258.html
锟斤拷锟斤拷锟斤拷QQ微锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷微锟斤拷
关于我们|联系我们|版权声明|网站地图|
Copyright © 2002-2019 现金彩票 版权所有