MySQL 实验室(BLOG) - MySQL性能、MySQL Cluster集群、MySQL HA高可用等研究 - MySQL实验室

MySQL锁机制/管理(并发锁,行锁,表锁,预加锁,全局锁等等)

谭俊青 — Wed, 01 Sep 2010 04:41:50 +0000

1. MySQL中并发和隔离控制机制

Meta-data元数据锁：在table cache缓存里实现的，为DDL（Data Definition Language）提供隔离操作。一种特别的meta-data元数据类型，叫Name Lock。（SQL层）
表级table-level数据锁（SQL层）
存储引擎特有机制 — row locks行锁，page locks页锁，table locks表级，版本控制（在引擎中实现）
全局读锁 — FLUSH TABLES WITH READ LOCK（SQL层）

(...)
阅读全文MySQL锁机制/管理(并发锁,行锁,表锁,预加锁,全局锁等等) (1,324 words)

© 谭俊青发布在 MySQL性能、MySQL Cluster集群、MySQL HA高可用等研究 - MySQL实验室, 2010.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处和作者信息。
链接: http://www.mysqlab.net/blog/2010/09/mysql-lock-management/

标签: InnoDB, metadata, Table cache

MySQL更换东家之后得以重生(MySQL之自由斗士- 浴火重生的海豚)

谭俊青 — Fri, 27 Aug 2010 03:30:48 +0000

下载：MySQL之自由斗士- 浴火重生的海豚

Presentation的内容包括：

Oracle 的开源政策
MySQL 市场策略报告
Community version 协议对MySQL Embedded ISV 的重要性与合法性
MySQL 大中华区的渠道策略
MySQL 5.5 beta 简介 (半同步, InnoDB Plugin, Performance Schema)
MySQL Cluster 7.1 简介 (着重介绍了 MySQL Cluster 管理器)
MySQL Workbench 简介
MySQL for Windows

© 谭俊青发布在 MySQL性能、MySQL Cluster集群、MySQL HA高可用等研究 - MySQL实验室, 2010.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处和作者信息。
链接: http://www.mysqlab.net/blog/2010/08/mysql-new-feature/

标签: MySQL Cluster, MySQL Cluster Manager

MySQL Cluster Manager(集群管理器) 工作原理、安装及使用

谭俊青 — Thu, 26 Aug 2010 18:31:45 +0000

MySQL Cluster使用不那么广泛，除了自身构架因素、适用的业务有限之外，另一个重要的原因是其安装配置管理相对复杂繁琐，总共有几十个操作步骤，需要DBA花费几个小时才能搭建或完成升级。MySQL Cluster 7.1推出了MySQL Cluster Manager,MySQL Cluster的安装、升级管理等操作，将DBA原本需要几个小时的工作，节省到通过若干个命令即可完成，还能避免操作的失误。MySQL Cluster Manager的基本工作原理如下图所示：

在MySQL Cluster将要被部署的机器上安装好 MySQL Cluster Manager Agent之后，通过现有的mysql客户端即可连接操作使用。可以连接任何一台机器上的Agent，它们之间能相互通信。Agent默认连接端口为：1862，即可如此连接: mysql -h hostname -u username -p -P 1862

连接之后即可通过Agent对集群系统进行交互、管理。

(...)
阅读全文MySQL Cluster Manager(集群管理器) 工作原理、安装及使用 (8 words)

© 谭俊青发布在 MySQL性能、MySQL Cluster集群、MySQL HA高可用等研究 - MySQL实验室, 2010.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处和作者信息。
链接: http://www.mysqlab.net/blog/2010/08/mysql-cluster-manager-install-use/

标签: MySQL Cluster, MySQL Cluster Manager

DMB(For MySQL)数据库监控备份工具

谭俊青 — Sun, 22 Aug 2010 10:10:14 +0000

因为初学Python, 花费了几个礼拜的周末休息时间, DMB的雏形已经出来, 并提供下载使用（适合新手和偷懒的人高手跳过），有Bug和建议请及时发聩给我。

因为是初学，在编写DMB的时候，当中遇到一些问题，花费了不少时间来解决，这里总结下，也许能给后进者节约些宝贵的时间。

涉及GUI多线程编程的时候,使用wx.CallAfter(), 如：wx.CallAfter(self.AfterRun);
调用 subprocess.popen, 当子进程已经推出之后 stdin.close()调用会报错, 这时候可以用 try: process.stdin.close() exception 来屏蔽错误;
gzip.GzipFile 对数据流压缩很方便,可以避免临时文件的产生,解压读取方便,效率也不错;
获取硬件指纹 wmi 是个好东东;
加密解密可以用 pyDES, M2Crypto;
用py2exe生成.exe可执行文件的时候的icon可以用过 img2py 生成,然后在程序中设置,可以避免调用win32api,避免在 vista/win7下出错;
wx.wizard.Wizard的 finish按钮也可以通过 wizard.FindWindowById(wx.ID_FORWARD).Disable() 来屏蔽,这个浪费了我很长时间。

这次使用wxpython,算是对桌面程序的尝试，不过趋势还是采用B/S，也方便维护和管理人员远程监控和操作管理。如果有必要，会将DMB改造成B/S构架,准备用cherrypy提供web服务，跟系统进行交互。

(...)
阅读全文DMB(For MySQL)数据库监控备份工具 (6 words)

© 谭俊青发布在 MySQL性能、MySQL Cluster集群、MySQL HA高可用等研究 - MySQL实验室, 2010.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处和作者信息。
链接: http://www.mysqlab.net/blog/2010/08/dmb-for-mysql-and-learning-python/

标签: DMB, MySQL, NoSQL, python

致歉好耶开发人员

谭俊青 — Tue, 03 Aug 2010 05:42:09 +0000

在这里给好耶参加MySQL性能调优培训的朋友们致歉。继上上周培训课程结束之后，因个人原因，未能继续给大家上课，还让大家在周六等了那么长时间，向大家说声：“对不起”。

–

PS1: 陆续有朋友问及MySQL高可用方案，这里提下：当前MySQL高可用方案自动化程度和靠谱的算是DRBD和Semi-sync-replication。在此基础上扩展slave做负载均衡（比如lvs）需要注意，另外需要monitor监控Slave状态，及时将失效节点从pool中剔除。

PS2: 这次有个项目，因为开发过程中经历了大量的需求变更，开发人员为了方便，采用了大量试图，导致后续出现严重问题（SQL查询时间过长），而在此基础之上做SQL调优能发挥的地方有限，所以开发的同志们注意了，在涉及到web开发，特别是对页面响应时间要求很高的时候，避免复杂join操作，适当添加冗余字段。救急办法：将涉及到的中间试图换成base表，在原始表上添加触发器。

PS3：前几天又有朋友问到session管理，我给的方案还是用 MySQL Cluster NDB 管理，其中我还发布过一个PHP 实现的 DbSession类，为了提高性能可以不记录任何日志信息（重启之后数据消失），”SET GLOBAL ndb_table_no_logging = 1;”。

PS4：据说这个是史上最牛的MySQL补丁，非堵塞是的网络IO，可以让32核心的机器跑上18万QPS。

© 谭俊青发布在 MySQL性能、MySQL Cluster集群、MySQL HA高可用等研究 - MySQL实验室, 2010.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处和作者信息。
链接: http://www.mysqlab.net/blog/2010/08/sorry-for-allyes-employee/

标签: DB Session, MySQL Cluster, MySQL HA, MySQL Replication

MySQL Cluster Checkpointing

谭俊青 — Wed, 14 Jul 2010 07:28:49 +0000

因为MySQL Cluster的分布式构架，考虑到整个MySQL Cluster的启动和恢复效率问题，MySQL Cluster的日志跟传统的事务数据库(比如InnoDB)有很大的差别。

MySQL Cluster的Redo log不再是直接记录更改的page内容，而采用记录操作日志，以用于全局恢复数据用。整个用于Revocery的日志采用 LCP+GCP协作完成。当中LCP只针对当前数据节点，在一定数据量（数据量大小）被更改之后，同步一次内存（DataMemory）和磁盘内容，每个节点保留3份（新版保留2份）；而GCP是全局日志，默认是2秒（时间）中将Redo Log Buffer的内容同步到所有的数据节点的磁盘上，用于突发事件恢复使用。(...)
阅读全文MySQL Cluster Checkpointing (4 words)

© 谭俊青发布在 MySQL性能、MySQL Cluster集群、MySQL HA高可用等研究 - MySQL实验室, 2010.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处和作者信息。
链接: http://www.mysqlab.net/blog/2010/07/mysql-cluster-checkpointing/

标签: DataMemory, GCP, LCP, MySQL Cluster, Redo Log

TCP keep-alive & connection pool

谭俊青 — Thu, 08 Jul 2010 23:42:33 +0000

作者：谭俊青@MySQL实验室，转载请注明链接和出处。

要理解TCP keep-alive/persistent connection, 得从TCP协议说起。

TCP flow：

    _____                                                     _____
   |     |                                                   |     |
   |  A  |                                                   |  B  |
   |_____|                                                   |_____|
      ^                                                         ^
      |--->--->--->-------------- SYN -------------->--->--->---|
      |---<---<---<------------ SYN/ACK ------------<---<---<---|
      |--->--->--->-------------- ACK -------------->--->--->---|
      |--->--->--->-------------- ... -------------->--->--->---|
      |---<---<---<-------------- ... --------------<---<---M---|

建立TCP链接需要经过3步，SYN、SYN/ACK、ACK，关闭则需要4步

约定：

当用户通过浏览器打开一个页面的时候，最小情况下，只需要2个packet，一次是请求(http get request)，一次是回应(response from server)。但是这里没有计入TCP链接的建立（3 packets）和关闭(4packets)，当然每个packet都需要ACK，但是ACK信息一般直接包含在回应的packet里，为了量化方便，这里忽略掉。(...)
阅读全文TCP keep-alive & connection pool (19 words)

© 谭俊青发布在 MySQL性能、MySQL Cluster集群、MySQL HA高可用等研究 - MySQL实验室, 2010.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处和作者信息。
链接: http://www.mysqlab.net/blog/2010/07/tcp-keep-alive-connection-pool/

标签: connection pool, keep-alive, tcp

Web前端优化

谭俊青 — Fri, 02 Jul 2010 02:51:45 +0000

各浏览器并发下载数列表：

Browser	HTTP/1.1	HTTP/1.0
IE 6,7	2	4
IE 8	6	6
Firefox 2	2	8
Firefox 3	6	6
Safari 3,4	4	4
Chrome 1,2	6	?
Chrome 3	4	4
Opera 9.63,10.00alpha	4	4

随着宽带的普及，为充分利用用户的带宽，提升用户体验，可设置多个子域名。

Javascript和css尽可能从页面中分离出去，作为独立的文件。

为了减小header头大小，静态文件尽量用其他不带cookie的域名提供下载（当然还要兼顾到DNS解析时间）。
如：www.mysqlab.net用到

http://s0.mysqlab.net.cdn007.com/css/base.css

http://s1.mysqlab.net.cdn007.com/js/global.js

MySQL连接、memcache连接尽量在echo之前断开连接。

使用DBSession保持用户在线状态，方便负载均衡、统计、定位用户在线情况及跨域访问。

当前绝大部分memcached可以通过MySQLD来存储实现，具有更多的特性，如：安全、高可用等。
（MySQL基于主键查询可实现5000+qps每核心）

浏览器并发下载数参考：

http://www.stevesouders.com/blog/2008/03/20/roundup-on-parallel-connections/

© 谭俊青发布在 MySQL性能、MySQL Cluster集群、MySQL HA高可用等研究 - MySQL实验室, 2010.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处和作者信息。
链接: http://www.mysqlab.net/blog/2010/07/web-frontend-optimization/

标签: cookie, header, memcache, MySQL

使用SSD跑InnoDB注意事项及解决方案

谭俊青 — Mon, 21 Jun 2010 22:43:20 +0000

相信有不少同仁已经做过过SSD作为存储对IO瓶颈的数据库性能测试，在得到可喜的成绩之余，在用于生产环境之前需要解决一些问题。

InnoDB共享表空间包含：
Data dictonary
Double write buffer
Insert buffer
Rollback segments
UNDO space (...)
阅读全文使用SSD跑InnoDB注意事项及解决方案 (29 words)

© 谭俊青发布在 MySQL性能、MySQL Cluster集群、MySQL HA高可用等研究 - MySQL实验室, 2010.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处和作者信息。
链接: http://www.mysqlab.net/blog/2010/06/mysql-innodb-ssd-solution-double-write-buffer-redo-log/

标签: checkpoint, Double write buffer, ibdata1, InnoDB, SSD, undo space

数据库监控报警及备份管理平台

谭俊青 — Tue, 25 May 2010 10:38:51 +0000

备份系统功能参考：http://www.mysqlab.net/bbs/viewthread.php?tid=2&extra=page%3D1

© 谭俊青发布在 MySQL性能、MySQL Cluster集群、MySQL HA高可用等研究 - MySQL实验室, 2010.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处和作者信息。
链接: http://www.mysqlab.net/blog/2010/05/数据库监控报警及备份管理平台/

标签:

MySQL UC 2010回顾：开源软件的活力

谭俊青 — Tue, 25 May 2010 07:05:43 +0000

前端时间写过一篇博客：竞争给MySQL带来的压力和动力，现整理下。–谭俊青@ MySQL实验室
(...)
阅读全文MySQL UC 2010回顾：开源软件的活力 (9 words)

© 谭俊青发布在 MySQL性能、MySQL Cluster集群、MySQL HA高可用等研究 - MySQL实验室, 2010.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处和作者信息。
链接: http://www.mysqlab.net/blog/2010/05/mysql-uc-2010回顾：开源软件的活力/

标签:

MySQL RAC构想

谭俊青 — Thu, 29 Apr 2010 07:41:41 +0000

距离Matthew Yonkovit发布Waffle Grid已经有一年多了，最近看到qlks发布了Secondary Buffer Pool in InnoDB，又让我想起来了waffle。waffle做的事情也是InnoDB的二级缓存，但是用的不是SSD，而是Memcached。如果将所有的buffer都用memcached实现，进一步就可以实现内存的分布式共享，进而实现MySQL RAC。需要做的工作会不少，但应该是个可行的办法… (...)
阅读全文MySQL RAC构想 (0 words)

© 谭俊青发布在 MySQL性能、MySQL Cluster集群、MySQL HA高可用等研究 - MySQL实验室, 2010.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处和作者信息。
链接: http://www.mysqlab.net/blog/2010/04/mysql-rac/

标签: memcache, rac, secondary buffer, waffle

竞争给MySQL带来的压力和动力

谭俊青 — Wed, 28 Apr 2010 03:43:47 +0000

这次2010 MySQL UC上MySQL在MySQL5.5-m3发布没多久之后紧急发布了MySQL5.5-m4及InnoDB Plugin 1.0.7 (GA) 和 InnoDB Plugin 1.1。敏感的人应该发现了这点，其实这背后是因为 Percona给了MySQL官方和InnoDB Team太多的压力。早在InnoDB Plugin 1.0.7 和 1.1发布之前，XtraDB的性能一度超越Built InnoDB及InnoDB plugin高达30%。让我们先看看Percona XtraDB之前都已经具备了哪些些特性：By ivan@mysqlab.net (...)
阅读全文竞争给MySQL带来的压力和动力 (19 words)

© 谭俊青发布在 MySQL性能、MySQL Cluster集群、MySQL HA高可用等研究 - MySQL实验室, 2010.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处和作者信息。
链接: http://www.mysqlab.net/blog/2010/04/mysql-competition-from-community/

标签:

MySQL5.5新特性

谭俊青 — Wed, 21 Apr 2010 04:48:18 +0000

自从Sun被Oracle收购之后，大家对MySQL的前途抱有或多或少的担忧。下面是我重新整理下MySQL5.5的一些让人激动的新特新，来表明MySQL的活力，希望籍此能让大家对MySQL充满信心。

之前介绍过MySQL5.x的一些特性(MySQL新版5.x及特性, MySQL 5.5 表分区功能增强, MySQL 5.5 Released非GA等)，先整理下，让大家对MySQL5.5有个整体的认识。 By Ivan@mysqlab.net, 谭俊青@MySQL实验室 (...)
阅读全文MySQL5.5新特性 (64 words)

© 谭俊青发布在 MySQL性能、MySQL Cluster集群、MySQL HA高可用等研究 - MySQL实验室, 2010.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处和作者信息。
链接: http://www.mysqlab.net/blog/2010/04/mysql-5-5-new-feature/

标签:

InnoDB plugin 1.0.7

谭俊青 — Thu, 15 Apr 2010 07:25:35 +0000

InnoDB Plugin 1.0.7 已经GA了，最让人兴奋的当属crash recovery时间大大的缩短，以后redo log可以顶着4G用了(xtraDB可以超过4G)，这样可以很大程度上降低IO需求（为什么？）、从而极大地提高InnoDB的写性能。

另外MySQL5.5+InnoDB plugin 1.1改进的几个地方确实让人兴奋，比如Multiple Rollback Segments(不再有1024并发事务的限制), Split Buffer Pools(这个以后发展下去可以指定某些表常住内存，相当于事务安全的内存表，还没有表锁限制，又是变长字段，相比现在内存表来说优秀太多了)，InnoDB Performance Schema，还有Replication durability等,再加行已有的semi-replication, MySQL5.5GA真是让人迫不及待。(...)
阅读全文InnoDB plugin 1.0.7 (1 words)

© 谭俊青发布在 MySQL性能、MySQL Cluster集群、MySQL HA高可用等研究 - MySQL实验室, 2010.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处和作者信息。
链接: http://www.mysqlab.net/blog/2010/04/innodb-plugin-107/

标签:

MySQL User Conference & Expo 2010

谭俊青 — Tue, 13 Apr 2010 00:47:01 +0000

今天MySQL User Conference & Expo 2010 开幕，我还在倒时差，有点不适应。明天我拍几张照片放上来。

© 谭俊青发布在 MySQL性能、MySQL Cluster集群、MySQL HA高可用等研究 - MySQL实验室, 2010.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处和作者信息。
链接: http://www.mysqlab.net/blog/2010/04/mysql-user-conference-expo-2010/

标签:

linux下shell命令的常用快捷键

谭俊青 — Tue, 06 Apr 2010 02:38:35 +0000

原文：http://www.sudo-u.com/archives/48

下面是一些shell的常用快捷键,快捷键玩熟悉了在一定程度上是可以提高工作效率滴…
Ctrl + a 切换到命令行开始
Ctrl + e 切换到命令行末尾
Ctrl + l 清除屏幕内容
Ctrl + u 清除剪切光标之前的内容
Ctrl + k 剪切清除光标之后的内容
Ctrl + y 复制剪切板里的内容
Ctrl + h 类似于退格键
Ctrl + r 在历史命令中查找（这个非常好用，输入关键字就调出以前的命令了）
Ctrl + c 终止命令
Ctrl + d 退出shell
Ctrl + z 转入后台运行..
alt键比较少用,因为很多地方与远程登陆工具是有冲突的..
Alt + f 切换光标前的字母
Alt + b 切换光标后的字母

© 谭俊青发布在 MySQL性能、MySQL Cluster集群、MySQL HA高可用等研究 - MySQL实验室, 2010.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处和作者信息。
链接: http://www.mysqlab.net/blog/2010/04/linux-shell-shortcuts/

标签:

MySQL分布式集群高可用设计及应用

谭俊青 — Tue, 06 Apr 2010 01:41:12 +0000

前2天去北京参加了2010数据库技术大会, 我演讲的主题是：《MySQL分布式集群高可用设计及应用》,主要是介绍MySQL Cluster，现在把PPT共享出来。

(...)
阅读全文MySQL分布式集群高可用设计及应用 (7 words)

© 谭俊青发布在 MySQL性能、MySQL Cluster集群、MySQL HA高可用等研究 - MySQL实验室, 2010.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处和作者信息。
链接: http://www.mysqlab.net/blog/2010/04/mysql分布式集群高可用设计及应用/

标签:

MySQL支持和系统构架服务

谭俊青 — Mon, 22 Mar 2010 08:37:49 +0000

近2个礼拜接触了不少公司，比如H3C、东信、Thomson、索贝、淘宝、天会、19lou、盒子世界等，大家都在用MySQL数据库，而且有些已经具有相当规模。大家需求各异，如功能、性能、高可用、可扩展、系统构架等。淘宝的江枫人很好，好沟通，也热情，还是老乡。
H3C的数据库应用竟然可以跟淘宝相提并论，很吃惊，不过这次去我想我应该可以打动他们用MySQL了，希望下一步能合作愉快。另外几家涉及到库表设计、数据库参数调整优化、高可用设计、缓存、及整个系统构架。另外发现也有少部分人已经在使用MySQL Cluster了，不过这东西最好在有基础和经验的技术人员指导下使用，不然后果很严重。
还有一点要提到的就是，在国付费服务意识还没有普及，希望接下来我的用心服务能够换来客户的认可。

顺便做个广告，以下情况需要提供帮助和支持的，可以联系我。
MySQL数据库硬件选型
MySQL数据库性能审核
MySQL数据库优化（参数调整，SQL优化，开发支持）
MySQL数据库升级
MySQL库表设计
MySQL高可用方案
MySQL Cluster支持
MySQL可扩展性方案
缓存和构架设计（系统级）
MySQL远程DBA(管理、维护)
紧急疑难解答

© 谭俊青发布在 MySQL性能、MySQL Cluster集群、MySQL HA高可用等研究 - MySQL实验室, 2010.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处和作者信息。
链接: http://www.mysqlab.net/blog/2010/03/mysql支持和系统构架服务/

标签:

俄罗斯有条件同意Oracle、Sun的合并

谭俊青 — Sat, 20 Mar 2010 12:56:56 +0000

　　3月19号，俄罗斯反垄断局（fas）周五表示，它已批准了sun微系统70亿元的甲骨文收购，条件是甲骨文公司继续开发新的mysql数据库。

　　MOSCOW, March 19 (Reuters) – Russia’s anti-monopoly regulator (FAS) said on Friday it had approved a $7 billion takeover of Sun Microsystems JAVA.O by Oracle (ORCL.O) on condition that Oracle continues to develop Sun’s MySQL database.

消息来源：http://www.reuters.com/article/idUSLDE62I1GS20100319

© 谭俊青发布在 MySQL性能、MySQL Cluster集群、MySQL HA高可用等研究 - MySQL实验室, 2010.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处和作者信息。
链接: http://www.mysqlab.net/blog/2010/03/俄罗斯有条件同意oracle-sun的合并/

标签:

Two-phase commit(2PC) protocol 与MySQL Cluster

谭俊青 — Sat, 20 Mar 2010 05:55:27 +0000

Two-phase commit(两阶段提交, 文中用2PC代替)是一种比较精简的一致性算法/协议。在事务处理、数据库和计算机网络中，两阶段提交协议提供了分布式设计中的数据一致性的保障，整个事务的参与者要么一致性全部提交成功，要么全部回滚。MySQL Cluster内部数据的同步就是用的2PC协议。 by ivan@mysqlab.net

故名思意，2PC算法包含两个阶段：commit-request 和 commit。

第一阶段(commit-request)：组织者(coordinator)负责询问事务的所有参与者(participants)是否可以提交或者取消事务(回滚)。这就好比班长组织班级所有同学某时间参加班级大会一样，要么所有人都参加，要么取消会议。(...)
阅读全文Two-phase commit(2PC) protocol 与MySQL Cluster (24 words)

© 谭俊青发布在 MySQL性能、MySQL Cluster集群、MySQL HA高可用等研究 - MySQL实验室, 2010.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处和作者信息。
链接: http://www.mysqlab.net/blog/2010/03/two-phase-commit-protocol-2pc-mysql-cluster/

标签: 2PC, coordinator, MySQL Cluster

NDB,InnoDB也是很好的NoSQL数据库

谭俊青 — Thu, 18 Mar 2010 03:46:29 +0000

忽如一夜春风来，人人开口NoSQL。NoSQL现在是火了，可大家有想过没，其实NDB, InnoDB是很好的NoSQL数据库，InnoDB有double write buffer可以保证数据的安全性而且身经百战，NDB提供API可供直接调用。而且如果你愿意，你可以在InnoDB前面加上MySQL，它就变成了关系型数据库；NDB加上ndb引擎，结合MySQL摇身一变，也成了关系型数据库。

© 谭俊青发布在 MySQL性能、MySQL Cluster集群、MySQL HA高可用等研究 - MySQL实验室, 2010.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处和作者信息。
链接: http://www.mysqlab.net/blog/2010/03/其实ndb-innodb是很好的nosql数据库/

标签: NoSQL

MySQL vs NoSQL 效率与成本之争

谭俊青 — Wed, 17 Mar 2010 03:29:31 +0000

　　最近Twitter、DIGG等计划换用基于key-value的NoSQL数据库(e.g:Cassandra)，之所以有如此动向是因为基于MySQL + sharding + cache的构架随着数据量爆炸式增长，重构的人力成本太高，换用扩展性更好的NoSQL数据库，以达到控制人力成本的目的，从而减少总体成本。

　　随着数据量和访问量的增长，网站构架大致有这么几个发展阶段(以PHP+MySQL+Memcached为例)：

(...)
阅读全文MySQL vs NoSQL 效率与成本之争 (49 words)

© 谭俊青发布在 MySQL性能、MySQL Cluster集群、MySQL HA高可用等研究 - MySQL实验室, 2010.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处和作者信息。
链接: http://www.mysqlab.net/blog/2010/03/mysql-vs-nosql/

标签:

MySQL半同步存在的问题

谭俊青 — Wed, 03 Mar 2010 09:39:51 +0000

　　去年做过MySQL HA高可用方案，就是利用了Google的半同步补丁来加以实现的。而现在MySQL5.5中已经集成了semi-sync replication的功能，那么我们可以放心用它和其他组件及服务判断程序来实现我们的高可用解决方案。但是这里还存在一点瑕疵，需要注意。 By ivan@mysqlab.net

MySQL半同步流程设计图

(...)
阅读全文MySQL半同步存在的问题 (4 words)

© 谭俊青发布在 MySQL性能、MySQL Cluster集群、MySQL HA高可用等研究 - MySQL实验室, 2010.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处和作者信息。
链接: http://www.mysqlab.net/blog/2010/03/mysql半同步存在的问题/

标签:

MySQL 5.5-m2的可伸缩性

谭俊青 — Tue, 02 Mar 2010 02:15:13 +0000

　　之前的MySQL版本在多核处理器的服务器上，处理器的性能并不能得以充分发挥，而Google发布了针对MySQL的SMP补丁，从而改变了这一现状。我们来看看MySQL5.5在采用了Google的补丁之后性能在多核CPU上的伸缩性。 By ivan@mysqlab.net

下面的测试结果基于的硬件条件很环境：
1千万记录（约2.5GB数据）
DELL R900(16核，32GB内存， FusionIO+Raid10）

(...)
阅读全文MySQL 5.5-m2的可伸缩性 (2 words)

© 谭俊青发布在 MySQL性能、MySQL Cluster集群、MySQL HA高可用等研究 - MySQL实验室, 2010.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处和作者信息。
链接: http://www.mysqlab.net/blog/2010/03/mysql-55-m2的可伸缩性/

标签:

Memcached and MySQL

谭俊青 — Mon, 01 Mar 2010 02:17:47 +0000

　　相信很多开发人员接触过memcached,而且我认识的朋友当中有的是经常使用。那么在结合数据库，在对数据库内容做缓存的时候什么情况下使用memcached却不甚了解。有些朋友问到MySQL有自己的Query cache，为什么还要用memcached？ –by ivan@mysqlab.net

(...)
阅读全文Memcached and MySQL (39 words)

© 谭俊青发布在 MySQL性能、MySQL Cluster集群、MySQL HA高可用等研究 - MySQL实验室, 2010.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处和作者信息。
链接: http://www.mysqlab.net/blog/2010/03/memcached-and-mysql/

标签:

2010年的心愿

谭俊青 — Sat, 13 Feb 2010 20:59:58 +0000

　　今天是2010大年初一，祝兄弟朋友们在新年里健康快乐、美满幸福、万事如意、心想事成。
　　也祝愿自己能多交几个好朋友。

© 谭俊青发布在 MySQL性能、MySQL Cluster集群、MySQL HA高可用等研究 - MySQL实验室, 2010.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处和作者信息。
链接: http://www.mysqlab.net/blog/2010/02/2010年的心愿/

标签:

MySQL库目录下db.opt文件的作用

谭俊青 — Fri, 05 Feb 2010 19:06:44 +0000

　　细心的朋友可能会发现有时候在某些库目录下有个 db.opt 文件，那这个文件是干什么用的呢？如果你用vi等编辑器打开看的话，内容很简单，是用来记录该库的默认字符集编码和字符集排序规则用的。也就是说如果你创建数据库指定默认字符集和排序规则，那么后续创建的表如果没有指定字符集和排序规则，那么该新建的表将采用db.opt文件中指定的属性。

/*
Set table default charset, if not set

SYNOPSIS
set_table_default_charset()
create_info Table create information

DESCRIPTION
If the table character set was not given explicitely,
let’s fetch the database default character set and
apply it to the table.
*/

static void set_table_default_charset(THD *thd,
HA_CREATE_INFO *create_info, char *db)
{
/*
If the table character set was not given explicitly,
let’s fetch the database default character set and
apply it to the table.
*/
if (!create_info->default_table_charset)
{
HA_CREATE_INFO db_info;

load_db_opt_by_name(thd, db, &db_info);

create_info->default_table_charset= db_info.default_table_charset;
}
}

另外要说明的是，如果你是通过alter databases(schema) 命令更改的数据库默认属性，那么现有的表的默认字符集和排序规则不受影响。

通过创建数据库指定数据库的默认字符集和排序规则：

CREATE {DATABASE | SCHEMA} [IF NOT EXISTS] db_name
[create_specification] …

create_specification:
[DEFAULT] CHARACTER SET [=] charset_name
| [DEFAULT] COLLATE [=] collation_name

也可以通过alter database修改

ALTER {DATABASE | SCHEMA} [db_name]
alter_specification …
ALTER {DATABASE | SCHEMA} db_name
UPGRADE DATA DIRECTORY NAME

alter_specification:
[DEFAULT] CHARACTER SET [=] charset_name
| [DEFAULT] COLLATE [=] collation_name

© 谭俊青发布在 MySQL性能、MySQL Cluster集群、MySQL HA高可用等研究 - MySQL实验室, 2010.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处和作者信息。
链接: http://www.mysqlab.net/blog/2010/02/mysql库目录下db-opt文件的作用/

标签:

Blob/Text字段类型在MySQL Cluster中的处理

谭俊青 — Wed, 03 Feb 2010 02:57:43 +0000

　　MySQL Cluster ndb 引擎每行存储的实际长度最大为8052个字节。Blob和Text字段在ndb engine中只存储前面的256个字节。超过256自己部分存储在另外的隐藏表里面。根据字段类型，隐藏表分3种大小(chunk size)。

Blob/Text 2000B
MediumBlob/MediumText 4000B
LongBlob/LongText 8000B

　　假如一个LongBlob字段是10,000个字节，那么需要2个chunk，第一个存储8000字节，另外一个存储剩下的2000字节。
　　因此为了提高效率，如果我们存储的字段在8k(约)以内，那么在不超过8052字节限制的情况下，可以考虑用varbinary存储。比如比较典型的应用 session 管理。

© 谭俊青发布在 MySQL性能、MySQL Cluster集群、MySQL HA高可用等研究 - MySQL实验室, 2010.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处和作者信息。
链接: http://www.mysqlab.net/blog/2010/02/blob-text字段类型在mysql-cluster中的处理/

标签:

Vertical Partitioning for MySQL(MySQL垂直分区)

谭俊青 — Sun, 31 Jan 2010 15:32:51 +0000

　　MySQL5.1开始支持表分区,但是是水平分区，包括hash, list, range 等。
例如分区前:

分区后：

VP存储引擎(vertical partitioning storage engine)支持垂直分区，将不同的表根据主键作join，而且还支持不同存储引擎的表，甚至原有的表还可以带有水平分区。

详情请参考：https://launchpad.net/vpformysql

© 谭俊青发布在 MySQL性能、MySQL Cluster集群、MySQL HA高可用等研究 - MySQL实验室, 2010.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处和作者信息。
链接: http://www.mysqlab.net/blog/2010/01/vertical-partitioning-for-mysql/

标签: