© 谭俊青 发布在 MySQL实验室, 2010.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处 和 作者信息 及 版权声明
链接: http://www.mysqlab.net/blog/2010/03/寻求数据库相关网站或博客交换链接/

Add to del.icio.us
标签:

© 谭俊青 发布在 MySQL实验室, 2010.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处 和 作者信息 及 版权声明
链接: http://www.mysqlab.net/blog/2010/03/其实ndb-innodb是很好的nosql数据库/

Add to del.icio.us
标签:

　　随着数据量和访问量的增长，网站构架大致有这么几个发展阶段(以PHP+MySQL+Memcached为例)：

(...)
阅读全文MySQL vs NoSQL 效率与成本之争 (49 words)

© 谭俊青 发布在 MySQL实验室, 2010.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处 和 作者信息 及 版权声明
链接: http://www.mysqlab.net/blog/2010/03/mysql-vs-nosql/

Add to del.icio.us
标签:

MySQL半同步流程设计图

© 谭俊青 发布在 MySQL实验室, 2010.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处 和 作者信息 及 版权声明
链接: http://www.mysqlab.net/blog/2010/03/mysql半同步存在的问题/

Add to del.icio.us
标签:

下面的测试结果基于的硬件条件很环境：
1千万记录（约2.5GB数据）
DELL R900(16核，32GB内存， FusionIO+Raid10）

(...)
阅读全文MySQL 5.5-m2的可伸缩性 (2 words)

© 谭俊青 发布在 MySQL实验室, 2010.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处 和 作者信息 及 版权声明
链接: http://www.mysqlab.net/blog/2010/03/mysql-55-m2的可伸缩性/

Add to del.icio.us
标签:

(...)
阅读全文Memcached and MySQL (39 words)

© 谭俊青 发布在 MySQL实验室, 2010.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处 和 作者信息 及 版权声明
链接: http://www.mysqlab.net/blog/2010/03/memcached-and-mysql/

Add to del.icio.us
标签:

© 谭俊青 发布在 MySQL实验室, 2010.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处 和 作者信息 及 版权声明
链接: http://www.mysqlab.net/blog/2010/02/2010年的心愿/

Add to del.icio.us
标签:

另外要说明的是，如果你是通过alter databases(schema) 命令更改的数据库默认属性，那么现有的表的默认字符集和排序规则不受影响。

通过创建数据库指定数据库的默认字符集和排序规则：

也可以通过alter database修改

© 谭俊青 发布在 MySQL实验室, 2010.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处 和 作者信息 及 版权声明
链接: http://www.mysqlab.net/blog/2010/02/mysql库目录下db-opt文件的作用/

Add to del.icio.us
标签:

• Blob/Text 2000B
• MediumBlob/MediumText 4000B
• LongBlob/LongText 8000B

　　假如一个LongBlob字段是10,000个字节，那么需要2个chunk，第一个存储8000字节，另外一个存储剩下的2000字节。
　　因此为了提高效率，如果我们存储的字段在8k(约)以内，那么在不超过8052字节限制的情况下，可以考虑用varbinary存储。比如比较典型的应用 session 管理。

© 谭俊青 发布在 MySQL实验室, 2010.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处 和 作者信息 及 版权声明
链接: http://www.mysqlab.net/blog/2010/02/blob-text字段类型在mysql-cluster中的处理/

Add to del.icio.us
标签:

分区后：

VP存储引擎(vertical partitioning storage engine)支持垂直分区，将不同的表根据主键作join，而且还支持不同存储引擎的表，甚至原有的表还可以带有水平分区。

详情请参考：https://launchpad.net/vpformysql

© 谭俊青 发布在 MySQL实验室, 2010.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处 和 作者信息 及 版权声明
链接: http://www.mysqlab.net/blog/2010/01/vertical-partitioning-for-mysql/

Add to del.icio.us
标签:

　　呵呵，被骗进来的朋友别生气，今天实在是太晚了，明早还要去上课，明后天补上。

　　这篇是普及MySQL基本知识的，介绍MySQL是如何使用磁盘和内存的，从手册上可以找到。

　　磁盘空间的占用：

• 每个数据库对应MySQL数据目录下的一个目录，不管你是采用什么存储引擎。
• 每张数据表都在其对应的数据库目录下有一个table_name.frm文件，存储的是表定义信息，有64KB的限制。
• MyISAM引擎表在其数据库目录下对应3个文件,包括上面的frm文件,还有数据文件和目录索引文件。
• Innodb有自己的表空间和redo日志文件。
• MySQL还有自己的日志文件，包括error log, binary log, general log等。
• 触发器存储在对应的数据库目录下。
• 认证信息存储在MySQL系统表里，在mysql库下。
• 另外mysqld服务器程序和其他一些客户端管理工具等也需要占用一定的磁盘空间。

　　内存的占用：

• 线程管理，服务器程序为了提高效率，会将一些信息存储于buffer(cache)。
• Memory(HEAP)引擎将数据存储在那种中内存中。
• 临时表如果没有超过设定的限制会存储在内存中。
• 每个客户端连接都会使用一定的buffer空间
• 全局的Buffer和Cache(比如MyISAM的keybuffer,InnoDB的buffer pool, Query cache等 )

© 谭俊青 发布在 MySQL实验室, 2010.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处 和 作者信息 及 版权声明
链接: http://www.mysqlab.net/blog/2010/01/mysql是如何使用内存和磁盘的/

Add to del.icio.us
标签:

© 谭俊青 发布在 MySQL实验室, 2010.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处 和 作者信息 及 版权声明
链接: http://www.mysqlab.net/blog/2010/01/mysql-cluster致命缺点/

Add to del.icio.us
标签:

怎么样？读取的时候谁知道那个数字是多少？(不过也可以通过自定义函数实现还原)
MySQL5.5中加入了columns关键字，使得可读性好多了。看例子

另外MySQL5.5表分区(partition) columns关键字还支持多字段，比如 partition by range columns(a,b);将支持清空指定的分区TRUNCATE PARTITION。MySQL5.5有望在明年(2010)夏季GA。另外MySQL5.5支持的半同步功能在高可用上的使用，让人非常期待！

Reference: MySQL 5.5 partitioning enhancements

Note：在使用表分区的时候，并不是分区越多越好，要根据情况而定，因为会出现意想不到的问题。

© 谭俊青 发布在 MySQL实验室, 2009.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处 和 作者信息 及 版权声明
链接: http://www.mysqlab.net/blog/2009/12/mysql-55-表分区功能增强/

Add to del.icio.us
标签:

MySQL半同步流程设计图

半同步的配置很简单：

对于半同步需要说明的是：
1：不需要所有的slave都确认接收到复制事件
2：slave确认并不是表示执行完成
3：如果slave没有跟上同步设置将被中断继续原来的异步模式直到跟上再重新开启

注意：当前MySQL5.4， MySQL5.5都还不是GA版本，生产环境请慎重选择，升级前也请备份好数据。

© 谭俊青 发布在 MySQL实验室, 2009.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处 和 作者信息 及 版权声明
链接: http://www.mysqlab.net/blog/2009/12/mysql-55-released非ga/

Add to del.icio.us
标签:

MySQL 5.4 GA 预计可能在明年夏季，roadmap如下图：

MySQL 5.5 会加入Google semi-replication patch,Google原链接。

MySQL Cluster Manager 加入自动管理功能，不过应该会收费。

———————————————-
这几天去fetion看了他们的DB，服务器奢侈(可能穷惯了)，性能也很强劲30k+的QPS。不过构架有些问题，以后我想应该会改；另外还去了现场帮客户解决问题。至此来北京的计划全部打乱。下次一定提前安排，组织一次MySQL实验室聚会。

© 谭俊青 发布在 MySQL实验室, 2009.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处 和 作者信息 及 版权声明
链接: http://www.mysqlab.net/blog/2009/12/mysql新版5x及特性/

Add to del.icio.us
标签:

其中异构复制的时候有些技巧，比如 不同的mysqld只复制一部分表，从而避免延时的出现。

© 谭俊青 发布在 MySQL实验室, 2009.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处 和 作者信息 及 版权声明
链接: http://www.mysqlab.net/blog/2009/12/mysql-cluster-geographic-replication-deep-dive/

Add to del.icio.us
标签:

上面是Gearman的一个角色功能图，它在整个系统体系里面担任中间代理人的作用，负责接收和分配任务并返回结果。这样它能很好的胶合各个子系统从而实现项目目标。

之所以介绍这个，我是想将它用到MySQL的监控管理备份平台上，DB服务器上运行worker daemon连接到管理节点上，这样需要对DB进行动作的时候，只要在管理节点上通过gearman下达任务即可，而且不同的地方可以用最合适的语言去实现，实现开发效率和运行效率的平衡和统一。开发人员能给我们带来这么好的东东，实乃大幸。Gearman可用的地方非常多，它在一定程度上开阔了人的思路，提供了一个相对通用的解决方案。

----------     ----------     ----------     ----------
| Client |     | Client |     | Client |     | Client |
----------     ----------     ----------     ----------
     \             /              \             /
      \           /                \           /
      --------------               --------------
      | Job Server |               | Job Server |
      --------------               --------------
            |                            |
    ----------------------------------------------
    |              |              |              |
----------     ----------     ----------     ----------
| Worker |     | Worker |     | Worker |     | Worker |
----------     ----------     ----------     ----------

Gearman的官方网站在这里

© 谭俊青 发布在 MySQL实验室, 2009.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处 和 作者信息 及 版权声明
链接: http://www.mysqlab.net/blog/2009/11/gearman/

Add to del.icio.us
标签:

© 谭俊青 发布在 MySQL实验室, 2009.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处 和 作者信息 及 版权声明
链接: http://www.mysqlab.net/blog/2009/11/building-high-performance-mysql-query-systems-and-analytic-applications/

Add to del.icio.us
标签:

尝试将 UNIV_PAGE_SIZE_SHIFT 改成13 (相当于page size为8K)，编译通过并可以正常使用。
后来找到Google的MySQL团队发表的一篇文章，文中的介绍 Innodb page size 可以选择 8K、 16K、 32K、 64K。不过因为Innodb每个page都有不小的冗余空间，从空间和内存利用的角度来讲，page size越大越好。但是从checkpoint的角度来讲恰恰相反，page size越小，性能越好（上次演讲的时候我介绍过原理）。所以最后选择多大的page size可以根据实际的业务测试而定。

© 谭俊青 发布在 MySQL实验室, 2009.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处 和 作者信息 及 版权声明
链接: http://www.mysqlab.net/blog/2009/09/innodb表空间page-size的选择/

Add to del.icio.us
标签:

2009-09-09 Sun MySQL Day Q&A 现场

© 谭俊青 发布在 MySQL实验室, 2009.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处 和 作者信息 及 版权声明
链接: http://www.mysqlab.net/blog/2009/09/sun-mysql-day/

Add to del.icio.us
标签: 活动

个人关注的改进部分有：

1： Multiple Background Threads

最初由Google提供的补丁，参数 innodb_file_io_threads 可以设置io threads的数量，之前是假的…

2：Master Thread I/O Capacity Tuning

之前innodb在代码里面写死了 innodb_io_capacity 为100，但是现在db服务器很多都是用多块硬盘做raid10，IOPS 一般都远不止100，因此这次改进之后  innodb_io_capacity 变成可以动态调整的参数，用于DBA选择一个合适的值。

3：Group Commit

这个据说以前4.x之前就支持的，现在又回来了，支持多个事务同时提交（主要是redo log，之前是因为binlog的2-phase commit protocal的原因中止的），从而提高吞吐量。

4：Adaptive Flushing

这个非常有用，大家知道在脏数据到达设置的阀值比例之后，会开始主动做checkpoint，当checkpoint无可避免的时候，这时候会堵塞用户线程，从而出现性能的突然下降。现在这个问题得到巧妙的解决，会根据算法动态的调整checkpoint的速率，避免出现性能的突然降低。

REFERENCE:

http://www.innodb.com/wp/2009/08/11/innodb-plugin-104-released/

http://www.innodb.com/wp/products/innodb_plugin/license/third-party-contributions-in-innodb-plugin-1-0-4/

© 谭俊青 发布在 MySQL实验室, 2009.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处 和 作者信息 及 版权声明
链接: http://www.mysqlab.net/blog/2009/08/innodb-plugin-104-for-mysql-5137/

Add to del.icio.us
标签:

如果最后该补丁能够纳入官方体系，那么Innodb将在性能上又有很大的提升。

上次MySQL中文实验室的聚会中介绍了buffer大小，redo log大小，checkpoint对性能的影响。那么如果大的redo log能在crash后快速回复的话，我们可以将redo log设置到最大，这样可以尽可能降低checkpoint的次数，来提升数据库的性能。

再者还可以将redo log 4G的限制从源码上解决，从而适应现在动则上10G的buffer。

© 谭俊青 发布在 MySQL实验室, 2009.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处 和 作者信息 及 版权声明
链接: http://www.mysqlab.net/blog/2009/08/innodb快速恢复补丁/

Add to del.icio.us
标签:

这次从原理和结构上剖析innodb的组成和工作机制，从而让大家清晰的认识到要怎么优化，为什么要如此优化。

到场的朋友主要来自上海和杭州。同时感谢爱可生公司提供投影仪和小礼品。

PS: 这次聚会我个人犯了些错误，没有提前找大家确认，有几位报名的朋友没到，不过额外增加了几个新面孔，还有几位美女。

© 谭俊青 发布在 MySQL实验室, 2009.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处 和 作者信息 及 版权声明
链接: http://www.mysqlab.net/blog/2009/07/mysql中文实验室第一次聚会成功举办/

Add to del.icio.us
标签:

但是带来的问题是，如果一张表有2列唯一索引的时候，这表就没法分区了。

关键字：表分区，分区表，primary key主键，unique key 唯一索引

————————————————

本人并没有去看这部分源码，以上结论纯属推理得出。

© 谭俊青 发布在 MySQL实验室, 2009.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处 和 作者信息 及 版权声明
链接: http://www.mysqlab.net/blog/2009/07/mysql分区表没有全局索引，只有分区索引/

Add to del.icio.us
标签:

my.cnf 配置参数: innodb_additional_mem_pool_size

查看数据字典使用多少内存:

Dictionary memory allocated xxxxxxx

针对这种情况，Vadim提供了一个限制数据字典占用内存大小(Limiting InnoDB Data Dictionary)的补丁，用来限制数据字典占用内存的大小，采用LRU淘汰算法，只保留最新使用的表信息。

© 谭俊青 发布在 MySQL实验室, 2009.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处 和 作者信息 及 版权声明
链接: http://www.mysqlab.net/blog/2009/06/innodb分表太多或者表分区太多会导致内存耗尽而宕机/

Add to del.icio.us
标签:

Features

• displays more data in SHOW INNODB STATUS and SHOW STATUS including per-file IO statistics
• uses less CPU while processing background IO requests
• enforces innodb_max_dirty_pages_pct
• prevents the insert buffer from getting full (and becoming useless)
• changes the main background IO thread to be simpler and use more asynchronous IO
• adds many my.cnf variables
• Reimplements adaptive checkpoints as first described by Percona
• Changes the computation of the percentage of dirty buffer pool pages. Before this change the percentage exluded pages borrowed from the buffer pool for other uses. While that may be more accurate, it also requires the caller to lock/unlock a hot mutex. It also made the percentage vary a bit too much as the insert buffer grew and shrank. The v4 patch doesn’t exclude the borrowed pages. As most of the borrowed pages should be used in the insert buffer and the insert buffer should be smaller (thanks to ibuf_max_pct_of_buffer), this is probably a good thing.

Performance

• in-memory OLTP
• disk-bound OLTP
• insert benchmark

© 谭俊青 发布在 MySQL实验室, 2009.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处 和 作者信息 及 版权声明
链接: http://www.mysqlab.net/blog/2009/05/google-patch-v4-for-mysql/

Add to del.icio.us
标签:

文中工具用到solaris下的dtrace数据，因此linux下不能使用.

例子：

#./inniostat -h
Usage: inniostat [-h] [-d] [-p pid] [interval]
                 -h : Print this message
                 -p : MySQL PID
                 -d : Dump dtrace script being used

# ./inniostat
 __physical__  ___Innodb___ ____read____     ______write______
   r/s    w/s    r/s    w/s   data    pre    log dblbuf dflush     Time
    24    121     24     50     24      0     50      0      0 16:00:57
    26    130     26     51     26      0     51      0      0 16:00:58
    18    134     18     54     18      0     54      0      0 16:00:59
    25    129     25     51     25      0     51      0      0 16:01:00
    29    116     46     47     17     29     47      0      0 16:01:01
    10    140     10    132     10      0     52      0     80 16:01:02
    29    129     35     53     14     21     53      0      0 16:01:03

© 谭俊青 发布在 MySQL实验室, 2009.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处 和 作者信息 及 版权声明
链接: http://www.mysqlab.net/blog/2009/05/inniostat-innodb-io-statistics/

Add to del.icio.us
标签:

MySQL 6.0.11-alpha, a new version of the MySQL database system has been
released.  The main page for MySQL 6.0 release is at

  http://www.mysql.com/mysql60/

6.0.11 will be the last release of 6.0.  After this we will be
transitioning into a New Release Model for the MySQL Server

  http://forge.mysql.com/wiki/Development_Cycle

The goal of this transition is to enable more frequent and timely
releases of the MySQL Server.

希望新的Release Model能给mysql带来更大的活力。

© 谭俊青 发布在 MySQL实验室, 2009.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处 和 作者信息 及 版权声明
链接: http://www.mysqlab.net/blog/2009/05/6011-will-be-the-last-release-of-mysql-60/

Add to del.icio.us
标签:

早上6点被电话叫醒，有应用报警，根据经验应该是raid卡电池没电了，一查果然有2台机器没电了，还有2台已经充电完成。

其实这问题都遇上N次了，为啥都遇上问题才得以解决？就是因为对BBU电量比例并没有监控。

对于出现问题的机器，一般临时处理办法都是更改trx参数(这是个非常危险的操作，如果这段时间按掉电死机之类的就会造成数据丢失)，而这些都是可以预警和自动完成的。

新的监控系统将加入Raid卡BBU电池电量的监控，实现预警。至于是否自动更改redo日志的写策略可以配置，根据不同业务需求而定。

ivan 于 2009-05-19 早上6点

© 谭俊青 发布在 MySQL实验室, 2009.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处 和 作者信息 及 版权声明
链接: http://www.mysqlab.net/blog/2009/05/bbu电池电量的监控/

Add to del.icio.us
标签:

=======================================================
Display BBU Capacity Information
=======================================================
MegaCli -AdpBbuCmd -GetBbuCapacityInfo -aN|-a0,1,2|-aALL
——————————————————-
MegaCli -AdpBbuCmd -GetBbuCapacityInfo -aALL

 
=======================================================
Display BBU Design Parameters
=======================================================
MegaCli -AdpBbuCmd -GetBbuDesignInfo -aN|-a0,1,2|-aALL
——————————————————-
MegaCli -AdpBbuCmd -GetBbuDesignInfo -aALL

 
=======================================================
Display Current BBU Properties
=======================================================
MegaCli -AdpBbuCmd -GetBbuProperties -aN|-a0,1,2|-aALL
——————————————————-
MegaCli -AdpBbuCmd -GetBbuProperties -aALL

 
=======================================================
Start BBU Learning Cycle
=======================================================
Description Starts the learning cycle on the BBU.
No parameter is needed for this option.
——————————————————-
MegaCli -AdpBbuCmd -BbuLearn -aN|-a0,1,2|-aALL

 
=======================================================
Change Virtual Disk Cache and Access Parameters
=======================================================
Description Allows you to change the following virtual disk parameters:
-WT (Write through), WB (Write back): Selects write policy.
-NORA (No read ahead), RA (Read ahead), ADRA (Adaptive read ahead): Selects read policy.
-Cached, -Direct: Selects cache policy.
-RW, -RO, Blocked: Selects access policy.
-EnDskCache: Enables disk cache.
-DisDskCache: Disables disk cache.
——————————————————-
MegaCli -LDSetProp { WT | WB|NORA |RA | ADRA|-Cached|Direct} |
{-RW|RO|Blocked} |
{-Name[string]} |
{-EnDskCache|DisDskCache} –Lx |
-L0,1,2|-Lall -aN|-a0,1,2|-aALL
——————————————————-
MegaCli -LDSetProp WT -L0 -a0

 
=======================================================
Display Virtual Disk Cache and Access Parameters
=======================================================
MegaCli -LDGetProp -Cache | -Access | -Name | -DskCache -Lx|-L0,1,2|
-Lall -aN|-a0,1,2|-aALL
——————————————————-
Displays the cache and access policies of the virtual disk(s):
-WT (Write through), WB (Write back): Selects write policy.
-NORA (No read ahead), RA (Read ahead), ADRA (Adaptive read ahead): Selects read policy.
-Cache, -Cached, Direct: Displays cache policy.
-Access, -RW, -RO, Blocked: Displays access policy.
-DskCache: Displays physical disk cache policy.

© 谭俊青 发布在 MySQL实验室, 2009.
可以任意转载, 但转载时务必以超链接形式标明文章原始出处 和 作者信息 及 版权声明
链接: http://www.mysqlab.net/blog/2009/05/megacli-常用命令备查/

Add to del.icio.us
标签: