免费注册 查看新帖 |

ChinaUnix.net

  平台 论坛 博客 文库 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
最近访问板块 发新帖
查看: 6242 | 回复: 8

[MongoDB] Mongodb如何使用wiredTiger? [复制链接]

求职 : Linux运维
论坛徽章:
203
拜羊年徽章
日期:2015-03-03 16:15:432015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:57:092015小元宵徽章
日期:2015-03-06 15:58:182015年亚洲杯之约旦
日期:2015-04-05 20:08:292015年亚洲杯之澳大利亚
日期:2015-04-09 09:25:552015年亚洲杯之约旦
日期:2015-04-10 17:34:102015年亚洲杯之巴勒斯坦
日期:2015-04-10 17:35:342015年亚洲杯之日本
日期:2015-04-16 16:28:552015年亚洲杯纪念徽章
日期:2015-04-27 23:29:17操作系统版块每日发帖之星
日期:2015-06-06 22:20:00操作系统版块每日发帖之星
日期:2015-06-09 22:20:00
发表于 2015-12-30 18:23 |显示全部楼层
转载自:http://www.mongoing.com/archives/2214
Mongodb 3.0支持用户自定义存储引擎,用户可配置使用mmapv1或者wiredTiger存储引擎,本文主要介绍Mongodb是如何使用wiredTiger数据库作为底层的数据存储层。目前还没有读过wiredTiger的源码,本文的内容都是基于wiredTiger官方文档,以及Mongodb对wiredTiger封装代码,有问题请指出。

wiredTiger引擎存储布局

wiredTiger(简称WT)支持行存储、列存储以及LSM等3种存储形式,Mongodb使用时,只是将其作为普通的KV存储引擎来使用,mongodb的每个集合对应一个WT的table,table里包含多个Key-value pairs,以B树形式存储。

以下是一个典型的使用WT存储引擎的数据目录布局(配置了directoryPerDB选项,启用了journal)

$tree
.
├── admin
│   ├── collection-11--5764503550749656746.wt
│   ├── collection-14--6907424972913303461.wt
│   ├── collection-16--6907424972913303461.wt
│   ├── collection-20--6907424972913303461.wt
│   ├── collection-8--6907424972913303461.wt
│   ├── collection-9--5764503550749656746.wt
│   ├── index-10--5764503550749656746.wt
│   ├── index-12--5764503550749656746.wt
│   ├── index-13--5764503550749656746.wt
│   ├── index-15--6907424972913303461.wt
│   ├── index-17--6907424972913303461.wt
│   └── index-9--6907424972913303461.wt
├── journal
│   ├── WiredTigerLog.0000000003
│   └── WiredTigerPreplog.0000000001
├── local
│   ├── collection-0--5764503550749656746.wt
│   ├── collection-2--5764503550749656746.wt
│   ├── collection-4--5764503550749656746.wt
│   ├── collection-6--5764503550749656746.wt
│   ├── collection-7--5764503550749656746.wt
│   ├── index-1--5764503550749656746.wt
│   ├── index-3--5764503550749656746.wt
│   ├── index-5--5764503550749656746.wt
│   └── index-8--5764503550749656746.wt
├── _mdb_catalog.wt
├── mongod.lock
├── products
│   ├── collection-6--6907424972913303461.wt
│   └── index-7--6907424972913303461.wt
├── sizeStorer.wt
├── storage.bson
├── WiredTiger
├── WiredTiger.basecfg
├── WiredTiger.lock
├── WiredTiger.turtle
└── WiredTiger.wt
WiredTiger*等文件存储WT的一些配置信息。

local、journal、admin、products等每个目录代表一个DB,DB里包含集合数据及集合的索引数据,每个集合的数据对应一个WT的table(一个.wt后缀的文件),集合的每项索引也对应一个WT的table。

journal目录下存储WT的write ahead log,当服务crash时,可通过log来恢复数据。

_mdb_catalog.wt里存储了所有集合的元数据,包括集合对应的WT table名字,集合的创建选项,集合的索引信息等,WT存储引擎初始化时,会从_mdb_catalog.wt里读取所有的集合信息,并加载元信息到内存。

集合名与WT table名的对应关系可以通过db.collection.stats()获取

mongo-9552RIMARY> db.system.users.stats().wiredTiger.uri
statistics:table:admin/collection-10--1436312956560417970
也可以直接dump出_mdb_catalog.wt里的内容查看,dump出的内容为BSON格式,阅读起来不是很方便。

wt -C "extensions=[/usr/local/lib/libwiredtiger_snappy.so]"  -h . dump table:_mdb_catalog
sizeStorer.wt里存储所有集合的容量信息,如文档数、文档总大小等,当插入、删除、更新文档时,这些信息会先cache到内存,没操作1000次会刷盘一次;mongod进程crash可能导致sizeStorer.wt里的数据与实际信息不匹配,可通过validate()命令来重新扫描集合以订正统计信息。

wiredTiger API

WT官方提供了C、java、python API,mongodb使用C API来访问WT数据库,主要包括3个核心的数据结构。

WT_CONNECTION代表一个到WT数据库的连接,通常每个进程只用建立一个连接,WT_CONNECTION的所有方法都是线程安全的。
WT_SESSION代表一个数据库操作的上下文,每个线程需创建独立的session。
WT_CURSOR用于操作某个数据集(如某个table、file),可使用cursor来进行数据库插入、查询操作。
如下是使用wiredTiger C API的示例,展示了如何向WT数据库里插入数据,更多示例参考这里。

#include

char *home = "WT_HOME";

int main(void)
{
    WT_CONNECTION *conn;
    WT_CURSOR *cursor;
    WT_SESSION *session;
    const char *key, *value;
    int ret;

    /* Open a connection to the database */
    ret = wiredtiger_open(home, NULL, "create", &conn);

    /* Open a session in conn */
    ret = conn->open_session(conn, NULL, NULL, &session);

    /* Create table if not exist */
    ret = session->create(session,
        "table:access", "key_format=S,value_format=S";

    /* Open a cursor and insert key-value pair */
   ret = session->open_cursor(session,
        "table:access", NULL, NULL, &cursor);
    cursor->set_key(cursor, "key1";
    cursor->set_value(cursor, "value1";
    ret = cursor->insert(cursor);

    /* Close conn */
    ret = conn->close(conn, NULL);

   return ret;
}
上述示例包含如下步骤

wiredtiger_open()建立连接
conn->open_session建立session
session->create()创建access表,并指定key、value格式
session->open_cursor创建cursor,并插入key-value
访问结束后conn->close()关闭连接
wiredTiger in Mongodb

Mongodb使用wiredTiger作为存储引擎时,直接使用其C API来存储、查询数据。

wiredtiger_open

Mongodb在WiredTigerKVEngine构造的时候wiredtiger_open建立连接,在其析构时关闭连接,其指定的配置参数为:

配置项        含义说明
create        如果数据库不存在则先创建
cache_size=xx        cache大小,使用Mongod cacheSizeGB配置项的值
session_max=20000        最大session数量
eviction=(threads_max=4)        淘汰线程最大数量,用于将page从cache逐出
statistics=(fast)        统计数据采用fast模式
statistics_log=(wait=xx)        统计数据采集周期,使用mongod statisticsLogDelaySecs配置项的值
file_manager=(close_idle_time=100000)        空闲文件描述符回收时间
checkpoint=(wait=xx,log_size:2G)        开启周期性checkpoint,采用Mongod syncPeriodSecs配置项的值
log=(enabled=true,archive=true…        启用write ahead log,达到2G时触发checkpoint
重点介绍下checkpoint和log2个配置项,其决定了数据持久化的安全级别;wiredTiger支持2种数据持久化级别,分别是Checkpoint durability 和 Commit-level durability。

Checkpoint durability

wiredTiger支持对当前的数据集进行checkpoint,checkpoint代表当前数据集的一个快照(或镜像),wiredTiger可配置周期性的进行checkpoint(或当log size达到一定阈值是做checkpoint)。

比如WT配置了周期性checkpoint(没开启log),每5分钟做一次checkpoint,在T1时刻做了一次Checkpoint得到数据集C1,则在接下来的5分钟内,如果服务crash,则WT只能将数据恢复到T1时刻。

Commit-level durability

wiredTiger通过write ahead log来支持commit-level durability。

开启write ahead log后,对WT数据库的更新都会先写log,log的刷盘策略(通过trasaction_sync配置项 或者 begion_transaction参数指定)决定了持久化的级别。

mongodb的使用的持久化级别配置为

checkpoint=(wait=60,log_size=2G)
log=(enabled=true,archive=true,path=journal,compressor=snappy)
begin_transcation(“sync=true”)
具体策略为

每60s做一次checkpoint
开启write ahead log,当log size达到2GB时做checkpoint;并自动删除不需要的log文件。
每次commit_transaction时,调用fsync持久化已经commit的log。
基于上述配置,mongodb可以保证服务crash时,所有已经commit的操作都能通过log恢复。

open_session

mongodb使用session pool来管理WT的session,isolation=snapshot指定隔离级别为snapshot。

conn->open_session(conn, NULL, "isolation=snapshot", &_session);
create table

创建数据集合的参数如下

配置项        含义说明
create        如果集合不存在则先创建
memory_page_max=10m        page内存最大值
split_pct=90        page split百分比
checksum=on        开启校验
key_format=q,value_format=u        key为int64_t类型(RecordId),value为WT_ITEM
数据集合的key为int64_t类型的RecordId,RerordId在集合内部唯一,value为二进制的BSON格式。

创建索引集合的参数如下

配置项        含义说明
create        如果集合不存在则先创建
type=file,internal_page_max=16k,leaf_page_max=16k        配置树节点大小
checksum=on        开启校验
key_format=u,value_format=u        key-value均为WT_ITEM格式
索引集合的key、value均为二进制数据。

table创建好之后,就可以往table

比如,往某个集合插入一组元素

db.coll.insert({_id: "apple", count: 100});
db.coll.insert({_id: "peach", count: 200});
db.coll.insert({_id: "grape", count: 300});
对应一个coll的数据集合,其对应的WT数据类似于

KEY        VALUE
1        {_id: “apple”, count: 100}
2        {_id: “peach”, count: 200}
3        {_id; “grape”, count: 300}
以及基于id的索引集合,其对应的WT数据类似于

KEY        VALUE
“apple”        1
“peach”        2
“grape”        3
接下来如果在count上建索引,索引会存储在新的WT table里,数据类似于

db.coll.ensureIndex({count: -1})
KEY        VALUE
300        3
200        2
100        1
总结

Mongodb使用wiredTiger存储引擎时,其将wiredTiger作为一个KV数据库来使用,mongodb的集合和索引都对应一个wiredTiger的table。并依赖于wiredTiger提供的checkpoint + write ahead log机制提供高数据可靠性。

论坛徽章:
0
发表于 2016-03-03 01:01 |显示全部楼层
进来看看了。。。。。。

求职 : Linux运维
论坛徽章:
203
拜羊年徽章
日期:2015-03-03 16:15:432015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:57:092015小元宵徽章
日期:2015-03-06 15:58:182015年亚洲杯之约旦
日期:2015-04-05 20:08:292015年亚洲杯之澳大利亚
日期:2015-04-09 09:25:552015年亚洲杯之约旦
日期:2015-04-10 17:34:102015年亚洲杯之巴勒斯坦
日期:2015-04-10 17:35:342015年亚洲杯之日本
日期:2015-04-16 16:28:552015年亚洲杯纪念徽章
日期:2015-04-27 23:29:17操作系统版块每日发帖之星
日期:2015-06-06 22:20:00操作系统版块每日发帖之星
日期:2015-06-09 22:20:00
发表于 2016-03-03 08:21 |显示全部楼层
@蓝色星河
换引擎啦   

论坛徽章:
0
发表于 2016-04-19 14:44 |显示全部楼层
进来,学习学习

论坛徽章:
1
IT运维版块每日发帖之星
日期:2016-08-11 06:20:00
发表于 2016-05-04 00:07 |显示全部楼层
学习了。。。。。

论坛徽章:
0
发表于 2016-05-31 22:36 |显示全部楼层
看看了。。。。。

论坛徽章:
54
15-16赛季CBA联赛之福建
日期:2017-12-19 17:26:23白银圣斗士
日期:2015-11-13 13:21:14嗜杀者
日期:2015-11-13 13:19:592015亚冠之阿尔萨德
日期:2015-08-31 12:09:352015亚冠之水原三星
日期:2015-08-31 12:09:302015亚冠之水原三星
日期:2015-08-31 11:34:272015亚冠之浦和红钻
日期:2015-08-27 17:36:152015亚冠之阿尔希拉尔
日期:2015-08-11 13:07:272015年亚洲杯之伊朗
日期:2015-03-05 14:08:542015年亚洲杯之韩国
日期:2015-03-05 14:08:502015年亚洲杯之伊朗
日期:2015-03-03 13:56:42ChinaUnix元老
日期:2015-01-28 17:08:58
发表于 2016-10-21 09:54 |显示全部楼层
学习了

论坛徽章:
140
2015年亚洲杯之日本
日期:2015-04-28 13:32:012015年亚洲杯之朝鲜
日期:2015-05-06 10:16:442015年亚洲杯之日本
日期:2015-05-06 10:21:342015年亚洲杯纪念徽章
日期:2015-05-13 17:16:442015亚冠之北京国安
日期:2015-05-13 17:18:292015亚冠之鹿岛鹿角
日期:2015-05-13 17:19:062015亚冠之德黑兰石油
日期:2015-05-27 16:47:402015亚冠之塔什干棉农
日期:2015-05-28 15:24:122015亚冠之卡尔希纳萨夫
日期:2015-06-01 13:52:392015亚冠之柏斯波利斯
日期:2015-06-04 17:37:292015亚冠之阿尔纳斯尔
日期:2015-06-16 11:31:202015亚冠之塔什干火车头
日期:2015-06-23 10:12:33
发表于 2016-10-21 10:16 |显示全部楼层
看看

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

【CUer福利】柯尼卡美能达2018数字化整合解决方案巡展
智领共创链动价值-2018数字化整合解决方案巡展

2018年11月,柯尼卡美能达携手主流IT网络媒体IT168及旗下ITPUB、ChinaUnix等论坛,特此邀请企业IT管理、运维人员/办公设备采购负责人员共同参与,分享柯尼卡美能达“智领共创链动价值”-2018数字化整合解决方案巡展!现场体验MOBOTIX智能视频监控解决方案!

活动入口>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:wangnan@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP