Chinaunix

标题: qemu-kvm部分流程/源代码分析2 (连载中) [打印本页]

作者: 021512035 时间: 2013-03-27 23:30
标题: qemu-kvm部分流程/源代码分析2 (连载中)
本帖最后由 021512035 于 2017-03-25 18:00 编辑

作者: 章鱼的腿 时间: 2013-03-29 20:09
这么认真的总结居然没人顶.楼主会伤心的.

作者: catface 时间: 2013-03-30 10:44
本帖最后由 catface 于 2013-03-30 17:36 编辑

好东西谢谢了不过楼主能把PNG打包就更好了或者直接发VISO文件
这个图下下来放大效果很差

作者: 021512035 时间: 2013-03-30 20:03
回复 3# catface

www.baidu.com/p/ithinkwalk上有高清图

作者: uchenm 时间: 2013-04-01 16:43
这是什么东西阿？

作者: 021512035 时间: 2013-04-02 21:50
修正第一张图 promox -> proxmox

qemu-kvm相关.png (27.02 KB, 下载次数: 447)

qemu-kvm相关

作者: 021512035 时间: 2013-04-02 22:08
正在画virtio驱动部分的流程图，先上一张关系图，代码分析待续...

virtio-net依赖关系.png (21.74 KB, 下载次数: 461)

virtio-net依赖关系

作者: 021512035 时间: 2013-04-06 00:08
virtio-net前端驱动实现流程图v0.1

virtio-net前端驱动实现流程图.png (625.62 KB, 下载次数: 500)

virtio-net前端驱动实现流程图v0.1

作者: 021512035 时间: 2013-04-06 00:10
virtio后端主要数据结构:

virtio后端主要数据结构.png (419.73 KB, 下载次数: 443)

virtio后端主要数据结构

作者: zhangmaosheng 时间: 2013-04-15 17:35
牛啊，这都总结出来了

作者: 021512035 时间: 2013-04-21 09:52
virtio-net前端驱动实现流程图v0.2

virtio-net前端驱动实现流程图.png (729.34 KB, 下载次数: 275)

作者: crspo 时间: 2013-04-21 10:48
辛苦楼主了，多发patch吧

作者: ajax_xu 时间: 2013-04-22 16:05
楼主厉害！

作者: sunnyhxt 时间: 2013-04-24 16:11
感谢LZ的分享，如果要找这样的资料费时费力不说，关键是不一定有LZ总结这样全面。

作者: 021512035 时间: 2013-05-19 14:50
中断虚拟化和内存虚拟化的流程正在分析中，还没有完成，临时打一下netmap的酱油...

netmap主要数据结构串联.png (238.8 KB, 下载次数: 247)

netmap主要数据结构串联

作者: wenhq 时间: 2013-05-19 16:06
收藏了。谢谢LZ！

作者: caiqin5167 时间: 2013-05-27 09:28
楼主，测试过virtio的网卡在收发组播的时候，6分多钟，组播就会停止接收吗？期盼解释！感谢

作者: 021512035 时间: 2013-05-28 22:56
不好意思，没有测试过virtio收发组播， #_#

作者: GB_juno 时间: 2013-06-09 13:20
真心佩服，这个我看得有点晕.总结了真够详细的，学习

作者: 021512035 时间: 2013-07-07 18:44
很久没作图了，上传一份与虚拟磁盘相关的小小总结~~~

ide流程总结.7z

1.15 KB, 下载次数: 148

ide流程总结.7z

作者: gr33n 时间: 2013-07-08 22:27
我知道的kvm有限

作者: puppy5211 时间: 2013-07-09 16:27
我是来膜拜的～～

作者: 021512035 时间: 2013-07-15 01:30
中断虚拟化(kvm驱动部分，qemu应用层部分待续。。。)

中断虚拟化.png (379.07 KB, 下载次数: 305)

中断虚拟化

作者: zhijianli88 时间: 2013-07-22 11:30
mark，
膜拜

作者: 021512035 时间: 2013-08-04 18:19
最近查问题，看了一下硬中断的流程，小总结：

irq.7z

480 Bytes, 下载次数: 101

作者: 满天星 时间: 2013-08-05 13:11
楼主实在是V5啊，另外share一个在KVM上关于virtio driver影响非常大的一个bug，尼玛这个bug坑死我了，我擦，折腾了N个版本才发现！
希望也有折腾KVM/VirtIO的兄弟们注意下：http://bugs.centos.org/view.php?id=5526
KVM/VirtIO有待继续完善啊，这种basic的function居然都XXX！

作者: 021512035 时间: 2013-08-18 15:04
本帖最后由 021512035 于 2013-08-19 23:16 编辑

那是一堆神奇的代码哟，网卡有它数据包畅游互联网~~~@_@ (《天路》的节奏 )

e1000驱动流程.png (1.01 MB, 下载次数: 219)

e1000驱动流程v0.1

作者: 021512035 时间: 2013-10-20 23:27
本帖最后由 021512035 于 2013-10-20 23:33 编辑

虚拟磁盘性能优化：
测试环境：普通PC，虚拟两个VCPU， 1G虚拟内存：(在服务器上测试性能更高，可以媲美VMware)
如何做到的？这个真的是不能说的秘密...

read.png (95.99 KB, 下载次数: 181)

write.png (95.61 KB, 下载次数: 179)

作者: itsjoke 时间: 2013-12-30 16:59
怎么没更新了.大牛啊
呵呵.核心技术还是保密的

作者: itsjoke 时间: 2013-12-30 17:01
回复 26# 满天星

看了官方的说明,貌似至今都没有修复
兄弟解决了没?
还是换了不同的内核了?

作者: 021512035 时间: 2014-01-01 22:53
本帖最后由 021512035 于 2014-01-01 23:06 编辑

最近一直比较忙，没空来更新，先发一张虚拟IDE磁盘实现的简要流程图，详细的虚拟IDE磁盘代码实现流程图待续。。。

vIDE0.png (72.6 KB, 下载次数: 224)

vIDE

作者: 021512035 时间: 2014-03-30 02:28
本帖最后由 021512035 于 2014-03-31 22:06 编辑

qemu IO虚拟化处理流程：(预告下一张图：线程、协程，傻傻分不清楚)

vIO.png (134.7 KB, 下载次数: 250)

vIO

作者: 021512035 时间: 2014-04-01 22:32
本帖最后由 021512035 于 2014-08-24 10:54 编辑

愚人节福利，laio[线程、协程，傻傻分不清楚]：

laio[线程、协程，傻傻分不清楚].png (293.46 KB, 下载次数: 263)

laio[线程、协程，傻傻分不清楚]

作者: rxf1986 时间: 2014-04-17 15:01
真的很不错，顶一个！！！

作者: rxf1986 时间: 2014-04-24 13:58
好厉害！顶！赞！

作者: 021512035 时间: 2014-04-28 09:21
本帖最后由 021512035 于 2014-05-05 14:27 编辑

帮公司人力资源部门插播一条招聘信息:

一、桌面虚拟化资深设计师（1人）
职位描述：负责桌面虚拟化的设计、开发、技术指导等工作。
任职资格：
1、5年以上软件开发经验，2年以上虚拟化开发经验，在所属虚拟化开发团队中负责主要的架构设计，技术攻关工作，并有成功的项目案例；
2、熟悉windows下WDDM,XPDM驱动框架，有桌面虚拟化核心协议开发经验，熟悉KVM,XEN等技术原理；
3、了解directx,opengl原理及驱动开发经验，做过桌面虚拟化3D加速相关经验者优先。
工作地点：深圳

二、服务器虚拟化资深设计师（3人)
职位描述：
1、带领虚拟化开发人员进行虚拟化的设计开发；
2、虚拟化产品的性能、稳定性优化；
3、研究解决产品线技术难题；
4、产品线研发人员技术培训、指导。
任职资格：
Linux或windows底层开发5年以上，其中虚拟化开发3年以上；
2、熟悉X86架构计算机及对应的虚拟化原理，具体为：
熟悉CPU及虚拟化原理(real-mode/protected-mode/IA32e-mode/APIC/vAPIC/VMX/VPIDs/vAPIC等);熟悉内存及虚拟化原理(PAGING MODES/PAE/PSE/EPT等);了解主要外设及虚拟化原理(PIC/IOAPIC/RTC/8254/PCI-E/ATA/SCSI/VGA等)；
3、熟悉X86虚拟化开源系统，了解kvm或xen或vbox架构原理之一；
4、熟悉Linux、windows操作系统，包括内存管理、进程管理、IO系统、中断系统、文件系统等。
5、掌握业内动态，掌握业界技术竞争与发展情况。
工作地点：深圳

有意者，请私信联系我。

作者: ssailing 时间: 2014-05-06 16:23
拜读大作！

作者: 021512035 时间: 2014-06-08 21:43
虚拟磁盘性能优化（支持ide/scsi/virtio-blk虚拟磁盘），测试录屏如下：（测试使用的是virtio-blk虚拟磁盘）

测试录屏.rar

1.4 MB, 下载次数: 59

作者: humjb_1983 时间: 2014-08-08 09:24
路过拜读，写得非常精彩和用心，感觉放到这个板块不太合适，知音少，建议放到“内核源码”板块中吧(或者复制一份过去)，相信会有很多知音的，期待继续，感谢分享！！！！

作者: 睿智2012 时间: 2014-08-08 13:35
好东西要懂的人才有用啊！

作者: 021512035 时间: 2014-08-24 10:51
我回来了。。。送福利。。。

paio[线程、协程，傻傻分不清楚]：

paio[线程、协程，傻傻分不清楚].png (464.76 KB, 下载次数: 217)

paio[线程、协程，傻傻分不清楚]

作者: machelcheng 时间: 2014-08-25 23:46
厉害，想必花了不少精力脑力啊，必须顶楼主

作者: 021512035 时间: 2014-08-26 18:08
qcow2-layout：

qcow2-layout.png (145.23 KB, 下载次数: 210)

qcow2-layout

作者: 与天笑 时间: 2014-09-01 00:17
楼主的图是用什么工具做的啊？很漂亮啊

作者: 021512035 时间: 2014-09-01 09:43
visio... 回复 44# 与天笑

作者: 021512035 时间: 2014-09-25 02:06
本帖最后由 021512035 于 2014-10-15 01:56 编辑

十一提前送福利。。。

backup & nbd (qemu开机备份流程):

作者: 021512035 时间: 2014-10-15 01:55
本帖最后由 021512035 于 2014-10-20 21:55 编辑

bs二叉树：

bs二叉树.png (254.5 KB, 下载次数: 205)

作者: 021512035 时间: 2014-10-19 11:26
本帖最后由 021512035 于 2014-10-20 21:55 编辑

bdrv_open(芝麻开门):

bdrv_open.png (145.19 KB, 下载次数: 203)

作者: 021512035 时间: 2014-11-06 02:21
qemu & glusterfs

qemu & glusterfs.png (511.94 KB, 下载次数: 213)

作者: 021512035 时间: 2014-12-12 00:24
virtio-blk dataplane流程图半成品，本来计划上周完成的...

dataplane.png (510.52 KB, 下载次数: 224)

作者: 021512035 时间: 2014-12-22 23:00
本帖最后由 021512035 于 2015-07-07 23:13 编辑

virtio-blk dataplane方案提升虚拟磁盘性能

virtio-blk dataplane version 0.2 (更新)

virtio-blk dataplane.png (1.05 MB, 下载次数: 246)

作者: 021512035 时间: 2015-03-26 22:12
本帖最后由 021512035 于 2015-04-03 00:12 编辑

QCOW2分配模式：

QCOW2分配模式.png (145.15 KB, 下载次数: 213)

作者: 021512035 时间: 2015-04-03 00:13
本帖最后由 021512035 于 2015-07-07 23:14 编辑

qemu-img create(创建镜像)--初稿，注释未备注

qemu-img create.png (381.84 KB, 下载次数: 209)

作者: 021512035 时间: 2015-04-19 10:57
QCOW2分配模式 v0.2

QCOW2分配模式.png (202.4 KB, 下载次数: 219)

作者: 021512035 时间: 2015-04-19 11:10
本帖最后由 021512035 于 2015-04-19 11:11 编辑

QCOW2动态分配草稿

QCOW2动态分配草稿.JPG (793.15 KB, 下载次数: 218)

作者: 021512035 时间: 2015-04-25 13:18
本帖最后由 021512035 于 2015-05-09 14:00 编辑

FLUSH,FLASH傻傻分不清楚：

FLUSH.png (179.38 KB, 下载次数: 222)

作者: keitse 时间: 2015-04-28 13:24
这是什么情况，我来围观了呵呵

作者: zimu312500 时间: 2015-06-25 19:36

作者: holding_bys 时间: 2015-06-27 16:19
感谢楼主！

作者: ylky_2000 时间: 2015-07-01 10:01
高手高艘。。。

作者: 021512035 时间: 2015-07-07 23:10
virtio_&_tap_&_vhost后端数据结构串联: (tun & vhost驱动数据结构串联及代码实现分析待续。。。)

virtio_&_tap_&_vhost.png (674.16 KB, 下载次数: 1542)

作者: stevenet 时间: 2015-07-09 18:19

学习了，谢谢

作者: 021512035 时间: 2015-07-10 23:18
本帖最后由 021512035 于 2015-07-10 23:24 编辑

tap(tun)驱动数据结构串联：

tap驱动数据结构串联.png (193.03 KB, 下载次数: 1543)

作者: 021512035 时间: 2015-07-10 23:20
本帖最后由 021512035 于 2015-07-10 23:23 编辑

vhost驱动数据结构串联：

vhost驱动数据结构串联.png (327.11 KB, 下载次数: 2186)

作者: 021512035 时间: 2015-07-12 14:39
tap(tun)驱动数据结构串联 ver0.2：

tap驱动数据结构串联 ver0.2.png (317.63 KB, 下载次数: 1805)

作者: 021512035 时间: 2015-10-14 22:45
本帖最后由 021512035 于 2015-10-14 22:47 编辑

seabios流程初步分析 ver 0.1

seabios.png (531.22 KB, 下载次数: 1572)

作者: 021512035 时间: 2015-10-23 00:27
loop驱动 v0.1

loop驱动(v0.1).png (181.45 KB, 下载次数: 1672)

作者: 021512035 时间: 2015-10-24 10:28
devtmpfs实现 v0.1:

devtmpfs实现 v0.1.png (587.51 KB, 下载次数: 1899)

作者: 021512035 时间: 2015-11-02 23:15
dpdk框架初步分析(v0.1):

dpdk框架初步分析(v0.1).png (1.43 MB, 下载次数: 1517)

作者: 021512035 时间: 2015-11-17 22:36
块设备分析(v0.1)

块设备.png (974.09 KB, 下载次数: 1592)

作者: 021512035 时间: 2015-12-01 23:47
镜像操作分析(v0.1):

镜像操作分析(v0.1).png (922.88 KB, 下载次数: 112)

作者: yu_jinyu 时间: 2015-12-14 15:51
谢谢！LZ太赞了。

作者: yu_jinyu 时间: 2015-12-14 15:52
有木有对迁移过程的分析啊？

作者: 021512035 时间: 2016-01-12 23:52
字符设备：

字符设备分析(v0.1).png (401.01 KB, 下载次数: 96)

作者: 021512035 时间: 2016-01-13 22:50
fuse分析：

fuse驱动分析(v0.1).png (966.18 KB, 下载次数: 102)

libfuse库分析(v0.1).png (1.02 MB, 下载次数: 105)

作者: 021512035 时间: 2016-02-05 13:44
本帖最后由 021512035 于 2016-02-05 16:27 编辑

virtio前端驱动框架:

virtio前端驱动框架v0.2.png (158.88 KB, 下载次数: 95)

作者: 021512035 时间: 2016-04-06 21:27
device tree:

device_tree.png (239.92 KB, 下载次数: 96)

作者: 021512035 时间: 2016-04-06 21:32
本帖最后由 021512035 于 2016-04-06 21:33 编辑

device model:

device_model_v0.1.png (619.62 KB, 下载次数: 94)

作者: 021512035 时间: 2016-05-09 23:00
vCPU features:

vCPU_features.png (842.27 KB, 下载次数: 97)

作者: 021512035 时间: 2016-05-21 21:25
本帖最后由 021512035 于 2016-10-18 22:54 编辑

工具qcow2-dump v0.06 （dump qcow2镜像元数据及修复损坏镜像的利器）

#./qcow2-dump -h
Usage: qcow2-dump [-f on|off] [-d none|color] [-m check|error|dump] [-o refcount|snapshot|all] [-s active|inactive|all|id/name] filename

-h | --help
-v | --version
-p | --prealloc
-M | --mark    corrupt|dirty
-C | --clean corrupt|dirty
-a | --apply snapshot id/name
-f | --flags on|off [default: off]
-d | --display  none|color [default: color]
-m | --mode    check|error|dump [default: check]
-r | --repair none|check|leak|error|all [default: check]
-o | --output refcount|snapshot|all [default: all]
-s | --snapshot active|inactive|all|id/name [default: all]

eg: qcow2-dump [-m check] filename
eg: qcow2-dump -m error filename
eg: qcow2-dump -m dump filename > /var/dump.log

eg: qcow2-dump -a id/name filename
eg: qcow2-dump -r leak|error|all filename

eg: qcow2-dump -C corrupt filename
eg: qcow2-dump -M corrupt filename

eg: qcow2-dump [-m check] filename > /dev/null; echo $?
eg: qcow2-dump [-m check] -d none filename > /var/check.log
eg: qcow2-dump -m error -d none filename > /var/error.log
eg: qcow2-dump -m error -d none -o refcount filename > /var/refcount.log
eg: qcow2-dump -m error -d none -o snapshot filename > /var/snapshot.log
eg: qcow2-dump -m error -d none -s active filename > /var/active.log
eg: qcow2-dump -m error -d none -s inactive filename > /var/inactive.log
eg: qcow2-dump -m dump -o refcount filename > /var/refcount.log
eg: qcow2-dump -m dump -o snapshot filename > /var/snapshot.log
eg: qcow2-dump -m dump -o snapshot -s active filename > /var/active.log
eg: qcow2-dump -m dump -o snapshot -s 1 filename > /var/snapshot1.log
eg: qcow2-dump -m dump -o snapshot -s inactive filename > /var/inactive.log
eg: qcow2-dump -m dump -f on -o snapshot -s active filename > /var/active.log

=====================

qcow2镜像损坏:

qcow2镜像头置corrupt标志:

qcow2镜像引用计数错误:

qcow2镜像引用计数泄漏:

qcow2镜像完好:

作者: gj19890923 时间: 2016-06-05 09:08
回复 80# 021512035
楼主，您好，我想问问当创建VM时，如何debug QEMU？如果直接看代码不能把握创建VM的流程，希望告知，谢谢

作者: 开源将军 时间: 2016-06-09 00:02
楼主的好东西，先收藏起来，慢慢的看

作者: zhunxun 时间: 2016-07-06 14:39
看到这还没仔细看就必须先赞一个，楼主谢谢了！！！！

作者: 021512035 时间: 2016-08-22 23:24
本帖最后由 021512035 于 2016-10-18 22:45 编辑

磁盘IO测试校验工具V0.02 -- 虚拟磁盘稳定性测试

hd_write_verify changelog：

usage:

程序运行：

磁盘稳定性测试中：

磁盘测试出稳定性问题：

作者: 021512035 时间: 2017-01-31 19:12
本帖最后由 021512035 于 2018-12-10 23:51 编辑

qcow2镜像检查及修复工具:

qcow2-dump_help.png (44.01 KB, 下载次数: 99)

qcow2-dump_change.png (104.02 KB, 下载次数: 101)

作者: 021512035 时间: 2017-03-08 10:39
本帖最后由 021512035 于 2017-03-08 10:41 编辑

qcow2镜像损坏(active簇重用/L1和L2表损坏/引用计数错误)：

qcow2镜像损坏(引用计数错误导致active簇重用)：

qcow2镜像快照头损坏：

qcow2镜像快照头损坏，与qemu-img检查结果：

qcow2镜像损坏.png (31.48 KB, 下载次数: 86)

qcow2镜像损坏(引用计数错误导致active簇重用).png (1.93 MB, 下载次数: 77)

qcow2镜像快照头损坏.png (117.14 KB, 下载次数: 97)

qcow2镜像快照头损坏检查.png (12.5 KB, 下载次数: 90)

作者: 021512035 时间: 2017-03-08 11:10
本帖最后由 021512035 于 2017-05-05 15:41 编辑

支持检查压缩的qcow2镜像：

支持检查qcow2压缩.png (30.53 KB, 下载次数: 91)

作者: 021512035 时间: 2017-04-13 16:40
本帖最后由 021512035 于 2020-01-28 20:27 编辑

qcow2镜像检测及修复工具试用: (欢迎提供改进建议)

qcow2-dump.zip

1.99 MB, 下载次数: 19

qcow2-dump.7z

1.93 MB, 下载次数: 14

作者: yzh07137 时间: 2017-04-17 17:03
我的天，，一个跨越了4年的帖子，，楼主牛P了

作者: 021512035 时间: 2017-05-05 15:48
本帖最后由 021512035 于 2017-06-03 15:32 编辑

qcow2-dump检查2T镜像的性能：

检查性能.png (166.76 KB, 下载次数: 108)

作者: lmarsin 时间: 2017-07-17 17:41
楼主提供了价值非常高的分析，能整理成册就更好了

作者: 021512035 时间: 2017-09-21 11:33
本帖最后由 021512035 于 2017-09-21 11:39 编辑

discussion emails of qcow2-dump:

discussion.png (533.26 KB, 下载次数: 105)

作者: 021512035 时间: 2017-12-19 23:26
本帖最后由 021512035 于 2018-12-10 23:37 编辑

qcow2镜像磁盘整理&空间优化工具试用:（1.不丢失快照数据; 2.磁盘数据碎片整理）

qcow2-defrag_help.png (7.22 KB, 下载次数: 97)

defrag.png (33.79 KB, 下载次数: 98)

defragging.png (25.39 KB, 下载次数: 100)

qcow2-defrag_info.png (23.91 KB, 下载次数: 95)

qcow2-defrag.zip

18.22 KB, 下载次数: 25

qcow2-defrag.7z

16.18 KB, 下载次数: 23

作者: 021512035 时间: 2018-03-18 17:53
本帖最后由 021512035 于 2019-10-19 12:40 编辑

Linux版本磁盘稳定性 & 数据一致性测试工具试用:

hd_write_verify help.png (19.44 KB, 下载次数: 82)

hd_write_verify_dump help.png (14.45 KB, 下载次数: 80)

layout.png (12.04 KB, 下载次数: 96)

33.37 KB, 下载次数: 16

26.8 KB, 下载次数: 23

1.73 MB, 下载次数: 29

1.92 MB, 下载次数: 25

作者: 021512035 时间: 2018-07-15 19:17
YOUPLUS github: 网页链接

作者: 021512035 时间: 2018-07-15 19:24
YOUPLUS github: 网页链接

作者: 021512035 时间: 2018-08-23 23:44
本帖最后由 021512035 于 2019-03-08 21:54 编辑

qcow2格式虚拟磁盘数据一致性比较工具(试用):

qcow2-bitmap.7z

16.75 KB, 下载次数: 16

qcow2-bitmap.zip

19.24 KB, 下载次数: 24

作者: 021512035 时间: 2019-01-02 22:49
本帖最后由 021512035 于 2019-10-19 12:43 编辑

Windows版本磁盘稳定性 & 数据一致性测试工具试用:

hd_write_verify.7z

29.47 KB, 下载次数: 17

hd_write_verify.zip

38.67 KB, 下载次数: 22

作者: 021512035 时间: 2019-01-05 22:55
本帖最后由 021512035 于 2019-01-05 23:16 编辑

磁盘稳定性自动化测试：

作者: 021512035 时间: 2019-02-01 19:12
有兴趣的同学联系我：

IMG_2392.JPG (461.67 KB, 下载次数: 79)

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)