绕过pagecache/块设备/scsi/驱动，直接读写磁盘的方法

humjb_1983

需要绕过pagecache、块设备、scsi和驱动直接读写磁盘，不知具体需要考虑哪些问题？具体如何操作？哪位大侠有相关经验，请指点！！
详细描述下我的需求，再贴一下：
-----------
其实我的目的是需要，在磁盘中划分一块区域出来做黑匣子用，我们知道，当系统出现严重问题时，系统日志经常已不能正常工作，
因为依赖太多，比如调度和冗长的IO流程。
因此向利用现有的硬盘做黑匣子，记录内核关键的异常信息，信息量小，循环写入，不考虑删除、不考虑碎片、不考虑性能、不考
虑复杂的管理算法。

目前想到的方法有二：
1、利用BIOS INT13接口。
我们知道内核boot时，MBR和boot相关的数据通常是通过BIOS INT13接口读取的，通过该接口可以实现硬盘指定扇区范围的读写，看似
可以满足我的需求，但其实不然，因为BIOS接口只能在实模式下使用，保护模式下无法直接使用，因为实模式下中断的处理方式和地址
宽度跟保护模式都不同，如果要在保护模式中调用BIOS中断接口，只能：
  a、定制idt表，并弄清楚实模式下BIOS中断接口的处理方式，估计难度非常大。
  b、通过vm86()接口进入VM86模式，可以调用BIOS中断接口，但问题是vm86只在32位环境中支持，64位不支持。
综上，这个方法的可行性很小。

2、定制简化的硬件驱动，直接操作硬件。
这种方法，需要深入理解硬件。通常硬盘底层驱动都是厂商自己维护的，算是硬件的核心技术之一了，改写驱动的难度也不小，而且面临
如下问题：
1、硬件种类众多，难以做到兼容。
2、定制驱动和原驱动的竞争和互斥问题。比如中断和DMA的竞争
3、对系统IO性能影响问题。我们知道磁盘IO的时间大部分花在寻道上，而块设备层的各种合并和优化算法，其实就是为了减少寻道时间，
而如果系统正常IO期间，穿插了定制驱动的直接IO操作的话，应该会对系统的IO产生影响。
------------
欢迎大家讨论和提供宝贵意见，谢谢！

hmsghnh

你这个也太牛逼了吧，绕过驱动怎么操作硬件？
使用sg 层倒是可以绕过前面两个。

瀚海书香

回复 2# hmsghnh
自己写驱动呗

   

chenyu105

只晓得direct io把page cache绕过了 其他还真不知道

humjb_1983

hmsghnh 发表于 2014-07-23 13:06
你这个也太牛逼了吧，绕过驱动怎么操作硬件？
使用sg 层倒是可以绕过前面两个。

至少需要自己写驱动。。。

humjb_1983

chenyu105 发表于 2014-07-23 15:23
只晓得direct io把page cache绕过了 其他还真不知道

这个估计要用最原始的方法了。

镇水铁牛

直接注册虚拟块设备，make_request自己实现，直接翻译bio为scsi cmd后，直接丢给scsi host

humjb_1983

瀚海书香 发表于 2014-07-23 15:12
回复 2# hmsghnh
自己写驱动呗

昨晚回了一大篇，结果系统问题，丢了，郁闷了半天，今天重新写一下。趁 瀚海兄 也在，一起讨论下。
其实我的目的是需要，在磁盘中划分一块区域出来做黑匣子用，我们知道，当系统出现严重问题时，系统日志经常已不能正常工作，
因为依赖太多，比如调度和冗长的IO流程。
因此向利用现有的硬盘做黑匣子，记录内核关键的异常信息，信息量小，循环写入，不考虑删除、不考虑碎片、不考虑性能、不考
虑复杂的管理算法。

目前想到的方法有二：
1、利用BIOS INT13接口。
我们知道内核boot时，MBR和boot相关的数据通常是通过BIOS INT13接口读取的，通过该接口可以实现硬盘指定扇区范围的读写，看似
可以满足我的需求，但其实不然，因为BIOS接口只能在实模式下使用，保护模式下无法直接使用，因为实模式下中断的处理方式和地址
宽度跟保护模式都不同，如果要在保护模式中调用BIOS中断接口，只能：
  a、定制idt表，并弄清楚实模式下BIOS中断接口的处理方式，估计难度非常大。
  b、通过vm86()接口进入VM86模式，可以调用BIOS中断接口，但问题是vm86只在32位环境中支持，64位不支持。
综上，这个方法的可行性很小。

2、定制简化的硬件驱动，直接操作硬件。
这种方法，需要深入理解硬件。通常硬盘底层驱动都是厂商自己维护的，算是硬件的核心技术之一了，改写驱动的难度也不小，而且面临
如下问题：
1、硬件种类众多，难以做到兼容。
2、定制驱动和原驱动的竞争和互斥问题。比如中断和DMA的竞争
、对系统IO性能影响问题。我们知道磁盘IO的时间大部分花在寻道上，而块设备层的各种合并和优化算法，其实就是为了减少寻道时间，
而如果系统正常IO期间，穿插了定制驱动的直接IO操作的话，应该会对系统的IO产生影响。

欢迎大家讨论和提供宝贵意见，谢谢！

humjb_1983

镇水铁牛 发表于 2014-07-23 21:02
直接注册虚拟块设备，make_request自己实现，直接翻译bio为scsi cmd后，直接丢给scsi host

感谢，但这个还是要经过scsi层和驱动层的，流程还是有点长。

瀚海书香

回复 8# humjb_1983

2、定制简化的硬件驱动，直接操作硬件。
这种方法，需要深入理解硬件。通常硬盘底层驱动都是厂商自己维护的，算是硬件的核心技术之一了，改写驱动的难度也不小，而且面临
如下问题：
1、硬件种类众多，难以做到兼容。
2、定制驱动和原驱动的竞争和互斥问题。比如中断和DMA的竞争
、对系统IO性能影响问题。我们知道磁盘IO的时间大部分花在寻道上，而块设备层的各种合并和优化算法，其实就是为了减少寻道时间，
而如果系统正常IO期间，穿插了定制驱动的直接IO操作的话，应该会对系统的IO产生影响。

按照你黑匣子的思路来说，驱动的方式貌似也有问题了。
因为你希望的是两个驱动同时工作（一个是自带驱动，一个是绕过操作系统层的驱动）。


抛开写磁盘这个问题不说，实现黑匣子功能的最好方式，应该是双kernel更简单一些吧。一个主系统，一个检测系统。检测系统可以就跑在一个低功耗的芯片上，甚至都没有操作系统。