免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 2659 | 回复: 13

[进程管理] 如何修改CFS算法为优待IO进程 [复制链接]

论坛徽章:
1
双子座
日期:2014-01-24 10:23:13
发表于 2014-11-17 16:08 |显示全部楼层
10可用积分
我的想法是故意地减少IO进程的运行时间:修改代码如下
static inline void
__update_curr(struct cfs_rq *cfs_rq, struct sched_entity *curr,
              unsigned long delta_exec)
{
        unsigned long delta_exec_weighted;
        struct task_struct *my_p;

+       my_p = task_of(curr);

        schedstat_set(curr->exec_max, max((u64)delta_exec, curr->exec_max));
//判断当前进程是不是IO进程
+       if(my_p->ioac.write_bytes > 0){
//是IO进程则减慢vruntime的增长
+              if(count_io > 1){
+                       curr->sum_exec_runtime += delta_exec;
+                      schedstat_add(cfs_rq, exec_clock, delta_exec);
+                       delta_exec_weighted = calc_delta_fair(delta_exec, curr);
+                       curr->vruntime += delta_exec_weighted;
+                       count_io --;
+                      if (entity_is_task(curr)) {  //组调度策略由update_curr函数移到这里做一个控制
+                               struct task_struct *curtask = task_of(curr);

+                               cpuacct_charge(curtask, delta_exec);
+                              account_group_exec_runtime(curtask, delta_exec);
+                       }
+               }else{//运行IO进程后不作记账
+                       schedstat_add(cfs_rq, exec_clock, delta_exec);
+                       count_io++;
+               }
+       }else{//不是IO进程则正常运行
+               curr->sum_exec_runtime += delta_exec;
+               schedstat_add(cfs_rq, exec_clock, delta_exec);
+               delta_exec_weighted = calc_delta_fair(delta_exec, curr);
+               curr->vruntime += delta_exec_weighted;
+               if (entity_is_task(curr)) {
+                        struct task_struct *curtask = task_of(curr);

+                       cpuacct_charge(curtask, delta_exec);
+                       account_group_exec_runtime(curtask, delta_exec);
+               }
+       }
        update_min_vruntime(cfs_rq);
}

static void update_curr(struct cfs_rq *cfs_rq)
{
        struct sched_entity *curr = cfs_rq->curr;
        u64 now = rq_of(cfs_rq)->clock;
        unsigned long delta_exec;

        if (unlikely(!curr))
                return;
        /*
         * Get the amount of time the current task was running
         * since the last time we changed load (this cannot
         * overflow on 32 bits):
         */
        delta_exec = (unsigned long)(now - curr->exec_start);

        __update_curr(cfs_rq, curr, delta_exec);
        curr->exec_start = now;
-           if (entity_is_task(curr)) {//移到__update_curr函数中控制运行
-                       struct task_struct *curtask = task_of(curr);

-                        cpuacct_charge(curtask, delta_exec);
-                       account_group_exec_runtime(curtask, delta_exec);
-               }
}


修改后性能并没有提升,请各位大神给点自己的意见,谢谢

最佳答案

查看完整内容

此类问题建议从业务模型方面优化,效果可能更明显,比如绑核,专核用于IO。。

论坛徽章:
15
射手座
日期:2014-02-26 13:45:082015年迎新春徽章
日期:2015-03-04 09:54:452015年辞旧岁徽章
日期:2015-03-03 16:54:15羊年新春福章
日期:2015-02-26 08:47:552015年亚洲杯之卡塔尔
日期:2015-02-03 08:33:45射手座
日期:2014-12-31 08:36:51水瓶座
日期:2014-06-04 08:33:52天蝎座
日期:2014-05-14 14:30:41天秤座
日期:2014-04-21 08:37:08处女座
日期:2014-04-18 16:57:05戌狗
日期:2014-04-04 12:21:33技术图书徽章
日期:2014-03-25 09:00:29
发表于 2014-11-17 16:08 |显示全部楼层
尽量不帅气 发表于 2014-11-18 16:17
首先谢谢你的回答,但瓶颈确实是在调度上边,磁盘只用到了57%左右,就是上次我和你说的那个raw设备写的问题 ...

此类问题建议从业务模型方面优化,效果可能更明显,比如绑核,专核用于IO。。

论坛徽章:
15
射手座
日期:2014-02-26 13:45:082015年迎新春徽章
日期:2015-03-04 09:54:452015年辞旧岁徽章
日期:2015-03-03 16:54:15羊年新春福章
日期:2015-02-26 08:47:552015年亚洲杯之卡塔尔
日期:2015-02-03 08:33:45射手座
日期:2014-12-31 08:36:51水瓶座
日期:2014-06-04 08:33:52天蝎座
日期:2014-05-14 14:30:41天秤座
日期:2014-04-21 08:37:08处女座
日期:2014-04-18 16:57:05戌狗
日期:2014-04-04 12:21:33技术图书徽章
日期:2014-03-25 09:00:29
发表于 2014-11-18 08:47 |显示全部楼层
关键还要看你的测试环境中,CPU是否存在瓶颈。如果瓶颈不在CPU,那优化调度是没意义的。
通常IO的瓶颈都在磁盘上~~

论坛徽章:
16
2015亚冠之吉达阿赫利
日期:2015-08-17 11:21:462015年迎新春徽章
日期:2015-03-04 09:58:11酉鸡
日期:2014-12-07 09:06:19水瓶座
日期:2014-11-04 14:23:29天秤座
日期:2014-03-02 08:57:52双鱼座
日期:2014-02-22 13:07:56午马
日期:2014-02-14 11:08:18双鱼座
日期:2014-02-13 11:09:37卯兔
日期:2014-02-06 15:10:34子鼠
日期:2014-01-20 14:48:19戌狗
日期:2013-12-19 09:37:46射手座
日期:2013-12-19 09:33:47
发表于 2014-11-18 14:17 |显示全部楼层
CFS对io bound的进程已经有compensation的。仔细读代码。只是不像O(1)那样搞个dynamic prio那么明显。

论坛徽章:
1
双子座
日期:2014-01-24 10:23:13
发表于 2014-11-18 16:17 |显示全部楼层
首先谢谢你的回答,但瓶颈确实是在调度上边,磁盘只用到了57%左右,就是上次我和你说的那个raw设备写的问题和2.6.18差远了,后来定位发现是调度器出了问题。回复 2# humjb_1983


   

论坛徽章:
1
双子座
日期:2014-01-24 10:23:13
发表于 2014-11-18 16:22 |显示全部楼层
谢谢,我也是刚定位到raw设备IO性能在2.6.28内核中是调度器的问题的,目前刚接触不久;
请问那段代码的实现具体在哪里呢?
还有既然做了优化,为什么调度间隔还有2500us之多,而2.6.18内核中只有1700us左右?上面的数据是我定位IO性能的结果,所用环境都是一样的。回复 3# embeddedlwp


   

论坛徽章:
15
射手座
日期:2014-02-26 13:45:082015年迎新春徽章
日期:2015-03-04 09:54:452015年辞旧岁徽章
日期:2015-03-03 16:54:15羊年新春福章
日期:2015-02-26 08:47:552015年亚洲杯之卡塔尔
日期:2015-02-03 08:33:45射手座
日期:2014-12-31 08:36:51水瓶座
日期:2014-06-04 08:33:52天蝎座
日期:2014-05-14 14:30:41天秤座
日期:2014-04-21 08:37:08处女座
日期:2014-04-18 16:57:05戌狗
日期:2014-04-04 12:21:33技术图书徽章
日期:2014-03-25 09:00:29
发表于 2014-11-18 16:33 |显示全部楼层
尽量不帅气 发表于 2014-11-18 16:17
首先谢谢你的回答,但瓶颈确实是在调度上边,磁盘只用到了57%左右,就是上次我和你说的那个raw设备写的问题 ...

此类问题建议从业务模型方面优化,效果可能更明显,比如绑核,专核用于IO。。

论坛徽章:
16
2015亚冠之吉达阿赫利
日期:2015-08-17 11:21:462015年迎新春徽章
日期:2015-03-04 09:58:11酉鸡
日期:2014-12-07 09:06:19水瓶座
日期:2014-11-04 14:23:29天秤座
日期:2014-03-02 08:57:52双鱼座
日期:2014-02-22 13:07:56午马
日期:2014-02-14 11:08:18双鱼座
日期:2014-02-13 11:09:37卯兔
日期:2014-02-06 15:10:34子鼠
日期:2014-01-20 14:48:19戌狗
日期:2013-12-19 09:37:46射手座
日期:2013-12-19 09:33:47
发表于 2014-11-18 16:41 |显示全部楼层
回复 5# 尽量不帅气


IO bound的进程一般sleep比较多的。wakeup的时候,vruntime = min_vruntime - sysctl_sched_latency/2  (我看的upstream kernel)


   

论坛徽章:
1
双子座
日期:2014-01-24 10:23:13
发表于 2014-11-18 17:13 |显示全部楼层
对,是有这个东西,但是它取的是max(se->vruntime,cfs_rq->min_vruntime-sysctl_sched_latency);
这样的话补偿效果并不明显。
回复 8# embeddedlwp


   

论坛徽章:
1
双子座
日期:2014-01-24 10:23:13
发表于 2014-11-18 17:17 |显示全部楼层
这样的话,是不是对机器的要求较高,要是在其他机器上CPU不够用,会不会出问题?回复 7# humjb_1983


   
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

DTCC2020中国数据库技术大会

【架构革新 高效可控】2020年12月21日-23日第十一届中国数据库技术大会将在北京隆重召开。

大会设置2大主会场,20+技术专场,将邀请超百位行业专家,重点围绕数据架构、AI与大数据、传统企业数据库实践和国产开源数据库等内容展开分享和探讨,为广大数据领域从业人士提供一场年度盛会和交流平台。

http://dtcc.it168.com


大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP