免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 85327 | 回复: 8

【话题讨论+送书福利】来聊聊自动化运维和容器化建设那些事儿 [复制链接]

论坛徽章:
0
发表于 2021-05-18 14:27 |显示全部楼层
本期获奖用户名单:
@ylky_2000         (中通:73160436766669)
@jieforest            (中通:73160436767836)
@chenyx             (信息未提交)
@h101com          (中通:73160436765489)
@forgaoqiang      (中通:73160436764334)

欢迎以上小伙伴们 站内短信联系我,邮寄地址和个人信息哦




话题背景:

近年来很多商业银行都提出“科技引领”“科技赋能”等口号,也充分体现了银行对信息科技能力建设的重视。但对于银行信息科技部门来说则是喜忧掺半,既要不断响应业务部门需求,快速发布相关的应用系统匹配新提出的业务需求,又要保障存量已上线业务系统的可靠稳定运行。这种情况对于IT能力本就不足的中小商业银行而言,则提出了较大挑战,信息科技部门若未能做好充分准备,那么这个过程中必然会被动触发自身IT建设的变革。

对于当下的企业而言,原有的IT架构很难适应业务的快速发展,需要通过IT架构升级去支撑业务在互联网上的开展及规模上量,所以不得不加强基础平台架构能力,中间件运维能力以及非常关键的自动化运维能力。在这些能力建设补足的过程中,需要重点关注两个方面:一个是“快”,一个是“稳”,但这两者本就存在一些矛盾,“快”是因为要快速响应业务系统运行需求,快速支撑业务规模上量的可用性保障,快速迭代产品版本以接入更多的渠道、商户以及给用户提供更好的体验,只有这样才能让企业业务在互联网运营市场突出重围;但“快”也意味在保障稳定性时必将面临较大挑战,该如何解决这两者的冲突关系呢?我们需要更专业的基础平台架构管理、中间件运维、自动化运维管理的人才,以解决我们在IT架构升级及运维能力提升上遇到的冲突、困难及瓶颈。信息系统技术架构的不断演化,给运维服务模式带来了极大深刻的影响。运维团队既面临挑战,也迎来机遇。伴随着基础支撑IT运维团队迎来矗立在潮头并成为“弄潮儿”的机会。面对持续不断的技术变革,从人力运维迈向智能运维,从脚本和工具到平台及系统,从自动化到智能化,不管是主动还是被动,经历过一场又一场的洗礼的前瞻性IT运维团队必然会“拥抱变化”主动选择和运用分布式、云计算、人工智能等技术,不断提升用户体验,构建高效敏捷的标准化、可视化、智能化运维体系。

本书从银行信息化建设讲起,内容涵盖基础设施架构、监控体系、双活数据中心、自动化和智能化运维,以及对下一代数据中心的畅想,本书将我们在实践过程中的思考和探索展现出来,希望能够给金融行业的同行,或对金融行业运维体系感兴趣的朋友有所借鉴。考虑到作者团队的自身局限,本书难免会有不足之处,欢迎大家随时与我们沟通交流。本次活动便是以此为契机,和同业的伙伴或对自动化运维感兴趣的朋友,围绕自动化运维和容器化建设相关话题展开讨论,欢迎大家踊跃发言。

本期话题:

1、谈谈对自动化运维体系的认识,以及所经历的实践经验;
2、应用开源容器化平台过程中踩过哪些坑,做了哪些改造或优化;
3、容器平台在安全方面做了哪些加强。

嘉宾介绍:

李丙洋(网名:君三思)
资深运维专家和数据库专家,拥有10余年IT从业经验,现就职于某民营银行,任金融科技部总经理助理。多项技术专利发明人,著有《涂抹Oracle》《涂抹MySQL》等著作。

本期奖品:

最佳积极参与经验分享奖5名,奖励价值109元的《中小银行运维架构:解密与实战》图书1本。

《中小银行运维架构:解密与实战》
25.jpg
作者:李丙洋、刘正配、罗丹、邹天涌 等
书号:978-7-111-67617-1
页数:389页
定价:109.00元
推荐理由:一线专家经验总结,全面揭示银行运维架构,从基础设施、监控、自动化运维、AIOps、数据中心多维度讲解银行运维工程实践

参与方式:

直接在该主题下回帖即可。

活动时间:

2021年5月18日-2021年6月15日

图书购买:



论坛徽章:
59
2015七夕节徽章
日期:2015-08-24 11:17:25ChinaUnix专家徽章
日期:2015-07-20 09:19:30每周论坛发贴之星
日期:2015-07-20 09:19:42ChinaUnix元老
日期:2015-07-20 11:04:38荣誉版主
日期:2015-07-20 11:05:19巳蛇
日期:2015-07-20 11:05:26CU十二周年纪念徽章
日期:2015-07-20 11:05:27IT运维版块每日发帖之星
日期:2015-07-20 11:05:34操作系统版块每日发帖之星
日期:2015-07-20 11:05:36程序设计版块每日发帖之星
日期:2015-07-20 11:05:40数据库技术版块每日发帖之星
日期:2015-07-20 11:05:432015年辞旧岁徽章
日期:2015-07-20 11:05:44
发表于 2021-05-19 22:04 |显示全部楼层
本帖最后由 renxiao2003 于 2021-05-27 14:20 编辑

1、谈谈对自动化运维体系的认识,以及所经历的实践经验;
所谓自动化运维,实际上需要利用一些开源的自动化工具如:ansible、saltstark、puppet 等这些比较常见工具,管理服务器及服务。说白了就是批量管理服务器工具。帮忙运维解决重复性工作的。,关于自动化运维,在知乎上介绍的比较好:https://zhuanlan.zhihu.com/p/127374299。
其实我经历的应该比较少,毕竟是做开发的,而不是专业运维。只是原来在一个小公司(身兼数职)时,曾经做过,主要是对数据的备份操作,使用一些简单的脚本和定时任务而已。
2、应用开源容器化平台过程中踩过哪些坑,做了哪些改造或优化;
百度一下,自动化运维的容器还真不少,开源的Docker应该算比较有名了。基本停留在使用层,改造就谈不上了。优化也基本没有。所以没有建议。
3、容器平台在安全方面做了哪些加强。
我们的都是在内网的基础上,不对外公开。使用防火墙和访问验证基本就搞定了。

论坛徽章:
43
15-16赛季CBA联赛之上海
日期:2020-11-04 09:36:5515-16赛季CBA联赛之北控
日期:2018-10-29 18:20:3415-16赛季CBA联赛之北京
日期:2018-10-06 21:39:5715-16赛季CBA联赛之天津
日期:2018-08-09 10:30:41ChinaUnix元老
日期:2018-08-03 17:26:00黑曼巴
日期:2018-07-13 09:53:5415-16赛季CBA联赛之吉林
日期:2018-03-30 12:58:4315-16赛季CBA联赛之佛山
日期:2017-12-01 10:26:3815-16赛季CBA联赛之上海
日期:2017-11-14 09:20:5015-16赛季CBA联赛之江苏
日期:2019-02-20 09:53:3319周年集字徽章-庆
日期:2019-08-27 13:23:2515-16赛季CBA联赛之广夏
日期:2019-09-03 18:29:06
发表于 2021-05-21 08:18 |显示全部楼层
1、谈谈对自动化运维体系的认识,以及所经历的实践经验;
早些年的时候参与这部分工作,当时主要是用shell写脚本进行取代码,编译,发布。挺费劲的。还容易出错。
现在的自动化运维用过各种工具实现,就方便多了。

2、应用开源容器化平台过程中踩过哪些坑,做了哪些改造或优化;
自己了解过这部分的内容。涉及到的各种技术太多了。特别是网络方面的问题,感觉挺难的。

3、容器平台在安全方面做了哪些加强。
没有对这方面做过研究。

论坛徽章:
8
2017金鸡报晓
日期:2017-01-10 15:13:2915-16赛季CBA联赛之天津
日期:2019-06-20 14:25:4015-16赛季CBA联赛之天津
日期:2019-08-20 23:06:5319周年集字徽章-庆
日期:2019-08-27 13:24:4219周年集字徽章-19
日期:2019-09-06 18:55:5019周年集字徽章-年
日期:2019-09-06 18:55:5019周年集字徽章-周
日期:2019-09-20 17:18:2220周年集字徽章-CU
日期:2020-11-11 13:06:03
发表于 2021-05-21 17:12 |显示全部楼层
1、谈谈对自动化运维体系的认识,以及所经历的实践经验;
对自动化运维体系的需求,是随着业务的增长、对运维效率和质量的要求不断提高而产生的。一个成熟的自动化运维系统至少应该包括三个子系统:
·机房设备数据系统 (EMDB)
·应用监控系统(App monitor)
·发布和线上配置管理系统(Release Manager)
小团队的自动化运维实施的顺序大概为:
(1)上基础监控
(2)上 Gitlab
(3)上 Jenkins,并集成 Gitlab
(4)使用 Jenkins 实现自动编译打包
(5)使用 Jenkins 执行 Ansible

2、应用开源容器化平台过程中踩过哪些坑,做了哪些改造或优化;
人的问题是最难解决的,能用技术解决的都不是问题,初期打通公司各个关节,让大boss认可这件事,行政命令强推,很重要。不然做出来也没人用,就是白忙活,在用户中找小白鼠迭代,而不是自己弄个自以为完美的推出去。

3、容器平台在安全方面做了哪些加强。
(1)构建时安全性
·允许开发人员使用哪些基本镜像?
·依赖项是固定的吗?是从哪里拉取的?
·是否需要一些标签来简化监管和合规性?
·检查一下 Dockerfile。
·在编写 Dockerfile 时遵循 Docker 安全最佳实践。
(2)容器镜像扫描
不要在构建管道中扫描镜像,而是在容器注册表中进行持续的扫描。
(3)容器基础设施安全性
容器基础设施由负责从注册表拉取镜像并在生产环境中作为容器运行的所有活动部件组成。
(4)运行时安全性
使用现有的 SIEM,摄取来自平台、应用程序和审计系统的日志。每次事后分析的第一个要点应该是:“下次我们如何更快地发现这个问题”?搞清楚这些问题可以让你发现自己的盲点,然后利用这些盲点来了解自己错过了哪些信号,以及什么东西是值得相信的。


论坛徽章:
32
CU大牛徽章
日期:2013-05-20 10:45:13每日论坛发贴之星
日期:2015-09-07 06:20:00每日论坛发贴之星
日期:2015-09-07 06:20:00数据库技术版块每日发帖之星
日期:2015-12-13 06:20:0015-16赛季CBA联赛之江苏
日期:2016-03-03 11:56:13IT运维版块每日发帖之星
日期:2016-03-06 06:20:00fulanqi
日期:2016-06-17 17:54:25IT运维版块每日发帖之星
日期:2016-07-23 06:20:0015-16赛季CBA联赛之佛山
日期:2016-08-11 18:06:41JAVA
日期:2016-10-25 16:09:072017金鸡报晓
日期:2017-01-10 15:13:292017金鸡报晓
日期:2017-02-08 10:33:21
发表于 2021-05-26 11:28 |显示全部楼层
1、谈谈对自动化运维体系的认识,以及所经历的实践经验;
传统运维有点像黑盒运维,在传统运维中,运维与开发是分开的,相互之间一般不进行合作,即使合作也是不情愿的。开发和运维的目标是相反的。开发团队的任务是为产品增加新功能、不断升级产品,并以此制定绩效;运维团队的目标则是稳定第一。由于目标的相反,那么两个团队在不充分沟通的情况下必然会产生矛盾。
自动化运维就是利用一些开源的自动化工具,比如Ansible、Saltstack、Puppet、甚至自己编写Python脚本等开源工具和手段,实现服务器及服务的批量管理,更进一步达到自动化管理。
目前我司实施的自动化运维,主要是围绕DevOps开展的,Gitlab管理源码,Jenkins实现持续构建,K8S管理容器平台,能够实现经审计后的源码自动完成构建和部署上线。
另一方面,自动化运维还有监控部分,实时监控服务器集群的运行情况,有异常则通知运维人员。


2、应用开源容器化平台过程中踩过哪些坑,做了哪些改造或优化;
K8S是开源容器化管理平台的事实上的标准,它的版本更新频繁,光是跟进它的版本迭代就会消耗我司DevOps团队的大部分精力。
另一方面,业界基于K8S延伸开源出的版本也特别多,有些甚至大名鼎鼎,但我司仍然坚定的紧跟K8S官方的版本。
在K8S上踩过的坑很多,我司基于K8S的API开发了一套管理平台,简化其使用的方便。

3、容器平台在安全方面做了哪些加强。
容器平台要加强安全,需要在以下部分努力:
1)基础设施资源层的安全:主机节点、CPU、网络、存储、电源供应等
2)容器管理调度层的安全:K8S、Mesos、Docker Swarm等
3)服务层的安全:每个服务、服务所属的实例等
4)容器引擎的安全:Docker、containerd、cri-o、rkt等
5)应用层的安全:业务应用程序本身的安全等
6)基础组件:容器平台上的基础组件,etcd、DNS、Job任务调度等
7)中间件:消息通信Apache Kafka、数据库PostgreSQL等
8)容器镜像:容器注册表/镜像仓库等
9)DevOps流程:持续集成、安全编码、漏洞扫描等

评分

参与人数 1可用积分 +10 收起 理由
飘絮絮絮丶 + 10 很给力!

查看全部评分

论坛徽章:
3
季节之章:冬
日期:2015-01-15 10:36:57IT运维版块每日发帖之星
日期:2015-09-24 06:20:00IT运维版块每日发帖之星
日期:2015-10-24 06:20:00
发表于 2021-05-28 14:21 |显示全部楼层
本帖最后由 ylky_2000 于 2021-05-28 14:29 编辑

1、谈谈对自动化运维体系的认识,以及所经历的实践经验;      自动化运维体系核心就是devops。我一直比较认同的关于devops的三大原则如下:
      DevOps的三大原则:      
    1)、基础设施即代码(Infrastructure as Code)
DeveOps的基础是将重复的事情使用自动化脚本或软件来实现,例如Docker(容器化)、Jenkins(持续集成)、Puppet(基础架构构建)、Vagrant(虚拟化平台)等
    2)、持续交付(Continuous Delivery)
持续交付是在生产环境发布可靠的软件并交付给用户使用。而持续部署则不一定交付给用户使用。涉及到2个时间,TTR(Time to Repair)修复时间,TTM(Time To Marketing)产品上线时间。要做到高效交付可靠的软件,需要尽可能的减少这2个时间。部署可以有多种方式,比如蓝绿部署、金丝雀部署等。
    3)、协同工作(Culture of Coll**ration)
开发者和运维人员必须定期进行密切的合作。开发应该把运维角色理解成软件的另一个用户群体。协作有几个的建议:1、自动化(减少不必要的协作);2、小范围(每次修改的内容不宜过多,减少发布的风险);3、统一信息集散地(如wiki,让双方能够共享信息);4、标准化协作工具(比如jenkins)
    关于我们的经历大概如下。     我们的运维经历了,公司主导的全外包(从方案、采购、实施和售后整体打包)方式-》部门主导半自主方式(IP地址、vlan、服务器等规划自主)-》部门自主方式商业方案(去掉外包,大建设招投标方式)-》团队引入开源方案和商业方案结合,这个阶段我们开始试用tapd-》自主研发基础自动化运维和管理平台阶段-》智能运维RPA阶段。
     目前我们运维基础平台90%是自主开发方式。整合了小部分的开源方案。做到了网络层面的统一认证,网络设备的统一界面管理和流程审批。
2、应用开源容器化平台过程中踩过哪些坑,做了哪些改造或优化;
    K8S等需要专人支持维护,加上我们是传统企业,年轻人少,大家都喜欢在原有的知识体系下工作,也没有这么多人力成本投入,解决方案是 尽量结合现有成熟方案,对个性化需求方面做了一些让步,比如我们充分试用企业微信提供的tapd系统工具打通各团队工作的协同。
     
3、容器平台在安全方面做了哪些加强。
容器安全解决方案需要考虑不同技术栈和容器生命周期的不同阶段。 -
1.容器操作系统与多租户 -
2.容器内容(使用可信源) -
3.容器注册 (容器镜像加密访问) -
4.构建过程安全 -
5.控制集群中可部署的内容 -
6.容器编排:加强容器平台安全 -
7.网络隔离 - 8.存储 -
9.API 管理, 终端安全和单点登录 (SSO) -
10.角色和访问控制管理


另外我们经常定期对平台进行漏扫测试。


论坛徽章:
9
巳蛇
日期:2013-12-05 15:03:33戌狗
日期:2013-12-10 20:52:35白羊座
日期:2014-12-30 14:11:58处女座
日期:2015-01-15 14:33:442015年亚洲杯纪念徽章
日期:2015-01-28 13:37:36羊年新春福章
日期:2015-01-30 15:03:352015年亚洲杯之约旦
日期:2015-02-09 17:07:552015年亚洲杯之韩国
日期:2015-03-26 15:04:132015年亚洲杯之卡塔尔
日期:2015-04-04 16:35:54
发表于 2021-06-01 14:38 |显示全部楼层
1、谈谈对自动化运维体系的认识,以及所经历的实践经验;
个人认为,自动化运维体系其实涉及的内容非常广泛,我们经常说的CI/CD, 其实只是交付、构建到部署,只是其中一环而已,而实际运维体系中,包括基础环境自动化、配置自动化、部署自动化、监控自动化、流程自动化等等,甚至还可延申到架构自动化,自动扩缩容,定时扩缩容,自动容灾等。

在我的工作中,最早期记得应该就是跳板机、后面有vpn限制安全,自动化发布开始有sftp增量,后来有rsync等工具,再后来就是jenkins、ansible等等,到现在的自动扩缩容以及服务器自动上报与监控等。其实也还在自动化运维的范畴。

2、应用开源容器化平台过程中踩过哪些坑,做了哪些改造或优化;
说到开源容器的坑,其实早期有些是容器本身的稳定性,以及个人对容器应用的理解吧,比如很早的时候,docker才在国内兴起,有遇到什么内存爆了、意外终止、等等,常有的事,其实放到现在,都是可以避免的。 通过对容器本身的资源占用,以及部署方式的改变,例如升级到k8s,资源可得到弹性补充,以及做好监控,类似这样的问题基本没有了。

3、容器平台在安全方面做了哪些加强。
看了上面大家的回复,个人认为,在硬件层面的k8s等容器云平台的安全,其实就一个标准:就是对资源要有足够的富余就行了,这也是稳定的标准之一,其次,就是对容器云要有提前良好的规划能力,平台越大,用乱了就会繁琐, 不论是网络、控制器、名称空间还是其他的资源都是一样。 至于最基本的安全,其实都是不用说了,比如私有仓库要放内网? 限制白名单? 再例如spring cloud或其他,不用对外的统一cluster IP , 网关nodeport ? 等等。  资源访问的限制做好和控制好,就差不多了,一个是物理安全,一个是逻辑虚拟安全。 好了就安全了。lol

论坛徽章:
40
水瓶座
日期:2013-08-15 11:26:422015年辞旧岁徽章
日期:2015-03-03 16:54:152015年亚洲杯之乌兹别克斯坦
日期:2015-03-27 14:01:172015年亚洲杯之约旦
日期:2015-03-31 15:06:442015亚冠之首尔
日期:2015-06-16 23:24:37IT运维版块每日发帖之星
日期:2015-07-01 22:20:002015亚冠之德黑兰石油
日期:2015-07-08 09:32:07IT运维版块每日发帖之星
日期:2015-08-29 06:20:00IT运维版块每日发帖之星
日期:2015-08-29 06:20:00IT运维版块每日发帖之星
日期:2015-10-10 06:20:00IT运维版块每日发帖之星
日期:2015-10-11 06:20:00IT运维版块每日发帖之星
日期:2015-11-10 06:20:00
发表于 2021-06-04 14:22 |显示全部楼层
本帖最后由 forgaoqiang 于 2021-06-16 10:28 编辑

想不到银行也这么先进了,嘿嘿,还拿了个DCA(Docker Certified Associate),监考的还是个印度老哥,印度英语对话压力就是大,也参与下活动回复下
1、谈谈对自动化运维体系的认识,以及所经历的实践经验;
个人对自动化运维的理解主要是三个方式完成:

1)运维监控
也就是对系统、组件、服务进行监控,依靠普罗米(Prometheus)修斯等平台的集中日志采集,实时的获取各个服务状态。
2)工具自动化部署
开发和部署的持续集成和持续部署(CI/CD),不再依靠手工流程进行部署和运维,标准的流水线管道化处理(Pipeline),从程序代码编写到Git仓库提交,到容器镜像自动生成再到线上灰度或者金'丝雀部署,再到没有问题全新版本系统上线。
依靠一系列的工具自动流水化完成开发部署工作。
QQ截图20210616102729.jpg 【上面图片的内容被系统判定有违规内容,只能以图片的形式上传了,折腾好长时间才想出这个办法。。。】


2、应用开源容器化平台过程中踩过哪些坑,做了哪些改造或优化;
开源容器使用过程中主要有下面的几个问题
1)K8S本身更新频率有点高,需要消耗巨大的精力来更新这个容器的基础设施,有些变更甚至并不兼容,特别是这次对docker-shim的支持移除,需要确保使用的docker runtime引擎能够正常运行,虽然说是到2021年底才正式移除,但是只是考虑有这些改变就很头大,还好OCI本身的协议规范,让crio和runc都能作为运行时来使用。
2)镜像构建上,镜像构建需要很多的经验,特别是为了控制镜像体积的多阶段构建,大部分开发人员其实并没有足够多的经验构造可以良好使用的容器镜像,在镜像构建上需要经常的技术交流和培训。
3)镜像安全更新也是一个问题,一些老的历史镜像作为基准运行环境,在docker扫描中发现大量的系统漏洞,都是容器自身的问题,即使业务程序没有对应的安全问题,也需要定期的更新基准镜像构建新的业务镜像,同时还要考虑和测试新的基准镜像下的业务程序的正确性,工作量也很大。
另外吐槽下,平台化的k8s集群看上去使用很方便,但是这个价格比自建的轻轻松松贵上10倍以上,实在是望而生却只能自己构建私有部署来h。


3、容器平台在安全方面做了哪些加强。

容器平台在多个方向进行了安全加强,从外围到内部都有增强,比如
1)ACL规则,完全置于K8s 容器系统之外的安全机制,在流量到达容器平台之前就已经做了一次流量的预处理。
2)容器平台有自己的缺陷库,可以扫描镜像得到镜像基准件中的各种软件漏洞,基于不安全的镜像构建的业务容器也会有安全风险,更别提有时候业务程序本身也有漏洞。
3)视乎平台还对网络设备做了优化,部分平台能够使用NFV技术实现 控制平面(Control Plane)和 数据平面(Data Plane)的分离,实现流量决策和转发交给不同的模块执行,对网络安全有提高。
4)有些平台甚至实现混合虚拟容器化,传统的容器是运行在内核之上的,隔离都是软隔离,现在部分平台能够提供微内核虚拟化的容器,性能几乎没有下降的前提下容器间隔离性增强。


真的很吐血,不知道为什么内容被系统判定含有违规内容


论坛徽章:
381
CU十二周年纪念徽章
日期:2014-01-04 22:46:58CU大牛徽章
日期:2013-03-13 15:32:35CU大牛徽章
日期:2013-03-13 15:38:15CU大牛徽章
日期:2013-03-13 15:38:52CU大牛徽章
日期:2013-03-14 14:08:55CU大牛徽章
日期:2013-04-17 11:17:19CU大牛徽章
日期:2013-04-17 11:17:32CU大牛徽章
日期:2013-04-17 11:17:37CU大牛徽章
日期:2013-04-17 11:17:42CU大牛徽章
日期:2013-04-17 11:17:47CU大牛徽章
日期:2013-04-17 11:17:52CU大牛徽章
日期:2013-04-17 11:17:56
发表于 2021-06-05 16:48 |显示全部楼层
1、谈谈对自动化运维体系的认识,以及所经历的实践经验;
目前接触的自动化运维,主要集中于Ansible的应用,以及其他一些基于脚本的应用来管理一些服务器,实现自动化的部署或者自动化的配置特定的服务功能。

2、应用开源容器化平台过程中踩过哪些坑,做了哪些改造或优化;
目前只玩过Docker的一些应用,K8S还处于试探阶段,还没有使用。
个人感觉,容器化应用消除了不同终端之间的差异,做到了应用的一致性的表现,另外,容器的秒级启动也是很好的一个特性,比起虚拟化,一些轻量的,标准化的应用,容器化是非常好的。

3、容器平台在安全方面做了哪些加强。
容器间天然的隔离应该是容器的基本安全特性了。另外,容器网络的各种安全规则,还有一些硬件防火墙的规则,应该可以保证容器的安全,稳定。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP