当postgresql数据量达到100万条时如何优化 急！急！急！

wuyingyan

当postgresql数据量达到100万条时如何优化
服务器配置： cpu P4 1.8G
mem DDR266 1G
HD 40+80 G
网卡 INTEL PRO 10/100M
操作系统是solaris
postgres是7.3.1版本
数据库中只有6个表，其中有一个表的数据量达到近100万条数据,其他表数据很小。
检索速度不稳定，时快时慢，从表中检索10万条数据时，最快20秒，最慢2分钟，主要是在count(*)
时很慢。
请问1.在这种情况下，有什么更好的优化措施？
2.在count(*)这个sql文瓶颈如何解决（比如用select oid 能获得记录数吗？）
3.我已经在postgresql.conf中作了修改
4.我已经用offset 和limit 来翻页他能取得总条数吗？如何做?

夜猫子

有没有经常对你的大表做VACUUM？
可以看看这些
http://www.pgsqldb.org/pgsqldoc-cvs/sql-vacuum.html
http://www.pgsqldb.org/pgsqldoc-cvs/app-vacuumdb.html
http://www.pgsqldb.org/pgsqldoc-cvs/performance-tips.html
http://www.pgsqldb.org/pgsqldoc-cvs/maintenance.html

wuyingyan

谢谢大虾
这个由化作了 只能起到一定的作用，能不能从硬件到软件全面地分析和解决的策略。

netkiller

最好的解决方案是
做集群，PostgreSQL 可以用Postgres-R 来做数据实实peer to peer
复制，同步多台数据库。
然后数据库与数据库再做HA
用LVS 做调度服务器，实现分流，负载均衡。

这个方案如何能成功。完全可以与MS SQL ，Sybase(中型数据库)一拼。
对数据库容量方面。PostgreSQL  1T 应该没问题，但1T以上我就不知上，PG手册上写1T没问题。

我也在实验当中：（
上面的方案是可行的。
我自己瞎搞，主要是英文不好，看不懂手册，目前还没装上Postgre-R,有兴趣去下面网址看看：

PostgreSQL Manual: http://www.postgresql.org/docs/
PostgreSQL JDBC Drivers: http://jdbc.postgresql.org/
http://www.cs.mcgill.ca/~kemme/disl/replication.html
http://gborg.postgresql.org/genpage?replication_72install
MD5:http://userpages.umbc.edu/~mabzug1/cs/md5/md5.html
OpenLDAP: http://www.openldap.org/
High-Availability Linux Project: http://linux-ha.org/
LVS : http:///linuxvirtualserver.org/

netkiller

欢迎大家，讨论

raecol

好历害啊！！ 要跟诸位学习学习

七月飞雪

我塞

100万就不行了

我的VBB论坛近千万条的数据呢

我还迁移不迁移了(MYSQL ---- POSTGRE)

夜猫子

原帖由 "wuyingyan" 发表：
谢谢大虾
这个由化作了 只能起到一定的作用，能不能从硬件到软件全面地分析和解决的策略。

那你看看这个，利用硬件方面的
http://www.ca.postgresql.org/docs/momjian/hw_performance/

软件方面推荐你去看看《计算机系统概念》（database system concepts）这本书，不错的。

redfox

只能用count(*)吗？没有直接读表行数的函数吗？

netkiller

个人建议,用count(id) 来代替count(*)
id 字段要做索引并且是序列