PostgreSQL wiki - User contributions [en]

Foreign data wrappers

2024-10-23T13:36:58Z

Gleu: this blog doesn't exist anymore

= Foreign Data Wrappers =
In 2003, a new specification called [[SQL/MED]] ("SQL Management of External Data") was added to the SQL standard. It is a standardized way of handling access to remote objects from SQL databases. In 2011, PostgreSQL 9.1 was released with read-only support of this standard, and in 2013 write support was added with PostgreSQL 9.3.

There are now a variety of Foreign Data Wrappers (FDW) available which enable PostgreSQL Server to different remote data stores, ranging from other SQL databases through to flat file. This page list some of the wrappers currently available. Another [https://pgxn.org/tag/fdw/ fdw list] can be found at [https://pgxn.org/ the PGXN website].

Please keep in mind that most of these wrappers are '''not officially supported by the PostgreSQL Global Development Group''' (PGDG) and that some of these projects are '''still in Beta''' version. Use carefully!

== Generic SQL Database Wrappers ==

{| align="center" border="1" cellspacing="0" {{Prettytable}}
|-
!{{Hl2}} |Data Source
!{{Hl2}} |Type
!{{Hl2}} |License
!{{Hl2}} |Code
!{{Hl2}} |Install
!{{Hl2}} |Doc
!{{Hl2}} |Notes
|-
|ODBC
|Native
|
|[https://github.com/CartoDB/odbc_fdw github]
|
|
|CartoDB took over active development of the ODBC FDW for PG 9.5+
|-
|JDBC
|Native
|
|[https://github.com/atris/JDBC_FDW github]
|
|
| Not maintained?
|-
|JDBC2
|Native
|
|[https://github.com/heimir-sverrisson/jdbc2_fdw github]
|
|
|
|-
|JDBC
|Native
|
|[https://github.com/pgspider/jdbc_fdw github]
|
|[https://github.com/pgspider/jdbc_fdw/blob/main/README.md README]
|More recent than the above, advertises write support.
|-
| [https://www.sqlalchemy.org/ SQL_Alchemy]
| [https://multicorn.org/ Multicorn]
| PostgreSQL
| [https://github.com/Kozea/Multicorn GitHub]
| [https://pgxn.org/dist/multicorn/ PGXN]
| [https://multicorn.org/foreign-data-wrappers/#sqlalchemy-foreign-data-wrapper documentation]
| Can be used to access data stored in any database supported by the sqlalchemy python toolkit.
|-
| [https://gdal.org/drivers/vector/index.html GDAL/OGR]
| Native
| MIT
| [https://github.com/pramsey/pgsql-ogr-fdw GitHub]
| yum.postgresql.org, apt.postgresql.org, and part of PostGIS windows bundle (application stackbuilder)
|
| Can access many kinds of data sources (Relational databases, spreadsheets, CSV files, web feature services, etc). Uses the [https://gdal.org/ GDAL library] which supports hundreds of formats to access the data. Exposes vector data as PostGIS geometry columns if you have PostGIS installed. Works great with both spatial and non-spatial data.
|-
| VirtDB
| Native
| GPL
| [https://github.com/virtdb/virtdb-fdw GitHub]
|
|
| A generic FDW to access VirtDB data sources (SAP ERP, Oracle RDBMS)
|
|-
| APIs (via [https://hub.steampipe.io/plugins Steampipe plugins])
| Native
| CLI and FDW extension: AGPL 3.0, Plugins: Apache 2.0
| [https://github.com/turbot/steampipe CLI on GitHub], [https://github.com/turbot/steampipe-postgres-fdw FDW extension on GitHub]
| [https://steampipe.io/downloads Steampipe downloads]
| [https://steampipe.io/docs Steampipe docs], [https://steampipe.io/docs/steampipe_postgres/overview Postgres FDW docs]
| [https://steampipe.io Steampipe] bundles Postgres with an FDW extension that supports a growing ecosystem of [https://hub.steampipe.io/plugins plugins]. The plugins consume APIs, map them to tables, and enable queries within and across APIs.

The plugins are also available as [https://steampipe.io/blog/2023-12-postgres-extensions unbundled FDWs] for use in any Postgres database.
|}

== Specific SQL Database Wrappers ==

{| align="center" border="1" cellspacing="0" {{Prettytable}}
|-
!{{Hl2}} |Data Source
!{{Hl2}} |Type
!{{Hl2}} |License
!{{Hl2}} |Code
!{{Hl2}} |Install
!{{Hl2}} |Doc
!{{Hl2}} |Notes
|-
|[https://www.postgresql.org/ PostgreSQL]
|Native
|PostgreSQL
|[https://git.postgresql.org/gitweb/?p=postgresql.git;a=tree;f=contrib/postgres_fdw;hb=HEAD git.postgresql.org]
|
|[https://www.postgresql.org/docs/current/postgres-fdw.html documentation]
|
|-
|[https://www.oracle.com/index.html Oracle]
|Native
|PostgreSQL
|[https://github.com/laurenz/oracle_fdw github]
|[https://pgxn.org/dist/oracle_fdw/ PGXN]
|[http://laurenz.github.io/oracle_fdw/ website]
|
|-
|[https://www.mysql.com/ MySQL]
|Native
|
|[https://github.com/EnterpriseDB/mysql_fdw github]
|[https://pgxn.org/dist/mysql_fdw/ PGXN]
|[https://www.enterprisedb.com/blog/new-oss-tool-links-postgres-and-mysql example]
|FDW for MySQL
|-
|Informix
|Native
|PostgreSQL
|[https://github.com/psoo/informix_fdw github]
|
|
|
|-
|DB2
|Native
|
|[https://github.com/wolfgangbrandl/db2_fdw github]
|
|
|
|-
|[https://www.firebirdsql.org/ Firebird]
|Native
|PostgreSQL
|[https://github.com/ibarwick/firebird_fdw/ github]
|[https://pgxn.org/dist/firebird_fdw/ PGXN]
|[https://github.com/ibarwick/firebird_fdw/blob/master/README.md README]
|version [https://github.com/ibarwick/firebird_fdw/releases/tag/1.3.0 1.3.0] released (2022-12)
|-
|[https://www.sqlite.org/index.html SQLite]
|Native
|PostgreSQL
|[https://github.com/pgspider/sqlite_fdw github]
|[https://pgxn.org/dist/sqlite_fdw PGXN]
|[https://github.com/pgspider/sqlite_fdw/blob/master/README.md README]
|An FDW for SQLite3 (write support and several pushdown optimization)
|-
|Sybase / MS SQL Server
|Native
|
|[https://github.com/tds-fdw/tds_fdw github]
|[https://pgxn.org/dist/tds_fdw/ PGXN]
|
|An FDW for Sybase and Microsoft SQL server
|-
|[https://www.monetdb.org/ MonetDB]
|Native
|
|[https://github.com/snaga/monetdb_fdw github]
|
|
|
|}

== NoSQL Database Wrappers ==

{| align="center" border="1" cellspacing="0" {{Prettytable}}
|-
!{{Hl2}} |Data Source
!{{Hl2}} |Type
!{{Hl2}} |License
!{{Hl2}} |Code
!{{Hl2}} |Install
!{{Hl2}} |Doc
!{{Hl2}} |Notes
|-
|[https://cloud.google.com/bigtable/ BigTable or HBase]
|[https://github.com/posix4e/rpgffi Native Rust Binding (RPGFFI)]
|MIT
|[https://github.com/durch/google-bigtable-postgres-fdw Github]
|
|
|
|-
|[http://cassandra.apache.org/ Cassandra]
|[https://multicorn.org/ Multicorn]
|MIT
|[https://github.com/rankactive/cassandra-fdw Github]
|[https://rankactive.com/resources/postgresql-cassandra-fdw Rankactive]
|
|
|-
| Cassandra2
| Native
| MIT
|[https://github.com/jaiminpan/cassandra2_fdw Github]
|
|
|
|-
|-
| [http://cassandra.apache.org Cassandra]
| [https://multicorn.org/ Multicorn]
| PostgreSQL
|[https://github.com/wjch-krl/pgCassandra Github]
|
|
|
|-
|[https://clickhouse.yandex/ ClickHouse]
|[https://multicorn.org/ Multicorn]
|BSD
|[https://github.com/Infinidat/infi.clickhouse_fdw/ Github]
|
|[https://github.com/Infinidat/infi.clickhouse_fdw/blob/master/README.md README]
|
|-
|[https://clickhouse.yandex/ ClickHouse]
|Native
|Apache
|[https://github.com/ildus/clickhouse_fdw Github]
|
|[https://github.com/ildus/clickhouse_fdw/blob/master/README.md README]
|
|-
|[https://clickhouse.yandex/ ClickHouse]
|Native
|
|[https://github.com/Percona-Lab/clickhousedb_fdw Github]
|
|[https://github.com/Percona-Lab/clickhousedb_fdw/blob/master/README.md README]
|
|-
|[https://clickhouse.com/ ClickHouse]
|[https://supabase.github.io/wrappers/ Wrappers]
|Apache
|[https://github.com/supabase/wrappers/tree/main/wrappers/src/fdw/clickhouse_fdw GitHub]
|
|[https://supabase.github.io/wrappers/clickhouse/ documentation]
|A foreign data wrapper for [https://clickhouse.com/ ClickHouse]
|-
|[http://couchdb.apache.org/ CouchDB]
|Native
|PostgreSQL
|[https://github.com/ZhengYang/couchdb_fdw Github]
|[https://pgxn.org/dist/couchdb_fdw/ PGXN]
|
| Original version
|-
|[http://couchdb.apache.org/ CouchDB]
|Native
|PostgreSQL
|[https://github.com/golgauth/couchdb_fdw Github]
|
|
| golgauth version (9.1 - 9.2+ compatible)
|-
| [https://github.com/griddb/griddb_nosql GridDB]
| Native
| PostgreSQL
| [https://github.com/pgspider/griddb_fdw Github]
|
| [https://github.com/pgspider/griddb_fdw/blob/master/README.md README]
|
|-
| InfluxDB
| Native
| PostgreSQL
| [https://github.com/pgspider/influxdb_fdw Github]
|
| [https://github.com/pgspider/influxdb_fdw/blob/master/README.md README]
|
|-
| [https://kafka.apache.org/ Kafka]
| Native
| PostgreSQL
| [https://github.com/adjust/kafka_fdw GitHub]
|
| [https://github.com/adjust/kafka_fdw/blob/master/README.md README]
|
|-
|[https://fallabs.com/kyototycoon/ Kyoto Tycoon ]
|Native
|MIT
|[https://github.com/cloudflare/kt_fdw Github]
|
|
|
|-
|[https://www.mongodb.com/ MongoDB]
|Native
|GPL3+
|[https://github.com/EnterpriseDB/mongo_fdw Github]
|[https://pgxn.org/dist/mongo_fdw/ PGXN]
|[https://github.com/EnterpriseDB/mongo_fdw/blob/master/README.md README]
|EDB version
|-
|[https://www.mongodb.com/ MongoDB]
| [https://multicorn.org/ Multicorn]
| MIT
| [https://github.com/dwa/mongoose_fdw Github]
|
|
|
|-
| [https://www.mongodb.com/ MongoDB]
| [https://multicorn.org/ Multicorn]
|
| [https://github.com/asya999/yam_fdw Github]
|
|
| Yet Another Postgres FDW for MongoDB
|-
|[https://neo4j.com/ Neo4j]
|[https://multicorn.org/ Multicorn]
|GPLv3
|[https://github.com/sim51/neo4j-fdw Github]
|
|[https://github.com/sim51/neo4j-fdw/blob/master/README.adoc README]
|FWD for Neo4j and also add a Cypher function to Pg
|-
|[https://neo4j.com/ Neo4j]
|Native
|?
|[https://github.com/nuko-yokohama/neo4j_fdw Github]
|
|
|
|-
|[http://quasar-analytics.org/ Quasar]
|Native
|Apache
|[https://github.com/slamdata/quasar-fdw Github]
|
|
|
|-
|[https://redis.io/ Redis]
|Native
|PostgreSQL
|[https://github.com/pg-redis-fdw/redis_fdw Github]
|
|
|
|-
| [https://redis.io/ Redis]
| Native
| BSD
| [https://github.com/nahanni/rw_redis_fdw Github]
|
|
|
|-
| [https://rethinkdb.com/ RethinkDB]
| [https://multicorn.org/ Multicorn]
| MIT
| [https://github.com/rotten/rethinkdb-multicorn-postgresql-fdw Github]
|
| [https://rethinkdb.com/blog/postgres-foreign-data-wrapper/ blog]
|
|-
| [https://github.com/basho/riak Riak]
| [https://multicorn.org/ Multicorn]
| PostgreSQL
| [https://github.com/kiskovacs/riak-multicorn-pg-fdw Github]
|
|
|
|-
| [https://github.com/facebook/rocksdb RocksDB]
| Native
| Apache
| [https://github.com/vidardb/PostgresForeignDataWrapper Github]
|
| [https://github.com/vidardb/PostgresForeignDataWrapper/blob/master/README.md README]
| FDW for RocksDB
|-
| [https://en.wikipedia.org/wiki/SPARQL SPARQL]
| [https://github.com/pgsql-io/multicorn2 Multicorn2]
| PostgreSQL
| [https://github.com/sjstoelting/sparql_fdwfdw Github]
|
|
|
|-
| [http://whitedb.org/ WhiteDB]
| Native
| MIT
| [https://github.com/Kentik/wdb_fdw Github]
|
|
|
|-
| [https://en.wikipedia.org/wiki/Triplestore RDF Triplestores (SPARQL endpoints)]
| Native
| MIT
| [https://github.com/jimjonesbr/rdf_fdw Github]
|
|
| A Foreign Data Wrapper to easily access RDF Triplestores via SPARQL, including pushdown of several SQL query clauses.
|}

== File Wrappers ==

{| align="center" border="1" cellspacing="0" {{Prettytable}}
|-
!{{Hl2}} |Data Source
!{{Hl2}} |Type
!{{Hl2}} |License
!{{Hl2}} |Code
!{{Hl2}} |Install
!{{Hl2}} |Doc
!{{Hl2}} |Notes
|-
| CSV
| Native
| PostgreSQL
|[https://git.postgresql.org/gitweb/?p=postgresql.git;a=tree;f=contrib/file_fdw;hb=HEAD git.postgresql.org]
|
| [https://www.postgresql.org/docs/current/file-fdw.html documentation]
| Delivered as an official extension of PostgreSQL 9.1 / [https://www.depesz.com/2011/03/14/waiting-for-9-1-foreign-data-wrapper/ example] / [http://www.postgresonline.com/journal/archives/250-File-FDW-Family-Part-1-file_fdw.html Another example]
|-
| CSV
| [https://multicorn.org/ Multicorn]
| PostgreSQL
| [https://github.com/Kozea/Multicorn GitHub]
| [https://pgxn.org/dist/multicorn/ PGXN]
| [https://multicorn.org/foreign-data-wrappers/#csv-foreign-data-wrapper documentation]
| Each column defined in the table will be mapped, in order, against columns in the CSV file.
|-
| CSV / Text Array
| Native
|
| [https://github.com/adunstan/file_text_array_fdw GitHub]
|
| [http://www.postgresonline.com/journal/archives/251-File-FDW-Family-Part-2-file_textarray_fdw-Foreign-Data-Wrapper.html How to]
| Another CSV wrapper
|-
| CSV / Fixed-length
| Native
|
| [https://github.com/adunstan/file_fixed_length_record_fdw GitHub]
|
|
|
|-
| CSV / gzipped
| [https://multicorn.org/ Multicorn]
|
| [https://github.com/dialogbox/py_csvgz_fdw GitHub]
|
|
| PostgreSQL Foreign Data Wrapper for gzipped cvs file
|-
| Compressed File
| Native
|
| [https://github.com/gokhankici/compressedfile_fdw GitHub]
|
|
|
|-
| Document Collection
| Native
| PostgreSQL
| [https://github.com/ZhengYang/dc_fdw GitHub]
|
| [https://github.com/ZhengYang/dc_fdw/wiki wiki]
|
|-
| JSON
| Native
| GPL3
| [https://github.com/nkhorman/json_fdw GitHub]
|
| [https://www.citusdata.com/blog/2013/05/30/run-sql-on-json-files-without-any-data-loads/ Example]
|
|-
| Multi-File
| [https://multicorn.org/ Multicorn]
| PostgreSQL
| [https://github.com/Kozea/Multicorn GitHub]
| [https://pgxn.org/dist/multicorn/ PGXN]
| [https://multicorn.org/foreign-data-wrappers/#filesystem-foreign-data-wrapper doc]
| Access data stored in various files in a filesystem. The files are looked up based on a pattern, and parts of the file's path are mapped to various columns, as well as the file's content itself.
|-
| Multi CDR
| Native
| PostgreSQL
| [https://github.com/theirix/multicdr_fdw GitHub]
| [https://pgxn.org/dist/multicdr_fdw/ PGXN]
|
|
|-
| Parquet
| Native
| PostgreSQL
| [https://github.com/adjust/parquet_fdw GitHub]
|
|
| Foreign data wrapper for reading Parquet files using libarrow/libparquet
|-
| pg_dump
| Native
| New BSD
| [https://github.com/MeetMe/dump_fdw GitHub]
|
|
| Allows querying of data directly against Postgres custom format files created by pg_dump
|-
| TAR Files
| Native
|
| [https://github.com/beargiles/tarfile-fdw GitHub]
|
|
|
|-
| XLSX
| Native
| MIT
| [https://github.com/polydbms/pg_sheet_fdw GitHub]
|
| [https://github.com/polydbms/pg_sheet_fdw/blob/main/README.md README]
| PG_Sheet allows reading XLSX Sheets via [https://github.com/polydbms/sheetreader-core SheetReader], a fast Excel Sheet reader.
|-
| XML
| [https://multicorn.org/ Multicorn]
| PostgreSQL
| [https://github.com/Kozea/Multicorn GitHub]
| [https://pgxn.org/dist/multicorn/ PGXN]
|
|
|-
| ZIP Files
| Native
|
| [https://github.com/beargiles/zipfile-fdw GitHub]
|
|
|
|}

== Geo Wrappers ==

{| align="center" border="1" cellspacing="0" {{Prettytable}}
|-
!{{Hl2}} |Data Source
!{{Hl2}} |Type
!{{Hl2}} |License
!{{Hl2}} |Code
!{{Hl2}} |Install
!{{Hl2}} |Doc
!{{Hl2}} |Notes
|-
|[https://www.gdal.org GDAL/OGR]
|Native
|MIT
|[https://github.com/pramsey/pgsql-ogr-fdw GitHub]
|
|
|A wrapper for data sources with a [https://www.gdal.org GDAL/OGR] driver, including databases like Oracle, Informix, SQLite, SQL Server, ODBC as well as file formats like Shape, FGDB, MapInfo, CSV, Excel, OpenOffice, OpenStreetMap PBF and XML, OGC WebServices, [https://www.gdal.org/ogr_formats.html and more] Spatial columns are linked in as PostGIS geometry if PostGIS is installed.
|-
| Geocode / GeoJSON
| [https://multicorn.org/ Multicorn]
| GPL
| [https://github.com/bosth/geofdw GitHub]
|
|
| a collection of PostGIS-related foreign data wrappers
|-
| [https://wiki.openstreetmap.org/wiki/PBF_Format Open Street Map PBF]
| Native
| PostgreSQL
| [https://github.com/vpikulik/postgres_osm_pbf_fdw GitHub]
|
|
|
|}

== LDAP Wrappers ==

{| align="center" border="1" cellspacing="0" {{Prettytable}}
|-
!{{Hl2}} |Data Source
!{{Hl2}} |Type
!{{Hl2}} |License
!{{Hl2}} |Code
!{{Hl2}} |Install
!{{Hl2}} |Doc
!{{Hl2}} |Notes
|-
| LDAP
| Native
|
| [https://github.com/guedes/ldap_fdw GitHub]
| [https://pgxn.org/dist/ldap_fdw/ PGXN]
|
| Allows to query an LDAP server and retrieve data from some pre-configured Organizational Unit
|-
| LDAP
| [https://multicorn.org/ Multicorn]
| PostgreSQL
| [https://github.com/Kozea/Multicorn GitHub]
| [https://pgxn.org/dist/multicorn/ PGXN]
| [https://multicorn.org/foreign-data-wrappers/#idldap-foreign-data-wrapper documentation]
|
|}

== Generic Web Wrappers ==

{| align="center" border="1" cellspacing="0" {{Prettytable}}
|-
!{{Hl2}} |Data Source
!{{Hl2}} |Type
!{{Hl2}} |License
!{{Hl2}} |Code
!{{Hl2}} |Install
!{{Hl2}} |Doc
!{{Hl2}} |Notes
|-
| Git
| [https://multicorn.org/ Multicorn]
| PostgreSQL
| [https://github.com/Kozea/Multicorn GitHub]
| [https://pgxn.org/dist/multicorn/ PGXN]
|
|
|-
| Git
| Native
| MIT
| [https://github.com/franckverrot/git_fdw GitHub]
|
|
|
|-
| ICAL
| [https://multicorn.org/ Multicorn]
| PostgreSQL
| [https://github.com/daamien/Multicorn/blob/master/python/multicorn/icalfdw.py GitHub]
|
| [https://wiki.postgresql.org/images/7/7e/Conferences-write_a_foreign_data_wrapper_in_15_minutes-presentation.pdf pdf]
|
|-
| IMAP
| [https://multicorn.org/ Multicorn]
| PostgreSQL
| [https://github.com/Kozea/Multicorn GitHub]
| [https://pgxn.org/dist/multicorn/ PGXN]
| [https://multicorn.org/foreign-data-wrappers/#idimap-foreign-data-wrapper documentation]
|
|-
| RSS
| [https://multicorn.org/ Multicorn]
| PostgreSQL
| [https://github.com/Kozea/Multicorn GitHub]
| [https://pgxn.org/dist/multicorn/ PGXN]
| [https://multicorn.org/foreign-data-wrappers/#idrss-foreign-data-wrapper documentation]
| This fdw can be used to access items from an rss feed.
|-
| www
| Native
| PostgreSQL
| [https://github.com/cyga/www_fdw/ GitHub]
| [https://pgxn.org/dist/www_fdw/ PGXN]
| [https://github.com/cyga/www_fdw/wiki wiki]
| Allows to query different web services
|-
| pgsql-http
| Native
| PostgreSQL
| [https://github.com/pramsey/pgsql-http GitHub]
| Compile
|
| Allows to query any http resource using CURL libs. By Paul Ramsey

|}

== Specific Web Wrappers ==

{| align="center" border="1" cellspacing="0" {{Prettytable}}
|-
!{{Hl2}} |Data Source
!{{Hl2}} |Type
!{{Hl2}} |License
!{{Hl2}} |Code
!{{Hl2}} |Install
!{{Hl2}} |Doc
!{{Hl2}} |Notes
|-
| [https://www.openarchives.org/pmh/ OAI-PMH]
| Native
| MIT
| [https://github.com/jimjonesbr/oai_fdw/ GitHub]
|
| [https://github.com/jimjonesbr/oai_fdw/blob/main/README.md README]
| A PostgreSQL Foreign Data Wrapper to access OAI-PMH repositories (Open Archives Initiative Protocol for Metadata Harvesting). This wrapper supports the OAI-PMH 2.0 Protocol.
|-
| Cloudsmith.io
| [https://multicorn.org/ Multicorn]
| PostgreSQL
| [https://github.com/richyen/cloudsmith_fdw GitHub]
|
|
|
|-
| Database.com
| [https://multicorn.org/ Multicorn]
| BSD
| [https://github.com/metadaddy/Database.com-FDW-for-PostgreSQL GitHub]
|
|
|
|-
| Dun & Badstreet
| [https://multicorn.org/ Multicorn]
| PostgreSQL
| [https://github.com/dpmorel/dnb_fdw GitHub]
|
|
| Access to the [https://fr.wikipedia.org/wiki/Data_Universal_Numbering_System Data Universal Numbering System] (DUNS)
|-
| DynamoDB
| [https://multicorn.org/ Multicorn]
| GPL
| [https://github.com/avances123/dynamodb_fdw GitHub]
|
|
|
|-
| DynamoDB
| Native
| PostgreSQL
| [https://github.com/pgspider/dynamodb_fdw GitHub]
|
|
|
|-
| Facebook
| [https://multicorn.org/ Multicorn]
|
| [https://github.com/mrwilson/fb-psql GitHub]
|
|
|
|-
| Fixer.io
| based on www_fdw
|
| [https://github.com/hakanensari/frankfurter GitHub]
|
|
|
|-
| Google
| [https://multicorn.org/ Multicorn]
| PostgreSQL
| [https://github.com/Kozea/Multicorn GitHub]
| [https://pgxn.org/dist/multicorn/ PGXN]
|
|
|-
| Heroku dataclips
| Native
| PostgreSQL
| [https://github.com/petergeoghegan/dataclips_fdw GitHub]
|
|
|
|-
| Keycloak
| [https://multicorn.org/ Multicorn]
| MIT
| [https://github.com/schne324/foreign-keycloak-wrapper GitHub]
| [https://pgxn.org/dist/foreign-keycloak-wrapper/ PGXN]
| [https://github.com/schne324/foreign-keycloak-wrapper/blob/master/README.md README]
| Direct database integration with the [https://www.keycloak.org Keycloak] open-source Identity/Access Management solution.
|-
| Mailchimp
| [https://multicorn.org/ Multicorn]
| PostgreSQL
| [https://github.com/daamien/mailchimp_fdw GitHub]
|
|
| Beta
|-
| [http://parseplatform.org/ Parse]
| [https://multicorn.org/ Multicorn]
| MIT
| [https://github.com/spacialdb/parse_fdw GitHub]
|
|
|
|-
| S3
| Native
| PostgreSQL
| [https://github.com/umitanuki/s3_fdw GitHub]
| [https://pgxn.org/dist/s3_fdw/ PGXN]
|
|
|-
| S3
| [https://supabase.github.io/wrappers/ Wrappers]
| Apache
| [https://github.com/supabase/wrappers/tree/main/wrappers/src/fdw/s3_fdw GitHub]
|
| [https://supabase.github.io/wrappers/s3/ documentation]
| A foreign data wrapper for [https://aws.amazon.com/s3/ S3], supports CVS, JSONL, Parquet files and gzip, bzip2, xz, zlib compression.
|-
| S3CSV
| [https://multicorn.org/ Multicorn]
| GPL 3
| [https://github.com/eligoenergy/s3csv_fdw GitHub]
|
|
| This is meant to replace s3_fdw that does is not supported on PostgreSQL version 9.2+
|-
| ParquetS3
| Native
| PostgreSQL
| [https://github.com/pgspider/parquet_s3_fdw GitHub]
|
|
| Foreign data wrapper for reading Parquet files using libarrow/libparquet on Amazon S3 / Minio
|-
| Telegram
| [https://multicorn.org/ Multicorn]
| PostgreSQL
| [https://github.com/guedes/telegram_fdw GitHub]
|
|
| telegram_fdw is a Telegram BOT implemented using the PostgreSQL foreign data wrapper interface.
|-
| Twitter
| Native
| PostgreSQL
| [https://github.com/umitanuki/twitter_fdw GitHub]
| [https://pgxn.org/dist/twitter_fdw/ PGXN]
|
| A wrapper fetching text messages from Twitter over the Internet and returning a table
|-
| [https://www.treasuredata.com/ Treasure Data]
| Native
| Apache
| [https://github.com/komamitsu/treasuredata_fdw GitHub]
| [https://pgxn.org/dist/treasuredata_fdw PGXN]
|
| A FDW for Treasure Data internally using a Rust library
|-
| [https://www.treasuredata.com/ Treasure Data]
| [https://multicorn.org/ Multicorn]
| Apache
| [https://github.com/komamitsu/td-fdw GitHub]
|
|
|
|-
| Google Spreadsheets
| [https://multicorn.org/ Multicorn]
| MIT
| [https://github.com/lincolnturner/gspreadsheet_fdw GitHub]
|
|
|
|-
| Open Weather Map
| [https://multicorn.org/ Multicorn]
| MIT
| [https://github.com/ycku/owmfdw GitHub]
|
|
| A FDW for Open Weather Map (single city)
|-
| Airtable
| [https://supabase.github.io/wrappers/ Wrappers]
| Apache
| [https://github.com/supabase/wrappers/tree/main/wrappers/src/fdw/airtable_fdw GitHub]
|
| [https://supabase.github.io/wrappers/airtable/ documentation]
| A foreign data wrapper for [https://airtable.com/ Airtable]
|-
| Firebase
| [https://supabase.github.io/wrappers/ Wrappers]
| Apache
| [https://github.com/supabase/wrappers/tree/main/wrappers/src/fdw/firebase_fdw GitHub]
|
| [https://supabase.github.io/wrappers/firebase/ documentation]
| A foreign data wrapper for [https://firebase.google.com/ Firebase]
|-
| Logflare
| [https://supabase.github.io/wrappers/ Wrappers]
| Apache
| [https://github.com/supabase/wrappers/tree/main/wrappers/src/fdw/logflare_fdw GitHub]
|
| [https://supabase.github.io/wrappers/logflare/ documentation]
| A foreign data wrapper for [https://logflare.app/ Logflare]
|-
| Stripe
| [https://supabase.github.io/wrappers/ Wrappers]
| Apache
| [https://github.com/supabase/wrappers/tree/main/wrappers/src/fdw/stripe_fdw GitHub]
|
| [https://supabase.github.io/wrappers/stripe/ documentation]
| A foreign data wrapper for [https://stripe.com/ Stripe]
|}

== Big Data Wrappers ==

{| align="center" border="1" cellspacing="0" {{Prettytable}}
|-
!{{Hl2}} |Data Source
!{{Hl2}} |Type
!{{Hl2}} |License
!{{Hl2}} |Code
!{{Hl2}} |Install
!{{Hl2}} |Doc
!{{Hl2}} |Notes
|-
|Elasticsearch
| [https://multicorn.org/ Multicorn]
| MIT
| [https://github.com/matthewfranglen/postgres-elasticsearch-fdw GitHub]
|
|
| Supports up to PG 15, ES 8.
|-
| Google BigQuery
| [https://multicorn.org/ Multicorn]
| MIT
|[https://github.com/gabfl/bigquery_fdw GitHub]
|
|[https://github.com/gabfl/bigquery_fdw/blob/master/docs/README.md Documentation]
|bigquery_fdw is a BigQuery FDW compatible with PostgreSQL >= 9.5
|-
| Google BigQuery
| [https://supabase.github.io/wrappers/ Wrappers]
| Apache
| [https://github.com/supabase/wrappers/tree/main/wrappers/src/fdw/bigquery_fdw GitHub]
|
| [https://supabase.github.io/wrappers/bigquery/ documentation]
| A foreign data wrapper for [https://cloud.google.com/bigquery BigQuery]
|-
| file_fdw-gds (Hadoop)
| Native
|
| [https://github.com/wat4dog/pg-file-fdw-gds GitHub]
|
|
| Hadoop file_fdw is a slightly modified version of PostgreSQL 9.3's file_fdw module.
|-
| Hadoop
| Native
| PostgreSQL
| [https://www.openscg.com/bigsql/hadoopfdw/ Bitbucket]
|
|
| Allows read and write access to HBase as well as to HDFS via Hive.
|-
| HDFS
| Native
| Apache
| [https://github.com/EnterpriseDB/hdfs_fdw GitHub]
|
|
|
|-
| Hive
| [https://multicorn.org/ Multicorn]
|
| [https://github.com/youngwookim/hive-fdw-for-postgresql GitHub]
|
|
| Used to access Apache Hive tables.
|-
| Hive / ORC File
| Native
|
| [https://github.com/gokhankici/orc_fdw GitHub]
|
|
|
|-
| [http://impala.apache.org/ Impala]
| Native
| BSD
| [https://github.com/lapug/impala_fdw GitHub]
|
|
|
|-
| [https://arrow.apache.org/ Apache Arrow]
| Native
| GPLv2
| [https://github.com/heterodb/pg-strom GitHub]
|
|
| A part of PG-Strom feature; as a columnar data source with support of SSD-to-GPU Direct SQL
|}

== Column-Oriented Wrappers ==

{| align="center" border="1" cellspacing="0" {{Prettytable}}
|-
!{{Hl2}} |Data Source
!{{Hl2}} |Type
!{{Hl2}} |License
!{{Hl2}} |Code
!{{Hl2}} |Install
!{{Hl2}} |Doc
!{{Hl2}} |Notes
|-
|Columnar Store
|Native
|
|[https://github.com/citusdata/cstore_fdw github]
|[https://www.citusdata.com/blog/2014/04/03/columnar-store-for-analytics/ example]
|
|A Columnar Store for PostgreSQL.
|-
|[https://www.monetdb.org/ MonetDB]
|Native
|
|[https://github.com/snaga/monetdb_fdw github]
|
|
|
|-
|GPU Memory Store
|Native
|GPL v2
|[https://github.com/heterodb/pg-strom github]
|
|
|FDW to GPU device memory; a part of PG-Strom feature for PL/CUDA
|}

== Scientific Wrappers ==

{| align="center" border="1" cellspacing="0" {{Prettytable}}
|-
!{{Hl2}} |Data Source
!{{Hl2}} |Type
!{{Hl2}} |License
!{{Hl2}} |Code
!{{Hl2}} |Install
!{{Hl2}} |Doc
!{{Hl2}} |Notes
|-
| Ambry
| [https://multicorn.org/ Multicorn]
|
| [https://github.com/nmb10/ambryfdw GitHub]
|
|
|
|-
| ROOT files
| Native
|
| [https://github.com/miguel-branco/root_fdw GitHub]
|
|
| https://root.cern.ch
|-
| VCF files (Genotype)
| [https://multicorn.org/ Multicorn]
|
| [https://github.com/smithijk/vcf_fdw_postgresql GitHub]
|
|
| https://en.wikipedia.org/wiki/Variant_Call_Format
|}

== Operating System Wrappers ==

{| align="center" border="1" cellspacing="0" {{Prettytable}}
|-
!{{Hl2}} |Data Source
!{{Hl2}} |Type
!{{Hl2}} |License
!{{Hl2}} |Code
!{{Hl2}} |Install
!{{Hl2}} |Doc
!{{Hl2}} |Notes
|-
| Docker
| [https://multicorn.org/ Multicorn]
| Expat
| [https://github.com/paultag/dockerfdw GitHub]
|
|
|
|-
| Log files
| [https://multicorn.org/ Multicorn]
| PostgreSQL
| [https://github.com/rdunklau/logfdw GitHub]
|
|
|
|-
| OpenStack / Telemetry
| [https://multicorn.org/ Multicorn]
| PostgreSQL
| [https://github.com/CSCfi/telemetry-fdw GitHub]
|
|
|
|-
| OS Query
| [https://multicorn.org/ Multicorn]
| PostgreSQL
| [https://github.com/shish/pgosquery GitHub]
|
|
| Like Facebook's OSQuery, but for Postgres
|-
| Passwd
| Native
| PostgreSQL
| [https://github.com/beargiles/passwd-fdw GitHub]
|
|
| reads linux/unix password and group files.
|-
| Process
| [https://multicorn.org/ Multicorn]
| PostgreSQL
| [https://github.com/Kozea/Multicorn/blob/master/python/multicorn/processfdw.py GitHub]
|
|
| A foreign datawrapper for querying system stats based on [https://libstatgrab.org/ statgrab]
|-
| Environment Variables
| [https://multicorn.org/ Multicorn]
| MIT
| [https://github.com/pgsql-tw/envfdw GitHub]
|
|
| envFDW is a forign data wrapper for processing environment variables
|}

== Exotic Wrappers ==

{| align="center" border="1" cellspacing="0" {{Prettytable}}
|-
!{{Hl2}} |Data Source
!{{Hl2}} |Type
!{{Hl2}} |License
!{{Hl2}} |Code
!{{Hl2}} |Install
!{{Hl2}} |Doc
!{{Hl2}} |Notes
|-
| faker_fdw
| [https://multicorn.org/ Multicorn]
| PostgreSQL
| [https://github.com/guedes/faker_fdw GitHub]
|
|
| faker_fdw is a foreign data wrapper for PostgreSQL that generates fake data.
|-
| fdw_fdw
| [https://multicorn.org/ Multicorn]
| PostgreSQL
| [https://github.com/daamien/fdw_fdw GitHub]
|
|
| the Meta FDW ! reads this page and returns the list of all the FDW
|-
| PPG
| Native
|
| [https://github.com/scarbrofair/ppg_fdw GitHub]
|
|
| distributed parallel query engine, based on fdw and hooks of PG
|-
| Open Civic Data
| [https://multicorn.org/ Multicorn]
| Expat
| [https://github.com/paultag/sunlightfdw GitHub]
|
|
|
|-
| [https://www2.meethue.com/en-us/philips-hue-benefits Phillips Hue Lighting Systems]
| [https://multicorn.org/ Multicorn]
| MIT
| [https://github.com/rotten/hue-multicorn-postgresql-fdw GitHub]
|
|
|
|-
| Random Number
| [https://multicorn.org/ Multicorn]
| PostgreSQL
| [https://github.com/yieldsfalsehood/rng_fdw GitHub]
|
|
| A random number generator foreign data wrapper for postgres
|-
| Rotfang
| Native
| PostgreSQL
| [https://bitbucket.org/adunstan/rotfang-fdw BitBucket]
|
| [https://drive.google.com/file/d/0B3XVAFFWEFN0aURac0dzSFQyZzA/view slides]
| Advanced random number generator
|-
| Template Tables
| Native
| BSD
| [https://github.com/okbob/template_fdw GitHub]
|
|
| PostgreSQL data wrapper for template tables - any DML and SELECT operations are disallowed
|-
| VMware vSphere
| [https://multicorn.org/ Multicorn]
| MIT
| [https://github.com/ycku/vspherefdw GitHub]
|
|
| A PostgreSQL FDW to query your VMware vSphere service
|}

== Example Wrappers ==

{| align="center" border="1" cellspacing="0" {{Prettytable}}
|-
!{{Hl2}} |Data Source
!{{Hl2}} |Type
!{{Hl2}} |License
!{{Hl2}} |Code
!{{Hl2}} |Install
!{{Hl2}} |Doc
!{{Hl2}} |Notes
|-
| Dummy
| Native
| BSD
| [https://github.com/slaught/dummy_fdw GitHub]
|
|
| Readable null FDW for testing
|-
| Hello World
|
|
| [https://github.com/wikrsh/hello_fdw GitHub]
|
|
|
|-
| Hello World
| [https://supabase.github.io/wrappers/ Wrappers]
| Apache
| [https://github.com/supabase/wrappers/tree/main/wrappers/src/fdw/helloworld_fdw GitHub]
|
| [https://github.com/supabase/wrappers/blob/main/wrappers/src/fdw/helloworld_fdw/ README]
| A demo foreign data wrapper
|-
| Black Hole
|
|
| [https://bitbucket.org/adunstan/blackhole_fdw bitbucket]
|
|
| a skeleton FDW pre-populated with relevant excerpts from the documentation
|}

=Writing Foreign Database Wrappers=

* [https://multicorn.org/ Multicorn] is an extension that allows you to write FDWs in Python
* [https://github.com/franckverrot/holycorn Holycorn] is an extension that allows you to write FDWs in Ruby
* [https://www.postgresql.org/docs/current/fdwhandler.html Documentation: Writing a Foreign Data Wrapper]
* [https://bitbucket.org/adunstan/blackhole_fdw Black Hole FDW] - a skeleton FDW pre-populated with relevant excerpts from the documentation
* [https://github.com/nautilebleu/django-fdw django-fdw] A sample project to test django and Postgres Foreign Data Wrapper
* [https://github.com/supabase/wrappers Wrappers] is a development framework allows you to write FDWs in Rust

[[Category:Foreign-data wrapper|!]]

Main Page/fr

2021-10-18T13:45:56Z

Gleu:

{{Languages}}
== Communauté Francophone ==

* Le site de la communauté : http://www.postgresql.fr
* La documentation en français : http://docs.postgresql.fr
* Le forum d'entraide PostgreSQL : http://forum.postgresql.fr
* Liste d'entraide PostgreSQL : http://archives.postgresql.org/pgsql-fr-generale/
* L'association PostgreSQLFr : http://asso.postgresql.fr

== Quelques documents en français ==

=== Traductions ===

* [http://blog.postgresql.fr/index.php?post/drupal/216 Pourquoi préférer PostgreSQL à MySQL] (par Christophe Chauvet, le 24/10/2007).
* [http://blog.postgresql.fr/index.php?post/drupal/397 Sécuriser votre base PostgreSQL] (écrit par Hubert Lubaczewski, traduit par Damien Clochard, le 05/09/2007).
* [http://blog.postgresql.fr/index.php?post/drupal/105 Points à vérifier en ce qui concerne les performances de PostgreSQL 8.0] (écrit par Josh Berkus et Joe Conway, traduit par Guillaume Lelarge le 15/07/2005).
* [http://ftp.traduc.org/doc-vf/gazette-linux/html/2008/149/lg149-A.html Les bases de données par M. Deividson : les vues] (article de la Gazette Linux, écrit par M. Deividson, traduit par Florence Cousin le 14/09/2008).
* [http://ftp.traduc.org/doc-vf/gazette-linux/html/2008/150/lg150-A.html Les bases de données par M. Deividson : les procédures stockées] (article de la Gazette Linux, écrit par M. Deividson, traduit par Florence Cousin le 23/11/2008).

=== Documents originaux ===

* [http://blog.postgresql.fr/index.php?post/drupal/277 Guide d'installation rapide de PostgreSQL 8.3 sur MacOS] (par escapek le 11/02/2008).
* [http://blog.postgresql.fr/index.php?post/drupal/396 Utiliser un index pour les recherches sur des motifs tels que « colonne LIKE '%chaîne' »] et sa suite, [http://blog.postgresql.fr/index.php?post/drupal/393 Index inversé, en C] (par Thomas Reiss, respectivement le 15/07/2007 et le 05/09/2007).
* [http://wiki.guillaume.lelarge.info/trac.cgi/wiki/PostgreSQL%208.2 PostgreSQL 8.2] (par Guillaume Lelarge, le 04/03/2007).
* [http://blog.postgresql.fr/index.php?post/drupal/389 Langages de procédure : type OUT et INOUT] (par Guillaume Lelarge, le 16/12/2005).
* [http://blog.postgresql.fr/index.php?post/drupal/137 Utilisation des rôles dans PostgreSQL 8.1] (par Guillaume Lelarge, le 29/11/2005).
* [http://blog.postgresql.fr/index.php?post/drupal/113 Fiche mémoire sur PostgreSQL] (par Guillaume Lelarge, le 09/09/2005).
* [http://dalibo.org/comparatif_des_outils_de_pooling_de_connexions Comparatif entre pgPool et pgBouncer] (par Guillaume Lelarge, le 19/06/2007).
* [http://dalibo.org/les_nouveautes_de_postgresql_8.3 Les nouveautés de PostgreSQL 8.3] (par Jean-Paul Argudo, janvier 2008).
* [http://dalibo.org/slony_impact_de_la_perte_d_un_esclave Slony : Impact de la perte d'un noeud esclave] (par Cédric Villemain, novembre 2007).
* [http://scheu.developpez.com/tutoriels/postgresql/log-shipping/ Réplication de base avec PostgreSQL : le log shipping] (par Scheu, octobre 2008).
* [http://blog.postgresql.fr/index.php?post/2009/06/11/Postgresql-et-l-authentification-Apache PostgreQL et l'authentification Apache] (par Pascal Brognez, le 16/06/2009)
* [http://blog.postgresql.fr/index.php?post/2009/06/20/Guide-de-demarrage-rapide-avec-PostgreSQL Guide de démarrage rapide avec PostgreSQL] [http://blog.postgresql.fr/public/Doc%20postgresql.pdf PDF] (par Florence Cousin, le 20/06/2009).
* [http://dalibo.org/installation_de_postgresql_8.3_sous_windows Installation de PostgreSQL 8.3 sous Windows] (par Guillaume Lelarge, le 26/12/2009).
* [http://dalibo.org/installation_de_postgresql_8.4_sous_windows Installation de PostgreSQL 8.4 sous Windows] (par Guillaume Lelarge, le 29/12/2009).
* [http://blog.postgresql.fr/index.php?post/2010/06/16/Pr%C3%A9sentation-de-la-version-9.0-de-PostgreSQL2 Présentation de la version 9.0 de PostgreSQL] (par Marc Cousin, le 16/06/2010).

=== Publications ===

==== Livres consacrés à PostgreSQL ====

* [http://www.d-booker.fr/postgresql/187-architecture-et-notions-avancees.html PostgreSQL - Architecture et notions avancées], par Guillaume Lelarge, 2015, maj 2016. ISBN: 978-2-8227-0275-1
* [http://www.pearson.fr/livre/?GCOI=27440100863920 Bases de données PostgreSQL, gestion des performances], par Gregory Smith, mai 2011. ISBN: 978-2-7440-2483-2.
* [http://digitbooks.fr/catalogue/9782815001984.html Utiliser PostgreSQL], par Dominique Colombani, avril 2010. ISBN: 978-2-8150-0198-4.
* [http://editions-ellipses.fr/bases-de-donnees-de-la-modelisation-au-sql-p-7013.html Bases de données, de la modélisation au SQL], par Laurent Audibert, 2009. ISBN: 978-2-7298-5120-0.
* [http://digitbooks.fr/catalogue/9782815001809.html Installer et débuter avec PostgreSQL], par Dominique Colombani, septembre 2009. ISBN: 978-2-8150-0180-9 .
* [http://www.editions-eni.fr/Livres/PostgreSQL-Entrainez-vous-a-creer-et-programmer-une-base-de-donnees-relationnelle/.5_3a6222cf-b921-41f5-886c-c989f77ba994_93969b6a-da2e-4218-810b-d4c9d12b087f_98e0171c-08bd-47c6-83f4-4dca76936e90_1_0_d9bd8b5e-f324-473f-b1fc-b41b421c950f.html Entraînez-vous à créer et programmer une base de données relationnelle], François-Marie Colonna, novembre 2008. ISBN: 978-2-7460-4381-7.
* [http://www.editions-eni.fr/Livres/PostgreSQL---administration-et-exploitation-d-rsquoune-base-de-donnees-2eme-edition-/.5_3a6222cf-b921-41f5-886c-c989f77ba994_93969b6a-da2e-4218-810b-d4c9d12b087f_710d51ac-760b-4aeb-a66a-55d146b69983_1_0_d9bd8b5e-f324-473f-b1fc-b41b421c950f.html PostgreSQL - Administration et exploitation d’une base de données (2ème édition)], par Sébastien Lardière. ISBN: 978-2-7460-3961-2

==== Publications dans [http://www.ed-diamond.com/rubriquemagactu.php?id_rubrique=1&caracteristique=1-2-&caracdisp=2-3- GNU/Linux Magazine France] ====
* [http://ed-diamond.com/produit.php?ref=lmhs18 Hors-Série 18], « Initiation à la réplication de bases de données » (par Grégoire Lejeune et Stéphane Schildknecht, février 2004) ;
* [http://ed-diamond.com/produit.php?ref=lmhs18 Hors-Série 18], « Haute-Disponibilité sous PostgreSQL » (par Stéphane Schildknecht, février 2004) ;
* [http://www.ed-diamond.com/produit.php?produit=525 numéro 103], « [http://dalibo.org/glmf103_postgresql_8.3_quoi_de_neuf PostgreSQL 8.3 : quoi de neuf ?] » (par Guillaume Lelarge, mars 2008) ;
* [http://www.ed-diamond.com/produit.php?produit=579 numéro 105], « [http://dalibo.org/glmf105_nouvelle_gestion_des_journaux_applicatifs_avec_postgresql_8.3 Nouvelle gestion des journaux applicatifs sous PostgreSQL 8.3] » (et son [http://www.dalibo.org/glmf105_supplement supplément]) (par Guillaume Lelarge, mai 2008).
* [http://www.ed-diamond.com/produit.php?produit=585 numéro 106], « [http://dalibo.org/glmf106_les_vues_systemes_sous_postgresql_8.3 Les vues systèmes sous PostgreSQL 8.3] » (par Guillaume Lelarge, juin 2008).
* [http://www.ed-diamond.com/produit.php?produit=588 numéro 107], « [http://www.dalibo.org/glmf107_gestion_memoire_avec_postgresql Gestion mémoire sous PostgreSQL] » (par Guillaume Lelarge, juillet/août 2008).
* [http://www.ed-diamond.com/produit.php?produit=594 numéro 108], « [http://www.dalibo.org/glmf108_postgresql_et_ses_journaux_de_transactions PostgreSQL et ses journaux de transactions] » (par Guillaume Lelarge, septembre 2008).
* [http://www.ed-diamond.com/produit.php?produit=597 numéro 109], « [http://dalibo.org/glmf109_operations_de_maintenance_sous_postgresql Opérations de maintenance sous PostgreSQL] » (par Guillaume Lelarge, octobre 2008).
* [http://www.ed-diamond.com/produit.php?produit=604 numéro 111], « [http://dalibo.org/glmf111_recherche_plein_texte_avec_postgresql Recherche plein texte avec PostgreSQL 8.3] » (par Guillaume Lelarge, décembre 2008).
* [http://www.ed-diamond.com/produit.php?produit=605 numéro 112], « [http://dalibo.org/glmf112_les_processus_de_postgresql Les processus de PostgreSQL] » (par Guillaume Lelarge, janvier 2009).
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_postgresql_8.4 PostgreSQL 8.4] » (par Guillaume Lelarge, septembre 2009).
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_le_projet_postgresql Le projet PostgreSQL] » (par Guillaume Lelarge, septembre 2009).
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_installation_de_postgresql Installation de PostgreSQL] » (par Guillaume Lelarge, septembre 2009).
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_rapide_configuration_de_postgresql Rapide configuration de PostgreSQL] » (par Guillaume Lelarge, septembre 2009).
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_creer_une_base_avec_postgresql Créer une base avec PostgreSQL] » (par Guillaume Lelarge, septembre 2009).
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_pgpool_le_pooler_multitache pgPool : le pooler multitâche] » (par Guillaume Lelarge, septembre 2009).
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_pgbouncer_un_pooler_simple_mais_efficace pgBouncer : un pooler simple, mais efficace] » (par Guillaume Lelarge, septembre 2009).
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_la_replication_par_les_journaux_de_transactions La réplication par les journaux de transactions] » (par Guillaume Lelarge, septembre 2009).
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_slony_la_replication_des_donnees_par_trigger Slony : la réplication des données par trigger] » (par Guillaume Lelarge, septembre 2009).
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_londiste_la_replicaton_vue_par_skype Londiste : la réplication vue par Skype] » (par Guillaume Lelarge, septembre 2009).
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_pgpoolII_la_replication_par_duplication_des_requetes pgPool-II : la réplication par duplication des requêtes] » (par Guillaume Lelarge, septembre 2009).
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_une_synthese_et_en_route_vers_le_futur Une synthèse, et en route vers le futur] » (par Guillaume Lelarge, septembre 2009).
* [http://www.ed-diamond.com/produit.php?ref=lmhs45 Hors-série 45], « [http://www.dalibo.org/hs45_drbd_la_replication_des_blocs_disques DRBD, la réplication des blocs disques] » (par Guillaume Lelarge, décembre 2009).
* [http://www.ed-diamond.com/produit.php?ref=lmag131 numéro 131], « [http://www.dalibo.org/glmf131_mise_en_place_replication_postgresl_9.0_1 Mise en place de la réplication avec PostgreSQL 9.0 1/2] » (par Guillaume Lelarge, octobre 2010).
* [http://www.ed-diamond.com/produit.php?ref=lmag132 numéro 132], « [http://www.dalibo.org/glmf131_mise_en_place_replication_postgresl_9.0_2 Mise en place de la réplication avec PostgreSQL 9.0 2/2] » (par Guillaume Lelarge, novembre 2010).
* [http://www.ed-diamond.com/produit.php?ref=lmag134 numéro 134], « [http://www.dalibo.org/glmf134_postgresql_les_autres_nouveautes PostgreSQL 9.0, les autres nouveautés] » (par Guillaume Lelarge, janvier 2010).

=== Slides de présentation ===

* [https://github.com/postgresqlfr/pgfr_materials/blob/master/advocacy/confs/Dijon_2005/bdd_os.ppt?raw=true Les bases de données OpenSource] (par Stéphane Schildknecht, décembre 2005) ;
* [https://github.com/postgresqlfr/pgfr_materials/blob/master/advocacy/confs/Dijon_2005/PostgreSQL.ppt?raw=true Découvrons PostgreSQL] (par Stéphane Schildknecht, décembre 2005) ;
* [https://github.com/postgresqlfr/pgfr_materials/blob/master/advocacy/confs/Dijon_2005/bdd_ha.ppt?raw=true Haute-disponibilité et bases de données] (par Stéphane Schildknecht, décembre 2005) ;
* [https://github.com/postgresqlfr/pgfr_materials/blob/master/advocacy/confs/Nancy_2008/PostgreSQL.odp?raw=true Découvrons PostgreSQL] (par Stéphane Schildknecht, décembre 2008) ;
* [https://github.com/postgresqlfr/pgfr_materials/blob/master/advocacy/confs/Nancy_2008/PostgreSQLfr.odp?raw=true PostgreSQLFr] (par Stéphane Schildknecht, décembre 2008) ;
* [https://github.com/postgresqlfr/pgfr_materials/tree/master/advocacy/confs/pitr-logshipping/tutoriel-pitr_logshipping-rmll2008.odp?rev=1091&format=raw Atelier sur PITR et le LogShipping] (par Jean-Christophe Arnu, aux RMLL 2008, juillet 2008).
* [https://github.com/postgresqlfr/pgfr_materials/tree/master/advocacy/confs/plpgsql/tutoriel-plgpsql-rmll2008.odp?rev=1091&format=raw Atelier sur PL/pgsql] (par Jean-Christophe Arnu, aux RMLL 2008, juillet 2008).
* [http://dalibo.org/postgresql_et_la_haute_disponibilite PostgreSQL et la haute-disponibilité] (par Jean-Paul Argudo, avril 2009).
* [http://dalibo.org/haute_disponibilite_avec_postgresql Haute disponibilité avec PostgreSQL] (par Guillaume Lelarge, octobre 2009).
* [http://wiki.postgresql.org/wiki/PGDay.EU%2C_Paris_2009 Conférences françaises (et anglaises) lors du PGDay 2009].
* [[PG_Day_France_2018|PG Day France 2018]]
* [https://blog-postgresql.verite.pro/2018/06/29/presentation-pg-icu.html Présentation PostgreSQL avec ICU et icu_ext] (par Daniel Vérité, meetup PG Paris juin 2018)
[[Category:Français]]

Performance Analysis Tools

2020-10-27T13:19:56Z

Gleu: Make it a real bullet list

{{Languages}}

= Performance Analysis Tools =

This page is focused on tools for collecting data outside of PostgreSQL, in order to learn more about the system as a whole, about PostgreSQL's use of system resources, about things that may be bottlenecks for PostgreSQL's performance, etc.

Most of the time, the tools PostgreSQL provides internally will be more than adequate for your needs. The most important tool in your toolbox is the SQL <code>[[Using EXPLAIN|EXPLAIN]]</code> command and its <code>EXPLAIN ANALYZE</code> alternative. The <code>pg_catalog.pg_stat_activity</code> and <code>pg_catalog.pg_locks</code> views are also vital.

You can find a lot of advice about tuning PostgreSQL and the system in the [[:Category:Performance|Performance]] and [[Category:Administration|Administration]] categories of the wiki, and in [http://www.postgresql.org/docs/current/static/ the PostgreSQL manual]. If you're at a loss, see [[SlowQueryQuestions]].

== System level tools for I/O, CPU and memory usage investigation ==

Tools like `ps' with the `wchan' format specifier, `vmstat', `top', `iotop', `blktrace' + `blkparse', `btrace', `sar', alt-sysrq-t, etc can help you learn much more about what your system is doing and where things are being delayed.

On supported systems (currently Solaris and FreeBSD), `dtrace' is also a powerful tool. PostgreSQL has DTrace hooks to allow you to investigate its internal workings and performance as well as that of the operating system it is running on.

Windows users will want to look into [http://technet.microsoft.com/en-us/sysinternals/bb896645.aspx Process Monitor], [http://technet.microsoft.com/en-us/sysinternals/bb896653.aspx Process Explorer], and [http://technet.microsoft.com/en-us/sysinternals/bb896642.aspx FileMon] from the [http://technet.microsoft.com/en-us/sysinternals/default.aspx SysInternals] suite.

== Unix/Linux tools ==

=== ps ===

The "wchan" option is really useful for seeing what a process that's in 'D' state (uninterruptable sleep in kernel system call) is actually doing. eg:

<pre>
ps -e -o pid,ppid,wchan:60,cmd | grep post
</pre>

You'll need to go digging in the kernel sources, use Google, or nut it out to figure what the value shown in the <code>wchan</code> field means.

=== vmstat ===

<code>vmstat</code> can give you useful overview information about CPU, disk and memory activity at a system wide level. It's most useful when updating continuously, eg:

<pre>
vmstat 1
</pre>

or

<pre>
vmstat 60
</pre>

(the number is in seconds).

Output looks like:

<pre>
$ vmstat 1
procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
r b swpd free buff cache si so bi bo in cs us sy id wa
0 0 4144 242088 707752 2307192 0 0 0 26 71 73 2 1 97 1
0 0 4144 242080 707752 2307220 0 0 0 0 944 1917 2 1 97 0
0 0 4144 241956 707752 2307220 0 0 0 64 772 1579 1 1 98 0
</pre>

=== top ===

Like vmstat, gives you some system overview info, though isn't as useful for disk information. Quite configurable.

Don't be fooled by the "used" and "free" memory values. The real memory in use is actually (roughly) the value in "used" minus the value in "buffers", since "buffers" includes the kernel's disk cache. The kernel will use most of the free memory for disk cache, but will shrink that cache as required to fit other things into memory. After all, truly free memory is wasted memory that does you no good.

=== free ===

Shows free and used memory, system-wide.

<pre>
$ free -m
total used free shared buffers cached
Mem: 3960 3726 234 0 721 2252
-/+ buffers/cache: 752 3208
Swap: 2070 4 2066
</pre>

The "free" value beside "-/+ buffers/cache" is the one you should generally consider the "real" amount of free memory in the system. The "-m" flag asks for values in megabytes.

=== sar ===

Process accounting. See the man page.

=== gdb ===

Why is a debugger listed in performance analysis tools?

Because sometimes, attaching a debugger to a backend, interrupting the backend periodically to get a backtrace, and then trying to figure out what on earth it's up to is a helpful way to track down an issue.

See [[Generating a stack trace of a PostgreSQL_backend]]

=== Wireshark, tshark, and tcpdump ===

These tools are for monitoring and analysis of traffic on a network interface. If you can't figure out what's keeping your network interface pegged, they might help you figure out what data is being transmitted/received.

=== pktstat ===

A top-like utility for network interfaces. Doesn't, alas, show process IDs or names, but you can figure those out from source and destination port information. Handy for tracking down a backend that's flooding the interface with traffic.

== Linux-only tools ==

=== atop ===

[https://www.atoptool.nl/ Atop] is an ASCII full-screen performance monitor for Linux that is capable of reporting the activity of all processes (even if processes have finished during the interval), daily logging of system and process activity for long-term analysis, highlighting overloaded system resources by using colors, etc. At regular intervals, it shows system-level activity related to the CPU, memory, swap, disks (including LVM) and network layers, and for every process (and thread) it shows e.g. the CPU utilization, memory growth, disk utilization, priority, username, state, and exit code.

=== iostat ===

Provides summary information about I/O activity and load on block devices in the system. Doesn't provide information about what processes are responsible for the load, but produces short and easily read output in real time. Like vmstat, most usefully used in continuous mode, eg "iostat 1".

See the man page for details.

=== blktrace, blkparse and btrace ===

These are tools to get very low level information about the activity on a given block device, what process(es) are causing that activity, and what they're doing. It produces a huge amount of information, but can be filtered somewhat. It takes a bit of thought to interpret, but can be great for those "what the hell is thrashing my disk" moments.

Because of the bgwriter and wal writer, it's not usually easy to see what PostgreSQL backends are keeping a disk busy with writes. It's still good for tracking down heavy read loads and figuring out what backend (and, thus, query - via the <code>pg_catalog.pg_stat_activity</code>) is responsible.

Output looks like this:

<pre>
9,1 0 246 11.339004193 1383 U N [postgres] 0
9,1 0 247 11.340029833 1383 A R 118356256 + 96 <- (252,3) 34469792
9,1 0 248 11.340030339 1383 Q R 118356256 + 96 [postgres]
9,1 0 249 11.340054022 1383 A R 118356352 + 128 <- (252,3) 34469888
9,1 0 250 11.340054341 1383 Q R 118356352 + 128 [postgres]
9,1 0 251 11.340062014 1383 A R 118356480 + 32 <- (252,3) 34470016
9,1 0 252 11.340062367 1383 Q R 118356480 + 32 [postgres]
</pre>

... plus a handy summary at the end.

=== strace ===

<code>strace</code> is a useful tool that can attach to a process and report all the system calls that process makes, including arguments to those system calls. It's great for figuring out what files a process opens, or if it's waiting for something, etc.

Useful interpretation requires some C programming knowledge and some idea about POSIX APIs.

(Note that other systems have similar tools with different names - for example, some BSDs have <code>truss</code>).

=== oprofile ===

Probably not useful for general users, but a handy tool if you have something within Pg or a library used by Pg that's running strangely slowly and you don't know why.

[[Profiling with OProfile]]

=== alt-sysrq-t ===

The "magic sysrq key". Mainly useful for tracking down processes mysteriously stuck in 'D' state in the kernel, ie hung in a system call, since it will output a stack trace of the kernel stack for all processes in the system. Mostly used when trying to figure out whether Pg is having problems due to a kernel bug, hardware issue, file system bug, etc.

Must be enabled with 'sysctl -w kernel.sysrq=1' before it can be used.

=== DTrace ===

See separate [[DTrace]] page.

== Windows tools ==

=== [http://technet.microsoft.com/en-us/sysinternals/bb896645.aspx Process Monitor] ===

=== [http://technet.microsoft.com/en-us/sysinternals/bb896653.aspx Process Explorer] ===

===[http://technet.microsoft.com/en-us/sysinternals/bb896642.aspx FileMon] ===

== PostgreSQL-centric performance tools ==

=== pgBadger ===

[https://pgbadger.darold.net/ pgBadger] is a PostgreSQL log analyzer build for speed with fully detailed reports from your PostgreSQL log file.

=== PoWA ===

[https://powa.readthedocs.io PoWA] (PostgreSQL Workload Analyzer) is a performance tool for PostgreSQL allowing to collect, aggregate and purge statistics on multiple PostgreSQL instances from various Stats Extensions ([https://www.postgresql.org/docs/current/static/pgstatstatements.html pg_stat_statements],[https://github.com/powa-team/pg_qualstats pg_qualstats],[https://github.com/powa-team/pg_stat_kcache pg_stat_kcache], [https://github.com/postgrespro/pg_wait_sampling/ pg_wait_sampling]).

== Web tools ==

=== Explain Depesz ===

Paste your explain analyze plan, and see the output. You can click on column headers to let it know which parameter is the most important for you – exclusive node time, inclusive node time, or rowcount mis-estimate.

https://explain.depesz.com/

=== Postgres EXPLAIN Visualiser (Pev) ===

Pev is designed to make Postgres query plans easier to grok. It displays a plan as a tree, with each node representing a step that takes in a row set and produces another.

http://tatiyants.com/pev/

=== Postgres EXPLAIN Visualiser 2 (Pev2) ===

This project is a rewrite of the excellent Postgres Explain Visualizer (pev).

The pev project was initially written in early 2016 but seems to be abandoned since then. There was no activity at all for more than 4 years and counting though there are several issues open and relevant pull requests pending.

The current project has several goals:

* isolate the plan view component and its dependencies in order to use it in any web app with for example the ability to load a plan without requiring any copy-paste from the user,
* make it work with recent version of JS frameworks,
* upgrade Bootstrap to a more recent version,
* use VueJS just for a matter of taste,
* maintain the project to match upgrades in PostgreSQL.

https://explain.dalibo.com/ (GitHub project on https://github.com/dalibo/pev2/)

=== pgMustard ===

pgMustard visualises EXPLAIN output and gives tips on what to do to speed up your query.

https://www.pgmustard.com/

[[Category:Performance]] [[Category:Administration]]

Page originally by --[[User:Ringerc|Ringerc]] 07:26, 26 November 2009 (UTC)

Performance Analysis Tools

2020-10-27T13:19:11Z

Gleu: Add another URL for the pev2 tool

Performance Analysis Tools

2020-10-27T12:45:51Z

Gleu: Add pev2 tool

{{Languages}}

= Performance Analysis Tools =

This page is focused on tools for collecting data outside of PostgreSQL, in order to learn more about the system as a whole, about PostgreSQL's use of system resources, about things that may be bottlenecks for PostgreSQL's performance, etc.

Most of the time, the tools PostgreSQL provides internally will be more than adequate for your needs. The most important tool in your toolbox is the SQL <code>[[Using EXPLAIN|EXPLAIN]]</code> command and its <code>EXPLAIN ANALYZE</code> alternative. The <code>pg_catalog.pg_stat_activity</code> and <code>pg_catalog.pg_locks</code> views are also vital.

You can find a lot of advice about tuning PostgreSQL and the system in the [[:Category:Performance|Performance]] and [[Category:Administration|Administration]] categories of the wiki, and in [http://www.postgresql.org/docs/current/static/ the PostgreSQL manual]. If you're at a loss, see [[SlowQueryQuestions]].

== System level tools for I/O, CPU and memory usage investigation ==

Tools like `ps' with the `wchan' format specifier, `vmstat', `top', `iotop', `blktrace' + `blkparse', `btrace', `sar', alt-sysrq-t, etc can help you learn much more about what your system is doing and where things are being delayed.

On supported systems (currently Solaris and FreeBSD), `dtrace' is also a powerful tool. PostgreSQL has DTrace hooks to allow you to investigate its internal workings and performance as well as that of the operating system it is running on.

Windows users will want to look into [http://technet.microsoft.com/en-us/sysinternals/bb896645.aspx Process Monitor], [http://technet.microsoft.com/en-us/sysinternals/bb896653.aspx Process Explorer], and [http://technet.microsoft.com/en-us/sysinternals/bb896642.aspx FileMon] from the [http://technet.microsoft.com/en-us/sysinternals/default.aspx SysInternals] suite.

== Unix/Linux tools ==

=== ps ===

The "wchan" option is really useful for seeing what a process that's in 'D' state (uninterruptable sleep in kernel system call) is actually doing. eg:

<pre>
ps -e -o pid,ppid,wchan:60,cmd | grep post
</pre>

You'll need to go digging in the kernel sources, use Google, or nut it out to figure what the value shown in the <code>wchan</code> field means.

=== vmstat ===

<code>vmstat</code> can give you useful overview information about CPU, disk and memory activity at a system wide level. It's most useful when updating continuously, eg:

<pre>
vmstat 1
</pre>

or

<pre>
vmstat 60
</pre>

(the number is in seconds).

Output looks like:

<pre>
$ vmstat 1
procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
r b swpd free buff cache si so bi bo in cs us sy id wa
0 0 4144 242088 707752 2307192 0 0 0 26 71 73 2 1 97 1
0 0 4144 242080 707752 2307220 0 0 0 0 944 1917 2 1 97 0
0 0 4144 241956 707752 2307220 0 0 0 64 772 1579 1 1 98 0
</pre>

=== top ===

Like vmstat, gives you some system overview info, though isn't as useful for disk information. Quite configurable.

Don't be fooled by the "used" and "free" memory values. The real memory in use is actually (roughly) the value in "used" minus the value in "buffers", since "buffers" includes the kernel's disk cache. The kernel will use most of the free memory for disk cache, but will shrink that cache as required to fit other things into memory. After all, truly free memory is wasted memory that does you no good.

=== free ===

Shows free and used memory, system-wide.

<pre>
$ free -m
total used free shared buffers cached
Mem: 3960 3726 234 0 721 2252
-/+ buffers/cache: 752 3208
Swap: 2070 4 2066
</pre>

The "free" value beside "-/+ buffers/cache" is the one you should generally consider the "real" amount of free memory in the system. The "-m" flag asks for values in megabytes.

=== sar ===

Process accounting. See the man page.

=== gdb ===

Why is a debugger listed in performance analysis tools?

Because sometimes, attaching a debugger to a backend, interrupting the backend periodically to get a backtrace, and then trying to figure out what on earth it's up to is a helpful way to track down an issue.

See [[Generating a stack trace of a PostgreSQL_backend]]

=== Wireshark, tshark, and tcpdump ===

These tools are for monitoring and analysis of traffic on a network interface. If you can't figure out what's keeping your network interface pegged, they might help you figure out what data is being transmitted/received.

=== pktstat ===

A top-like utility for network interfaces. Doesn't, alas, show process IDs or names, but you can figure those out from source and destination port information. Handy for tracking down a backend that's flooding the interface with traffic.

== Linux-only tools ==

=== atop ===

[https://www.atoptool.nl/ Atop] is an ASCII full-screen performance monitor for Linux that is capable of reporting the activity of all processes (even if processes have finished during the interval), daily logging of system and process activity for long-term analysis, highlighting overloaded system resources by using colors, etc. At regular intervals, it shows system-level activity related to the CPU, memory, swap, disks (including LVM) and network layers, and for every process (and thread) it shows e.g. the CPU utilization, memory growth, disk utilization, priority, username, state, and exit code.

=== iostat ===

Provides summary information about I/O activity and load on block devices in the system. Doesn't provide information about what processes are responsible for the load, but produces short and easily read output in real time. Like vmstat, most usefully used in continuous mode, eg "iostat 1".

See the man page for details.

=== blktrace, blkparse and btrace ===

These are tools to get very low level information about the activity on a given block device, what process(es) are causing that activity, and what they're doing. It produces a huge amount of information, but can be filtered somewhat. It takes a bit of thought to interpret, but can be great for those "what the hell is thrashing my disk" moments.

Because of the bgwriter and wal writer, it's not usually easy to see what PostgreSQL backends are keeping a disk busy with writes. It's still good for tracking down heavy read loads and figuring out what backend (and, thus, query - via the <code>pg_catalog.pg_stat_activity</code>) is responsible.

Output looks like this:

<pre>
9,1 0 246 11.339004193 1383 U N [postgres] 0
9,1 0 247 11.340029833 1383 A R 118356256 + 96 <- (252,3) 34469792
9,1 0 248 11.340030339 1383 Q R 118356256 + 96 [postgres]
9,1 0 249 11.340054022 1383 A R 118356352 + 128 <- (252,3) 34469888
9,1 0 250 11.340054341 1383 Q R 118356352 + 128 [postgres]
9,1 0 251 11.340062014 1383 A R 118356480 + 32 <- (252,3) 34470016
9,1 0 252 11.340062367 1383 Q R 118356480 + 32 [postgres]
</pre>

... plus a handy summary at the end.

=== strace ===

<code>strace</code> is a useful tool that can attach to a process and report all the system calls that process makes, including arguments to those system calls. It's great for figuring out what files a process opens, or if it's waiting for something, etc.

Useful interpretation requires some C programming knowledge and some idea about POSIX APIs.

(Note that other systems have similar tools with different names - for example, some BSDs have <code>truss</code>).

=== oprofile ===

Probably not useful for general users, but a handy tool if you have something within Pg or a library used by Pg that's running strangely slowly and you don't know why.

[[Profiling with OProfile]]

=== alt-sysrq-t ===

The "magic sysrq key". Mainly useful for tracking down processes mysteriously stuck in 'D' state in the kernel, ie hung in a system call, since it will output a stack trace of the kernel stack for all processes in the system. Mostly used when trying to figure out whether Pg is having problems due to a kernel bug, hardware issue, file system bug, etc.

Must be enabled with 'sysctl -w kernel.sysrq=1' before it can be used.

=== DTrace ===

See separate [[DTrace]] page.

== Windows tools ==

=== [http://technet.microsoft.com/en-us/sysinternals/bb896645.aspx Process Monitor] ===

=== [http://technet.microsoft.com/en-us/sysinternals/bb896653.aspx Process Explorer] ===

===[http://technet.microsoft.com/en-us/sysinternals/bb896642.aspx FileMon] ===

== PostgreSQL-centric performance tools ==

=== pgBadger ===

[https://pgbadger.darold.net/ pgBadger] is a PostgreSQL log analyzer build for speed with fully detailed reports from your PostgreSQL log file.

=== PoWA ===

[https://powa.readthedocs.io PoWA] (PostgreSQL Workload Analyzer) is a performance tool for PostgreSQL allowing to collect, aggregate and purge statistics on multiple PostgreSQL instances from various Stats Extensions ([https://www.postgresql.org/docs/current/static/pgstatstatements.html pg_stat_statements],[https://github.com/powa-team/pg_qualstats pg_qualstats],[https://github.com/powa-team/pg_stat_kcache pg_stat_kcache], [https://github.com/postgrespro/pg_wait_sampling/ pg_wait_sampling]).

== Web tools ==

=== Explain Depesz ===

Paste your explain analyze plan, and see the output. You can click on column headers to let it know which parameter is the most important for you – exclusive node time, inclusive node time, or rowcount mis-estimate.

https://explain.depesz.com/

=== Postgres EXPLAIN Visualiser (Pev) ===

Pev is designed to make Postgres query plans easier to grok. It displays a plan as a tree, with each node representing a step that takes in a row set and produces another.

http://tatiyants.com/pev/

=== Postgres EXPLAIN Visualiser 2 (Pev2) ===

This project is a rewrite of the excellent Postgres Explain Visualizer (pev).

The pev project was initially written in early 2016 but seems to be abandoned since then. There was no activity at all for more than 4 years and counting though there are several issues open and relevant pull requests pending.

The current project has several goals:

* isolate the plan view component and its dependencies in order to use it in any web app with for example the ability to load a plan without requiring any copy-paste from the user,
* make it work with recent version of JS frameworks,
* upgrade Bootstrap to a more recent version,
* use VueJS just for a matter of taste,
* maintain the project to match upgrades in PostgreSQL.

https://github.com/dalibo/pev2/

=== pgMustard ===

pgMustard visualises EXPLAIN output and gives tips on what to do to speed up your query.

https://www.pgmustard.com/

[[Category:Performance]] [[Category:Administration]]

Page originally by --[[User:Ringerc|Ringerc]] 07:26, 26 November 2009 (UTC)

PostgreSQL Conference Europe Talks 2016

2016-11-18T17:15:53Z

Gleu: Add TomTom's slides

pgconf.eu 2016 took place in Tallinn, Estonia, from 2016-11-01 to 2016-11-04.

== Tuesday (Trainings) ==

{| class="wikitable"
|Time||Room||Trainer||Title (Link to slides)
|+
| 09:00 - 17:00 || Alfa 2 || Petr Jelinek, Simon Riggs || PostgreSQL Replication & Upgrades
|}

== Wednesday ==

{| class="wikitable"
|Time||Room||Speaker||Title (Link to slides)
|+
| 09:30 - 10:20 || Alfa 2 || Devrim Gündüz || [https://www.gunduz.org/download.php?dlid=219 PostgreSQL Upgrades: Why and How?]
|-
| 11:10 - 12:00 || Alfa 1 || Christophe Pettus || [http://thebuild.com/presentations/pgconfeu-2016-vax.pdf Unclogging the VACUUM]
|-
| 11:10 - 12:00 || Alfa 2 || David Steele || [https://github.com/dwsteele/conference/blob/release/PostgresPatchReview-PGConfEU-2016/slides/slides.pdf Reviewing PostgreSQL Patches for Fun and Profit]
|-
| 11:10 - 12:00 || Omega || Chinh Nguyen, Neeran Gul || [[Media:Nguyen and Gul - PGConf.EU 2016.pdf|PostgreSQL in production at Yammer]]
|-
| 12:10 - 13:00 || Alfa 1 || Petr Jelinek || [[Media:Pglogical-tallinn-2016-petr-jelinek.pdf|Logical Replication in PostgreSQL]]
|-
| 12:10 - 13:00 || Omega || Stella Nisenbaum || [[Media:SNisenbaum_Yello_Becoming_A_SQL_Guru.pdf‎|Becoming A SQL Guru]]
|-
| 14:00 - 14:50 || Alfa 2 || Federico Campoli || [http://www.slideshare.net/FedericoCampoli/life-on-arollercoaster Life on a rollercoaster]
|-
| 14:00 - 14:50 || Omega || Alexander Korotkov || [http://www.slideshare.net/AlexanderKorotkov/the-future-is-csn The future is CSN]
|-
| 15:00 - 15:50 || Omega || Stas Kelvich || [http://www.slideshare.net/kelvich/multimaster Multi-master replication and fault tolerance]
|-
| 15:00 - 15:50 || Alfa 2 || Andreas Seltenreich || [https://korte.credativ.com/~ase/sqlsmith-talk.pdf Hunting PostgreSQL bugs with SQLsmith]
|-

| 15:00 - 15:50 || Alfa 1 || Giuseppe Broccolo || [http://www.slideshare.net/GiuseppeBroccolo/gbroccolo-pgconfeu2016-pgnfs PostgreSQL & NFS: myths & truths]
|-

| 16:20 - 17:10 || Alfa 2 || Jehan-Guillaume (ioguix) de Rorthais || [http://www.dalibo.org/_media/2016-pgconfeu-paf.html.gz PAF: auto failover and more!]
|-
| 16:20 - 17:10 || Omega || Tomasz "LAFK_pl" Borek || [http://www.slideshare.net/TomekBorek/teaching-postgresql-to-new-people Teaching PostgreSQL to new people]
|-
| 17:20 - 18:10 || Alfa 1 || Amit Kapila || [[Media:Parallel-query-in-postgresql.pdf|Parallel Query In PostgreSQL!]]
|-
| 17:20 - 18:10 || Alfa 2 || Emre Hasegeli || [http://www.slideshare.net/EmreHasegeli/managing-thousands-of-databases Managing Thousands of Databases]
|-
| 17:20 - 18:10 || Omega || Michał Gutkowski, Rafal Hawrylak || [[Media:Postgresql at Tomtom - lessons learned.pdf|PostgreSQL in TomTom - lessons learned]]
|}

== Thursday ==

{| class="wikitable"
|Time||Room||Speaker||Title (Link to slides)
|-
| 09:30 - 10:20 || Omega || Anastasia Lubennikova, Konstantin || [http://garret.ru/PageLevelCompression.pdf Page level compression and encryption in Postgres]
|+
| 11:50 - 12:40 || Alfa 1 || Christoph Moench-Tegeder || [[Media:Pgconfeu_2016_benchmarkinvalid.pdf‎|Your Benchmark is Invalid]]
|+
| 11:50 - 12:40 || Alfa 2 || Giuseppe Broccolo & Julien Rouhaud || [http://www.dalibo.org/_media/gbroccolo_jrouhaud_pgconfeu2016_brin4postgis.pdf BRIN indexes on geospatial databases]
|+
| 12:50 - 13:40 || Alfa 1 || Markus Winand || [http://modern-sql.com/slides Modern SQL in open source and commercial databases]
|+
| 12:50 - 13:40 || Alfa 2 || Honza Horak || [[Media:161031_pgconf_databases_containers.pdf|Database Containers Made by Distributions]]
|+
| 14:40 - 15:30 || Alfa 1 || Christophe Pettus || [http://thebuild.com/presentations/pgconfeu-2016-securing-postgresql.pdf Securing PostgreSQL]
|+
| 14:40 - 15:30 || Omega || Alexey Papulovskiy || [http://papulovskiy.github.io/pgconfeu2016/ A billion rows pet-project on a desktop hardware]
|+
| 15:40 - 16:30 || Alfa 2 || Cédric Villemain || [[Media:2ndQUadrant Datastore xa.pdf|Transactions across multiple datastores]]
|+
| 15:40 - 16:30 || Omega || Khushboo Vashi || [[Media:Why_pgAdmin_4%3F.pdf|Why pgAdmin 4?]]
|}

== Friday ==

{| class="wikitable"
|Time||Room||Speaker||Title (Link to slides)
|+
| 09:30 - 10:20 || Omega || Oleg Bartunov, Artur Zakirov || [http://www.slideshare.net/ArthurZakirov1/better-full-text-search-in-postgresql Better Full Text Search in PostgreSQL]
|-
| 09:30 - 10:20 || Alfa 2 || Jan Wieck || [[:File:plprofiler_2016-11-03.pdf|Peeking into the black hole called PL/pgSQL - The new PL profiler]]
|-
| 09:30 - 10:20 || Alfa 1 || Bruce Momjian || [http://momjian.us/main/writings/pgsql/central.pdf Making Postgres Central in Your Data Center]
|-
| 10:50 - 11:40 || Alfa 2 || Vik Fearing || [[:File:Lateral_tallinn.pdf|How Did We Live Without LATERAL?]]
|-
| 10:50 - 11:40 || Omega || Mladen Marinović || [https://bitbucket.org/marin/pgconfeu2016/raw/f1e342a8904d12bb83b862329948393fd535f605/Dont't%20Touch%20that%20Parameter.pdf Don’t Touch that Parameter]
|-
| 11:50 - 12:40 || Alfa 1 || David Steele || [https://github.com/dwsteele/conference/blob/release/AuditLogging-PGConfEU-2016/slides.pdf Audit Logging for PostgreSQL]
|-
| 11:50 - 12:40 || Alfa 2 || Alexey Lesovsky || [http://www.slideshare.net/alexeylesovsky/manage-postgresql-with-pgcenter Managing PostgreSQL with pgCenter]
|-
| 10:50 - 11:40 || Omega || Martin Pihlak || [[Media:postgresql-at-skype.pdf|PostgreSQL@Skype / The Untold]]
|-
| 13:40 - 14:30 || Omega || Cédric Villemain || [[Media:2ndQuadrant Stats talk.pdf|A close look at stats: what you can do with them !]]
|-
| 13:40 - 14:30 || Alfa 1 || Stefanie Janine Stölting || [https://github.com/sjstoelting/talks/tree/master/one-database-to-rule-em-all.pgconfeu-2016 One Database to Rule 'em all]
|-
| 13:40 - 14:30 || Alfa 2 || Gülçin Yıldırım || [http://slides.com/apatheticmagpie/ft-in-postgres Evolution of Fault Tolerance in PostgreSQL]
|}

[[Category:PostgreSQL Events]]
[[Category:PostgreSQL Europe]]

File:Postgresql at Tomtom - lessons learned.pdf

2016-11-18T17:15:43Z

Gleu:

PostgreSQL Conference Europe Talks 2016

2016-11-12T10:51:49Z

Gleu: Add Tomasz' slides

pgconf.eu 2016 took place in Tallinn, Estonia, from 2016-11-01 to 2016-11-04.

== Tuesday (Trainings) ==

{| class="wikitable"
|Time||Room||Trainer||Title (Link to slides)
|+
| 09:00 - 17:00 || Alfa 2 || Petr Jelinek, Simon Riggs || PostgreSQL Replication & Upgrades
|}

== Wednesday ==

{| class="wikitable"
|Time||Room||Speaker||Title (Link to slides)
|+
| 09:30 - 10:20 || Alfa 2 || Devrim Gündüz || [https://www.gunduz.org/download.php?dlid=219 PostgreSQL Upgrades: Why and How?]
|-
| 11:10 - 12:00 || Alfa 1 || Christophe Pettus || [http://thebuild.com/presentations/pgconfeu-2016-vax.pdf Unclogging the VACUUM]
|-
| 11:10 - 12:00 || Alfa 2 || David Steele || [https://github.com/dwsteele/conference/blob/release/PostgresPatchReview-PGConfEU-2016/slides/slides.pdf Reviewing PostgreSQL Patches for Fun and Profit]
|-
| 11:10 - 12:00 || Omega || Chinh Nguyen, Neeran Gul || [[Media:Nguyen and Gul - PGConf.EU 2016.pdf|PostgreSQL in production at Yammer]]
|-
| 12:10 - 13:00 || Alfa 1 || Petr Jelinek || [[Media:Pglogical-tallinn-2016-petr-jelinek.pdf|Logical Replication in PostgreSQL]]
|-
| 12:10 - 13:00 || Omega || Stella Nisenbaum || [[Media:SNisenbaum_Yello_Becoming_A_SQL_Guru.pdf‎|Becoming A SQL Guru]]
|-
| 14:00 - 14:50 || Alfa 2 || Federico Campoli || [http://www.slideshare.net/FedericoCampoli/life-on-arollercoaster Life on a rollercoaster]
|-
| 14:00 - 14:50 || Omega || Alexander Korotkov || [http://www.slideshare.net/AlexanderKorotkov/the-future-is-csn The future is CSN]
|-
| 15:00 - 15:50 || Omega || Stas Kelvich || [http://www.slideshare.net/kelvich/multimaster Multi-master replication and fault tolerance]
|-
| 15:00 - 15:50 || Alfa 2 || Andreas Seltenreich || [https://korte.credativ.com/~ase/sqlsmith-talk.pdf Hunting PostgreSQL bugs with SQLsmith]
|-
| 16:20 - 17:10 || Alfa 2 || Jehan-Guillaume (ioguix) de Rorthais || [http://www.dalibo.org/_media/2016-pgconfeu-paf.html.gz PAF: auto failover and more!]
|-
| 16:20 - 17:10 || Omega || Tomasz "LAFK_pl" Borek || [http://www.slideshare.net/TomekBorek/teaching-postgresql-to-new-people Teaching PostgreSQL to new people]
|-
| 17:20 - 18:10 || Alfa 1 || Amit Kapila || [[Media:Parallel-query-in-postgresql.pdf|Parallel Query In PostgreSQL!]]
|-
| 17:20 - 18:10 || Alfa 2 || Emre Hasegeli || [http://www.slideshare.net/EmreHasegeli/managing-thousands-of-databases Managing Thousands of Databases]
|}

== Thursday ==

{| class="wikitable"
|Time||Room||Speaker||Title (Link to slides)
|-
| 09:30 - 10:20 || Omega || Anastasia Lubennikova, Konstantin || [http://garret.ru/PageLevelCompression.pdf Page level compression and encryption in Postgres]
|+
| 11:50 - 12:40 || Alfa 2 || Giuseppe Broccolo & Julien Rouhaud || [http://www.dalibo.org/_media/gbroccolo_jrouhaud_pgconfeu2016_brin4postgis.pdf BRIN indexes on geospatial databases]
|+
| 12:50 - 13:40 || Alfa 1 || Markus Winand || [http://modern-sql.com/slides Modern SQL in open source and commercial databases]
|+
| 12:50 - 13:40 || Alfa 2 || Honza Horak || [[Media:161031_pgconf_databases_containers.pdf|Database Containers Made by Distributions]]
|+
| 14:40 - 15:30 || Alfa 1 || Christophe Pettus || [http://thebuild.com/presentations/pgconfeu-2016-securing-postgresql.pdf Securing PostgreSQL]
|+
| 14:40 - 15:30 || Omega || Alexey Papulovskiy || [http://papulovskiy.github.io/pgconfeu2016/ A billion rows pet-project on a desktop hardware]
|+
| 15:40 - 16:30 || Alfa 2 || Cédric Villemain || [[Media:2ndQUadrant Datastore xa.pdf|Transactions across multiple datastores]]
|+
| 15:40 - 16:30 || Omega || Khushboo Vashi || [[Media:Why_pgAdmin_4%3F.pdf|Why pgAdmin 4?]]
|}

== Friday ==

{| class="wikitable"
|Time||Room||Speaker||Title (Link to slides)
|+
| 09:30 - 10:20 || Omega || Oleg Bartunov, Artur Zakirov || [http://www.slideshare.net/ArthurZakirov1/better-full-text-search-in-postgresql Better Full Text Search in PostgreSQL]
|-
| 09:30 - 10:20 || Alfa 2 || Jan Wieck || [[:File:plprofiler_2016-11-03.pdf|Peeking into the black hole called PL/pgSQL - The new PL profiler]]
|-
| 09:30 - 10:20 || Alfa 1 || Bruce Momjian || [http://momjian.us/main/writings/pgsql/central.pdf Making Postgres Central in Your Data Center]
|-
| 10:50 - 11:40 || Alfa 2 || Vik Fearing || [[:File:Lateral_tallinn.pdf|How Did We Live Without LATERAL?]]
|-
| 11:50 - 12:40 || Alfa 1 || David Steele || [https://github.com/dwsteele/conference/blob/release/AuditLogging-PGConfEU-2016/slides.pdf Audit Logging for PostgreSQL]
|-
| 11:50 - 12:40 || Alfa 2 || Alexey Lesovsky || [http://www.slideshare.net/alexeylesovsky/manage-postgresql-with-pgcenter Managing PostgreSQL with pgCenter]
|-
| 10:50 - 11:40 || Omega || Martin Pihlak || [[Media:postgresql-at-skype.pdf|PostgreSQL@Skype / The Untold]]
|-
| 13:40 - 14:30 || Omega || Cédric Villemain || [[Media:2ndQuadrant Stats talk.pdf|A close look at stats: what you can do with them !]]
|-
| 13:40 - 14:30 || Alfa 2 || Gülçin Yıldırım || [http://slides.com/apatheticmagpie/ft-in-postgres Evolution of Fault Tolerance in PostgreSQL]
|}

PostgreSQL Conference Europe Talks 2016

2016-11-09T21:11:26Z

Gleu: Add Amit's slides

File:Parallel-query-in-postgresql.pdf

2016-11-09T21:10:58Z

Gleu:

PostgreSQL Conference Europe Talks 2016

2016-11-09T20:32:46Z

Gleu: Add both C. Pettus' slides

PostgreSQL Conference Europe Talks 2016

2016-11-07T20:50:24Z

Gleu: Add Alexey Papulovskiy slides

PostgreSQL Conference Europe Talks 2016

2016-11-07T20:46:47Z

Gleu: Add Chinh Nguyen slides

PostgreSQL Conference Europe Talks 2016

2016-11-07T20:43:46Z

Gleu: Add Chinh Nguyen slides

File:Nguyen and Gul - PGConf.EU 2016.pdf

2016-11-07T20:39:43Z

Gleu:

File:161031 pgconf databases containers.pdf

2016-11-07T20:32:07Z

Gleu:

PostgreSQL Conference Europe Talks 2016

2016-11-07T20:28:48Z

Gleu: add Honzo Horak slides

PostgreSQL Conference Europe Talks 2014

2015-10-27T15:13:34Z

Gleu:

= PostgreSQL Conference Europe 2014 Talks =

== Conference Website ==

http://2014.pgconf.eu/

== Trainings: Tuesday 21st October, 2014 ==

=== Medici II ===

* Rendimiento: el bueno, el malo y el feo, Álvaro Herrera

=== Medici III ===

* [http://www.joeconway.com/presentations/migrating-pgconf.eu.2014.pdf Migration to PostgreSQL], Joe Conway, Michael Meskes
* [http://www.slideshare.net/nosys/using-postgre-sqljavapgcon2014 PostgreSQL and Java: best practices] + [https://github.com/8kdata/javapostgres Source code] ([https://twitter.com/ahachete Álvaro Hernández])

=== Renacimiento I ===

* Data analysis, Hans-Jürgen Schönig
* [https://wiki.postgresql.org/images/d/de/NoSQL_training_-_pgconf.eu.pdf NoSQL on Acid – Maximizing Results with JSONB and PostgreSQL], Bruce Momjian, Thom Brown

=== Florencia II ===

* PostgreSQL Backups, Replication & Disaster Recovery, Simon Riggs

== Talks: Wednesday 22nd October, 2014 ==

=== Keynote ===

* Not Only NoSQL: A Case for NoSQL + PostgreSQL in a Big Data World, Matt Asay

=== Medici I ===

* [https://docs.google.com/presentation/d/1TV0bExFwVy-_d6C7A8Z2JL9Z9tvtkuZv3D58fkC3GWQ/edit?usp=sharing ALTER DATABASE ADD SANITY (google presentation)], Alexey Klyukin

* [http://www.hagander.net/talks/postgresql94_2.pdf What's new in PostgreSQL 9.4], Magnus Hagander

* [http://www.joeconway.com/presentations/test-pres-pgconf.eu.2014.pdf Who's the Fairest of Them All? Postgres Interface Performance], Joe Conway

* [http://momjian.us/main/presentations/overview.html#scaling Postgres Scaling Opportunities], Bruce Momjian

* Row Level Security, Stephen Frost

* [https://s3.amazonaws.com/presentations.citusdata.com/cstore_fdw-pgconfeu-2014.pdf cstore_fdw, a columnar store for PostgreSQL] Ben Redman

=== Medici III (Spanish track) ===

* [http://folk.uio.no/rafael/pgconfeu2014/el_guardian_del_tesoro_pgconfeu2014.pdf El guardian del tesoro / The Guardian Of The Treasure], Rafael Martinez Guerrero

* Desmitificando la búsqueda de Postgresql, Javier ramirez

* [http://www.slideshare.net/ae_bm/postgres-40626330 Experiencias con PostgreSQL en AWS], Alejandro E. Brito Monedero

* Características para Inteligencia de Negocios en Postgres, Álvaro Herrera

* Almacenamiento de archivos en PostgreSQL: pros y contras, Martín Marqués

* Domando a la bestia "replicación", Jaime Casanova

=== Renacimiento I ===

* [[Media: Autovacuum_pgconfeu_gorthx.pdf‎|(Auto)Vacuum and You]], Gabrielle Roth

* [[Media: Performance-archaeology.pdf‎|Performance Archaeology]] ([http://www.slideshare.net/fuzzycz/performance-archaeology-40583681 slideshare]), Tomas Vondra

* [[Media: Udr-pgconf.pdf|UDR - Uni Directional Replication]], Petr Jelinek

* [http://www.dalibo.org/_media/opm_talk_en.pdf OPM - Open PostgreSQL Monitoring], Jean-Paul Argudo and Julien Rouhaud

* Choosing the right filesystem for PostgreSQL, Devrim GÜNDÜZ

* [http://tapoueh.org/images/confs/PGCONF_EU_2014_backups.pdf You'd better have tested backups...], [http://tapoueh.org/confs Dimitri Fontaine]

== Talks: Thursday 23 October, 2014 ==

=== Medici I ===

* CartoDB: Empowering dynamic mapping with PostgreSQL, Alejandro Martínez

* [http://michael.otacoo.com/content/materials/20140919_pgopen_logirep.pdf Understanding logical decoding and replication], Michael Paquier

* [http://momjian.us/main/presentations/features.html#indexing Flexible Indexing with Postgres], Bruce Momjian

* [http://gianni.people.2ndquadrant.com/home/formalising-sql-in-higher-order-logic Formalising SQL in Higher-Order Logic], Gianni Ciolli, Marco Maggesi

* Locks unpicked, Álvaro Herrera, Simon Riggs

* Analytical PostgreSQL -- Ordered set aggregates and Grouping Sets, Atri Sharma

=== Medici III ===

* [http://gauss.credativ.com/~mme/2014/PGConf_EU_2014_V01.pdf Open Source - A Blessing Or A Curse?], Michael Meskes

* [https://github.com/Oslandia/presentations/raw/master/pgconf_eu_2014/postgis_latest_news_vincent_picavet.pdf PostGIS Latest News], Vincent Picavet

* [https://cloud.cosmos.esa.int/public.php?service=files&t=f5b1a1a950c6fffd10d164f3e42725cd&download Ruling the Galaxy with PostgreSQL: Stories from the ESA Gaia Archive], Juan Gonzalez Nunez

* [http://www.cybertec.at/wp-content/uploads/1million.pdf Joining 1 million tables], Hans-Jürgen Schönig

* [http://www.slideshare.net/jim_mlodgenski/postrgesql-hadoop Leveraging Hadoop In Your PostgreSQL Environment], Jim Mlodgenski

* How we fixed bugs and rescued data, Harald Armin Massa

=== Renacimiento I ===

* [http://tapoueh.org/images/confs/PGCONF_EU_2014_pgloader.pdf Loading data in PostgreSQL, Fast. Any Data.], [http://tapoueh.org/ Dimitri Fontaine]

* Advanced Authentication, Stephen Frost

* [http://thebuild.com/presentations/corruption-pgconfeu-2014.pdf Finding and Repairing Data Corruption], Christophe Pettus

* [https://docs.google.com/presentation/d/1gJL93iGNxbo9B2Y2sVnWVQfPBGllEjtoZlp6UitUwXM/edit?usp=sharing Scaling fashionably: From Startup to Scale at Zalando], Valentine Gogichashvili

* [https://docs.google.com/presentation/d/1luiaBwulBJoubwpGxrbOabXOvIgx1chG-up_8FPV5lo/edit?usp=sharing| PgObserver - a full-blown performance monitoring tool], Kaarel Moppel

* [https://speakerdeck.com/lfittl/advanced-pg-stat-statements-filtering-regression-testing-and-more Advanced Use of pg_stat_statements: Filtering, Regression Testing & more], Lukas Fittl

=== Lightning Talks ===

* [http://tapoueh.org/images/confs/PGCONF_EU_2014_pgcharts.pdf Turn your SQL query into Charts], [http://tapoueh.org Dimitri Fontaine]
* [https://drive.google.com/file/d/0B-SFRgngatN_alhyWmZDdHRFcjQ/view?usp=sharing map()/reduce() with PostgreSQL + PL/Proxy], Ernst-Georg Schmid

* [https://alioth.debian.org/scm/loggerhead/pkg-postgresql/postgresql-common/trunk/files postgresql-common for Red Hat], Jens Wilke

* [https://perdomo.me/presentations/Immutable-DB.pdf A quest for an Immutable DB], Iván Perdomo

* [[Media: Pgpass_pgconfeu_groth.pdf‎|Adventures in Ridiculous Benchmarking: pgpass]], Gabrielle Roth

== Talks: Friday 24 October, 2014 ==

=== Medici I ===

* [https://github.com/Su-Shee/talks Database Unit Testing with PgTAP], Susanne Schmidt

* Common difficulties for new PostgreSQL users - and what we can do about them, Craig Ringer

* Hacking PostgreSQL, Stephen Frost

* [https://github.com/akorotkov/talks/raw/master/pgconfeu-2014-jsquery.pdf Jsquery - the jsonb query language with GIN indexing support], Alexander Korotkov

=== Medici III ===

* [http://www.slideshare.net/oseemann/scaling-a-saas-backend-with-postgresql-a-case-study Scaling a SaaS backend with PostgreSQL], Oliver Seemann

* [https://wiki.postgresql.org/wiki/File:RDS_EUPostgres2014_final.pptx Amazon RDS for PostgreSQL], Grant McAlister

* [http://www.slideshare.net/8kdata/toro-db-pgconfeu2014 ToroDB: a new, open-source, document-oriented, JSON database, built on Postgres], [https://twitter.com/ahachete Álvaro Hernández]

* Submitting a proper Postgres bug report, Jon Erdman

=== Renaciemiento I ===

* [http://andres.people.2ndquadrant.com/pgconf-eu-2014-10-23/bdr.pdf BDR - Asynchronous multimaster for postgres], Andres Freund

* [http://thebuild.com/presentations/backups-pgconfeu-2014.pdf Be Very Afraid: Disaster Planning and Recovery], Christophe Pettus

* [http://gianni.people.2ndquadrant.com/home/logical-decoding-for-auditing Logical Decoding for Auditing], Gianni Ciolli

* walbouncer: Filtering the PostgreSQL transaction log, Hans-Jürgen Schönig

=== Keynotes ===

* NoSQL on Acid – Maximizing Results With JSONB And PostgreSQL, Keith Alsheimer

* PostgreSQL Odyssey at 88mph, Simon Riggs

* [https://github.com/trustly/keynotes/raw/master/PgConf%202014%20Trustly.pdf How we use PostgreSQL at Trustly], Joel Jacobson

* Closing Session, Dave Page, Magnus Hagander

[[Category:PostgreSQL Events]]
[[Category:PostgreSQL Europe]]

FOSDEM 2015

2015-02-03T21:16:47Z

Gleu: Created page with "==Schedule== Schedule is available at the following website: http://www.postgresql.eu/events/schedule/fosdem2015/ == PGDay FOSDEM 2015 == We are also organizing one-day eve..."

==Schedule==

Schedule is available at the following website: http://www.postgresql.eu/events/schedule/fosdem2015/

== PGDay FOSDEM 2015 ==

We are also organizing one-day event: http://fosdem2015.pgconf.eu/

== Talks: Friday, January 30th, 2015 ==

=== Marriott ===

* Welcome (Magnus Hagander)
* Managing Resources with PostgreSQL (Cédric Villemain)
* Identifying missing indexes (Julien Rouhaud)
* Writing a Logical Decoding Output Plugin (Christophe Pettus)
* Enrich your data with geocoordinates from OpenStreetMap or ArcGIS (Andreas Scherbaum)
* Temporal data and time travel (Peter Vanroose)
* Migrating to PostgreSQL, the new story (Dimitri Fontaine)
* Scaling out PostgreSQL for write-intensive workloads (Marco Slot)

[[Media:PGDay-2014 2014-01-31.odp|Projector Presentation (Friday, January 31st, 2014)]]

== Talks: Saturday, January 31st, 2015 ==

=== PostgreSQL FOSDEM Devroom ===

* You'd better have tested backups... (Dimitri Fontaine)
* New WAL record format in PostgreSQL 9.5 (Heikki Linnakangas)
* JSON and PostgreSQL, the State of the Art (Christophe Pettus)
* Foreign Data Wrappers in PostgreSQL : Where are we now ? (Ronan Dunklau)
* Modern SQL in PostgreSQL (Markus Winand)
* Large Scale Quality Assurance in the PostgreSQL Ecosystem (Christoph Berg)

Speakers: please upload your slides to the wiki and add a link above.

[[Category:PostgreSQL Events]]

PostgreSQL Conference Europe Talks 2012

2012-11-21T09:15:17Z

Gleu: add guillaume's link to his slides

= PostgreSQL Conference Europe 2012 Talks =

== Trainings: Tuesday 23th October, 2012 ==

=== Clyde ===

* Mastering PostgreSQL Administration (Bruce Momjian, Devrim GÜNDÜZ)

=== Seine ===

* PostgreSQL Performance Training (Greg Smith, Peter Geoghegan)
* PostgreSQL Replication Training (Dimitri Fontaine, Simon Riggs)

=== Thames ===

* [http://www.pgsql.cz/skoleni/skoleni_plpgsql_web.pdf Implementace uložených procedur v PostgreSQL] (Pavel Stehule)
* Čtení exekučních plánů (Tomas Vondra)

=== Vltava ===

* A day of SQL with Celko (Joe Celko)

== Talks: Wednesday 24th October, 2012 ==

=== Bellevue ===

* Opening keynote (Joe Celko)

=== Seine ===

* [http://momjian.us/main/presentations/features.html#cte Programming the SQL Way with Common Table Expressions (Bruce Momjian)]
* PostgreSQL on AWS (Christophe Pettus)
* [http://www.dalibo.org/_media/understanding_explain.pdf Understanding EXPLAIN's output (Guillaume Lelarge)]
* [http://www.sraoss.co.jp/event_seminar/2012/20121024_pgpool-II_pgconfEU2012_sraoss.pdf Boosting Performance and Reliability by using pgpool-II (Tatsuo Ishii)]
* [http://www.2ndquadrant.com/media/cms_page_media/59/Gianni_Ciolli-CREATE_EXTENSION_pgchess.pdf CREATE EXTENSION pgchess; (Gianni Ciolli)]

=== Thames ===

* [[Media:Pg-fdw.pdf|Writing a foreign data wrapper (Bernd Helmle)]]
* [http://anarazel.de/2ndquadrant/pgconf-eu-2012-10-24 MultiMaster Replication: Applications, Comparison, Implementation ] (Andres Freund, Simon Riggs)
* [[Media:Pgconfeu12-collectd%2Bpsql.pdf|Watch your Elephants -- Using collectd for PostgreSQL performance analysis]] ([http://tokkee.org/ Sebastian 'tokkee' Harl])
* [[Media:Range-types.pdf|Range Types in PostgreSQL 9.2 - Your Life Will Never Be the Same (Jonathan S. Katz)]]
* [[Media:Pgxc_HA_20121024.pdf‎|High availability in Postgres-XC, the symmetric PostgreSQL cluster (Koichi Suzuki)]]

=== Vltava ===

* Provoz PostgreSQL na AWS (Tomas Vondra)
* [[Media:Plpgsql internals.pdf| PL/pgSQL internals -- some details from PL/pgSQL environment]]
* Migrace z MySQL na PostgreSQL (Tomas Vondra)
* [[Media:Indexy.pdf| Indexy jsou grunt -- basic and enhanced using of indexes in PostgreSQL]]
* Load dat do PostgreSQL (Jan Holčapek)

== Talks: Thursday 25th October, 2012 ==

=== Bellevue (Lightning Talks) ===

* [[Media:Full-text_search_in_PostgreSQL_in_milliseconds-extended-version.pdf| Full-text search in PostgreSQL in milliseconds (Oleg Bartunov, Alexander Korotkov)]]
* [[Media:Pgconfeu-2012-docbot-print.pdf|#PostgreSQL pg_docbot (Andreas 'ads' Scherbaum)]]
* [http://tapoueh.org/images/pgq-coop.pdf PGQ Cooperative Consumers] (Dimitri Fontaine & Marko Kreen)
* [http://www.pgexperts.com/document.html?id=60 PostgreSQL Drinking Game] (Josh Berkus)

=== Seine ===

* How fast is PostgreSQL? (Cédric Villemain)
* [http://tapoueh.org/images/high-availability.pdf Implementing High Availability] (Dimitri Fontaine)
* [http://momjian.us/main/presentations/internals.html#shared_memory Inside PostgreSQL Shared Memory (Bruce Momjian)]
* [https://plv8-pgconfeu12.herokuapp.com Embracing the Web with JSON and PLV8] ([http://bitfission.com Will Leinweber])

=== Thames ===

* [https://github.com/Oslandia/presentations/tree/master/pgconf_eu_2012 Topology and network analysis with PostgreSQL and PostGIS (Vincent Picavet)]
* [[Media:Universal_Data_Access_with_SQL_MED.pdf|Universal Data Access with SQL/MED (David Fetter)]]
* [https://github.com/Oslandia/presentations/tree/master/pgconf_eu_2012 PostGIS 2.0 and beyond (Vincent Picavet)]
* Practical Tips for Better PostgreSQL Applications (Marc Balmer)
* Pacemaker and PostgreSQL: to serve and protect your data (Jehan-Guillaume (ioguix) de Rorthais)

=== Vltava ===

* [[Media: Marketing-postgres.pdf|Marketing PostgreSQL (Jonathan S. Katz)]]
* [[Media: Pgconf2012_sprocwrapper.pdf‎|Java Stored Procedure Wrapper and PGObserver (Jan Mussler)]]
* [http://www.pgexperts.com/document.html?id=59 Elephants and Windmills] (Josh Berkus)
* [[Media: Pgeu2012.pdf|PostgreSQL in Research and Development: Three success stories. (Roland Sonnenschein)]]
* [[Media: Index_support_for_regular_expression_search.pdf‎ |Index support for regular expression search (Alexander Korotkov)]]

== Talks: Friday 26th October, 2012 ==

=== Bellevue ===

* Postgres Adoption at the Tipping Point: Users Around the World and Their Deployment Profile (Ed Boyajian)
* Community PostgreSQL (Simon Riggs, Harald Armin Massa)
* Closing (Dave Page)

=== Seine ===

* [http://2ndquadrant.com/media/cms_page_media/59/BeyondQueryLogging.pdf Beyond Query Logging] (Greg Smith, Peter Geoghegan)
* [http://www.hagander.net/talks/Backup_strategies_pgeu.pdf PostgreSQL Backup Strategies] (Magnus Hagander)
* [http://www.gunduz.org/download.php?dlid=196 Maintaining Very Large Databases (VLDs)] (Devrim GÜNDÜZ)
* [http://tapoueh.org/images/fotolog.pdf Large Scale MySQL Migration to PostgreSQL] (Dimitri Fontaine)

=== Thames ===

* [[Media: Postbis_pgcon_eu_2012.pdf|PostBIS - A Bioinformatics Booster for PostgreSQL (Michael Schneider, Renzo Kottmann)]]
* [[Media: oracle_migration_pgconf2012.pdf|Migrating Oracle queries to PostgreSQL (Alexey Klyukin)]]
* [http://www.2ndquadrant.com/media/cms_page_media/59/Gianni_Ciolli-Debug_writable_CTE.pdf Debugging complex SQL queries with writable CTEs (Gianni Ciolli)]
* [http://www.cybertec.at/download/2012_prag_linux_v5.pdf Limiting PostgreSQL resource consumption using the Linux kernel (Hans-Jürgen Schönig)]

=== Vltava ===

* [[Media: Pg_xnode_pgconf_2012.pdf|pg_xnode extension (Antonin Houska)]]
[[Category:PostgreSQL Europe]]
* PostgreSQL makes dev happy, a pgAgent + pl/pgsql use case (Julien Rouhaud)
* [[Media: PGconEU2012-KaiGai-PGStrom.pdf|PG-Strom - GPU Accelerated Asynchronous Query Execution Module (KaiGai Kohei)]]
[[Category:PostgreSQL Europe]]
* [http://tokkee.org/talks/pgconfeu12-time-series-data.pdf Using PostgreSQL for storing time-series data] ([http://tokkee.org/ Sebastian 'tokkee' Harl])

FOSDEM 2012

2012-02-10T19:50:33Z

Gleu:

==Schedule==

Schedule is available at the FOSDEM website: http://fosdem.org/2012/schedule/track/postgresql_devroom

==Presentations==

Slides of the presentations:

* [[Media:Conferences-write_a_foreign_data_wrapper_in_15_minutes-presentation.pdf|Write a foreign data wrapper in 15 minutes]]
* [[Media:FOSDEM2012-Multi-CPU-performance-in-9.2.pdf|Multi-CPU performance in 9.2‎]]
* [[Media:Hooks_in_postgresql.pdf|Hooks in PostgreSQL]]
* [[Media:Managing_rights_in_postgresql.pdf‎|Managing rights in PostgreSQL]]

Speakers: please upload your slides to the wiki and add a link above.

File:Conferences-write a foreign data wrapper in 15 minutes-presentation.pdf

2012-02-10T19:49:19Z

Gleu:

File:Hooks in postgresql.pdf

2012-02-10T19:48:32Z

Gleu:

File:Managing rights in postgresql.pdf

2012-02-10T19:47:02Z

Gleu:

PostgreSQL Conference Europe Talks 2011

2011-10-20T16:05:17Z

Gleu: /* Ams 3 */

= PostgreSQL Conference Europe 2011 Talks =

== Talks: Wednesday 19th October, 2011 ==

=== Ams 1 ===
* [[Media:Mohan_PGCon_Keynote_10-19-2011.pdf|Ram Mohan Keynote: Afilias Winning Bet on Open Source]]
* [http://www.oslandia.com/files/1646fd60f9b0a4558d1e256cf3264572/pgconfeu2011_vincent_picavet_postgis.pdf Vincent Picavet - Geo in your database : Postgis]
* Heralding the Death of nosql — Will Leinweber, Heroku — http://pgeu-plv8.herokuapp.com
* [http://scanningpages.wordpress.com/?attachment_id=420| Slony Troubleshooting - Steve Singer, Afilias ]

=== Ams 2 ===

* [http://ora2pg.darold.net/ora2pg-best-practices.pdf Gilles Darold: Best practices with Ora2Pg]

=== Ams 3 ===

* [[Media:Ciolli-window-2011.pdf|Gianni Ciolli, Look Out The Window Functions (and free your SQL)]]
plus four 2D heat diffusion movies, with different starting scenarios: [[http://vimeo.com/30797130 a hot point]],
[[http://vimeo.com/30797509 a hot segment]],
[[http://vimeo.com/30797715 a hot square]] and
[[http://vimeo.com/30797797 a cold square]].
* [[Media:Smartgrid_for_the_datacenter_web.pdf|Stefan Kaltenbrunner, A smartgrid for the datacenter]]
* [http://momjian.us/main/presentations/internals.html#optimizer Explaining the Postgres Query Optimizer]

== Talks: Thursday 20th October, 2011 ==

=== Ams 1 ===

A Postgres Service (Peter van Hardenberg, Heroku) http://pgconfeu11-service.herokuapp.com/

[[Media:pgconf2011.eu-berg-pgapt.pdf|Christoph Berg: Connecting the Debian and PostgreSQL worlds ]]

=== Ams 2 ===
* Exposing the Power of Postgres to Ruby — Will Leinweber, Heroku — http://pgeu-ruby.herokuapp.com
* [http://wiki.postgresql.org/images/e/e6/Django-extensions.pdf Jonathan S. Katz: Writing Django Extensions for PostgreSQL]

=== Ams 3 ===
* [[Media:Ciolli-debug-wcte-2011.pdf|Gianni Ciolli, Debug complex SQL queries with writable CTEs]]
* [[Media:pgconfeu_stats.odp|Guillaume Lelarge, What use are the statistics views?]]

== Talks: Friday 21st October, 2011 ==

=== Ams 1 ===

=== Ams 2 ===

=== Ams 3 ===

PostgreSQL Conference Europe Talks 2011

2011-10-20T16:03:48Z

Gleu:

= PostgreSQL Conference Europe 2011 Talks =

== Talks: Wednesday 19th October, 2011 ==

=== Ams 1 ===
* [[Media:Mohan_PGCon_Keynote_10-19-2011.pdf|Ram Mohan Keynote: Afilias Winning Bet on Open Source]]
* [http://www.oslandia.com/files/1646fd60f9b0a4558d1e256cf3264572/pgconfeu2011_vincent_picavet_postgis.pdf Vincent Picavet - Geo in your database : Postgis]
* Heralding the Death of nosql — Will Leinweber, Heroku — http://pgeu-plv8.herokuapp.com
* [http://scanningpages.wordpress.com/?attachment_id=420| Slony Troubleshooting - Steve Singer, Afilias ]

=== Ams 2 ===

* [http://ora2pg.darold.net/ora2pg-best-practices.pdf Gilles Darold: Best practices with Ora2Pg]

=== Ams 3 ===

* [[Media:Ciolli-window-2011.pdf|Gianni Ciolli, Look Out The Window Functions (and free your SQL)]]
plus four 2D heat diffusion movies, with different starting scenarios: [[http://vimeo.com/30797130 a hot point]],
[[http://vimeo.com/30797509 a hot segment]],
[[http://vimeo.com/30797715 a hot square]] and
[[http://vimeo.com/30797797 a cold square]].
* [[Media:Smartgrid_for_the_datacenter_web.pdf|Stefan Kaltenbrunner, A smartgrid for the datacenter]]
* [http://momjian.us/main/presentations/internals.html#optimizer Explaining the Postgres Query Optimizer]

== Talks: Thursday 20th October, 2011 ==

=== Ams 1 ===

A Postgres Service (Peter van Hardenberg, Heroku) http://pgconfeu11-service.herokuapp.com/

[[Media:pgconf2011.eu-berg-pgapt.pdf|Christoph Berg: Connecting the Debian and PostgreSQL worlds ]]

=== Ams 2 ===
* Exposing the Power of Postgres to Ruby — Will Leinweber, Heroku — http://pgeu-ruby.herokuapp.com
* [http://wiki.postgresql.org/images/e/e6/Django-extensions.pdf Jonathan S. Katz: Writing Django Extensions for PostgreSQL]

=== Ams 3 ===
* [[Media:Ciolli-debug-wcte-2011.pdf|Gianni Ciolli, Debug complex SQL queries with writable CTEs]]
* [[Media:pgconfeu_stats.odp|What use are the statistics views?]]

== Talks: Friday 21st October, 2011 ==

=== Ams 1 ===

=== Ams 2 ===

=== Ams 3 ===

File:Pgconfeu stats.odp

2011-10-20T15:58:56Z

Gleu:

SSI/fr

2011-08-19T19:37:49Z

Gleu: french review

{{Languages}}

Documentation de la «Serializable Snapshot Isolation» (Isolation par Instantanés Sérialisables, ou SSI) dans PostgreSQL, comparée à la «Snapshot Isolation» (Isolation par Instantanés, ou SI). Celles-ci correspondent respectivement aux niveaux d'isolation de transaction SERIALIZABLE et REPEATABLE READ dans PostgreSQL, à partir de la version 9.1.

== Aperçu ==

Avec de vraies transactions sérialisables, si vous pouvez prouver que votre transaction fera ce qui est prévu si il n'y a aucune transaction concurrente, elle fera ce qui est prévu quelles que soient les autres transactions sérialisables qui s'exécuteront en même temps qu'elle, ou sera annulée pour erreur de sérialisation.

Ce document montre les problèmes qui peuvent se produire avec certaines combinaisons de transactions au niveau d'isolation de transaction REPEATABLE READ, et comment elles sont évitées avec le niveau d'isolation SERIALIZABLE, à partir de PostgreSQL 9.1.

Ce document est destiné au programmeur d'applications ou à l'administrateur de bases de données. Pour les détails sur l'implémentation de SSI, voyez la page de Wiki [[Serializable]].

== Exemples ==

Dans les environnements qui évitent de protéger leur intégrité en mettant en place des verrous bloquants, il sera fréquent que la base soit configurée (dans postgresql.conf) avec:
default_transaction_isolation = 'serializable'
Pour cette raison, tous les exemples ont été effectués avec ce paramétrage, ce qui a évité de polluer les exemples en se contentant d'un simple begin plutôt que de déclarer explicitement le niveau d'isolation pour chaque transaction.

=== Write Skew Simple (Écriture Faussée Simple?) ===

Quand deux transactions concurrentes déterminent chacune ce qu'elles écrivent en lisant des données qui se chevauchent avec des données que l'autre modifie, on peut se retrouver dans un état qui ne devrait pas apparaître si une des deux s'était exécutée avant l'autre. C'est un phénomène connu sous le nom de ''write skew'', et c'est la forme la plus simple de défaut de sérialisation contre laquelle SSI vous protège.

Quand il y a write skew dans SSI, les deux transactions se déroulent jusqu'à ce que l'une valide. La première à valider gagne, et l'autre transaction est annulée. La règle du "le premier à valider gagne" garantit que du travail peut avoir lieu sur la base et que la transaction qui est annulée puisse être tentée à nouveau immédiatement.

----
==== Noir et Blanc ====

Dans ce cas, il y a des enregistrement avec une colonne couleur contenant 'blanc' ou 'noir'. Deux utilisateurs essayent simultanément de convertir tous les enregistrements vers une couleur unique, mais chacun dans une direction opposée. Un veut tout passer tous les blancs en noir, et l'autre tous les noirs en blanc.

L'exemple peut être mis en place avec ces ordres:
create table points
(
id int not null primary key,
couleur text not null
);
insert into points
with x(id) as (select generate_series(1,10))
select id, case when id % 2 = 1 then 'noir'
else 'blanc' end from x;
{|
|+ Exemple Noir et Blanc
! session 1
! session 2
|-
|
begin;
update points set couleur = 'noir'
where couleur = 'blanc';
|-
| ||
begin;
update points set couleur = 'blanc'
where couleur = 'noir';
À ce moment, une des deux transaction est condamnée à mourir.
commit;
Le premier à valider gagne.
select * from points order by id;

id | couleur
----+-------
1 | blanc
2 | blanc
3 | blanc
4 | blanc
5 | blanc
6 | blanc
7 | blanc
8 | blanc
9 | blanc
10 | blanc
(10 rows)
Celle-ci s'est exécutée comme si elle était seule.
|-
|
commit;

ERROR: could not serialize access
due to read/write dependencies
among transactions
DETAIL: Cancelled on identification
as a pivot, during commit attempt.
HINT: The transaction might succeed if retried.
Une erreur de sérialisation. On annule et on réessaye.
rollback;
begin;
update points set couleur = 'noir'
where couleur = 'blanc';
commit;
Il n'y a pas de transaction concurrente pour gêner.
select * from points order by id;

id | couleur
----+-------
1 | noir
2 | noir
3 | noir
4 | noir
5 | noir
6 | noir
7 | noir
8 | noir
9 | noir
10 | noir
(10 rows)
La transaction s'est exécutée seule, après l'autre.
|}

----
==== Données en intersection ====

Cet exemple est tiré de la documentation PostgreSQL. Deux transactions concurrentes lisent des données, et chacune utilise ces données pour mettre à jour l'ensemble lu par l'autre. Un exemple simple, même si un peu artificiel, de données faussées.

L'exemple peut être mis en place avec ces ordres:
CREATE TABLE mytab
(
class int NOT NULL,
value int NOT NULL
);
INSERT INTO mytab VALUES
(1, 10), (1, 20), (2, 100), (2, 200);
{|
|+ Exemple de données en intersection
! session 1
! session 2
|-
|
BEGIN;
SELECT SUM(value) FROM mytab WHERE class = 1;

sum
-----
30
(1 row)

INSERT INTO mytab VALUES (2, 30);
|-
| ||
BEGIN;
SELECT SUM(value) FROM mytab WHERE class = 2;

sum
-----
300
(1 row)

INSERT INTO mytab VALUES (1, 300);
Chaque transaction a modifié ce que l'autre transaction aurait lu. Si les deux étaient autorisées à valider, le comportement sérialisable ne serait plus respecté, parce que si elles avaient été exécutées une seule à la fois, une des transactions aurait vu l'INSERT que l'autre a validé. Nous attendons qu'une des transactions ait validé avant d'annuler quoi que ce soit, toutefois, pour garantir que des traitements soient effectués et éviter que le système ne s'effondre.
COMMIT;
|-
|
COMMIT;

ERROR: could not serialize access
due to read/write dependencies
among transactions
DETAIL: Cancelled on identification
as a pivot, during commit attempt.
HINT: The transaction might succeed if retried.
Donc, maintenant nous annulons la transaction en échec et nous la réessayons depuis le début.
ROLLBACK;
BEGIN;
SELECT SUM(value) FROM mytab WHERE class = 1;

sum
-----
330
(1 row)

INSERT INTO mytab VALUES (2, 330);
COMMIT;
Cela réussit, et le résultat est cohérent avec une exécution sérialisée des transactions.
SELECT * FROM mytab;

class | value
-------+-------
1 | 10
1 | 20
2 | 100
2 | 200
1 | 300
2 | 330
(6 rows)
|}

----
==== Protection contre le Découvert ====

Le cas hypothétique est celui d'une banque qui autorise ses clients à retirer de l'argent jusqu'au total de tout ce qu'ils ont sur tous leurs comptes. La banque transfèrera ensuite automatiquement les fonds au besoin pour terminer la journée avec un solde positif sur chaque compte. À l'intérieur d'une seule transaction, on vérifie que la somme de tous les comptes dépasse la somme requise.

Quelqu'un essaye d'être malin et de piéger la banque en soumettant deux retraits de 900$ sur deux comptes ayant chacun 500$ de solde simultanément. Au niveau d'isolation de transaction REPEATABLE READ, cela pourrait marcher; mais si le niveau d'isolation de transaction SERIALIZABLE est utilisé, SSI détectera une "structure dangereuse" dans le schéma de lecture/écriture et rejettera une des deux transactions.

Cet exemple peut être mis en place avec ces ordres:

create table compte
(
nom text not null,
type text not null,
solde money not null default '0.00'::money,
primary key (nom, type)
);
insert into compte values
('kevin','epargne', 500),
('kevin','courant', 500);

{|
|+ Exemple de Protection contre le Découvert
! session 1
! session 2
|-
|
begin;
select type, solde from compte
where nom = 'kevin';

type | solde
-----------+---------
epargne | $500.00
courant | $500.00
(2 rows)
Le total est de $1000, un retrait de $900 est donc permis.
|-
| ||
begin;
select type, solde from compte
where nom = 'kevin';

type | solde
-----------+---------
epargne | $500.00
courant | $500.00
(2 rows)
Le total est de $1000, un retrait de $900 est donc permis.
|-
|
update compte
set solde = solde - 900::money
where nom = 'kevin' and type = 'epargne';
Jusqu'ici tout va bien.
|-
| ||
update compte
set solde = solde - 900::money
where nom = 'kevin' and type = 'courant';
Maintenant nous avons un problème. Cela ne peut co-exister avec l'activité de l'autre transaction. Nous n'annulons pas encore, parce que la transaction échouerait avec les mêmes conflits si on la réessayait. Le premier à valider va gagner, et l'autre échouera quand elle essayera de continuer après cela.
|-
|
commit;
Celle ci a validé la première. Son travail est enregistré.
|-
| ||
commit;

ERROR: could not serialize access
due to read/write dependencies
among transactions
DETAIL: Cancelled on identification
as a pivot, during commit attempt.
HINT: The transaction might succeed if retried.
Cette transaction n'a pas réussi à retirer l'argent.
Maintenant nous l'annulons et réessayons la transaction.

rollback;
begin;
select type, solde from compte
where nom = 'kevin';

type | solde
-----------+----------
epargne | -$400.00
courant | $500.00
(2 rows)
On voit qu'il y a un solde net de $100. Cette demande de $900 sera rejetée par l'application.
|}

=== Trois Transactions ou Plus ===

Des anomalies de sérialisation peuvent résulter de motifs plus complexes d'accès, impliquant trois transactions ou plus.

----
==== Couleurs Primaires ====

C'est similaire à l'exemple "Blanc et Noir" précédent, à la différence que nous utilisons les trois couleurs primaires. Une transaction essaye de passer le rouge à jaune, la suivante le jaune au bleu, et la troisième le bleu au rouge. Si ces transactions étaient exécutées une seule à la fois, on aurait à la fin de l'exécution deux des trois couleurs, en fonction de l'ordre d'exécution. Si deux d'entre elles sont exécutées simultanément, celle essayant de lire les enregistrements mis à jour par l'autre semblera s'exécuter première, puisqu'elle ne verra pas le travail de l'autre transaction, il n'y a donc pas de problème dans ce cas. Que l'autre transaction soit exécutée avant ou après cela, les résultats sont cohérents avec un ordre d'exécution sérialisé.

Si les trois s'exécutent en même temps, il y a un cycle dans l'ordre apparent d'exécution. Une transaction Repeatable Read ne détecterait pas cela, et la table aurait toujours trois couleurs. Une transaction Sérialisable détectera le problème et annulera une des transactions avec une erreur de sérialisation.

L'exemple peut être mis en place avec ces ordres:
create table points
(
id int not null primary key,
couleur text not null
);
insert into points
with x(id) as (select generate_series(1,9000))
select id, case when id % 3 = 1 then 'rouge'
when id % 3 = 2 then 'jaune'
else 'blue' end from x;
create index points_couleur on points (couleur);
analyze points;
{|
|+ Primary Colors Example
! session 1
! session 2
! session 3
|-
|
begin;
update points set couleur = 'jaune'
where couleur = 'rouge';
|-
| ||
begin;
update points set couleur = 'blue'
where couleur = 'jaune';
|-
| || ||
begin;
update points set couleur = 'rouge'
where couleur = 'blue';
À ce point, au moins une des trois transactions est condamnée. Pour garantir que les traitement progressent, on attend qu'une valide. Le commit va réussir, ce qui non seulement garantit que les traitements progressent, mais qu'une tentative de reprendre une transaction échouée n'échouera pas ''sur la même combinaison de transactions''.
|-
|
commit;
Le premier commit gagne. La session 2 doit échouer à ce point, parce que durant le commit il a été déterminé qu'elle a les plus grandes chances de réussir si réessayée immédiatement.
select couleur, count(*) from points
group by couleur
order by couleur;

couleur | count
----------+-------
blue | 3000
jaune | 6000
(2 rows)
Cela semble avoir été exécuté avant les autres mises à jour.
|-
| || ||
commit;
Cela fonctionne si on l'essaye à ce moment. Si la session 2 effectue davantage de travail avant, cette transaction pourrait aussi devoir être annulée et réessayée.
select couleur, count(*) from points
group by couleur
order by couleur;

couleur | count
----------+-------
rouge | 3000
jaune | 6000
(2 rows)
Elle semble s'être exécutée après la transaction de la session 1.
|-
| ||
commit;

ERROR: could not serialize access
due to read/write dependencies
among transactions
DETAIL: Cancelled on identification
as a pivot, during commit attempt.
HINT: The transaction might succeed if retried.
Une erreur de sérialisation. Nous annulons et réessayons.
rollback;
begin;
update points set couleur = 'blue'
where couleur = 'jaune';
commit;
Une nouvelle tentative réussira.
select couleur, count(*) from points
group by couleur
order by couleur;

couleur | count
---------+-------
blue | 6000
rouge | 3000
(2 rows)
Elle semble s'être exécutée en dernier, ce qu'elle a d'ailleurs fait.
|}
Un point intéressant est que si la session 2 avait tenté de valider après la session 1 et avant la session 3, elle aurait tout de même échoué, et une re-tentative aurait aussi réussi, mais le comportement de la transaction de la session 3 n'est pas déterministe. Elle pourrait avoir réussi, ou avoir reçu une erreur de sérialisation et avoir nécessité d'être rejouée.

C'est parce que le verrouillage de prédicat utilisé par le mécanisme de détection de conflit s'appuie sur les pages et enregistrement effectivement accédés, et il y a un facteur aléatoire utilisé lors de l'insertion des entrées d'index qui ont des clés égales, afin de réduire la contention; donc même avec des séquences d'évènements identiques il est toujours possible de voir des différences sur où les erreurs de sérialisation se produisent. C'est pour cela qu'il est important, quand on s'appuie sur les transactions sérialisables pour gérer la concurrence, d'avoir un système généralisé permettant d'identifier les erreurs de sérialisation et de rejouer les transactions depuis leur début.

Il convient aussi de noter que si la session 2 avait validé la seconde tentative de transaction avant que la session 3 ait validé sa transaction, toute requête ultérieure qui aurait vu des enregistrements mis à jour de jaune à bleu (et validés) aurait, de façon déterministe, fait échouer la transaction de la session 3, parce que ces enregistrements ne seraient pas des enregistrements que la session 3 verraient comme bleu et mettraient à jour à rouge. Pour que la transaction 3 réussisse, elle doit pouvoir être considérée comme ayant été exécutée avant la transaction validée de la session 2. Par conséquent, exposer un état dans lequel le travail de la transaction de la session 2 est visible, mais pas le travail de la transaction de la session 3 signifie que la transaction de la session 3 doit échouer. L'acte d' ''observer'' un état récemment modifié de la base peut entraîner des erreurs de sérialisation. Cela sera exploré plus avant dans d'autres exemples.

=== Transactions en Lecture Seule ===

Bien qu'une transaction en lecture seule ne puisse contribuer à une anomalie qui persiste dans la base, dans le mode Repeatable Read implémenté par le SSI, elle peut voir un état qui n'est pas cohérent avec l'exécution sérialisée (une à la fois) des transactions. Une transaction Serializable implémentée avec SSI ne verra jamais ces anomalies transitoires.

[[Category:Français]]

What's new in PostgreSQL 9.1/fr

2011-08-19T19:33:45Z

Gleu: french review

{{Languages}}

Ce document présente, si possible par l'exemple, un grand nombre des nouveautés de PostgreSQL 9.1, comparé à la version majeure précédente - PostgreSQL 9.0. Il y a de nombreuses nouveautés dans cette version, cette page de wiki ne couvre donc que les changements les plus importants en détail. La liste complète des modifications se trouve dans le chapitre [http://docs.postgresql.fr/9.1/release.html Notes de version] de la documentation officielle.

===Nouveautés majeures===

==Réplication synchrone et autres fonctionnalités de réplication==

Il y a un certain nombre de nouvelles fonctionnalités autour de la réplication en 9.1:

* En 9.0, l'utilisateur servant à la réplication devait être superutilisateur. Ce n'est plus le cas, il y a un nouvel attribut appelé 'replication'.

CREATE ROLE replication_role REPLICATION LOGIN PASSWORD 'pwd_replication'.

Ce rôle peut alors être ajouté au pg_hba.conf, et être utilisé pour la streaming replication. C'est évidemment préférable, d'un point de vue sécurité, que d'avoir un rôle superutilisateur dédié à cela.

Maintenant que nous avons une instance créée, ainsi qu'un utilisateur de réplication, nous pouvons mettre en place la streaming replication. Il ne s'agit que d'ajouter la permission de se connecter à la base virtuelle 'replication' dans "pg_hba.conf", positionner ''wal_level'', l'archivage (''archive_mode'' et ''archive_command'') et ''max_wal_senders'', ce qui est déjà traité dans le billet sur les nouveautés de la 9.0.

Quand l'instance est prête pour le streaming, nous pouvons montrer la seconde nouveauté.

* pg_basebackup.

Cet outil permet de cloner une base, ou en faire une sauvegarde, en n'utilisant que le protocole réseau PostgreSQL. Il n'y a pas besoin d'appeler "pg_start_backup()", puis réaliser une copie manuelle et enfin appeler "pg_stop_backup()". pg_basebackup effectue tout ce travail en une seule commande. Pour la démonstration, nous allons cloner l'instance en cours de fonctionnement vers /tmp/newcluster.

> pg_basebackup -D /tmp/newcluster -U replication -v
Password:
NOTICE: pg_stop_backup complete, all required WAL segments have been archived
pg_basebackup: base backup completed

Cette nouvelle instance est prête à démarrer: ajoutez simplement un fichier "recovery.conf" avec une "restore_command" pour récupérer les fichiers archivés, et démarrez la nouvelle instance. pg_basebackup peut aussi fabriquer un tar, ou inclure tous les fichiers xlog requis (pour avoir une sauvegarde totalement autonome).

Comme nous allons maintenant montrer la réplication synchrone, préparons un "recovery.conf" pour se connecter à la base maître et récupérer les enregistrements au fil de l'eau.

Le fichier va ressembler à ceci

restore_command = 'cp /tmp/%f %p'
standby_mode = on
primary_conninfo = 'host=localhost port=59121 user=replication password=replication application_name=newcluster'
trigger_file = '/tmp/trig_f_newcluster'

Puis nous démarrons la nouvelle instance:

pg_ctl -D /tmp/newcluster start

LOG: database system was interrupted; last known up at 2011-05-22 17:15:45 CEST
LOG: entering standby mode
LOG: restored log file "00000001000000010000002F" from archive
LOG: redo starts at 1/2F000020
LOG: consistent recovery state reached at 1/30000000
LOG: database system is ready to accept read only connections
cp: cannot stat « /tmp/000000010000000100000030 »: No such file or directory
LOG: streaming replication successfully connected to primary

Nous avons notre esclave, et il récupère les données provenant du maître par le mode «streaming», mais nous sommes toujours en asynchrone. Notez que nous avons positionné un paramètre "application_name" dans la chaîne de connexion du "recovery.conf".

* Réplication synchrone

Pour que la réplication devienne synchrone, c'est très simple, il suffit de positionner ceci dans le postgresql.conf du maître:

synchronous_standby_names = 'newcluster'

C'est bien sûr l'"application_name" provenant du "primary_conninfo" de l'esclave. Un «pg_ctl_reload», et le nouveau paramètre est pris en compte. Maintenant, tout «COMMIT» sur le maître ne sera considéré comme terminé que quand l'esclave l'aura écrit sur son propre journal, et l'aura notifié au maître.

Un petit avertissement: les transactions sont considérées comme validées quand elles sont écrites dans le journal de l'esclave, pas quand elles sont visibles sur l'esclave. Cela veut dire qu'il y a toujours un délai entre le moment où une transaction est validée sur le maître, et le moment où elle est visible sur l'esclave. La réplication est tout de même synchrone: vous ne perdrez pas de données dans le cas du crash d'un maître.

La réplication synchrone peut être réglée assez finement: elle est contrôlable par session. Le paramètre "synchronous_commit" peut être désactivé (il est évidemment actif par défaut) par session, si celle-ci n'a pas besoin de cette garantie de réplication synchrone. Si, dans votre transaction, vous n'avez pas besoin de la réplication synchrone, faites simplement
SET synchronous_commit TO off
et vous ne paierez pas la pénalité due à l'attente de l'esclave.

Il y a quelques autres nouveautés à mentionner pour la réplication:

* Les esclaves peuvent maintenant demander au maître de ne pas nettoyer par VACUUM les enregistrements dont ils pourraient encore avoir besoin.

C'était une des principales difficultés du paramétrage de la réplication en 9.0, si on souhaitait utiliser l'esclave: un VACUUM pouvait détruire des enregistrements qui étaient encore nécessaires à l'exécution des requêtes de l'esclave, engendrant des conflits de réplication. L'esclave avait alors à faire un choix: soit tuer la requête en cours d'exécution, soit accepter de retarder l'application des modifications générées par le VACUUM (et toutes celles qui le suivent bien sûr), et donc prendre du retard. On pouvait contourner le problème, en positionnant "vacuum_defer_cleanup_age" à une valeur non nulle, mais c'était difficile de trouver une bonne valeur. La nouvelle fonctionnalité est activée en positionnant "hot_standby_feedback", sur les bases de standby. Bien sûr, cela entraîne que la base de standby va pouvoir empêcher VACUUM de faire son travail de maintenance sur le maître, s'il y a des requêtes très longues qui s'exécutent sur l'esclave.

* pg_stat_replication est une nouvelle vue système.

Elle affiche, sur le maître, l'état de tous les esclaves: combien de WAL ils ont reçu, s'ils sont connectés, synchrones, où ils en sont de l'application des modifications:

=# SELECT * from pg_stat_replication ;
procpid | usesysid | usename | application_name | client_addr | client_hostname | client_port | backend_start | state | sent_location | write_location | flush_location | replay_location | sync_priority | sync_state
---------+----------+-------------+------------------+-------------+-----------------+-------------+------------------------------+-----------+---------------+----------------+----------------+-----------------+---------------+------------
17135 | 16671 | replication | newcluster | 127.0.0.1 | | 43745 | 2011-05-22 18:13:04.19283+02 | streaming | 1/30008750 | 1/30008750 | 1/30008750 | 1/30008750 | 1 | sync

Il n'est dont plus nécessaire d'exécuter des requêtes sur les esclaves pour connaître leur état par rapport au maître.

* pg_stat_database_conflicts est une autre vue système.

Celle ci est sur la base de standby, et montre combien de requêtes ont été annulées, et pour quelles raisons:

=# SELECT * from pg_stat_database_conflicts ;
datid | datname | confl_tablespace | confl_lock | confl_snapshot | confl_bufferpin | confl_deadlock
-------+-----------+------------------+------------+----------------+-----------------+----------------
1 | template1 | 0 | 0 | 0 | 0 | 0
11979 | template0 | 0 | 0 | 0 | 0 | 0
11987 | postgres | 0 | 0 | 0 | 0 | 0
16384 | marc | 0 | 0 | 1 | 0 | 0

* la réplication peut maintenant être mise en pause sur un esclave.

Appelez tout simplement ''pg_xlog_replay_pause()'' pour mettre en pause, et ''pg_xlog_replay_resume()'' pour reprendre. Cela gèlera la base, ce qui en fait un excellent outil pour réaliser des sauvegardes cohérentes.

''pg_is_xlog_replay_paused()'' permet de connaître l'état actuel.

On peut aussi demander à PostgreSQL de mettre l'application des journaux en pause à la fin de la récupération d'instance, sans passer la base en production, pour permettre à l'administrateur d'exécuter des requêtes sur la base. L'administrateur peut alors vérifier si le point de récupération atteint est correct, avant de mettre fin à la réplication. Ce nouveau paramètre est "pause_at_recovery_target", et se positionne dans le recovery.conf.

* On peut créer des points de récupération (Restore Points)

Ce ne sont rien de plus que des points nommés dans le journal de transactions.

Il peuvent être utilisés en spécifiant un "recovery_target_name" à la place d'un "recovery_target_time" ou un "recovery_target_xid" dans le fichier recovery.conf.

Ils sont créés en appelant "pg_create_restore_point()".

==Collations par colonne==

L'ordre de collation n'est plus unique dans une base de données.

Imaginons que vous utilisiez une base en 9.0, avec un encodage UTF8, et une collation de_DE.utf8 (tri alphabétique), parce que la plupart de vos utilisateurs parlent allemand. Si vous avez des données françaises à stocker aussi, et que vous avez besoin de les trier, les utilisateurs français les plus pointilleux ne seraient pas satisfaits:

SELECT * from (values ('élève'),('élevé'),('élever'),('Élève')) as tmp order by column1;
column1
---------
élevé
élève
Élève
élever

Pour être honnête, ce n'est pas si mal. Mais ce n'est pas l'ordre alphabétique français: les caractères accentués sont considérés comme non accentués durant une première passe de tri. Ensuite, on effectue une seconde passe, où on considère que les caractères accentués sont après les non accentués (dans un ordre bien précis). Mais, pour que la chose soit plus amusante, le tri est fait du dernier au premier caractère dans cette seconde passe, et non plus du premier au dernier. Évidemment, la règle n'est pas la même en allemand.

En 9.1, vous disposez de deux nouvelles fonctionnalités:

* Vous pouvez spécifier la collation dans une requête:

SELECT * FROM (VALUES ('élève'),('élevé'),('élever'),('Élève')) AS tmp ORDER BY column1 COLLATE "fr_FR.utf8";
column1
---------
élève
Élève
élevé
élever

* Vous pouvez définir la collation au moment de la déclaration de la table:

CREATE TABLE french_messages (message TEXT COLLATE "fr_FR.utf8");
INSERT INTO french_messages VALUES ('élève'),('élevé'),('élever'),('Élève');
SELECT * FROM french_messages ORDER BY message;
message
---------
élève
Élève
élevé
élever

Et bien sûr, vous pouvez créer un index sur la colonne message, qui pourra être utilisé pour trier rapidement en français. Par exemple, avec une table plus grande et sans collation précisée:

CREATE TABLE french_messages2 (message TEXT);
INSERT INTO french_messages2 SELECT * FROM french_messages, generate_series(1,100000); -- 400k lignes
CREATE INDEX idx_french_ctype ON french_messages2 (message COLLATE "fr_FR.utf8");
EXPLAIN SELECT * FROM french_messages2 ORDER BY message;
QUERY PLAN
-------------------------------------------------------------------------------
Sort (cost=62134.28..63134.28 rows=400000 width=32)
Sort Key: message
-> Seq Scan on french_messages2 (cost=0.00..5770.00 rows=400000 width=32)

EXPLAIN SELECT * FROM french_messages2 ORDER BY message COLLATE "fr_FR.utf8";
QUERY PLAN
--------------------------------------------------------------------------------------------------
Index Scan using idx_french_ctype on french_messages2 (cost=0.00..17139.15 rows=400000 width=8)

==Unlogged Tables/Tables non journalisées==

Ces tables peuvent être utilisées pour stocker des données éphémères. Une table non journalisée est bien plus rapide à écrire, mais elle ne survivra pas à un crash (elle sera tronquée au redémarrage de l'instance en cas de crash).

Elles n'ont pas pas le coût de maintenance associé à la journalisation, elles sont donc bien plus rapides à écrire.

Voici un exemple (idiot, l'exemple):

# CREATE TABLE test (a int);
CREATE TABLE
# CREATE UNLOGGED table testu (a int);
CREATE TABLE
# CREATE INDEX idx_test on test (a);
CREATE INDEX
# CREATE INDEX idx_testu on testu (a);
CREATE INDEX
=# \timing
Timing is on.
=# INSERT INTO test SELECT generate_series(1,1000000);
INSERT 0 1000000
Time: 17601,201 ms
=# INSERT INTO testu SELECT generate_series(1,1000000);
INSERT 0 1000000
Time: 3439,982 ms

Elles sont donc très efficace pour des données de cache, ou pour n'importe quoi qui puisse être reconstruit après un crash.

==Extensions==

Ce point et le suivant sont l'occasion de présenter plusieurs fonctionnalités d'un coup. Nous allons commencer par installer pg_trgm, et c'est maintenant une extension.

Installons donc pg_trgm. Jusqu'à la 9.0, nous devions lancer un script manuellement. La commande ressemblait à ceci:

\i /usr/local/pgsql/share/contrib/pg_trgm.sql

Cela entraînait des problèmes de maintenance: les fonctions créées allaient par défaut dans le schéma public, elles étaient envoyées telles quelles dans les fichiers pg_dump, ne se restauraient souvent pas bien, puisqu'elles dépendaient souvent d'objets binaires externes, ou pouvaient changer de définition entre les différentes versions de PostgreSQL.

Avec la 9.1, vous pouvez utiliser la commande CREATE EXTENSION:

CREATE EXTENSION [ IF NOT EXISTS ] extension_name
[ WITH ] [ SCHEMA schema ]
[ VERSION version ]
[ FROM old_version ]

Les options les plus importantes sont "extension_name", bien sûr, et "schema": les extensions peuvent être stockées dans un schéma.

Installons donc pg_trgm, pour l'exemple qui va suivre:

=# CREATE schema extensions;
CREATE SCHEMA

=# CREATE EXTENSION pg_trgm WITH SCHEMA extensions;
CREATE EXTENSION

Maintenant, pg_trgm est installé dans un schéma "extensions". Il sera inclus dans les exports de base correctement, avec la syntaxe CREATE EXTENSION. Par conséquent, si quelque chose change dans l'extension, elle sera restaurée avec la nouvelle définition.

La liste des extensions peut être obtenue comme suit dans psql:
\dx
List of installed extensions
Name | Version | Schema | Description
----------+---------+------------+-------------------------------------------------------------------
pg_trgm | 1.0 | extensions | text similarity measurement and index searching based on trigrams
plpgsql | 1.0 | pg_catalog | PL/pgSQL procedural language
(2 rows)

==K-Nearest-Neighbor Indexing/Indexation des k plus proches voisins==

Les index GIST peuvent maintenant être utilisés pour retourner des enregistrements triés, si la notion de distance a une signification pour ces données, et qu'on peut en fournir une définition. Pour le moment, ce travail a été effectué pour le type 'point', l'extension 'pg_trgm' et plusieurs types de données btree_gist. Cette fonctionnalité est fournie à tous les types de données, il y en aura donc probablement d'autres qui l'implémenteront dans un futur proche.

Pour l'heure, voici donc un exemple avec pg_trgm. pg_trgm utilise des trigrammes pour comparer des chaînes. Voici les trigrammes pour la chaîne 'hello':

SELECT show_trgm('hello');
show_trgm
---------------------------------
{" h"," he",ell,hel,llo,"lo "}

Les trigrammes sont utilisés pour évaluer la similarité (entre 0 et 1) entre des chaînes. Il y a donc une notion de distance, et on peut la définir par '1-similarité'.

Voici un exemple. La table contient 5 millions d'enregistrements et pèse 750Mo.

CREATE TABLE test_trgm ( text_data text);

CREATE INDEX test_trgm_idx on test_trgm using gist (text_data extensions.gist_trgm_ops);

Jusqu'à la 9.0, si nous voulons les deux text_data les plus proches de 'hello' dans la table, la requête était celle-ci:

SELECT text_data, similarity(text_data, 'hello')
FROM test_trgm
WHERE text_data % 'hello'
ORDER BY similarity(text_data, 'hello')
LIMIT 2;

Sur cette base de test, il faut environ 2 secondes pour obtenir le résultat.

Avec 9.1 et la nouvelle fonctionnalité KNN, on peut l'écrire comme ceci:

SELECT text_data, text_data <-> 'hello'
FROM test_trgm
ORDER BY text_data <-> 'hello'
LIMIT 2;

L'opérateur <-> est l'opérateur de distance. La requête dure 20 millisecondes, et passe par l'index pour récupérer directement les deux meilleurs enregistrements.

Tant que nous parlons de pg_trgm, une autre fonctionnalité apparaissant en 9.1 est que les opérateurs LIKE et ILIKE peuvent maintenant utiliser automatiquement un index trgm. Toujours sur la même table:

SELECT text_data
FROM test_trgm
WHERE text_data like '%hello%';

utilise l'index test_trgm_idx (au lieu de parcourir la table entière).

Attention tout de même: les index trgm sont très volumineux, et coûteux à maintenir.

==Serializable Snapshot Isolation/Isolation par Instantanés Sérialisable/SSI==

Cette fonctionnalité est très utile si vous avez besoin que toutes vos transactions se comportent comme si elles s'exécutaient les unes après les autres, sans trop sacrifier les performances, comme c'est le cas pour la plupart des implémentations d'isolation «sérialisable» actuelles (elles s'appuient habituellement sur le verrouillage de tous les enregistrements accédés).

Comme cette fonctionnalité est complexe à montrer et à expliquer, voici un lien vers l'explication complète de cette fonctionnalité: http://wiki.postgresql.org/wiki/SSI/fr

==Writeable Common Table Expressions/Expression de Table Commune en Écriture==

Cela étend la syntaxe WITH introduite en 8.4. Dorénavant, des requêtes de modification de données peuvent être utilisées dans la partie WITH de la requête, et les données retournées par cet ordre utilisées.

Imaginons que nous voulons archiver tous les enregistrements correspondant à %hello% de la table test_trgm:

CREATE TABLE old_text_data (text_data text);

WITH deleted AS (DELETE FROM test_trgm WHERE text_data like '%hello%' RETURNING text_data)
INSERT INTO old_text_data SELECT * FROM deleted;

Tout en une seule requête (donc en une seule passe sur test_trgm).

==SE-Postgres==

PostgreSQL est la seule base qui propose une intégration complète avec le framework de sécurisation SELinux. Sécurité de niveau militaire pour votre base de données.
TODO

==PGXN==

[http://pgxn.org/ PGXN] est le PostgreSQL Extension Network (le réseau d'extensions PostgreSQL), un système de distribution centralisée pour les bibliothèques d'extension PostgreSQL open-source. Les auteurs d'extensions peuvent [http://manager.pgxn.org/ soumettre leur travail] en même temps que [http://pgxn.org/spec/ les métadonnées le décrivant]: les packages et leur documentation sont [http://pgxn.org/ indexés] et distribués sur plusieurs serveurs. Le système peut être utilisé au travers d'une interface web ou en utilisant des clients en ligne de commande grâce à une [https://github.com/pgxn/pgxn-api/wiki API simple].

Un [http://pgxnclient.projects.postgresql.org/ client PGXN] complet est en cours de développement. Il peut être installé avec:

$ easy_install pgxnclient
Searching for pgxnclient
...
Best match: pgxnclient 0.2.1
Processing pgxnclient-0.2.1-py2.6.egg
...
Installed pgxnclient-0.2.1-py2.6.egg

Il permet entre autres de rechercher des extensions sur le site web:

$ pgxn search pair
pair 0.1.3
... Usage There are two ways to construct key/value *pairs*: Via the
*pair*() function: % SELECT *pair*('foo', 'bar'); *pair* ------------
(foo,bar) Or by using the ~> operator: % SELECT 'foo' ~> 'bar';
*pair*...

semver 0.2.2
*pair* │ 0.1.0 │ Key/value *pair* data type Note that "0.35.0b1" is less
than "0.35.0", as required by the specification. Use ORDER BY to get
more of a feel for semantic version ordering rules: SELECT...

Pour compiler et installer sur le système:

$ pgxn install pair
INFO: best version: pair 0.1.3
INFO: saving /tmp/tmpezwyEO/pair-0.1.3.zip
INFO: unpacking: /tmp/tmpezwyEO/pair-0.1.3.zip
INFO: building extension
...
INFO: installing extension
[sudo] password for piro:
/bin/mkdir -p '/usr/local/pg91b1/share/postgresql/extension'
...

Et pour les charger en tant qu'extension de base de données:

$ pgxn load -d mydb pair
INFO: best version: pair 0.1.3
CREATE EXTENSION

==SQL/MED==

Le support de SQL/MED (Management of External Data ou Gestion de Données Externes) a été démarré en 8.4. Maintenant, PostgreSQL peut définir des tables externes, ce qui est le but principal de SQL/MED: accéder à des données externes. Voici un exemple, s'appuyant sur l'extension file_fdw.

Nous allons accéder à un fichier CSV au travers d'une table.

CREATE EXTENSION file_fdw WITH SCHEMA extensions;
\dx+ file_fdw
Objects in extension "file_fdw"
Object Description
----------------------------------------------------
foreign-data wrapper file_fdw
function extensions.file_fdw_handler()
function extensions.file_fdw_validator(text[],oid)

L'étape suivante est optionnelle. Elle est là juste pour montrer la syntaxe de 'CREATE FOREIGN DATA WRAPPER' (le foreign data wrapper étant en quelque sorte le connecteur pour un type de données externes):

=# CREATE FOREIGN DATA WRAPPER file_data_wrapper HANDLER extensions.file_fdw_handler;
CREATE FOREIGN DATA WRAPPER

L'extension crée déjà un «foreign data wrapper» appelé file_fdw. Nous allons l'utiliser à partir de maintenant.

Nous avons besoin de créer un 'server'. Comme les données que nous allons récupérer ne proviennent que d'un fichier, cela semble un peu inutile, mais SQL/MED est aussi capable de gérer des bases de données distantes.

CREATE SERVER file FOREIGN DATA WRAPPER file_fdw ;
CREATE SERVER

Maintenant, attachons un fichier statistical_data.csv à une table statistical_data:

CREATE FOREIGN TABLE statistical_data (field1 numeric, field2 numeric) server file options (filename '/tmp/statistical_data.csv', format 'csv', delimiter ';') ;
CREATE FOREIGN TABLE
marc=# SELECT * from statistical_data ;
field1 | field2
--------+--------
0.1 | 0.2
0.2 | 0.4
0.3 | 0.9
0.4 | 1.6

Pour le moment, les foreign tables ne sont accessibles qu'en SELECT.

TODO: does this also work with dblink ?

=Modifications pouvant entraîner des régressions=

Les points suivants doivent être vérifiés lors d'une migration vers la version 9.1.

* La valeur par défaut de ''standard_conforming_strings'' est devenue ''on''

Traditionnellement, PostgreSQL ne traitait pas les littéraux de type chaîne ('..') comme le spécifie le standard SQL: les anti-slashs ('\') étaient considérés comme des caractères d'échappement, ce qui entraînait que le caractère suivant un '\' était interprété. Par exemple, '\n' est un caractère newline, '\\' est le caractère '\' lui-même. Cela s'apparentait davantage à la syntaxe du C.

En 9.1, ''standard_conforming_strings'' est maintenant par défaut à ''on'', ce qui signifie que les littéraux de type chaîne sont maintenant traités comme spécifié par le standard SQL. Ce qui signifie que les caractères apostrophe doivent maintenant être protégés avec une deuxième apostrophe plutôt qu'un anti-slash, et que les anti-slashs ne sont plus des caractères d'échappement.

Par exemple, quand précédemment on écrivait <nowiki>'l\'heure', on doit maintenant écrire 'l''heure'.</nowiki>

Certaines subtilités sont à connaître, même si elles ne sont pas apparues en 9.1:

:* L'ancienne syntaxe est toujours disponible. Mettez simplement un E devant le guillemet de départ: E'l\'heure'
:* ''standard_conforming_strings'' peut toujours être remis à ''off''
:* Beaucoup de langages de programmation font déjà ce qu'il faut, si vous leur demandez de faire le travail d'échappement pour vous. Par exemple, la fonction PQescapeLiteral de la libpq détecte automatiquement la valeur de standard_conforming_strings et s'y adapte.
Toutefois, vérifiez bien que votre programme est prêt à supporter ce changement de comportement.

* les conversions de type de données de style 'fonction' ou 'attribut' ne sont plus autorisés pour les types composites

Depuis la version 8.4, il est possible de convertir à peu près n'importe quoi vers son format texte.
Essayons cela avec la foreign table définie précédemment:

=# SELECT cast(statistical_data as text) from statistical_data ;
statistical_data
------------------
(0.1,0.2)
(0.2,0.4)
(0.3,0.9)
(0.4,1.6)
(4 rows)

Le problème c'est que les versions 8.4 et 9.0 nous donnent 4 syntaxes différentes pour effectuer cela:
:* SELECT cast(statistical_data as text) from statistical_data ;
:* SELECT statistical_data::text from statistical_data;
:* SELECT statistical_data.text from statistical_data;
:* SELECT text(statistical_data) from statistical_data;
les deux dernières syntaxes ne sont plus autorisées pour les types composites (comme un enregistrement de table): ils étaient bien trop faciles à utiliser accidentellement.

* Les vérifications de conversion sur les domaines définis à partir de tableaux ont été renforcées

Maintenant, PostgreSQL vérifie quand vous faites une mise à jour d'un élément d'une contrainte définie sur un tableau.

Voici ce qui se passait en 9.0:

=#CREATE DOMAIN test_dom as int[] check (value[1] > 0);
CREATE DOMAIN
=#SELECT '{-1,0,0,0,0}'::test_dom;
ERROR: value for domain test_dom violates check constraint "test_dom_check"

Jusque là, tout va bien.

=#CREATE TABLE test_dom_table (test test_dom);
CREATE TABLE
=# INSERT INTO test_dom_table values ('{1,0,0,0,0}');
INSERT 0 1
=# UPDATE test_dom_table SET test[1]=-1;
UPDATE 1

Par contre, là, c'est anormal… la contrainte check nous interdit de le faire. C'est maintenant impossible en 9.1, la vérification est faite correctement.

* string_to_array() retourne maintenant un tableau vide pour une chaîne d'entrée de longueur zéro. Précédemment, cela retournait NULL.

=# SELECT string_to_array('','whatever');
string_to_array
-----------------
{}

* string_to_array() découpe maintenant une chaîne en ses caractères si le séparateur est NULL. Précédemment, cela retournait NULL:

=# SELECT string_to_array('foo',NULL);
string_to_array
-----------------
{f,o,o}

* PL/pgSQL's RAISE sans paramètre a changé de comportement.

C'est un cas assez rare, mais qui piégeait les utilisateurs habitués au comportement d'Oracle sur ce point.

Voici un exemple:

CREATE OR REPLACE FUNCTION raise_demo () returns void language plpgsql as $$
BEGIN
RAISE NOTICE 'Main body';
BEGIN
RAISE NOTICE 'Sub-block';
RAISE EXCEPTION serialization_failure; -- Simulate a problem
EXCEPTION WHEN serialization_failure THEN
BEGIN
-- Maybe we had a serialization error
-- Won't happen here of course
RAISE DEBUG 'There was probably a serialization failure. It could be because of...';
-- ..
-- If I get there let's pretend I couldn't find a solution to the error
RAISE; -- Let's forward the error
EXCEPTION WHEN OTHERS THEN
-- This should capture everything
RAISE EXCEPTION 'Couldn t figure what to do with the error';
END;
END;
END;
$$
;
CREATE FUNCTION

En 9.0, vous aurez ce résultat (avec ''client_min_messages'' à ''debug''):
=# SELECT raise_demo();
NOTICE: Main body
NOTICE: Sub-block
DEBUG: There was probably a serialization failure. It could be because of...
ERROR: serialization_failure

En 9.1:
=# SELECT raise_demo();
NOTICE: Main body
NOTICE: Sub-block
DEBUG: There was probably a serialization failure. It could be because of...
ERROR: Couldn t figure what to do with the error

La différence est que RAISE sans paramètres, en 9.0, ramène le déroulement du code à l'endroit où l'EXCEPTION s'est déclenchée. En 9.1, le RAISE continue dans le bloc dans lequel il se produit, le bloc BEGIN intérieur n'est pas quitté quand le RAISE se déclenche. Son bloc d'exception est exécuté.

=Améliorations liées aux performances=

* Les écritures synchrones ont été optimisées pour moins charger le système de fichiers.

Ce point est difficile à mettre en évidence dans ce document. Mais la performance et les temps de réponse (la latence) ont été fortement améliorés quand la charge en écriture est élevée.

* Les tables filles (par héritage) dans les requêtes peuvent maintenant retourner des résultats triés de façon utile, ce qui permet des optimisations de MIN/MAX pour l'héritage (et donc le partitionnement).

Si vous utilisez beaucoup d'héritage, dans un contexte de partitionnement en particulier, vous allez adorer cette optimisation.

Le planificateur de requête est devenu bien plus intelligent dans le cas suivant.

Créons un schéma factice:

=# CREATE TABLE parent (a int);
CREATE TABLE
=# CREATE TABLE children_1 ( check (a between 1 and 10000000)) inherits (parent);
CREATE TABLE
=# CREATE TABLE children_2 ( check (a between 10000001 and 20000000)) inherits (parent);
CREATE TABLE
=# INSERT INTO children_1 select generate_series(1,10000000);
INSERT 0 10000000
=# INSERT INTO children_2 select generate_series(10000001,20000000);
INSERT 0 10000000
=# CREATE INDEX test_1 ON children_1 (a);
CREATE INDEX;
=# CREATE INDEX test_2 ON children_2 (a);
CREATE INDEX;

Et demandons les 50 plus grandes valeurs de a.

SELECT * from parent order by a desc limit 50;

Cela prend, sur une petite machine de test, 13 secondes sur une base en 9.0, et 0.8 millisecondes sur une base en 9.1.

Le plan en 9.0 est:

Limit (cost=952993.36..952993.48 rows=50 width=4)
-> Sort (cost=952993.36..1002999.24 rows=20002354 width=4)
Sort Key: public.parent.a
-> Result (cost=0.00..288529.54 rows=20002354 width=4)
-> Append (cost=0.00..288529.54 rows=20002354 width=4)
-> Seq Scan on parent (cost=0.00..34.00 rows=2400 width=4)
-> Seq Scan on children_1 parent (cost=0.00..144247.77 rows=9999977 width=4)
-> Seq Scan on children_2 parent (cost=0.00..144247.77 rows=9999977 width=4)

Le plan en 9.1 est:

Limit (cost=113.75..116.19 rows=50 width=4)
-> Result (cost=113.75..975036.98 rows=20002400 width=4)
-> Merge Append (cost=113.75..975036.98 rows=20002400 width=4)
Sort Key: public.parent.a
-> Sort (cost=113.73..119.73 rows=2400 width=4)
Sort Key: public.parent.a
-> Seq Scan on parent (cost=0.00..34.00 rows=2400 width=4)
-> Index Scan Backward using test_1 on children_1 parent (cost=0.00..303940.35 rows=10000000 width=4)
-> Index Scan Backward using test_2 on children_2 parent (cost=0.00..303940.35 rows=10000000 width=4)

Le plan en 9.0 signifie: je vais prendre tous les enregistrements de toutes les tables, les trier, et ensuite retourner les 50 plus grands.

Le plan en 9.1 signifie: je vais prendre les enregistrements de chaque table dans l'ordre trié, en utilisant leurs index s'il y en a, les fusionner comme ils arrivent, et retourner les 50 premiers.

C'était un piège très fréquent, ce genre de requête devenait extrêmement lent quand on partitionnait une table. Et il était un peu compliqué de le contourner par réécriture de requête.

* Les algorithmes de hachage peuvent maintenant être utilisés pour les full outer join, et pour les tableaux.

Il est très simple de démontrer ce point (pour les full outer join):

CREATE TABLE test1 (a int);
CREATE TABLE test2 (a int);
INSERT INTO test1 SELECT generate_series(1,100000);
INSERT INTO test2 SELECT generate_series(100,1000);

Nous avons donc une grosse table test1 et une petite table test2.

En 9.0, la requête est faite avec ce plan:

EXPLAIN ANALYZE SELECT * FROM test1 FULL OUTER JOIN test2 USING (a);
QUERY PLAN
--------------------------------------------------------------------------------------------------------------------------
Merge Full Join (cost=11285.07..11821.07 rows=100000 width=8) (actual time=330.092..651.618 rows=100000 loops=1)
Merge Cond: (test1.a = test2.a)
-> Sort (cost=11116.32..11366.32 rows=100000 width=4) (actual time=327.926..446.814 rows=100000 loops=1)
Sort Key: test1.a
Sort Method: external sort Disk: 1368kB
-> Seq Scan on test1 (cost=0.00..1443.00 rows=100000 width=4) (actual time=0.011..119.246 rows=100000 loops=1)
-> Sort (cost=168.75..174.75 rows=2400 width=4) (actual time=2.156..3.208 rows=901 loops=1)
Sort Key: test2.a
Sort Method: quicksort Memory: 67kB
-> Seq Scan on test2 (cost=0.00..34.00 rows=2400 width=4) (actual time=0.009..1.066 rows=901 loops=1
Total runtime: 733.368 ms

Voici le nouveau plan, en 9.1 cette fois-ci:

--------------------------------------------------------------------------------------------------------------------
Hash Full Join (cost=24.27..1851.28 rows=100000 width=8) (actual time=2.536..331.547 rows=100000 loops=1)
Hash Cond: (test1.a = test2.a)
-> Seq Scan on test1 (cost=0.00..1443.00 rows=100000 width=4) (actual time=0.014..119.884 rows=100000 loops=1)
-> Hash (cost=13.01..13.01 rows=901 width=4) (actual time=2.505..2.505 rows=901 loops=1)
Buckets: 1024 Batches: 1 Memory Usage: 32kB
-> Seq Scan on test2 (cost=0.00..13.01 rows=901 width=4) (actual time=0.017..1.186 rows=901 loops=1)
Total runtime: 412.735 ms

Le plan en 9.0 effectue 2 tris. Celui en 9.1 n'a besoin que d'un hachage de la plus petite table.

Le temps d'exécution est divisé par presque 2. Une autre propriété intéressante est que le nouveau plan a un coût de démarrage bien plus faible: le premier enregistrement est retourné après 2 millisecondes, alors qu'il en faut 330 à l'ancien plan.

SELECT * from test1 full outer join test2 using (a) LIMIT 10

prend 330ms en 9.0, et 3ms en 9.1.

=Administration=

* Paramétrage automatique de wal_buffers.
Le paramètre wal_buffers est maintenant positionné automatiquement quand sa valeur est -1, sa nouvelle valeur par défaut. Il est positionné automatiquement à 1/32ème de shared_buffers, avec un maximum à 16Mo. Un paramètre de moins à gérer…

* Enregistrement des dernières remises à zéro dans les vues de statistiques de base de données et de background writer.
Vous pouvez maintentant savoir quand les statistiques ont été réinitialisées. Pour une base de données, par exemple:

SELECT datname, stats_reset FROM pg_stat_database;
datname | stats_reset
-----------+-------------------------------
template1 |
template0 |
postgres | 2011-05-11 19:22:05.946641+02
marc | 2011-05-11 19:22:09.133483+02

* Nouvelles colonnes montrant le nombre d'opérations de vacuum et d'analyze dans les vues pg_stat_*_tables.

C'est maintenant bien plus facile de savoir quelle table attire l'attention d'autovacuum:

SELECT relname, last_vacuum, vacuum_count, last_autovacuum, autovacuum_count, last_analyze, analyze_count, last_autoanalyze, autoanalyze_count
FROM pg_stat_user_tables
WHERE relname in ('test1','test2');
relname | last_vacuum | vacuum_count | last_autovacuum | autovacuum_count | last_analyze | analyze_count | last_autoanalyze | autoanalyze_count
---------+-------------+--------------+-----------------+------------------+--------------+---------------+-------------------------------+-------------------
test1 | | 0 | | 0 | | 0 | 2011-05-22 15:51:50.48562+02 | 1
test2 | | 0 | | 0 | | 0 | 2011-05-22 15:52:50.325494+02 | 2

=Fonctionnalités SQL et PL/PgSQL=

* Group by peut deviner des colonnes manquantes

CREATE TABLE entities (entity_name text primary key, entity_address text);
CREATE TABLE employees (employee_name text primary key, entity_name text references entities (entity_name));
INSERT INTO entities VALUES ('HR', 'address1');
INSERT INTO entities VALUES ('SALES', 'address2');
INSERT INTO employees VALUES ('Smith', 'HR');
INSERT INTO employees VALUES ('Jones', 'HR');
INSERT INTO employees VALUES ('Taylor', 'SALES');
INSERT INTO employees VALUES ('Brown', 'SALES');

On peut maintenant écrire:

SELECT count(*), entity_name, address
FROM entities JOIN employees using (entity_name)
GROUP BY entity_name;
count | entity_name | address
-------+-------------+----------
2 | HR | address1
2 | SALES | address2

En 9.0, il aurait fallu grouper aussi sur address. Comme entity_name est la clé primaire d'entities, address est fonctionnellement dépendant d'entity_name, il est donc évident que PostgreSQL doit aussi regrouper sur address.

* De nouvelles valeurs peuvent être ajoutées à un type enum par ALTER TYPE.

=# CREATE TYPE package_status AS ENUM ('RECEIVED', 'DELIVERED'); ;
CREATE TYPE
=# ALTER TYPE package_status ADD VALUE 'READY FOR DELIVERY' AFTER 'RECEIVED';
ALTER TYPE

Jusqu'à la 9.0, il était nécessaire de détruire le type et en créer un nouveau. Cela impliquait de détruire toutes les colonnes utilisant ce type. C'était une des principales raisons pour lesquelles les enum étaient peu utilisés.

* Les types composites peuvent être modifiés par ALTER TYPE ... ADD/DROP/ALTER/RENAME ATTRIBUTE.

Créons un type composite simple:

=#CREATE TYPE package AS (destination text);

Créons une fonction vide utilisant ce type:

=#CREATE FUNCTION package_exists (pack package) RETURNS boolean LANGUAGE plpgsql AS $$
BEGIN
RETURN true;
END
$$
;

Testons cette fonction:

=#SELECT package_exists(row('test'));
package_exists
----------------
t

Cela fonctionne.

Il est maintenant possible de modifier le type 'package':

=#ALTER TYPE package ADD ATTRIBUTE received boolean;

le type a changé:

=#SELECT package_exists(row('test'));
ERROR: cannot cast type record to package
LINE 1: SELECT package_exists(row('test'));
^
DETAIL: Input has too few columns.
=# SELECT package_exists(row('test',true));
package_exists
----------------
t

* ALTER TABLE ... ADD UNIQUE/PRIMARY KEY USING INDEX

Cela sera certainement utilisé principalement pour créer une clé unique ou primaire sans verrouiller une table pendant trop longtemps:

=# CREATE UNIQUE INDEX CONCURRENTLY idx_pk ON test_pk (a);
CREATE INDEX
=# ALTER TABLE test_pk ADD primary key using index idx_pk;
ALTER TABLE

La table test_pk ne sera verrouillée en écriture que pendant la durée de l'ALTER TABLE. Le reste du travail sera fait sans bloquer le travail des utilisateurs.

On peut bien sûr utiliser cela pour reconstruire l'index d'une clé primaire sans verrouiller la table pendant toute l'opération:

=# CREATE UNIQUE INDEX CONCURRENTLY idx_pk2 ON test_pk (a);
=# BEGIN ;
=# ALTER TABLE test_pk DROP CONSTRAINT idx_pk;
=# ALTER TABLE test_pk ADD primary key using index idx_pk2;
=# COMMIT ;

* ALTER TABLE ... SET DATA TYPE peut éviter la ré-écriture de toute la table pour les cas les plus appropriés.

Par exemple, convertir une colonne varchar en texte ne demande plus de réécrire la table.

Par contre, augmenter la taille d'une colonne varchar nécessite toujours une réécriture de la table

Il reste encore un certain nombre de cas non gérés, qui déclenchent une réécriture. Il y aura probablement des améliorations dans les prochaines versions de PostgreSQL, ce travail se poursuivant.

* New CREATE TABLE IF NOT EXISTS syntax.

Vous n'aurez pas d'erreur si une table existe déjà, seulement un NOTICE.

Attention au fait qu'il ne vérifiera pas que la définition de votre CREATE TABLE et la définition de la table sont identiques.

* Nouvelle option ENCODING à COPY TO/FROM. Cela permet de spécifier un encodage à COPY qui soit indépendant du client_encoding.

COPY test1 TO stdout ENCODING 'latin9'

convertira l'encodage directement. Il n'est donc pas nécessaire de changer le client_encoding avant le COPY.

* triggers INSTEAD OF sur vues.

Cette fonctionnalité peut être utilisée pour implémenter des vues en mise à jour. Voici un exemple:

Continuons sur l'exemple employees/entities.

=#CREATE VIEW emp_entity AS SELECT employee_name, entity_name, address
FROM entities JOIN employees USING (entity_name);

Pour rendre cette vue modifiable en 9.0, il fallait utiliser des RULES (règles). Cela pouvait vite tourner au cauchemar, les rules sont assez complexes à écrire, et encore pire à déboguer. Voici comment on procédait: [http://www.postgresql.org/docs/9.1/static/rules-update.html mises à jour par règles]

On peut maintenant faire tout cela avec un trigger. Voici un exemple, en PL/PgSQL (il n'y a que la partie INSERT ici):

=#CREATE OR REPLACE FUNCTION dml_emp_entity () RETURNS trigger LANGUAGE plpgsql AS $$
DECLARE
vrecord RECORD;
BEGIN
IF TG_OP = 'INSERT' THEN
-- Does the record exist in entity ?
SELECT entity_name,address INTO vrecord FROM entities WHERE entity_name=NEW.entity_name;
IF NOT FOUND THEN
INSERT INTO entities (entity_name,address) VALUES (NEW.entity_name, NEW.address);
ELSE
IF vrecord.address != NEW.address THEN
RAISE EXCEPTION 'There already is a record for % in entities. Its address is %. It conflics with your address %',
NEW.entity_name, vrecord.address, NEW.address USING ERRCODE = 'unique_violation';
END IF;
END IF; -- Nothing more to do, the entity already exists and is OK
-- We now try to insert the employee data. Let's directly try an INSERT
BEGIN
INSERT INTO employees (employee_name, entity_name) VALUES (NEW.employee_name, NEW.entity_name);
EXCEPTION WHEN unique_violation THEN
RAISE EXCEPTION 'There is already an employee with this name %', NEW.employee_name USING ERRCODE = 'unique_violation';
END;
RETURN NEW; -- The trigger succeeded
END IF;
END
$$
;

Il ne reste plus qu'à déclarer notre trigger maintenant:

=#CREATE TRIGGER trig_dml_emp_entity INSTEAD OF INSERT OR UPDATE OR DELETE ON emp_entity FOR EACH ROW EXECUTE PROCEDURE dml_emp_entity ();

Il y a d'autres avantages: une rule ne fait que réécrire la requête. Avec le trigger, nous avons rajouté de la logique, et nous pouvons retourner des messages d'erreur pertinents. Cela permet bien plus facilement de comprendre ce qui a échoué. On peut aussi gérer des exceptions. Nous avons tous les avantages des triggers sur les rules.

* PL/PgSQL FOREACH IN ARRAY.

C'est devenu bien plus simple de faire une boucle sur un tableau en PL/PgSQL. Jusqu'à maintenant, le mot clé FOR ne fonctionnait que pour boucler sur des recordsets (résultat de requête).

On peut maintenant s'en servir pour boucler sur un tableau.

Avant la 9.1, il aurait fallu écrire quelque chose de ce genre:

=# CREATE OR REPLACE FUNCTION test_array (parray int[]) RETURNS int LANGUAGE plpgsql AS $$
DECLARE
vcounter int :=0;
velement int;
BEGIN
FOR velement IN SELECT unnest (parray)
LOOP
vcounter:=vcounter+velement;
END LOOP;
RETURN vcounter;
END
$$
;

Maintenant:

=# CREATE OR REPLACE FUNCTION test_array (parray int[]) RETURNS int LANGUAGE plpgsql AS $$
DECLARE
vcounter int :=0;
velement int;
BEGIN
FOREACH velement IN ARRAY parray
LOOP
vcounter:=vcounter+velement;
END LOOP;
RETURN vcounter;
END
$$
;

C'est bien plus facile à lire, et plus performant à l'exécution.

Il y a un autre avantage: nous pouvons découper le tableau quand il est multi-dimensionnel. Voici un exemple, tiré directement de la documentation:

=#CREATE FUNCTION scan_rows(int[]) RETURNS void AS $$
DECLARE
x int[];
BEGIN
FOREACH x SLICE 1 IN ARRAY $1
LOOP
RAISE NOTICE 'row = %', x;
END LOOP;
END;
$$ LANGUAGE plpgsql;

=#SELECT scan_rows(ARRAY[[1,2,3],[4,5,6],[7,8,9],[10,11,12]]);
NOTICE: row = {1,2,3}
NOTICE: row = {4,5,6}
NOTICE: row = {7,8,9}
NOTICE: row = {10,11,12}

[[Category:PostgreSQL 9.1]]
[[Category:Français]]

GSoC 2011

2011-03-10T20:14:14Z

Gleu: few ideas for pgadmin

== Project Ideas ==

* Add support for multi-line GUCs (configuration variables)
* Add ability to control CSV log fields and order and allow CSV log format changes on SIGHUP
* Eliminate 1GB memory allocation limit for individual queries (MaxAllocSize and friends)
* Build SELinux demonstration for addressing PCI compliance
* [[Bulk_insert_for_GiST_GSoC_2011|Bulk insert for GiST]]
* Improve the auto-configuration script (Python or Perl)
* Write Foreign Data Wrappers for several external data sources (ODBC, SQL Server, Oracle, MySQL, CouchDB, Redis, etc.)
* Integrate SQL/MED and PL/Proxy
* Refactor the NewSysViews project to integrate it with information_schema for inclusion in core PostgreSQL.
* Create autotuning utilities for automated interaction with system information and/or logs
* Help finish the JSON data type
* Please add ideas here!

More ideas:

=== Core Source Code ===

* TODO Items: A number of the items on our TODO list have been marked as good projects for beginners who are new to the PostgreSQL code. Items on this list have the advantage of already having general community agreement that the feature is desireable. These items should also have some general discussion available in the mailing list archives to help get you started. You can find these items on the TODO list, they will be marked with an [E].
* DDL Functions: Create a SQL-callable function capable of generating DDL scripts for objects within the database.
* EXPLAIN Enhancements: Add information to EXPLAIN documenting I/O activity, discarded plans, costing detail, memory usage and more.
* Text-Array Indexing: Add support for indexing text or multi-typed array data, capable of supporting indexed queries, similar to intarray.

=== Infrastructure ===

* Enhance Buildfarm to test external packages, patches, or performance: The PostgreSQL project maintains a public buildfarm that continuously communicates with several machines that checkout and build the PostgreSQL source on a regular basis. The idea behind this project is to extend the current buildfarm code to allow it download external modules and report back on their build status, to download unapplied patches and test them, or to run performance tests.
* Enhance "Performance-Farm" framework for continuous performance regression testing: Similar to the buildfarm, the idea behind this project is to create a public infrastructure that continuously communicates with several machines that checkout and build the PostgreSQL source on a regular basis, running and reporting on agreed performance benchmarks.

=== External Applications ===

* pgAdmin III / phpPgAdmin Enhancements: PostgreSQL supports a number of popular GUI Tools that are not distributed with the core project. Projects like these often have their own TODO lists and compatibility issues with the core PotgreSQL that need development. We welcome ideas for these projects as well.
* pgAdmin III : add graph support to the server status window, add more ways to view an explain analyze in the query tool (and handle xml explain)
* Procedural Language Improvements: PostgreSQL provides support for more than a dozen different procedural languages, however the level of support varies depending on the language implementation. Enhancing support of these procedural languages might include fixing build issues, adding SPI support, adding trigger support, adding support for IN/OUT parameters and more.
* Replication and Clustering: PostgreSQL provides a wide range of replication solutions for varying types of replication needs. Many of these projects need assistance with building against different versions of PostgreSQL, installation and setup, administrative tools, and general bugfixing.
* Teaching & Learning Tools: External tools to help in teaching the internals of PostgreSQL such as enhanced visual EXPLAIN, graphical models of the query engine, educational guides to the code, and interactive tools to demonstrate various query types.
* PostGIS & GEOS: Add performance and feature enhancements to PostgreSQL's geographic data support.

Additional projects may be found by browsing the [http://pgfoundry.org PostgreSQL Development Projects] website.

== Projects ==

The GSoC projects for 2011 are:

* TBD :)

We are also working on a [http://twitter.com/selenamarie/gsoc2011 twitter list] for those involved this year. If you are missing, please send us your info:

== Key Info ==
* March 7th - 11th, Mentoring Application Due
* March 29th - April 9th, Student Applications Due

* [http://google-opensource.blogspot.com/2011/02/mentoring-organization-applications-now.html Announcement for GSoC 2011]
* [http://www.google-melange.com// GSOC 2011 Home page ]
* [http://www.google-melange.com/document/show/gsoc_program/google/gsoc2011/faqs GSOC 2011 FAQ]
* [http://www.postgresql.org/developer/summerofcode Postgres GSOC Page, Needs Updating!]
* [https://twitter.com/selenamarie/gsoc2011 Twitter stream of mentors and students]

== Project Admins ==
* Selena Deckelmann - Co-admin, Mentor Summit attendee.
* Josh Berkus - Co-admin, Mentor Summit attendee.
* Robert Treat - Past mentor 2x, co-admin, Mentor Summit attendee.

== 2011 Mentors ==
* Dave Page - Former mentor - pgAdmin, Windows, Packaging, Infrastructure
* Heikki Linnakangas - Postgres Committer
* Magnus Hagander - Postgres Committer, Windows, pgAdmin
* Guillaume Lelarge - pgAdmin
* Jehan-Guillaume de Rorthais - phpPgAdmin
* Joe Abbate - Python-related, catalog-related projects
* David E. Wheeler - Perl-related, extensions, PGXN
* Mark Wong - benchmarking, monitoring, performance
* Tatsuo Ishii - Postgres Committer, pgpool-II
* Stephen Frost - Postgres contributor

=== additional reviewers ===
* Josh Berkus - auto-configuration, performance testing
* Selena Deckelmann - configuration, testing
* Andreas Scherbaum - performance, configuration, testing

== Past Success ==
* Florian - read-only on snapshots, no advancement of xid on select statements
* Ivan - Full-Text Support in phpPgAdmin
* Mickael Deloison - pgScript engine for pgAdmin
* Luis Alberto Ochoa Paz - Graphical query builder for pgAdmin
* Leonardo Sapiras - browsing data through FK in phpPgAdmin + some additionnal stuffs

== GOALS: ==
* usable code
** useful/novel ideas
** research projects
* longer term contributors

== TODOs: ==

* Kick-off Meeting for Community Members
* Update GSOC page
* Advertising?
* Blog that we're participating and seeking students
* Round of private emails to people who have participated in the past: Heikki, Simon, Mark
** request interest, and then follow up in asking about possible topics for students
* Mentor recruitment and then email to -hackers
** do this much later when we have some proposals in?

* Recruitment -- no organized group effort?
** -announce, -general, -hackers
** user group lists
** phppgadmin/pgadmin
** berkeley
** Univ. of Maryland -- contact them?

* Identify the commitfest that the code will be submitted to

== Expectations ==

* Stuff to keep students together:
** Regular blogging from students
** weekly group IRC checkin? -- two checkin times maybe?

* Have students communicate on -hackers where appropriate (didn't really work?)
** Or other relevant -devel lists

* Mailing list
** pgsql-students (?) vs. -hackers (?) maybe up to mentor?
** mentors mailing list -admin mailing list, berkus said?
** students mailing list via gsoc

[[Category:Google Summer of Code]]

Main Page/fr

2010-07-03T10:17:55Z

Gleu: two new articles

== Communauté Francophone ==

* Le site de la communauté : http://www.postgresql.fr
* La documentation en français : http://docs.postgresql.fr
* Le forum d'entraide PostgreSQL : http://forum.postgresql.fr
* L'association PostgreSQLFr : http://asso.postgresql.fr

== Quelques documents en français ==

=== Traductions ===

* [http://blog.postgresql.fr/index.php?post/drupal/216 Pourquoi préférer PostgreSQL à MySQL] (par Christophe Chauvet, le 24/10/2007).
* [http://blog.postgresql.fr/index.php?post/drupal/397 Sécuriser votre base PostgreSQL] (écrit par Hubert Lubaczewski, traduit par Damien Clochard, le 05/09/2007).
* [http://blog.postgresql.fr/index.php?post/drupal/105 Points à vérifier en ce qui concerne les performances de PostgreSQL 8.0] (écrit par Josh Berkus et Joe Conway, traduit par Guillaume Lelarge le 15/07/2005).
* [http://ftp.traduc.org/doc-vf/gazette-linux/html/2008/149/lg149-A.html Les bases de données par M. Deividson : les vues] (article de la Gazette Linux, écrit par M. Deividson, traduit par Florence Cousin le 14/09/2008).
* [http://ftp.traduc.org/doc-vf/gazette-linux/html/2008/150/lg150-A.html Les bases de données par M. Deividson : les procédures stockées] (article de la Gazette Linux, écrit par M. Deividson, traduit par Florence Cousin le 23/11/2008).

=== Documents originaux ===

* [http://blog.postgresql.fr/index.php?post/drupal/277 Guide d'installation rapide de PostgreSQL 8.3 sur MacOS] (par escapek le 11/02/2008).
* [http://blog.postgresql.fr/index.php?post/drupal/396 Utiliser un index pour les recherches sur des motifs tels que « colonne LIKE '%chaîne' »] et sa suite, [http://blog.postgresql.fr/index.php?post/drupal/393 Index inversé, en C] (par Thomas Reiss, respectivement le 15/07/2007 et le 05/09/2007).
* [http://wiki.guillaume.lelarge.info/trac.cgi/wiki/PostgreSQL%208.2 PostgreSQL 8.2] (par Guillaume Lelarge, le 04/03/2007).
* [http://blog.postgresql.fr/index.php?post/drupal/389 Langages de procédure : type OUT et INOUT] (par Guillaume Lelarge, le 16/12/2005).
* [http://blog.postgresql.fr/index.php?post/drupal/137 Utilisation des rôles dans PostgreSQL 8.1] (par Guillaume Lelarge, le 29/11/2005).
* [http://blog.postgresql.fr/index.php?post/drupal/113 Fiche mémoire sur PostgreSQL] (par Guillaume Lelarge, le 09/09/2005).
* [http://dalibo.org/comparatif_des_outils_de_pooling_de_connexions Comparatif entre pgPool et pgBouncer] (par Guillaume Lelarge, le 19/06/2007).
* [http://dalibo.org/les_nouveautes_de_postgresql_8.3 Les nouveautés de PostgreSQL 8.3] (par Jean-Paul Argudo, janvier 2008).
* [http://dalibo.org/slony_impact_de_la_perte_d_un_esclave Slony : Impact de la perte d'un noeud esclave] (par Cédric Villemain, novembre 2007).
* [http://scheu.developpez.com/tutoriels/postgresql/log-shipping/ Réplication de base avec PostgreSQL : le log shipping] (par Scheu, octobre 2008).
* [http://blog.postgresql.fr/index.php?post/2009/06/11/Postgresql-et-l-authentification-Apache PostgreQL et l'authentification Apache] (par Pascal Brognez, le 16/06/2009)
* [http://blog.postgresql.fr/index.php?post/2009/06/20/Guide-de-demarrage-rapide-avec-PostgreSQL Guide de démarrage rapide avec PostgreSQL] [http://blog.postgresql.fr/public/Doc%20postgresql.pdf PDF] (par Florence Cousin, le 20/06/2009).
* [http://dalibo.org/installation_de_postgresql_8.3_sous_windows Installation de PostgreSQL 8.3 sous Windows] (par Guillaume Lelarge, le 26/12/2009).
* [http://dalibo.org/installation_de_postgresql_8.4_sous_windows Installation de PostgreSQL 8.4 sous Windows] (par Guillaume Lelarge, le 29/12/2009).
* [http://blog.postgresql.fr/index.php?post/2010/06/16/Pr%C3%A9sentation-de-la-version-9.0-de-PostgreSQL2 Présentation de la version 9.0 de PostgreSQL] (par Marc Cousin, le 16/06/2010).

=== Publication ===

* [http://www.ed-diamond.com/produit.php?produit=525 numéro 103], « [http://dalibo.org/glmf103_postgresql_8.3_quoi_de_neuf PostgreSQL 8.3 : quoi de neuf ?] » (par Guillaume Lelarge, mars 2008) ;
* [http://www.ed-diamond.com/produit.php?produit=579 numéro 105], « [http://dalibo.org/glmf105_nouvelle_gestion_des_journaux_applicatifs_avec_postgresql_8.3 Nouvelle gestion des journaux applicatifs sous PostgreSQL 8.3] » (et son [http://www.dalibo.org/glmf105_supplement supplément]) (par Guillaume Lelarge, mai 2008).
* [http://www.ed-diamond.com/produit.php?produit=585 numéro 106], « [http://dalibo.org/glmf106_les_vues_systemes_sous_postgresql_8.3 Les vues systèmes sous PostgreSQL 8.3] » (par Guillaume Lelarge, juin 2008).
* [http://www.ed-diamond.com/produit.php?produit=588 numéro 107], « [http://www.dalibo.org/glmf107_gestion_memoire_avec_postgresql Gestion mémoire sous PostgreSQL] » (par Guillaume Lelarge, juillet/août 2008).
* [http://www.ed-diamond.com/produit.php?produit=594 numéro 108], « [http://www.dalibo.org/glmf108_postgresql_et_ses_journaux_de_transactions PostgreSQL et ses journaux de transactions] » (par Guillaume Lelarge, septembre 2008).
* [http://www.ed-diamond.com/produit.php?produit=597 numéro 109], « [http://dalibo.org/glmf109_operations_de_maintenance_sous_postgresql Opérations de maintenance sous PostgreSQL] » (par Guillaume Lelarge, octobre 2008).
* [http://www.ed-diamond.com/produit.php?produit=604 numéro 111], « [http://dalibo.org/glmf111_recherche_plein_texte_avec_postgresql Recherche plein texte avec PostgreSQL 8.3] » (par Guillaume Lelarge, décembre 2008).
* [http://www.ed-diamond.com/produit.php?produit=605 numéro 112], « [http://dalibo.org/glmf112_les_processus_de_postgresql Les processus de PostgreSQL] » (par Guillaume Lelarge, janvier 2009).
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_postgresql_8.4 PostgreSQL 8.4] » (par Guillaume Lelarge, septembre 2009).
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_le_projet_postgresql Le projet PostgreSQL] » (par Guillaume Lelarge, septembre 2009).
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_installation_de_postgresql Installation de PostgreSQL] » (par Guillaume Lelarge, septembre 2009).
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_rapide_configuration_de_postgresql Rapide configuration de PostgreSQL] » (par Guillaume Lelarge, septembre 2009).
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_creer_une_base_avec_postgresql Créer une base avec PostgreSQL] » (par Guillaume Lelarge, septembre 2009).
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_pgpool_le_pooler_multitache pgPool : le pooler multitâche] » (par Guillaume Lelarge, septembre 2009).
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_pgbouncer_un_pooler_simple_mais_efficace pgBouncer : un pooler simple, mais efficace] » (par Guillaume Lelarge, septembre 2009).
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_la_replication_par_les_journaux_de_transactions La réplication par les journaux de transactions] » (par Guillaume Lelarge, septembre 2009).
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_slony_la_replication_des_donnees_par_trigger Slony : la réplication des données par trigger] » (par Guillaume Lelarge, septembre 2009).
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_londiste_la_replicaton_vue_par_skype Londiste : la réplication vue par Skype] » (par Guillaume Lelarge, septembre 2009).
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_pgpoolII_la_replication_par_duplication_des_requetes pgPool-II : la réplication par duplication des requêtes] » (par Guillaume Lelarge, septembre 2009).
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_une_synthese_et_en_route_vers_le_futur Une synthèse, et en route vers le futur] » (par Guillaume Lelarge, septembre 2009).
* [http://www.ed-diamond.com/produit.php?ref=lmhs45 Hors-série 45], « [http://www.dalibo.org/hs45_drbd_la_replication_des_blocs_disques DRBD, la réplication des blocs disques] » (par Guillaume Lelarge, décembre 2009).

=== Slides de présentation ===

* [http://2008.rmll.info/Presentation-de-PostgreSQL.html Présentation du projet et de l'outil PostgreSQL] (par Guillaume Lelarge, juillet 2008).
* [http://svn.postgresqlfr.org/browser/materials/advocacy/trunk/confs/pitr-logshipping/tutoriel-pitr_logshipping-rmll2008.odp?rev=1091&format=raw Atelier sur PITR et le LogShipping] (par Jean-Christophe Arnu, aux RMLL 2008, juillet 2008).
* [http://svn.postgresqlfr.org/browser/materials/advocacy/trunk/confs/plpgsql/tutoriel-plgpsql-rmll2008.odp?rev=1091&format=raw Atelier sur PL/pgsql] (par Jean-Christophe Arnu, aux RMLL 2008, juillet 2008).
* [http://dalibo.org/postgresql_et_la_haute_disponibilite PostgreSQL et la haute-disponibilité] (par Jean-Paul Argudo, avril 2009).
* [http://dalibo.org/haute_disponibilite_avec_postgresql Haute disponibilité avec PostgreSQL] (par Guillaume Lelarge, octobre 2009).
* [http://wiki.postgresql.org/wiki/PGDay.EU%2C_Paris_2009 Conférences françaises (et anglaises) lors du PGDay 2009].

Main Page/fr

2010-01-28T13:26:34Z

Gleu: forgot some meta info

== Communauté Francophone ==

* Le site de la communauté : http://www.postgresql.fr
* La documentation en français : http://docs.postgresql.fr
* Le forum d'entraide PostgreSQL : http://forum.postgresql.fr
* L'association PostgreSQLFr : http://asso.postgresql.fr

== Quelques documents en français ==

=== Traductions ===

* [http://blog.postgresql.fr/index.php?post/drupal/216 Pourquoi préférer PostgreSQL à MySQL] (par Christophe Chauvet, le 24/10/2007).
* [http://blog.postgresql.fr/index.php?post/drupal/397 Sécuriser votre base PostgreSQL] (écrit par Hubert Lubaczewski, traduit par Damien Clochard, le 05/09/2007).
* [http://blog.postgresql.fr/index.php?post/drupal/105 Points à vérifier en ce qui concerne les performances de PostgreSQL 8.0] (écrit par Josh Berkus et Joe Conway, traduit par Guillaume Lelarge le 15/07/2005).
* [http://ftp.traduc.org/doc-vf/gazette-linux/html/2008/149/lg149-A.html Les bases de données par M. Deividson : les vues] (article de la Gazette Linux, écrit par M. Deividson, traduit par Florence Cousin le 14/09/2008).
* [http://ftp.traduc.org/doc-vf/gazette-linux/html/2008/150/lg150-A.html Les bases de données par M. Deividson : les procédures stockées] (article de la Gazette Linux, écrit par M. Deividson, traduit par Florence Cousin le 23/11/2008).

=== Documents originaux ===

* [http://blog.postgresql.fr/index.php?post/drupal/277 Guide d'installation rapide de PostgreSQL 8.3 sur MacOS] (par escapek le 11/02/2008).
* [http://blog.postgresql.fr/index.php?post/drupal/396 Utiliser un index pour les recherches sur des motifs tels que « colonne LIKE '%chaîne' »] et sa suite, [http://blog.postgresql.fr/index.php?post/drupal/393 Index inversé, en C] (par Thomas Reiss, respectivement le 15/07/2007 et le 05/09/2007).
* [http://wiki.guillaume.lelarge.info/trac.cgi/wiki/PostgreSQL%208.2 PostgreSQL 8.2] (par Guillaume Lelarge, le 04/03/2007).
* [http://blog.postgresql.fr/index.php?post/drupal/389 Langages de procédure : type OUT et INOUT] (par Guillaume Lelarge, le 16/12/2005).
* [http://blog.postgresql.fr/index.php?post/drupal/137 Utilisation des rôles dans PostgreSQL 8.1] (par Guillaume Lelarge, le 29/11/2005).
* [http://blog.postgresql.fr/index.php?post/drupal/113 Fiche mémoire sur PostgreSQL] (par Guillaume Lelarge, le 09/09/2005).
* [http://dalibo.org/comparatif_des_outils_de_pooling_de_connexions Comparatif entre pgPool et pgBouncer] (par Guillaume Lelarge, le 19/06/2007).
* [http://dalibo.org/les_nouveautes_de_postgresql_8.3 Les nouveautés de PostgreSQL 8.3] (par Jean-Paul Argudo, janvier 2008).
* [http://dalibo.org/slony_impact_de_la_perte_d_un_esclave Slony : Impact de la perte d'un noeud esclave] (par Cédric Villemain, novembre 2007).
* [http://scheu.developpez.com/tutoriels/postgresql/log-shipping/ Réplication de base avec PostgreSQL : le log shipping] (par Scheu, octobre 2008).
* [http://blog.postgresql.fr/index.php?post/2009/06/11/Postgresql-et-l-authentification-Apache PostgreQL et l'authentification Apache] (par Pascal Brognez, le 16/06/2009)
* [http://blog.postgresql.fr/index.php?post/2009/06/20/Guide-de-d%C3%A9marrage-rapide-avec-PostgreSQL Guide de démarrage rapide avec PostgreSQL] (par Florence Cousin, le 20/06/2009).
* [http://dalibo.org/installation_de_postgresql_8.3_sous_windows Installation de PostgreSQL 8.3 sous Windows] (par Guillaume Lelarge, le 26/12/2009).
* [http://dalibo.org/installation_de_postgresql_8.4_sous_windows Installation de PostgreSQL 8.4 sous Windows] (par Guillaume Lelarge, le 29/12/2009).

=== Publication ===

* [http://www.ed-diamond.com/produit.php?produit=525 numéro 103], « [http://dalibo.org/glmf103_postgresql_8.3_quoi_de_neuf PostgreSQL 8.3 : quoi de neuf ?] » (par Guillaume Lelarge, mars 2008) ;
* [http://www.ed-diamond.com/produit.php?produit=579 numéro 105], « [http://dalibo.org/glmf105_nouvelle_gestion_des_journaux_applicatifs_avec_postgresql_8.3 Nouvelle gestion des journaux applicatifs sous PostgreSQL 8.3] » (et son [http://www.dalibo.org/glmf105_supplement supplément]) (par Guillaume Lelarge, mai 2008).
* [http://www.ed-diamond.com/produit.php?produit=585 numéro 106], « [http://dalibo.org/glmf106_les_vues_systemes_sous_postgresql_8.3 Les vues systèmes sous PostgreSQL 8.3] » (par Guillaume Lelarge, juin 2008).
* [http://www.ed-diamond.com/produit.php?produit=588 numéro 107], « [http://www.dalibo.org/glmf107_gestion_memoire_avec_postgresql Gestion mémoire sous PostgreSQL] » (par Guillaume Lelarge, juillet/août 2008).
* [http://www.ed-diamond.com/produit.php?produit=594 numéro 108], « [http://www.dalibo.org/glmf108_postgresql_et_ses_journaux_de_transactions PostgreSQL et ses journaux de transactions] » (par Guillaume Lelarge, septembre 2008).
* [http://www.ed-diamond.com/produit.php?produit=597 numéro 109], « [http://dalibo.org/glmf109_operations_de_maintenance_sous_postgresql Opérations de maintenance sous PostgreSQL] » (par Guillaume Lelarge, octobre 2008).
* [http://www.ed-diamond.com/produit.php?produit=604 numéro 111], « [http://dalibo.org/glmf111_recherche_plein_texte_avec_postgresql Recherche plein texte avec PostgreSQL 8.3] » (par Guillaume Lelarge, décembre 2008).
* [http://www.ed-diamond.com/produit.php?produit=605 numéro 112], « [http://dalibo.org/glmf112_les_processus_de_postgresql Les processus de PostgreSQL] » (par Guillaume Lelarge, janvier 2009).
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_postgresql_8.4 PostgreSQL 8.4] » (par Guillaume Lelarge, septembre 2009).
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_le_projet_postgresql Le projet PostgreSQL] » (par Guillaume Lelarge, septembre 2009).
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_installation_de_postgresql Installation de PostgreSQL] » (par Guillaume Lelarge, septembre 2009).
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_rapide_configuration_de_postgresql Rapide configuration de PostgreSQL] » (par Guillaume Lelarge, septembre 2009).
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_creer_une_base_avec_postgresql Créer une base avec PostgreSQL] » (par Guillaume Lelarge, septembre 2009).
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_pgpool_le_pooler_multitache pgPool : le pooler multitâche] » (par Guillaume Lelarge, septembre 2009).
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_pgbouncer_un_pooler_simple_mais_efficace pgBouncer : un pooler simple, mais efficace] » (par Guillaume Lelarge, septembre 2009).
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_la_replication_par_les_journaux_de_transactions La réplication par les journaux de transactions] » (par Guillaume Lelarge, septembre 2009).
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_slony_la_replication_des_donnees_par_trigger Slony : la réplication des données par trigger] » (par Guillaume Lelarge, septembre 2009).
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_londiste_la_replicaton_vue_par_skype Londiste : la réplication vue par Skype] » (par Guillaume Lelarge, septembre 2009).
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_pgpoolII_la_replication_par_duplication_des_requetes pgPool-II : la réplication par duplication des requêtes] » (par Guillaume Lelarge, septembre 2009).
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_une_synthese_et_en_route_vers_le_futur Une synthèse, et en route vers le futur] » (par Guillaume Lelarge, septembre 2009).

=== Slides de présentation ===

* [http://2008.rmll.info/Presentation-de-PostgreSQL.html Présentation du projet et de l'outil PostgreSQL] (par Guillaume Lelarge, juillet 2008).
* [http://svn.postgresqlfr.org/browser/materials/advocacy/trunk/confs/pitr-logshipping/tutoriel-pitr_logshipping-rmll2008.odp?rev=1091&format=raw Atelier sur PITR et le LogShipping] (par Jean-Christophe Arnu, aux RMLL 2008, juillet 2008).
* [http://svn.postgresqlfr.org/browser/materials/advocacy/trunk/confs/plpgsql/tutoriel-plgpsql-rmll2008.odp?rev=1091&format=raw Atelier sur PL/pgsql] (par Jean-Christophe Arnu, aux RMLL 2008, juillet 2008).
* [http://dalibo.org/postgresql_et_la_haute_disponibilite PostgreSQL et la haute-disponibilité] (par Jean-Paul Argudo, avril 2009).
* [http://dalibo.org/haute_disponibilite_avec_postgresql Haute disponibilité avec PostgreSQL] (par Guillaume Lelarge, octobre 2009).
* [http://wiki.postgresql.org/wiki/PGDay.EU%2C_Paris_2009 Conférences françaises (et anglaises) lors du PGDay 2009].

Main Page/fr

2010-01-28T13:24:12Z

Gleu: add the contents of the special issue of GLMF for PostgreSQL

== Communauté Francophone ==

* Le site de la communauté : http://www.postgresql.fr
* La documentation en français : http://docs.postgresql.fr
* Le forum d'entraide PostgreSQL : http://forum.postgresql.fr
* L'association PostgreSQLFr : http://asso.postgresql.fr

== Quelques documents en français ==

=== Traductions ===

* [http://blog.postgresql.fr/index.php?post/drupal/216 Pourquoi préférer PostgreSQL à MySQL] (par Christophe Chauvet, le 24/10/2007).
* [http://blog.postgresql.fr/index.php?post/drupal/397 Sécuriser votre base PostgreSQL] (écrit par Hubert Lubaczewski, traduit par Damien Clochard, le 05/09/2007).
* [http://blog.postgresql.fr/index.php?post/drupal/105 Points à vérifier en ce qui concerne les performances de PostgreSQL 8.0] (écrit par Josh Berkus et Joe Conway, traduit par Guillaume Lelarge le 15/07/2005).
* [http://ftp.traduc.org/doc-vf/gazette-linux/html/2008/149/lg149-A.html Les bases de données par M. Deividson : les vues] (article de la Gazette Linux, écrit par M. Deividson, traduit par Florence Cousin le 14/09/2008).
* [http://ftp.traduc.org/doc-vf/gazette-linux/html/2008/150/lg150-A.html Les bases de données par M. Deividson : les procédures stockées] (article de la Gazette Linux, écrit par M. Deividson, traduit par Florence Cousin le 23/11/2008).

=== Documents originaux ===

* [http://blog.postgresql.fr/index.php?post/drupal/277 Guide d'installation rapide de PostgreSQL 8.3 sur MacOS] (par escapek le 11/02/2008).
* [http://blog.postgresql.fr/index.php?post/drupal/396 Utiliser un index pour les recherches sur des motifs tels que « colonne LIKE '%chaîne' »] et sa suite, [http://blog.postgresql.fr/index.php?post/drupal/393 Index inversé, en C] (par Thomas Reiss, respectivement le 15/07/2007 et le 05/09/2007).
* [http://wiki.guillaume.lelarge.info/trac.cgi/wiki/PostgreSQL%208.2 PostgreSQL 8.2] (par Guillaume Lelarge, le 04/03/2007).
* [http://blog.postgresql.fr/index.php?post/drupal/389 Langages de procédure : type OUT et INOUT] (par Guillaume Lelarge, le 16/12/2005).
* [http://blog.postgresql.fr/index.php?post/drupal/137 Utilisation des rôles dans PostgreSQL 8.1] (par Guillaume Lelarge, le 29/11/2005).
* [http://blog.postgresql.fr/index.php?post/drupal/113 Fiche mémoire sur PostgreSQL] (par Guillaume Lelarge, le 09/09/2005).
* [http://dalibo.org/comparatif_des_outils_de_pooling_de_connexions Comparatif entre pgPool et pgBouncer] (par Guillaume Lelarge, le 19/06/2007).
* [http://dalibo.org/les_nouveautes_de_postgresql_8.3 Les nouveautés de PostgreSQL 8.3] (par Jean-Paul Argudo, janvier 2008).
* [http://dalibo.org/slony_impact_de_la_perte_d_un_esclave Slony : Impact de la perte d'un noeud esclave] (par Cédric Villemain, novembre 2007).
* [http://scheu.developpez.com/tutoriels/postgresql/log-shipping/ Réplication de base avec PostgreSQL : le log shipping] (par Scheu, octobre 2008).
* [http://blog.postgresql.fr/index.php?post/2009/06/11/Postgresql-et-l-authentification-Apache PostgreQL et l'authentification Apache] (par Pascal Brognez, le 16/06/2009)
* [http://blog.postgresql.fr/index.php?post/2009/06/20/Guide-de-d%C3%A9marrage-rapide-avec-PostgreSQL Guide de démarrage rapide avec PostgreSQL] (par Florence Cousin, le 20/06/2009).
* [http://dalibo.org/installation_de_postgresql_8.3_sous_windows Installation de PostgreSQL 8.3 sous Windows] (par Guillaume Lelarge, le 26/12/2009).
* [http://dalibo.org/installation_de_postgresql_8.4_sous_windows Installation de PostgreSQL 8.4 sous Windows] (par Guillaume Lelarge, le 29/12/2009).

=== Publication ===

* [http://www.ed-diamond.com/produit.php?produit=525 numéro 103], « [http://dalibo.org/glmf103_postgresql_8.3_quoi_de_neuf PostgreSQL 8.3 : quoi de neuf ?] » (par Guillaume Lelarge, mars 2008) ;
* [http://www.ed-diamond.com/produit.php?produit=579 numéro 105], « [http://dalibo.org/glmf105_nouvelle_gestion_des_journaux_applicatifs_avec_postgresql_8.3 Nouvelle gestion des journaux applicatifs sous PostgreSQL 8.3] » (et son [http://www.dalibo.org/glmf105_supplement supplément]) (par Guillaume Lelarge, mai 2008).
* [http://www.ed-diamond.com/produit.php?produit=585 numéro 106], « [http://dalibo.org/glmf106_les_vues_systemes_sous_postgresql_8.3 Les vues systèmes sous PostgreSQL 8.3] » (par Guillaume Lelarge, juin 2008).
* [http://www.ed-diamond.com/produit.php?produit=588 numéro 107], « [http://www.dalibo.org/glmf107_gestion_memoire_avec_postgresql Gestion mémoire sous PostgreSQL] » (par Guillaume Lelarge, juillet/août 2008).
* [http://www.ed-diamond.com/produit.php?produit=594 numéro 108], « [http://www.dalibo.org/glmf108_postgresql_et_ses_journaux_de_transactions PostgreSQL et ses journaux de transactions] » (par Guillaume Lelarge, septembre 2008).
* [http://www.ed-diamond.com/produit.php?produit=597 numéro 109], « [http://dalibo.org/glmf109_operations_de_maintenance_sous_postgresql Opérations de maintenance sous PostgreSQL] ».
* [http://www.ed-diamond.com/produit.php?produit=604 numéro 111], « [http://dalibo.org/glmf111_recherche_plein_texte_avec_postgresql Recherche plein texte avec PostgreSQL 8.3] ».
* [http://www.ed-diamond.com/produit.php?produit=605 numéro 112], « [http://dalibo.org/glmf112_les_processus_de_postgresql Les processus de PostgreSQL] ».
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_postgresql_8.4 PostgreSQL 8.4] »
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_le_projet_postgresql Le projet PostgreSQL] »
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_installation_de_postgresql Installation de PostgreSQL] »
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_rapide_configuration_de_postgresql Rapide configuration de PostgreSQL] »
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_creer_une_base_avec_postgresql Créer une base avec PostgreSQL] »
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_pgpool_le_pooler_multitache pgPool : le pooler multitâche] »
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_pgbouncer_un_pooler_simple_mais_efficace pgBouncer : un pooler simple, mais efficace] »
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_la_replication_par_les_journaux_de_transactions La réplication par les journaux de transactions] »
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_slony_la_replication_des_donnees_par_trigger Slony : la réplication des données par trigger] »
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_londiste_la_replicaton_vue_par_skype Londiste : la réplication vue par Skype] »
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_pgpoolII_la_replication_par_duplication_des_requetes pgPool-II : la réplication par duplication des requêtes] »
* [http://www.ed-diamond.com/produit.php?ref=lmhs44 Hors-série 44], « [http://dalibo.org/hs44_une_synthese_et_en_route_vers_le_futur Une synthèse, et en route vers le futur] »

=== Slides de présentation ===

* [http://2008.rmll.info/Presentation-de-PostgreSQL.html Présentation du projet et de l'outil PostgreSQL] (par Guillaume Lelarge, juillet 2008).
* [http://svn.postgresqlfr.org/browser/materials/advocacy/trunk/confs/pitr-logshipping/tutoriel-pitr_logshipping-rmll2008.odp?rev=1091&format=raw Atelier sur PITR et le LogShipping] (par Jean-Christophe Arnu, aux RMLL 2008, juillet 2008).
* [http://svn.postgresqlfr.org/browser/materials/advocacy/trunk/confs/plpgsql/tutoriel-plgpsql-rmll2008.odp?rev=1091&format=raw Atelier sur PL/pgsql] (par Jean-Christophe Arnu, aux RMLL 2008, juillet 2008).
* [http://dalibo.org/postgresql_et_la_haute_disponibilite PostgreSQL et la haute-disponibilité] (par Jean-Paul Argudo, avril 2009).
* [http://dalibo.org/haute_disponibilite_avec_postgresql Haute disponibilité avec PostgreSQL] (par Guillaume Lelarge, octobre 2009).
* [http://wiki.postgresql.org/wiki/PGDay.EU%2C_Paris_2009 Conférences françaises (et anglaises) lors du PGDay 2009].

Performance Analysis Tools

2010-01-26T10:18:30Z

Gleu: /* Performance Analysis Tools */ wrong name for the lock table

= Performance Analysis Tools =

This page is focused on tools for collecting data outside of PostgreSQL, in order to learn more about the system as a whole, about PostgreSQL's use of system resources, about things that may be bottlenecks for PostgreSQL's performance, etc.

Most of the time, the tools PostgreSQL provides internally will be more than adequate for your needs. The most important tool in your toolbox is the SQL <code>[[Using EXPLAIN|EXPLAIN]]</code> command and its <code>EXPLAIN ANALYZE</code> alternative. The <code>pg_catalog.pg_stat_activity</code> and <code>pg_catalog.pg_locks</code> views are also vital.

You can find a lot of advice about tuning PostgreSQL and the system in the [[:Category:Performance|Performance]] and [[Category:Administration|Administration]] categories of the wiki, and in [http://www.postgresql.org/docs/current/static/ the PostgreSQL manual]. If you're at a loss, see [[SlowQueryQuestions]].

== System level tools for I/O, CPU and memory usage investigation ==

Tools like `ps' with the `wchan' format specifier, `vmstat', `top', `iotop', `blktrace' + `blkparse', `btrace', `sar', alt-sysrq-t, etc can help you learn much more about what your system is doing and where things are being delayed.

On supported systems (currently Solaris and FreeBSD), `dtrace' is also a powerful tool. PostgreSQL has DTrace hooks to allow you to investigate its internal workings and performance as well as that of the operating system it is running on.

Windows users will want to look into [http://technet.microsoft.com/en-us/sysinternals/bb896645.aspx Process Monitor], [http://technet.microsoft.com/en-us/sysinternals/bb896653.aspx Process Explorer], and [http://technet.microsoft.com/en-us/sysinternals/bb896642.aspx FileMon] from the [http://technet.microsoft.com/en-us/sysinternals/default.aspx SysInternals] suite.

== Unix/Linux tools ==

=== ps ===

The "wchan" option is really useful for seeing what a process that's in 'D' state (uninterruptable sleep in kernel system call) is actually doing. eg:

<pre>
ps -e -o pid,ppid,wchan:60,cmd | grep post
</pre>

You'll need to go digging in the kernel sources, use Google, or nut it out to figure what the value shown in the <code>wchan</code> field means.

=== vmstat ===

<code>vmstat</code> can give you useful overview information about CPU, disk and memory activity at a system wide level. It's most useful when updating continuously, eg:

<pre>
vmstat 1
</pre>

or

<pre>
vmstat 60
</pre>

(the number is in seconds).

Output looks like:

<pre>
$ vmstat 1
procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
r b swpd free buff cache si so bi bo in cs us sy id wa
0 0 4144 242088 707752 2307192 0 0 0 26 71 73 2 1 97 1
0 0 4144 242080 707752 2307220 0 0 0 0 944 1917 2 1 97 0
0 0 4144 241956 707752 2307220 0 0 0 64 772 1579 1 1 98 0
</pre>

=== top ===

Like vmstat, gives you some system overview info, though isn't as useful for disk information. Quite configurable.

Don't be fooled by the "used" and "free" memory values. The real memory in use is actually (roughly) the value in "used" minus the value in "buffers", since "buffers" includes the kernel's disk cache. The kernel will use most of the free memory for disk cache, but will shrink that cache as required to fit other things into memory. After all, truly free memory is wasted memory that does you no good.

=== free ===

Shows free and used memory, system-wide.

<pre>
$ free -m
total used free shared buffers cached
Mem: 3960 3726 234 0 721 2252
-/+ buffers/cache: 752 3208
Swap: 2070 4 2066
</pre>

The "free" value beside "-/+ buffers/cache" is the one you should generally consider the "real" amount of free memory in the system. The "-m" flag asks for values in megabytes.

=== sar ===

Process accounting. See the man page.

=== gdb ===

Why is a debugger listed in performance analysis tools?

Because sometimes, attaching a debugger to a backend, interrupting the backend periodically to get a backtrace, and then trying to figure out what on earth it's up to is a helpful way to track down an issue.

See [[Generating a stack trace of a PostgreSQL_backend]]

=== Wireshark, tshark, and tcpdump ===

These tools are for monitoring and analysis of traffic on a network interface. If you can't figure out what's keeping your network interface pegged, they might help you figure out what data is being transmitted/received.

=== pktstat ===

A top-like utility for network interfaces. Doesn't, alas, show process IDs or names, but you can figure those out from source and destination port information. Handy for tracking down a backend that's flooding the interface with traffic.

== Linux-only tools ==

=== iostat ===

Provides summary information about I/O activity and load on block devices in the system. Doesn't provide information about what processes are responsible for the load, but produces short and easily read output in real time. Like vmstat, most usefully used in continuous mode, eg "iostat 1".

See the man page for details.

=== blktrace, blkparse and btrace ===

These are tools to get very low level information about the activity on a given block device, what process(es) are causing that activity, and what they're doing. It produces a huge amount of information, but can be filtered somewhat. It takes a bit of thought to interpret, but can be great for those "what the hell is thrashing my disk" moments.

Because of the bgwriter and wal writer, it's not usually easy to see what PostgreSQL backends are keeping a disk busy with writes. It's still good for tracking down heavy read loads and figuring out what backend (and, thus, query - via the <code>pg_catalog.pg_stat_activity</code>) is responsible.

Output looks like this:

<pre>
9,1 0 246 11.339004193 1383 U N [postgres] 0
9,1 0 247 11.340029833 1383 A R 118356256 + 96 <- (252,3) 34469792
9,1 0 248 11.340030339 1383 Q R 118356256 + 96 [postgres]
9,1 0 249 11.340054022 1383 A R 118356352 + 128 <- (252,3) 34469888
9,1 0 250 11.340054341 1383 Q R 118356352 + 128 [postgres]
9,1 0 251 11.340062014 1383 A R 118356480 + 32 <- (252,3) 34470016
9,1 0 252 11.340062367 1383 Q R 118356480 + 32 [postgres]
</pre>

... plus a handy summary at the end.

=== strace ===

<code>strace</code> is a useful tool that can attach to a process and report all the system calls that process makes, including arguments to those system calls. It's great for figuring out what files a process opens, or if it's waiting for something, etc.

Useful interpretation requires some C programming knowledge and some idea about POSIX APIs.

(Note that other systems have similar tools with different names - for example, some BSDs have <code>truss</code>).

=== oprofile ===

Probably not useful for general users, but a handy tool if you have something within Pg or a library used by Pg that's running strangely slowly and you don't know why.

[[Profiling with OProfile]]

=== alt-sysrq-t ===

The "magic sysrq key". Mainly useful for tracking down processes mysteriously stuck in 'D' state in the kernel, ie hung in a system call, since it will output a stack trace of the kernel stack for all processes in the system. Mostly used when trying to figure out whether Pg is having problems due to a kernel bug, hardware issue, file system bug, etc.

Must be enabled with 'sysctl -w kernel.sysrq=1' before it can be used.

== DTrace ==

* [http://pgfoundry.org/docman/?group_id=1000163 PostgreSQL DTrace Users Guide]
* [http://lethargy.org/~jesus/writes/postgresql-performance-through-the-eyes-of-dtrace PostgreSQL performance through the eyes of DTrace]
* [http://blogs.sun.com/jkshah/entry/profiling_postgresql_using_dtrace_on Profiling PostgreSQL using DTRACE on Solaris 10]

== Windows tools ==

=== [http://technet.microsoft.com/en-us/sysinternals/bb896645.aspx Process Monitor] ===

=== [http://technet.microsoft.com/en-us/sysinternals/bb896653.aspx Process Explorer] ===

===[http://technet.microsoft.com/en-us/sysinternals/bb896642.aspx FileMon] ===

[[Category:Performance]] [[Category:Administration]] [[Category:Tips]]

Page originally by --[[User:Ringerc|Ringerc]] 07:26, 26 November 2009 (UTC)

Main Page/fr

2009-12-29T23:51:02Z

Gleu: /* Documents originaux */ add a new document

Main Page/fr

2009-12-27T22:27:38Z

Gleu: /* Documents originaux */ new article

Main Page/fr

2009-11-22T07:55:45Z

Gleu: /* Slides de présentation */

Main Page/fr

2009-11-22T07:55:10Z

Gleu: new talks

File:Adeo PGDay.pdf

2009-11-11T15:33:38Z

Gleu: uploaded a new version of "Image:Adeo PGDay.pdf": Vincent Moreau's talk during the french pgday.

Retour d'expérience migration Oracle vers PostgreSQL

PGDay.EU, Paris 2009

2009-11-11T15:29:40Z

Gleu: add links to files

PGDay.EU 2009, a collaboration between PostgreSQL Europe and PostgreSQLFR was held in Paris, France on November 6-7.

== November 6, 2009 ==

=== English track ===

==== 12:00 - 12:50 [[Media:PGDay2009-EN-Datawarehousing_with_PostgreSQL.pdf|Datawarehousing with PostgreSQL (Gabriele Bartolini)]]====
==== 13:50 - 14:40 [http://www.scribd.com/doc/22212194/Scaling-PostgreSQL-PgDay-EU-2009 Scaling PostgreSQL Under Fire (Gavin M. Roy)] ====
==== 15:10 - 16:00 [http://www.hagander.net/talks/Performance%20Enhancements%20in%20PostgreSQL%208.4%20pgday.pdf Performance Enhancements in PostgreSQL 8.4 (MagnusHagander)] ====
==== 16:10 - 17:00 [[Media:PGDay2009-EN-The_Future_of_PostgreSQL_HA.pdf|The Future of PostgreSQL HA (Robert Hodges & Simon Riggs)]]====

=== French track ===
==== 11:00 - 11:50 [[Media:Adeo_PGDay.pdf|Retour d'expérience migration Oracle vers PostgreSQL (Vincent Moreau)]] ====
==== 12:00 - 12:50 [[Media:PGDay2009-FR-Retour_d_experience_PostgreSQL_et_Skytools_chez_Hi-Media.pdf|Retour d'expérience : PostgreSQL et Skytools chez Hi-Media (Dimitri Fontaine)]] ====
==== 13:50 - 14:40 [[Media:PGDay2009-FR-Replication.pdf|Systèmes de réplication pour PostgreSQL (Jean-Paul Argudo)]] ====
==== 15:10 - 16:00 [[Media:PGDay2009-FR-PostGIS.pdf|PostGIS, un module de PostgreSQL pour les données spatiales (Olivier Courtin - Vincent Picavet)]]====
==== 16:10 - 17:00 [[Media:PPA_presentation.odp|phpPgAdmin: présentation, développement et futur du projet (Jehan-Guillaume (ioguix) de Rorthais)]]====

== November 7, 2009 ==

=== English track (DBA/General) ===

==== 10:00 - 10:50 Japan PostgreSQL Users Group ([[Media:No1_JPUG_Junichi-Tado.ppt|Junichi Tado]], [[Media:No2_JPUG_Hiroshi-Saito.ppt|Hiroshi Saito]], [[Media:No3_JPUG_Toshiyuki-Ishikawa.ppt|Toshiyuki Ishikawa]] & [[Media:No4_JPUG_Kaori-Inaba.pptx|Kaori Inaba]]) ====

=== English track (Developer) ===

==== 9:00 - 9:50 [[Media:PGDay2009-WAL.pdf|Welcome to WAL (Heikki Linnakangas)]] ====
==== 10:00 - 10-50 [[Media:PGDay2009-EN-Writeable_CTEs_The_Next_Big_Thing.pdf|Writeable CTEs: The Next Big Thing (David Fetter - Marko Tiikkaja)]] ====
==== 11:20 - 12:10 [[Media:Jkatz-pgday2009.pdf|ORMs: Strengths, Weaknesses, and Building a PostgreSQL-specific ORM (Jonathan S. Katz)]] ====
==== 14:10 - 15:00 [[Media:PGDay2009-EN-pg_staging.pdf|pg_staging or how to manage your staging environments (Dimitri Fontaine)]]====

=== French track ===

==== 09:00 - 09:50 [[Media:PGDay2009-FR-MVCC_et_PostgreSQL.odp|MVCC et PostgreSQL (Guillaume Lelarge)]]====
==== 10:00 - 10:50 [[Media:Bacula_PGDay2009.pdf| Bacula et PostgreSQL (Éric Bollengier et Marc Cousin)]]====
==== 11:20 - 12:10 [[Media:Future-of-Clustering-with-Tungsten-PG-Days-EU-2009-fr.pdf‎| Clustering : la nouvelle donne (Stéphane Giron et Gilles Rayrat)]] ([[Media:Future-of-Clustering-with-Tungsten-PG-West-2009.pdf| English version here]])====
==== 13:10 - 14:00 [http://contributions.pilotsystems.net/publications/supports-de-conferences/conference-pgdays-2009-indexation-de-la-base-documentaire-de-liberation/ Indexation d'une base documentaire pour le quotidien Libération (Gaël Le Mignot, Pilot Systems)] ====
==== 14:10 - 15:00 [[Media:Comparaison_tables.pdf|pg_comparator : Comparaison de tables à distance (Fabien Coelho)]] ====

=== Lightning talks ===

==== #1 [[Media:GHUMpgonwin_pgdayue2009.odp|Elephant, Snake and Window]] - 6 years experience with PostgreSQL on Windows (Harald Armin Massa)] ====

==== #4 [http://fetter.org/Lightning_PGDay_EU_2009.pdf On Lightning Talks (David Fetter)] ====
==== #5 [[Media:Pgcluster-pgday-eu-2009.pdf‎|New features of PGCluster (Atsushi Mitani)]] ====
==== #7 [[Media:Pg51g-in-five.odp|pg51g in five – a toolkit for data diffs (Michael Nacos)]] ====
==== #8 [http://www.osor.eu/communities/osor/artifacts/presentations/OSOR-dissemination-lightning%20talk.pdf/at_download/file The Open Source Observatory and Repository (Ismael Olea)] ====
==== #9 [[Media:Pgday2009-objectwiz2.pdf|Objectwiz – open-source object-oriented data administration tool (Benoît Del Basso)]] ====

=== Closing session ===

==== [[Media:PGDay.EU_2009_Closing.pdf‎|Closing session (Dave Page and Guillaume Smet)]]====

[[Category:PostgreSQL Events]]

File:No4 JPUG Kaori-Inaba.pptx

2009-11-11T15:27:03Z

Gleu: Kaori Inaba's talk during french pgday

Kaori Inaba's talk during french pgday

File:No3 JPUG Toshiyuki-Ishikawa.ppt

2009-11-11T15:26:40Z

Gleu: Toshiyuki Ishikawa's talk during french pgday

Toshiyuki Ishikawa's talk during french pgday

File:No2 JPUG Hiroshi-Saito.ppt

2009-11-11T15:26:04Z

Gleu: Hiroshi Saito's talk during french pgday

Hiroshi Saito's talk during french pgday

File:No1 JPUG Junichi-Tado.ppt

2009-11-11T15:24:48Z

Gleu: Junichi Tado's talk during french pgday

Junichi Tado's talk during french pgday

PGDay.EU, Paris 2009

2009-11-11T15:19:40Z

Gleu: jpug talk

PGDay.EU 2009, a collaboration between PostgreSQL Europe and PostgreSQLFR was held in Paris, France on November 6-7.

== November 6, 2009 ==

=== English track ===

==== 12:00 - 12:50 [[Media:PGDay2009-EN-Datawarehousing_with_PostgreSQL.pdf|Datawarehousing with PostgreSQL (Gabriele Bartolini)]]====
==== 13:50 - 14:40 [http://www.scribd.com/doc/22212194/Scaling-PostgreSQL-PgDay-EU-2009 Scaling PostgreSQL Under Fire (Gavin M. Roy)] ====
==== 15:10 - 16:00 [http://www.hagander.net/talks/Performance%20Enhancements%20in%20PostgreSQL%208.4%20pgday.pdf Performance Enhancements in PostgreSQL 8.4 (MagnusHagander)] ====
==== 16:10 - 17:00 [[Media:PGDay2009-EN-The_Future_of_PostgreSQL_HA.pdf|The Future of PostgreSQL HA (Robert Hodges & Simon Riggs)]]====

=== French track ===
==== 11:00 - 11:50 [[Media:Adeo_PGDay.pdf|Retour d'expérience migration Oracle vers PostgreSQL (Vincent Moreau)]] ====
==== 12:00 - 12:50 [[Media:PGDay2009-FR-Retour_d_experience_PostgreSQL_et_Skytools_chez_Hi-Media.pdf|Retour d'expérience : PostgreSQL et Skytools chez Hi-Media (Dimitri Fontaine)]] ====
==== 13:50 - 14:40 [[Media:PGDay2009-FR-Replication.pdf|Systèmes de réplication pour PostgreSQL (Jean-Paul Argudo)]] ====
==== 15:10 - 16:00 [[Media:PGDay2009-FR-PostGIS.pdf|PostGIS, un module de PostgreSQL pour les données spatiales (Olivier Courtin - Vincent Picavet)]]====
==== 16:10 - 17:00 [[Media:PPA_presentation.odp|phpPgAdmin: présentation, développement et futur du projet (Jehan-Guillaume (ioguix) de Rorthais)]]====

== November 7, 2009 ==

=== English track (DBA/General) ===

==== 10:00 - 10:50 Japan PostgreSQL Users Group (Junichi Tado, Hiroshi Saito, Toshiyuki Ishikawa & Kaori Inaba) ====

=== English track (Developer) ===

==== 9:00 - 9:50 [[Media:PGDay2009-WAL.pdf|Welcome to WAL (Heikki Linnakangas)]] ====
==== 10:00 - 10-50 [[Media:PGDay2009-EN-Writeable_CTEs_The_Next_Big_Thing.pdf|Writeable CTEs: The Next Big Thing (David Fetter - Marko Tiikkaja)]] ====
==== 11:20 - 12:10 [[Media:Jkatz-pgday2009.pdf|ORMs: Strengths, Weaknesses, and Building a PostgreSQL-specific ORM (Jonathan S. Katz)]] ====
==== 14:10 - 15:00 [[Media:PGDay2009-EN-pg_staging.pdf|pg_staging or how to manage your staging environments (Dimitri Fontaine)]]====

=== French track ===

==== 09:00 - 09:50 [[Media:PGDay2009-FR-MVCC_et_PostgreSQL.odp|MVCC et PostgreSQL (Guillaume Lelarge)]]====
==== 10:00 - 10:50 [[Media:Bacula_PGDay2009.pdf| Bacula et PostgreSQL (Éric Bollengier et Marc Cousin)]]====
==== 11:20 - 12:10 [[Media:Future-of-Clustering-with-Tungsten-PG-Days-EU-2009-fr.pdf‎| Clustering : la nouvelle donne (Stéphane Giron et Gilles Rayrat)]] ([[Media:Future-of-Clustering-with-Tungsten-PG-West-2009.pdf| English version here]])====
==== 13:10 - 14:00 [http://contributions.pilotsystems.net/publications/supports-de-conferences/conference-pgdays-2009-indexation-de-la-base-documentaire-de-liberation/ Indexation d'une base documentaire pour le quotidien Libération (Gaël Le Mignot, Pilot Systems)] ====
==== 14:10 - 15:00 [[Media:Comparaison_tables.pdf|pg_comparator : Comparaison de tables à distance (Fabien Coelho)]] ====

=== Lightning talks ===

==== #1 [[Media:GHUMpgonwin_pgdayue2009.odp|Elephant, Snake and Window]] - 6 years experience with PostgreSQL on Windows (Harald Armin Massa)] ====

==== #4 [http://fetter.org/Lightning_PGDay_EU_2009.pdf On Lightning Talks (David Fetter)] ====
==== #5 [[Media:Pgcluster-pgday-eu-2009.pdf‎|New features of PGCluster (Atsushi Mitani)]] ====
==== #7 [[Media:Pg51g-in-five.odp|pg51g in five – a toolkit for data diffs (Michael Nacos)]] ====
==== #8 [http://www.osor.eu/communities/osor/artifacts/presentations/OSOR-dissemination-lightning%20talk.pdf/at_download/file The Open Source Observatory and Repository (Ismael Olea)] ====
==== #9 [[Media:Pgday2009-objectwiz2.pdf|Objectwiz – open-source object-oriented data administration tool (Benoît Del Basso)]] ====

=== Closing session ===

==== [[Media:PGDay.EU_2009_Closing.pdf‎|Closing session (Dave Page and Guillaume Smet)]]====

[[Category:PostgreSQL Events]]

Main Page/fr

2009-07-02T14:34:32Z

Gleu: two new articles in french

Main Page/fr

2009-04-28T11:54:25Z

Gleu: /* Publication */ two new linuxmag articles

Main Page/fr

2009-04-28T11:52:21Z

Gleu: /* Documents originaux */ document by scheu

Main Page/fr

2009-02-09T07:06:22Z

Gleu: add a new linuxmag article

PgAdmin Internals

2009-01-15T17:48:11Z

Gleu: /* Property page dialogue layout */

= pgAdmin Development =

== Introduction ==

The information about pgAdmin development can be located at:

* http://www.pgadmin.org/development/

* The pgAdmin developers mailing list is pgadmin-hackers@postgresql.org

== Physical Source Lines of Code [SLOC]==

The source code of pgAdmin have the following main attributes, found using sloccount program [2]:

{| style="color:#009ace;background-color:#eeeeee;" border="1" cellspacing="0"
|+align="bottom" style="color:#e76700;" | '''Table 1-1. pgAdmin development effort. Retrieved at 04-05-2008 16:30'''
|-
!align="left" | Used Version
|align="right"| 1.9.0-Dev
|-
!align="left" | Total Physical Source Lines of Code (SLOC)
|align="right"| 78,142
|-
|align="left" | '''Development Effort Estimate, Person-Years (Person-Months) ''' ''(Basic COCOMO model, Person-Months = 2.4 * (KSLOC**1.05))''
|align="right"| 19.43 (233.21)
|-
|align="left" | '''Schedule Estimate, Years (Months)''' ''(Basic COCOMO model, Months = 2.5 * (person-months**0.38))''
|align="right"| 1.65 (19.85)
|-
!align="left" | Estimated Average Number of Developers (Effort/Schedule)
|align="right"| 11.75
|-
|align="left" | '''Total Estimated Cost to Develop''' ''(average salary = $56,286/year, overhead = 2.40).''
|align="right"| $ 2,625,248
|}

Another interesting information it's the distribution of the physical source lines of code between different programming languages in the project:

{| style="color:#009ace;background-color:#eeeeee;" border="1" cellspacing="0"
|+align="bottom" style="color:#e76700;" | '''Table 1-2. Programming Languages'''
|-
!align="left" | C++
|align="right"| 73859 (94.52%)
|-
!align="left" | Ansi C
|align="right"| 2657 (3.40%)
|-
!align="left" | Pascal
|align="right"| 1120 (1.43%)
|-
!align="left" | sh
|align="right"| 444 (0.57%)
|-
!align="left" | perl
|align="right"| 62 (0.08%)
|}

And finally the physical source lines of code distribution between directories:

{| style="color:#009ace;background-color:#eeeeee;" border="1" cellspacing="0"
|+align="bottom" style="color:#e76700;" | '''Table 1-3. Programming Languages divide by directory at pgAdmin folder'''
|-
! Directory Name
! Sloc
! Sloc by Language
|-
!align="left" | ui
|align="right"| 13859
|align="right"| cpp=13859
|-
!align="left" | frm
|align="right"| 12202
|align="right"| cpp=12202
|-
!align="left" | schema
|align="right"| 10032
|align="right"| cpp=10032
|-
!align="left" | include
|align="right"| 8517
|align="right"| cpp=8517,ansic=801
|-
!align="left" | utils
|align="right"| 4923
|align="right"| cpp=3464,pascal=1120,ansic=295,perl=44
|-
!align="left" | slony
|align="right"| 3614
|align="right"| cpp=3614
|-
!align="left" | ctl
|align="right"| 3052
|align="right"| cpp=3052
|-
!align="left" | debugger
|align="right"| 2667
|align="right"| cpp=2667
|-
!align="left" | agent
|align="right"| 1902
|align="right"| cpp=1902
|-
!align="left" | db
|align="right"| 1488
|align="right"| cpp=1057,ansic=431
|-
!align="left" | top_dir
|align="right"| 1054
|align="right"| cpp=1054
|}

== Class naming conventions ==

Naming conventions make programs more understandable by making them easier to read. They can also give information about the function of the identifier-for example, whether it's a constant, package, or class-which can be helpful in understanding the code. For this reason the following rules were followed:

* '''foo''' ''represents an object of'' '''type Foo'''
* '''fooFactory''' ''creates'' '''foos'''
* '''fooCollection''' ''is a'' '''collection of foos'''
* '''fooCollectionFactory''' ''creates a'' '''fooCollection'''
* '''fooObject''' ''is an object that'' '''resides under/in foo'''
* '''fooObjCollection''' ''is a collection of'' '''fooObjects'''
* '''fooObjFactory''' ''creates'' '''fooObjects'''

== Coding Style ==

The following rules gives coding conventions for pgAdmin:

# Braces are always on lines of their own.
# Only preprocessor directives, globals and function headers/closing braces should normally be left-justified
# Tab == 4 spaces
# Leave a blank line between logical blocks of code for clarity.
# Add a space after all but the last semi-colon in for loops for clarity.
# Introduce each function in a comment

By Example:

'''Source code before applying coding conventions:'''
<pre>
bool gqbArrayCollection::existsObject(gqbObject *item){
gqbObject *found=NULL;
int size=gqbArray.GetCount();
for(int i=0;i<size;i++){
if (gqbArray.Item(i)==item){
found=gqbArray.Item(i);
break;
}
}
if(found)
return true;
else
return false;
}
</pre>

'''Source code after applying coding conventions:'''
<pre>
// Check if an item exists in the array.
bool gqbArrayCollection::existsObject(gqbObject *item)
{
gqbObject *found=NULL;
int size=gqbArray.GetCount();

for(int i=0; i<size; i++)
{
if (gqbArray.Item(i)==item)
{
found=gqbArray.Item(i);
break;
}
}

if(found)
return true;
else
return false;
}
</pre>

== wxWidgets ==

''Because pgAdmin is written in C++ using the wxWidgets we should know some relevant information about it [1]:''

* '''wxWidgets''' (formerly '''wxWindows''') is a widget toolkit for creating graphical user interfaces (GUIs) for cross-platform applications. wxWidgets enables a program's GUI code to compile and run on several computer platforms with minimal or no code changes. It covers systems such as Microsoft Windows, Mac OS, Linux/Unix (X11, Motif, and GTK+), OpenVMS, OS/2 and AmigaOS. A version for embedded systems is under development.

* The wxWidgets library is implemented in C++, with bindings available for many commonly used programming languages, among them, Python (wxPython), Erlang (wxErlang), Haskell (wxHaskell), Lua (wxLua), Perl (wxPerl), Ruby (wxRuby), Smalltalk (wxSqueak), Java (wx4j) and even JavaScript (wxJavaScript).

* wxWidgets is best described as a native mode toolkit as it provides a thin abstraction to a platform's native widgets, as opposed to emulating the display of widgets using graphic primitives. Calling a native widget on the target platform results in a more native looking interface than toolkits such as [[Swing (Java)|Swing]] (for Java), as well as offering performance and other benefits.

* The toolkit is also not restricted to GUI development, having a built-in [[Open Database Connectivity|ODBC]]-based database library, an [[inter-process communication]] layer, [[internet socket|socket]] networking functionality, and more.

* A good free pdf book to learn wxWidgets can be found at: http://www.informit.com/store/product.aspx?isbn=0131473816 in the download section.

== Development Environment ==

The Development environment for pgAdmin can be in theory any accepted by the widget toolkit for creating graphical user interfaces (GUIs) for cross-platform applications known as wxWidgets, It covers systems such as Microsoft Windows, Mac OS, Linux/Unix (X11, Motif, and GTK+), OpenVMS, OS/2 and AmigaOS. Here describes how to build pgAdmin from source on *nix, Mac and Windows:

=== Linux, FreeBSD, Solaris and other unix variants ===
You will need:
* A modern development environment:
** GTK 2.2 or above.
** GNU automake 1.9 or above.
** GNU autoconf 2.59 or above.
** GNU gcc 3.4 or above.
* Following libraries:
** wxGTK 2.8.x ''from http://www.wxwidgets.org/''
** libxml2 2.6.18 or above ''from http://www.xmlsoft.org/''
** libxslt 1.1.x or above ''from http://www.xmlsoft.org/''
** PostgreSQL 8.1 or above ''from http://www.postgresql.org/''

==== Building ====

# Install libxml2 and libxslt if they are not already present on your system, per the instructions included with them.
# Install PostgreSQL per the instructions included. It is recommended that you build with OpenSSL support, using the ''--with-openssl'' configure option.
# Unpack the wxGTK tarball to a convenient location, and build and install it as follows:
#* '''Note:''' A script is included in the pgAdmin source tarball(xtra/wx-build/build-wxgtk) which will build and install wxWidgets in each combination of shared/static/debug/release builds for you. (You can follow below steps for wxGTK manual compilation too).
#* cd /path/to/wxGTK/source/
#* ./configure --with-gtk --enable-gtk2 --enable-unicode
#* make
#* sudo make install
# Install wxWidgets contrib modules.
#* cd contrib/
#* make
#* sudo make install
#Unpack the pgAdmin tarball to a convenient location, and build and install it as follows:
#* bash bootstrap '''#Required only if building from an SVN checkout'''
#* ./configure
#* make all
#* sudo make install
If any of the prerequisite components are installed in locations that the
configure script cannot find, you may specify their locations on the command
line. See the configure help (./configure --help) for details.

=== Mac OS X ===
You will need:

* A modern development environment:
** XCode 2.0 or above
** GNU automake 1.9 or above.
** GNU autoconf 2.59 or above.
* wxMac 2.8.x ''from http://www.wxwidgets.org/''
* libxml2 2.6.18 or above ''from http://www.xmlsoft.org/''
* libxslt 1.1.x or above ''from http://www.xmlsoft.org/''
* PostgreSQL 8.1 or above ''from http://www.postgresql.org/''

==== Building ====

# Install libxml2 and libxslt per the instructions included with them into a non-system location. The default versions included with OS X Panther and Tiger are too old and will not work correctly with pgAdmin.
# Install PostgreSQL per the instructions included. It is recommended that you build with OpenSSL support, using the --with-openssl configure option.
# Unpack the wxMac tarball to a convenient location, and build and install it as follows:
#* cd /path/to/wxMac/source/
#* ./configure --with-mac --enable-gtk2 --enable-unicode
#* make
#* sudo make install
# Install wxWidgets contrib modules:
#* cd contrib/
#* make
#* sudo make install
#* ''Note 1:'' You may also pass the --enable-universal_binary option to configure to build a Universal binary. This will also require a Universal build of PostgreSQL's libpq library.
#* ''Note 2:'' A script is included in the pgAdmin source tarball (''xtra/wx-build/build-wxmac'') which will install a Universal build ofwxWidgets in each combination of shared/static/debug/release builds for you.
# Unpack the pgAdmin tarball to a convenient location, and build and install it as follows:
#* bash bootstrap # Required only if building from an SVN checkout
#* ./configure --enable-appbundle
#* make all
#* make install
#* This final step will build an OSX appbundle called pgAdmin3.app in the root of your source tree. As this can take a minute or two, the ''pkg/mac/debug-bundle.sh'' script may be used to build a non-relocatable 'fake' appbundle using symbolic links directly to the executable files. This appbundle is called pgAdmin3-debug.app, and doesn't need to be rebuilt when pgAdmin is recompiled.
If any of the prerequisite components are installed in locations that the
configure script cannot find, you may specify their locations on the command
line. See the configure help (./configure --help) for details.

=== Windows ===
You will need:

* Windows 2000 or above.
* Microsoft Visual C++ 2005.
* The Windows 2003 R2 Platform SDK. (Not included with Express edition, should be download & installed)
* Windows Installer XML v3.
* wxMSW 2.8.x from http://www.wxwidgets.org/
* libxml2 2.6.18 or above from http://www.xmlsoft.org/
* libxslt 1.1.x or above from http://www.xmlsoft.org/
* iconv 1.9.x or above from http://gnuwin32.sourceforge.net/
* PostgreSQL 8.1 or above from http://www.postgresql.org/

Precompiled XML/XSLT and dependency packages for Windows can be found at
''http://zlatkovic.com''. You probably need zlib 1.2.x as well as libxml2 and
libxslt.

==== Building ====
# Unpack the wxMSW source code to a convenient location pointed to by the '''%WXWIN%''' environment variable.
# Install PostgreSQL to a convenient location pointed to by the '''%PGDIR%''' environment variable.
# Unpack the pgAdmin source code to a convenient location.
# From a Visual Studio command prompt, run the wxWidgets build script included in the pgAdmin source tree at ''xtra/wx-build/build-wxmsw.bat''
# Unpack the libxml2, libxslt and dependency binaries in a directory pointed to by the '''%PGBUILD%''' environment variable.
# Start Visual C++ and load the pgAdmin solution file. Build the required targets.

==== Note from microsoft site for Visual C++ Express Edition 2005 Users: ====

You can use Visual C++ Express to build .NET Framework applications immediately after
installation. In order to use Visual C++ Express to build Win32 applications, you'll need to take
just a few more steps. I'll list the steps necessary for building Win32 applications using Visual C+
+ Express.

'''1. Install the Microsoft Platform SDK:''' Follow the instructions and install the SDK for the x86 platform.

'''2. Update the Visual C++ directories in the Projects and Solutions section in the Options dialog box. Add the paths to the appropriate subsection:'''
● Executable files: C:\Program Files\Microsoft Platform SDK for Windows Server 2003 R2\Bin
● Include files: C:\Program Files\Microsoft Platform SDK for Windows Server 2003 R2\Include
● Library files: C:\Program Files\Microsoft Platform SDK for Windows Server 2003 R2\Lib

Note: Alternatively, you can update the Visual C++ Directories by modifying the VCProjectEngine.
dll.express.config file located in the \vc\vcpackages subdirectory of the Visual C++ Express install
location. Please make sure that you also delete the file "vccomponents.dat" located in the "%
USERPROFILE%\Local Settings\Application Data\Microsoft\VCExpress\8.0" if it exists before
restarting Visual C++ Express Edition.

'''3. Update the corewin_express.vsprops file:'''
One more step is needed to make the Win32 template work in Visual C++ Express. This can be done in two ways.

1. Click on Project (on each one pgAdmin3, pgaevent, pgAgent), Properties, Linker, Input, Additional Dependencies and made sure the folllowing were all in the list (or else you will get unresovled externals to Windows API).

user32.lib
gdi32.lib
oleaut32.lib
ole32.lib
comdlg32.lib
shell32.lib
winmm.lib
comctl32.lib
rpcrt4.lib
wsock32.lib
odbc32.lib
advapi32.lib

This avoid errors from type LNK2019

2.You need to edit the corewin_express.vsprops file (found in C:\Program Files\Microsoft Visual Studio 8\VC
\VCProjectDefaults) and Change the string that reads: AdditionalDependencies="kernel32.lib"
to AdditionalDependencies="kernel32.lib user32.lib gdi32.lib winspool.lib comdlg32.lib advapi32.lib
shell32.lib ole32.lib oleaut32.lib uuid.lib"

== Class Hierarchy ==

[Add info here!]

== SVN Directory Structure ==
===pgadmin===
===== agent =====
pgAdmin Agent related classes:

* '''dlgJob.cpp''' - PostgreSQL Job Property
* '''dlgSchedule.cpp''' - PostgreSQL Schedule Property
* '''dlgStep.cpp''' - PostgreSQL Step Property
* '''pgaStep.cpp''' - PostgreSQL Agent Step
* '''pgaJob.cpp''' - PostgreSQL Agent Job
* '''pgaSchedule.cpp''' - PostgreSQL Agent Schedule
* '''pgaStep.cpp''' - PostgreSQL Agent Step

==== db ====
Contains postgresql database related files:
* '''keywords.c''' - lexical token lookup for reserved words in PostgreSQL
* '''pgConn.cpp''' - PostgreSQL Connection class
* '''pgQueryThread.cpp''' - PostgreSQL threaded query class
* '''pgSet.cpp''' - PostgreSQL ResultSet class

==== dlg ====
Contains the source code for all dialogs used by pgAdmin like by example:
* '''dlgOperator.cpp''' - PostgreSQL Operator Property
* '''dlgHbaConfig.cpp''' - Configure setting
* '''dlgFindReplace.cpp''' - Search and replace
'''And more...'''

==== include ====
Contains all headers files (.h) used by pgAdmin, is divided in several folders for organization purpose.

==== schema ====
Contains all classes related to postgresql schemas, like by example:

* '''pgSchema.cpp''' - schema class
* '''pgCollection.cpp''' - Simple object for use with 'collection' nodes
* '''pgForeignKey.cpp''' - ForeignKey class

'''and others.'''

==== ui ====
Contains xrc dialogue resource files.

==== ctl ====
Contains the source code for controls used by pgAdmin:

* '''calbox.cpp''' - Date-picker control box
* '''ctlComboBox.cpp''' - enhanced combobox control
* '''ctlListView.cpp''' - enhanced listview control
* '''ctlMenuToolbar.cpp''' - Menu tool bar
** ''Note:'' This code is used with the authors permission from Paul Nelson (http://www.pnelsoncomposer.com/)
* '''ctlSecurityPanel.cpp''' - Panel with security information
* '''ctlSQLBox.cpp''' - SQL syntax highlighting textbox
* '''ctlSQLGrid.cpp''' - SQL Query result window
* '''ctlSQLResult.cpp''' - SQL Query result window
* '''ctlTree.cpp''' - wxTreeCtrl containing pgObjects
* '''explainCanvas.cpp''' - Explain Canvas
* '''explainShape.cpp''' - Explain Shapes
* '''timespin.cpp''' - timeSpin SpinCtrl
* '''xh_calb.cpp''' - wxCalendarBox handler
* '''xh_ctlcombo.cpp''' - ctlComboBox handler
* '''xh_ctltree.cpp''' - ctlTree handler
* '''xh_sqlbox.cpp''' - ctlSQLBox handler
* '''xh_timespin.cpp''' - wxTimeSpinCtrl handler

==== debugger ====
Contains debugger related classes like:

* '''debugger.cpp''' - Debugger factories
* '''dlgDirectDbg.cpp''' - debugger
* '''frmDebugger.cpp''' - debugger

'''And more'''

==== frm ====
Contains forms related classes like:

* '''frmAbout.cpp''' - About Box
* '''frmMain.cpp''' - The main form
** '''events.cpp''' - Event handlers, browser and statistics functions for frmMain.
* '''frmPassword.cpp''' - Change password
* '''frmQuery.cpp''' - SQL Query Box
* '''frmReport.cpp''' - The report file dialogue

==== slony ====
Constains classes related to administration of Slony-I Clusters.

==== utils ====
Utility classes used by pgAdmin like:

* '''factory.cpp''' - Object classes factory
* '''favourites.cpp''' - Query favourites
* '''md5.cpp''' - MD5 password encryption functions
* '''misc.cpp''' - Miscellaneous Utilities
* '''pgconfig.cpp''' - backend configuration classes
* '''sysLogger.cpp''' - Log handling class
* '''sysProcess.cpp''' - External process
* '''sysSettings.cpp''' - Settings handling class
* '''utffile.cpp''' - file io with BOM interpretation

'''And more.'''

== Developer Notes ==

=== To add actions to the main window (frmMain) ===

* Create the frmXXX class that will render the new function.
* Create an actionFactory (or contextActionFactory, if the action will display in context menus too) derived factory for each action to be performed, and register it in frmMain::CreateMenus(). Never touch menu.h, or anything for that. Easy examples are frmGrantWizard or frmEditGrid.
** Implement CheckEnable() for each factory, checking the current object if the action applies.
** Implement StartDialog(), which brings up the dialog.

Following this, you should be able to add new actions on objects by just adding
the source and registering the new menu in frmMain.cpp. If you think you need
to modify more files, you're probably wrong.

=== To add objects to the object tree ===

* Implement the class with proper hierarchy. pgCast and dlgCast are simple examples.
* Instantiate a collection in the pgXXX object where it should be located under.

=== Property page dialogue layout ===

Design of dialogs should follow these rules as much as possible

* Standard dialog heights are 150, 250, and 330
* Standard dialog heights are 220, and 300
* Notebook is at 2,2d, size (216,216d)
* Standard button size is (50,15d)
* First control at (5,5d)
* Standard controls are at (70,[y] d), size (135,12d)
* Vertical constrol spacing is 15d, for radio buttons and checkboxes 12d
* Static text has a vertical offset of 2 relative to other controls
* Static text should be designed with 50 % space in reserve, to leave enough space for translated strings.

== References ==

[1] http://en.wikipedia.org/wiki/WxWidgets
 
[2] http://www.dwheeler.com/sloccount/