快捷搜索:  汽车  科技

postgresql导出所有的序列(详解PostgreSQL批量导入数据--COPY命令)

postgresql导出所有的序列(详解PostgreSQL批量导入数据--COPY命令)COPY table_name [ ( column_name [ ...] ) ] FROM { 'filename' | PROGRAM 'command' | STDIN } [ [ WITH ] ( option [ ...] ) ]3、常用参数说明COPY { table_name [ ( column_name [ ...] ) ] | ( query ) } TO { 'filename' | PROGRAM 'command' | STDOUT } [ [ WITH ] ( option [ ...] ) ]2、导入CSV命令带文件名的COPY指示PostgreSQL服务器直接从文件中读写数据。 如果声明了文件名,那么服务器必须可以访问该文件,而且文件名必须从服务器的角度

概述

最近有需要对数据进行迁移的需求,主要是从excel表导入到PG数据库表,这里我是从postgres本身支持的copy命令来实现的,所以主要介绍一下COPY的命令..

官方文档:http://postgres.cn/docs/11/sql-copy.html


一、copy命令

COPY在postgresql表和文件之间交换数据。 COPY TO把一个表的所有内容都拷贝到一个文件,而COPY FROM从一个文件里拷贝数据到一个表里(把数据附加到表中已经存在的内容里)。 COPY TO还能拷贝SELECT查询的结果。

如果声明了一个字段列表,COPY将只在文件和表之间拷贝已声明字段的数据。 如果表中有任何不在字段列表里的字段,那么COPY FROM将为那些字段插入缺省值。

带文件名的COPY指示PostgreSQL服务器直接从文件中读写数据。 如果声明了文件名,那么服务器必须可以访问该文件,而且文件名必须从服务器的角度声明。 如果使用了PROGRAM选项,则服务器会从指定的这个程序进行输入或是写入该程序作为输出。 如果使用了STDIN 或STDOUT选项,那么数据将通过客户端和服务器之间的连接来传输。

copy命令可以操作的文件类型有:txt、sql、csv、压缩文件、二进制格式

1、导出CSV命令

COPY { table_name [ ( column_name [ ...] ) ] | ( query ) } TO { 'filename' | PROGRAM 'command' | STDOUT } [ [ WITH ] ( option [ ...] ) ]

2、导入CSV命令

COPY table_name [ ( column_name [ ...] ) ] FROM { 'filename' | PROGRAM 'command' | STDIN } [ [ WITH ] ( option [ ...] ) ]

3、常用参数说明

postgresql导出所有的序列(详解PostgreSQL批量导入数据--COPY命令)(1)

注意:

1)COPY只能用于表,不能用于视图。当然也可以用于COPY (SELECT * FROM viewname) TO ...

2)COPY仅仅处理已指定的特定表;它将不复制数据到子表或从子表中复制数据。 因此比如COPY table TO显示与SELECT * FROM ONLY table相同的数据。 但是COPY (SELECT * FROM table) TO ...可以用于转储在继承层次结构的所有数据。

3)对任何要COPY TO出来的数据必须有查询的权限,对任何要COPY FROM入数据的表必须有插入权限。 对列在命令中的字段拥有列权限也是必须的。

4)COPY命令里面的文件必须是由服务器直接读或写的文件,而不是由客户端应用读写。 因此,它们必须位于数据库服务器上或者可以被数据库服务器所访问,而不是客户端程序。 它们必须被运行PostgreSQL服务器的用户可读或写,而不是客户端程序。 由PROGRAM选项指定的命令必须是由服务器来执行的,而不是客户端程序,必须是由PostgreSQL所属的用户。 COPY在指定一个程序或是命令时只允许数据库超级用户来执行,因为它允许读写任意服务器有权限访问的文件。

5)不要混淆COPY和 psql应用程序中的\copy指令。 \copy调用COPY FROM STDIN或COPY TO STDOUT,然后把数据抓取/存储到一个psql客户端可以访问的文件中。 因此,使用\copy的时候,文件访问权限是由客户端应用程序而不是服务器端决定的。

6)COPY FROM在执行时会触发目标表上所有触发器和检查约束。不过,不会执行规则。


二、实例

1、导出demo_employee_target表

$ psql -h 172.26.151.107 -p 5432 FSL-VIS postgres \dn --list schemas set search_path to 'fslvis_schema'; --切换schema 默认public \dt --list tables copy demo_employee_source to '/tmp/test.csv' with csv; copy demo_employee_target to '/tmp/test.csv' with csv;

postgresql导出所有的序列(详解PostgreSQL批量导入数据--COPY命令)(2)

2、导出指定字段

\d demo_employee_target --查看表结构 copy demo_employee_target(c_oid c_code c_operatetime) to '/tmp/test2.csv' with csv;

postgresql导出所有的序列(详解PostgreSQL批量导入数据--COPY命令)(3)

3、导出select语句

COPY (select c_oid c_code c_operatetime c_status from demo_employee_target) TO '/tmp/test3.csv' WITH csv;

postgresql导出所有的序列(详解PostgreSQL批量导入数据--COPY命令)(4)

4、导入test.csv

COPY t1 FROM '/tmp/test.csv' WITH csv;

postgresql导出所有的序列(详解PostgreSQL批量导入数据--COPY命令)(5)

如果导出的时候,指定了header属性,那么在导入的时候,也需要指定:

COPY t1 FROM '/tmp/test.csv' WITH csv header;

5、 copy命令导入导出数据为sql格式

COPY t1 TO '/tmp/t1.sql'; COPY t1 FROM '/tmp/t1.sql';

postgresql导出所有的序列(详解PostgreSQL批量导入数据--COPY命令)(6)

6、将excel表中的数据导入到Postgresql数据库的某张表中

步骤:

1)将excel表格字段,按照postgresql数据库中表的字段顺序来整理数据,并保存为csv文件。

2)用记事本打开csv文件,另存为UTF-8格式。

3)使用客户端链接postgresql数据库,执行如下脚本,导入csv文件到Postgresql数据表:

copy t1 from 'd:/test/testdata.csv' delimiter as' ' csv quote as '"'

注意:

1)test目录需要赋予postgresql用户可读写的权限,否则会有如下报错信息:ERROR: could not open file "d:/testdata.csv" forwriting:Permission denied

2)csv文件要为utf-8格式,否则导入时可能会有报错:ERROR:invalid bytesequence for encoding "UTF8": 0xcdf5


觉得有用的朋友多帮忙转发哦!后面会分享更多devops和DBA方面的内容,感兴趣的朋友可以关注下~

postgresql导出所有的序列(详解PostgreSQL批量导入数据--COPY命令)(7)

猜您喜欢: