mysql导入大规模csv文件(MySQL中导入导出CSV格式数据)
mysql导入大规模csv文件(MySQL中导入导出CSV格式数据)由记录组成(典型的是每行一条记录);纯文本,使用某个字符集,比如ASCII、Unicode、EBCDIC或GB2312;CSV文件由任意数目的记录组成,记录间以某种换行符分隔;每条记录由字段组成,字段间的分隔符是其它字符或字符串,最常见的是逗号或制表符。通常,所有记录都有完全相同的字段序列。CSV是一种通用的、相对简单的文件格式,被用户、商业和科学广泛应用。最广泛的应用是在程序之间转移表格数据,而这些程序本身是在不兼容的格式上进行操作的(往往是私有的和/或无规范的格式)。因为大量程序都支持某种CSV变体,至少是作为一种可选择的输入/输出格式。“CSV”并不是一种单一的、定义明确的格式(尽管RFC 4180有一个被通常使用的定义)。因此在实践中,术语“CSV”泛指具有以下特征的任何文件:
预备阅读:MySQL中的主键问题和赋权限问题
今天来讲一下在MySQL中导入和导出csv格式数据的操作。
CSV格式数据
逗号分隔值(Comma-Separated Values,CSV,有时也称为字符分隔值,因为分隔字符也可以不是逗号),其文件以纯文本形式存储表格数据(数字和文本)。纯文本意味着该文件是一个字符序列,不含必须像二进制数字那样被解读的数据。
CSV文件由任意数目的记录组成,记录间以某种换行符分隔;每条记录由字段组成,字段间的分隔符是其它字符或字符串,最常见的是逗号或制表符。通常,所有记录都有完全相同的字段序列。
CSV是一种通用的、相对简单的文件格式,被用户、商业和科学广泛应用。最广泛的应用是在程序之间转移表格数据,而这些程序本身是在不兼容的格式上进行操作的(往往是私有的和/或无规范的格式)。因为大量程序都支持某种CSV变体,至少是作为一种可选择的输入/输出格式。
“CSV”并不是一种单一的、定义明确的格式(尽管RFC 4180有一个被通常使用的定义)。因此在实践中,术语“CSV”泛指具有以下特征的任何文件:
-
纯文本,使用某个字符集,比如ASCII、Unicode、EBCDIC或GB2312;
-
由记录组成(典型的是每行一条记录);
-
每条记录被分隔符分隔为字段(典型分隔符有逗号、分号或制表符;有时分隔符可以包括可选的空格);
-
每条记录都有同样的字段序列。
MySQL中导入CSV格式数据
设置表结构:
字段名MMSI类型为int,Record_Datetime 类型为int,目标字段名,类型,就按照上图设置。
下面开始插入数据:
Windows下:
LOAD DATA INFILE 'C:\\Users\\Administrator\\Desktop\\test\\test.csv'
INTO TABLE `csvmysql`
FIELDS TERMINATED BY ' ' OPTIONALLY ENCLOSED BY '"' ESCAPED BY '"'
LINES TERMINATED BY '\n';
查看结果:
原本为空表的csvmysql,现在已经有了100多万行数据,插入数据成功。
Linux下:
LOAD DATA INFILE
'/tmp/test.csv'
INTO TABLE 'csvmysql'
FIELDS TERMINATED BY ' ' OPTIONALLY ENCLOSED BY '"' ESCAPED BY '"'
LINES TERMINATED BY '\r\n';
PS.如果运行上面的结果报错,#1290 – The MySQL server is running with the –secure-file-priv option so it cannot execute this statement。
解决办法:
1、配置文件中将这行注释“secure-file-priv=”datadir=”D:\AppServ/MySQL/Uploads””(根据环境不同,路径不同,直接打开my.ini搜索secure-file-priv注释即可);很多人添加权限依然不行就是因为这行没有添加;
注意:加完后一定要重启mysql;
2、赋权限
详情请看MySQL中的主键问题和赋权限问题
MySQL中导出CSV格式数据
查询语句:
--Windows下:
SELECT *
INTO OUTFILE "f:\\out.csv"
FIELDS TERMINATED BY ' '
ENCLOSED BY '"'
LINES TERMINATED BY '\n'
FROM csvmysql;
--Linux下:
SELECT *
INTO OUTFILE "/tmp/out.csv"
FIELDS TERMINATED BY ' '
ENCLOSED BY '"'
LINES TERMINATED BY '\n'
FROM csvmysql;
然后在我的F盘下面出现了out.csv文件,打开查看和数据库中数据一致。
以上就是在MySQL中导入导出CSV格式数据的方法。
希望通过上面的操作能帮助大家解决插入数据出现的一些问题。如果你有什么好的意见,建议,或者有不同的看法,我都希望你留言和我们进行交流、讨论。
如果想快速联系我,欢迎关注AiryData。