使用Python将CSV文件导入MySQL数据库的方法

在这篇文章中，我们将探讨如何使用Python快速将CSV文件导入MySQL数据库。CSV文件是一种常见的数据存储格式，在数据处理和分析中经常使用。而MySQL数据库则是一个流行的关系型数据库管理系统，具有高效、稳定的特性。将CSV文件导入MySQL数据库可以帮助我们更好地管理和分析数据，而Python作为一种流行的编程语言，提供了丰富的库和工具来实现这一目标。

本文将重点介绍使用Python中的load data方法来快速导入CSV文件到MySQL数据库中的方法。这种方法速度快，尤其适用于处理大数据文件。我们将逐步介绍整个过程，包括连接数据库、创建表格、以及导入数据等步骤。

样本CSV文件

首先，让我们先来看一下样本CSV文件的结构，以便更好地理解后续的操作。

总体工作分为3步

1. 连接数据库：首先，我们需要使用Python连接MySQL数据库。这一步是整个过程的基础，后续的操作都建立在成功连接数据库的基础之上。
2. 基于CSV文件表格字段创建表：在导入CSV文件之前，我们需要创建一个数据库表格来存储CSV文件中的数据。我们将根据CSV文件的表头字段来创建表格的字段，并指定合适的数据类型。
3. 使用load data方法导入CSV文件内容：最后，我们将使用MySQL的load data方法来快速将CSV文件中的数据导入到MySQL数据库中。这种方法效率高，适用于处理大数据文件。

load data语法简介

在使用load data方法导入CSV文件内容时，我们需要了解一些基本的语法规则：

<code>LOAD DATA LOCAL INFILE 'csv_file_path' INTO TABLE table_name FIELDS TERMINATED BY ',' LINES TERMINATED BY '\\r\\n' IGNORE 1 LINES</code>

• csv_file_path：指定CSV文件的绝对路径。
• table_name：指定要导入数据的表格名称。
• FIELDS TERMINATED BY ','：指定CSV文件中字段的分隔符，通常为逗号。
• LINES TERMINATED BY '\\r\\n'：指定行的终止符，通常为换行符。
• IGNORE 1 LINES：指定忽略CSV文件中的第一行，因为第一行通常是表头字段。

完整代码

下面是完整的Python代码，实现了将CSV文件快速导入MySQL数据库的功能：

<code># 导入pymysql模块 import pymysql # 连接数据库 config = { 'host': '', 'port': 3306, 'user': 'evdata', 'passwd': '', 'charset': 'utf8mb4', 'local_infile': 1 } conn = pymysql.connect(**config) cur = conn.cursor() # load_csv函数，参数分别为csv文件路径、表名称、数据库名称 def load_csv(csv_file_path, table_name, database='evdata'): # 打开csv文件 file = open(csv_file_path, 'r', encoding='utf-8') # 读取csv文件第一行字段名，创建表 reader = file.readline() columns = reader.split(',') columns_definition = ','.join([f"{column.strip()} VARCHAR(255)" for column in columns]) create_table_sql = f"CREATE TABLE IF NOT EXISTS {table_name} ({columns_definition}) DEFAULT CHARSET=utf8mb4" load_data_sql = f"LOAD DATA LOCAL INFILE '{csv_file_path}' INTO TABLE {table_name} FIELDS TERMINATED BY ',' LINES TERMINATED BY '\\r\\n' IGNORE 1 LINES" # 使用数据库 cur.execute(f'USE {database}') # 设置编码格式 cur.execute('SET NAMES utf8;') cur.execute('SET character_set_connection=utf8;') # 执行创建表的SQL语句 cur.execute(create_table_sql) # 执行导入数据的SQL语句 cur.execute(load_data_sql) conn.commit() # 关闭连接 conn.close() cur.close() # 调用load_csv函数导入CSV文件到MySQL数据库 load_csv('csv_file_path', 'table_name', 'database_name')</code>

解决问题

在Windows 10系统中执行代码时可能会遇到以下错误：

<code>ERROR 1148 (42000): The used command is not allowed with this MySQL version.</code>

这是因为默认情况下MySQL不允许使用load data命令。为了解决这个问题，我们需要修改MySQL的配置文件。在MySQL的安装目录中找到my.ini配置文件，将以下内容添加到文件末尾：

<code>[mysqld] local-infle = 1 [mysql] local-infile = 1</code>

总结

本文介绍了如何使用Python将CSV文件快速导入MySQL数据库的方法。通过load data方法，我们可以高效地处理大数据文件，提高数据导入的效率。在实际工作中，我们经常会遇到需要将CSV文件导入数据库的情况，掌握这种方法可以帮助我们更好地处理和分析数据。