指南

TXT、TSV 与 CSV 转 SQL:干净可靠的数据库导入工作流

本地将空格或竖线分隔 TXT 日志及 TSV 转为 RFC 4180 CSV,自动推断字段类型并批量生成 PostgreSQL、MySQL、SQLite SQL。

4 分钟阅读

快速解答: 先将空格、竖线或分号分隔的 TXT 日志与 TSV 表格规范化为带双引号转义的 RFC 4180 CSV,再用 CSV 转 SQL 自动推断列类型,并在浏览器内存中直接生成适配 PostgreSQL、MySQL 或 SQLite 的 CREATE TABLE 与分批 INSERT 语句。

为什么原始 TXT 日志与 TSV 导出的导入向导容易报错

运维命令行输出、老旧 ERP 导出报表和表格剪贴板内容,经常以不定长空格对齐的 .txt 文本、竖线分隔文件或 .tsv 表格形式出现,而不是规范的 RFC 4180 CSV。

一旦单元格内出现如 "Tokyo, JP" 的逗号、如 O'Brien 的单引号,或 Excel 遗留的 UTF-8 BOM 字节,简陋的导入脚本就会发生列错位甚至语法失败。

  • 不定宽空格对齐的文本列需要按空白正则切分,固定分隔符脚本会失效。
  • TSV 中带有逗号的字段若不按 RFC 4180 包裹双引号,转成 CSV 后会多出一列。
  • 不同数据库方言对标识符引号、NULL 空值及字符串反斜杠转义要求各不相同。

把 TXT 与 TSV 文本规范化为标准 RFC 4180 CSV

从空格、制表符、竖线、分号或冒号分隔的日志起步时,先使用 TXT 转 CSV。打开“修剪字段空白”和“跳过空行”清理冗余空格;若同事需要在 Windows Excel 中预览该 CSV,可同时勾选添加 UTF-8 BOM。

面对制表符分隔的 TSV 导出文件,TSV 转 CSV 会通过 PapaParse 解析,并支持启用“全字段加引号(quoteAll)”,防止严格校验的入库工具误拆带逗号的地址或备注列。

text
Raw TXT (whitespace):
node-01   us-east   200   14ms
node-02   ap-south  503   98ms

Normalized CSV:
node-01,us-east,200,14ms
node-02,ap-south,503,98ms

本地将 TXT 日志转为规范 CSV

自动推断列类型并生成 CREATE TABLE 与批量 INSERT 语句

把规整后的 CSV 送入 CSV 转 SQL,无需把业务用户表或监控数据上传给外部网站就能生成可执行 SQL。解析器会自动识别逗号、制表符、竖线和分号分隔符,剥离首列前潜在的 UTF-8 BOM,并根据实际值推断整数(含 64 位 BIGINT)、浮点数、布尔与文本类型。

你可以自定义表名(默认 imported_data)、切换是否包含 CREATE TABLE 语句,并设定每个多行 INSERT 批次包含的行数(1 至 1000 行,默认 100)。空单元格会自动转为 SQL NULL,单引号也会安全转义。

从 CSV 本地生成 PostgreSQL/MySQL/SQLite SQL

特性PostgreSQLMySQLSQLite
标识符引号"column_name"`column_name`"column_name"
布尔类型与字面量BOOLEAN (TRUE / FALSE)BOOLEAN (TRUE / FALSE)INTEGER (1 / 0)
浮点与文本类型DOUBLE PRECISION / TEXTDOUBLE / VARCHAR(255) 或 TEXTREAL / TEXT
字符串转义规则单引号双写 ('')'' 外加 \、\n、\r、\0 转义单引号双写 ('')

在写入测试或生产库前先用 CSV 转 JSON 核查字段类型

在把生成的 SQL 脚本执行到测试库或生产库之前,不妨先顺手用 CSV 转 JSON 检查一次数值和布尔类型的强转结果,或再次核对 TSV 转 CSV 的字段对齐情况。

提前在本地发现被当作数字解析的编号列、意外空值或分隔符错判,只需几秒钟即可避免线上数据污染。

将 TSV 导出表转为标准 RFC 4180 CSV

参考资料

常见问题

CSV 转 SQL 能正确处理 Excel 导出的 UTF-8 BOM 表头吗?

可以。CSV 转 SQL 会自动剥离开头的 UTF-8 BOM(EF BB BF),确保第一个列名不会夹带不可见字符。

CSV 中的空白单元格在生成的 INSERT 语句中会变成什么?

空白或仅含空格的单元格会自动输出为不带引号的 SQL NULL,而不是空字符串 ''。

如果数据库表已存在,可以跳过 CREATE TABLE 只生成 INSERT 语句吗?

可以。取消勾选“包含 CREATE TABLE”,并按需调整批处理行数(每条 INSERT 1 到 1000 行)即可直接导入现有数据表。

相关格式

相关方案对比

相关指南