ガイド
TXT・TSV・CSV → SQL:安全なデータベース投入ワークフロー
スペースやパイプ区切りの TXT ログや TSV を RFC 4180 準拠 CSV へ整形し、型推論付きで PostgreSQL・MySQL・SQLite 用 SQL をローカル生成。
クイックアンサー: 空白・パイプ・セミコロン区切りの TXT ログや TSV シートを先に RFC 4180 準拠の CSV へ正規化し、続いて CSV → SQL 変換で列型を自動推論させれば、ブラウザメモリだけで PostgreSQL・MySQL・SQLite 向けの CREATE TABLE とバッチ INSERT 文を生成できます。
生の TXT ログや TSV ダンプで DB インポートが失敗する原因
CLI の実行結果やレガシー ERP 出力、表計算ソフトからのコピーデータは、綺麗な RFC 4180 CSV ではなく連続スペース区切りの .txt やパイプ区切り、あるいは .tsv 形式で渡されることが多くあります。
値の中に "Tokyo, JP" のようなカンマや O'Brien のようなシングルクォート、あるいは Excel 由来の UTF-8 BOM が含まれると、簡易スクリプトは列ずれや SQL 構文エラーを起こします。
- 可変幅スペース区切りの列は、空白正規表現で分割しないと列数が揃いません。
- カンマを含む TSV セルは、CSV 化時に RFC 4180 準拠の二重引用符で囲む必要があります。
- SQL の方言ごとに識別子の囲み文字、NULL 表現、バックスラッシュのエスケープ規則が異なります。
TXT ログと TSV を RFC 4180 準拠の CSV に正規化
空白・タブ・パイプ・セミコロン・コロン区切りのログからは TXT → CSV 変換を使用します。trimFields と skipEmptyLines を有効にして余分な空白や空行を除き、Windows Excel で確認する場合は UTF-8 BOM 付与もオンにします。
タブ区切りの TSV には TSV → CSV 変換が PapaParse で正確にパースし、厳格なインポーター向けに全セルへ引用符を付ける quoteAll オプションも選べます。
Raw TXT (whitespace):
node-01 us-east 200 14ms
node-02 ap-south 503 98ms
Normalized CSV:
node-01,us-east,200,14ms
node-02,ap-south,503,98ms型推論付きで CREATE TABLE とバッチ INSERT 文を生成
整えた CSV を CSV → SQL 変換へ渡すと、顧客データやログを外部送信することなく SQL スクリプトを生成できます。区切り文字(カンマ・タブ・パイプ・セミコロン)と先頭の UTF-8 BOM を自動処理し、実際のセル値から整数(64bit BIGINT 判定含む)・浮動小数・真偽値・文字列型を推論します。
tableName(既定 imported_data)や includeCreateTable の有無を指定でき、batchSize(1〜1000 行、既定 100)単位で複数行 INSERT 文を分割出力します。空セルは SQL の NULL になり、シングルクォートも自動エスケープされます。
CSV から PostgreSQL・MySQL・SQLite 用 SQL を生成
| 項目 | PostgreSQL | MySQL | SQLite |
|---|---|---|---|
| 識別子の引用符 | "column_name" | `column_name` | "column_name" |
| 真偽値型とリテラル | BOOLEAN (TRUE / FALSE) | BOOLEAN (TRUE / FALSE) | INTEGER (1 / 0) |
| 小数・文字列型 | DOUBLE PRECISION / TEXT | DOUBLE / VARCHAR(255) または TEXT | REAL / TEXT |
| 文字列エスケープ | シングルクォート二重化 ('') | '' に加え \, \n, \r, \0 対応 | シングルクォート二重化 ('') |
本番投入前に CSV → JSON 変換でデータ型を事前検証
生成した SQL をステージングや本番データベースへ流す前に、CSV → JSON 変換で数値や真偽値への自動変換結果をチェックしたり、TSV → CSV 変換の列境界を最終確認したりするのがおすすめです。
文字列扱いにすべき ID 列の数値化や想定外の空セルを数秒でローカル発見できます。
参考文献
よくある質問
CSV → SQL 変換は Excel から書き出した UTF-8 BOM 付き CSV にも対応していますか?
はい。先頭の UTF-8 BOM(EF BB BF)を自動的に取り除くため、1 列目のカラム名に不可視文字が混入する心配はありません。
CSV 内の空セルは SQL の INSERT 文でどのように出力されますか?
空文字や空白のみのセルは空文字列 '' ではなく、引用符なしの SQL NULL として出力されます。
既存テーブルにデータだけ追加するため CREATE TABLE を省けますか?
はい。「CREATE TABLE を含める」のチェックを外し、1 バッチあたりの行数(1〜1000 行)を指定して INSERT 文だけを出力できます。
関連フォーマット
関連比較ページ
関連ガイド
- Excel をフリーズさせずに大容量 CSV をブラウザ内で結合・分割する方法複数 CSV を列名一致で安全にマージしたり、巨大 CSV をヘッダー付きで固定行数ごとに分割して一括 ZIP 出力したりする方法を解説します。
- AI 分析前に CSV・JSON 顧客データをローカルでマスクする方法ブラウザ RAM 内で CSV 列を匿名化し、売上金額を比例スケーリング(×k)、ネスト JSON キーを構文を壊さずローカルでマスクします。
- リスト重複削除・連絡先抽出・ケース変換のローカル一括処理ガイド雑多なリストやログをブラウザ内で整理。大文字小文字を区別しない重複行削除、メール・URL の CSV 抽出、技術略語を保つ 9 種のケース変換を解説します。