가이드

TXT, TSV & CSV → SQL 변환: 깔끔한 데이터베이스 적재 워크플로우

공백·파이프 구분 TXT 로그와 TSV를 RFC 4180 CSV로 정리하고, 열 타입을 추론해 PostgreSQL·MySQL·SQLite용 SQL을 로컬 생성합니다.

읽기 4분

빠른 답변: 먼저 공백·파이프·세미콜론으로 나뉜 TXT 로그와 TSV 시트를 따옴표가 올바른 RFC 4180 CSV로 정규화한 다음, CSV → SQL 변환으로 열 타입을 자동 추론해 브라우저 메모리에서 PostgreSQL·MySQL·SQLite용 CREATE TABLE 및 배치 INSERT 문을 생성하세요.

원본 TXT 로그와 TSV 덤프가 DB 가져오기 마법사를 깨뜨리는 이유

CLI 명령 출력, 레거시 ERP 내보내기, 스프레드시트 복사본은 깔끔한 RFC 4180 CSV가 아니라 가변 공백으로 정렬된 .txt 로그나 파이프 구분 파일, 혹은 .tsv 시트로 주어지는 경우가 흔합니다.

셀 값 안에 "Tokyo, JP"처럼 쉼표가 들어 있거나 O'Brien처럼 작은따옴표가 포함되고 Excel의 UTF-8 BOM 바이트까지 붙어 있으면 단순한 가져오기 스크립트는 열이 밀리거나 구문 오류를 냅니다.

  • 가변 너비 공백으로 정렬된 텍스트 열은 공백 정규식으로 분리해야 어긋나지 않습니다.
  • 쉼표가 들어 있는 TSV 필드는 CSV 변환 시 RFC 4180 큰따옴표로 감싸야 합니다.
  • SQL 방언마다 식별자 따옴표, NULL 처리, 백슬래시 문자열 이스케이프 규칙이 다릅니다.

TXT 로그와 TSV를 표준 RFC 4180 CSV로 정규화하기

공백, 탭, 파이프(|), 세미콜론(;), 콜론(:)으로 구분된 로그에서 시작한다면 TXT → CSV 변환을 먼저 실행하세요. trimFields와 skipEmptyLines를 켜 불필요한 여백과 빈 줄을 정리하고, 동료가 Windows Excel에서 열어야 한다면 UTF-8 BOM 추가를 선택하세요.

탭 구분 TSV 파일은 TSV → CSV 변환이 PapaParse로 정확히 파싱하며, 엄격한 적재기를 위해 모든 셀을 따옴표로 묶는 quoteAll 옵션도 지원합니다.

text
Raw TXT (whitespace):
node-01   us-east   200   14ms
node-02   ap-south  503   98ms

Normalized CSV:
node-01,us-east,200,14ms
node-02,ap-south,503,98ms

로컬에서 TXT 로그를 깔끔한 CSV로 변환하기

열 타입 추론과 CREATE TABLE 및 배치 INSERT 문 생성

정리된 CSV를 CSV → SQL 변환에 넣으면 고객 테이블이나 원격 측정 데이터를 외부로 올리지 않고도 실행 가능한 SQL을 만들 수 있습니다. 파서는 쉼표·탭·파이프·세미콜론 구분자를 자동 감지하고 첫 열의 UTF-8 BOM을 제거한 뒤 실제 셀 값에서 정수(64비트 BIGINT 포함), 실수, 불리언, 텍스트 타입을 추론합니다.

tableName(기본 imported_data), includeCreateTable 여부, batchSize(다중 행 INSERT당 1~1000행, 기본 100)를 지정할 수 있습니다. 빈 셀은 SQL NULL로 변환되고 작은따옴표는 안전하게 이스케이프됩니다.

CSV에서 PostgreSQL·MySQL·SQLite SQL 생성하기

항목PostgreSQLMySQLSQLite
식별자 따옴표"column_name"`column_name`"column_name"
불리언 타입·리터럴BOOLEAN (TRUE / FALSE)BOOLEAN (TRUE / FALSE)INTEGER (1 / 0)
실수·문자열 타입DOUBLE PRECISION / TEXTDOUBLE / VARCHAR(255) 또는 TEXTREAL / TEXT
문자열 이스케이프작은따옴표 이중화 ('')'' 및 \, \n, \r, \0 이스케이프작은따옴표 이중화 ('')

운영 DB 적재 전에 CSV → JSON 변환으로 파싱 타입 사전 점검

생성한 SQL을 스테이징이나 운영 DB에 반영하기 전에 CSV → JSON 변환으로 숫자·불리언 강제 변환 결과를 확인하거나 TSV → CSV 변환으로 열 경계를 한 번 더 점검하세요.

문자열로 남아야 할 ID 열이 숫자로 바뀌었거나 예상치 못한 빈 셀·잘못된 구분자 인식이 있는지 몇 초 만에 로컬에서 잡아낼 수 있습니다.

TSV 내보내기를 RFC 4180 CSV로 변환하기

참고 자료

자주 묻는 질문

CSV → SQL 변환은 Excel에서 저장한 UTF-8 BOM 헤더도 처리하나요?

네. 앞부분의 UTF-8 BOM(EF BB BF)을 자동으로 제거하므로 첫 번째 열 이름에 보이지 않는 문자가 끼어들지 않습니다.

CSV의 빈 셀은 생성된 SQL INSERT 문에서 어떻게 표현되나요?

비어 있거나 공백만 있는 셀은 빈 문자열 '' 대신 따옴표 없는 SQL NULL로 출력됩니다.

기존 테이블에 데이터만 넣으려고 CREATE TABLE을 빼고 생성할 수 있나요?

네. 'CREATE TABLE 포함' 체크를 해제하고 배치 크기(INSERT당 1~1000행)를 조정해 INSERT 문만 내보낼 수 있습니다.

관련 파일 형식

관련 비교 페이지

관련 가이드