PythonでCSVを読み書きする方法|csvモジュールとExcelの文字化け・空行対策
Python で CSV ファイルを扱うときは、標準ライブラリの csv モジュールを使います。インストール不要で、カンマや改行を含む値も正しく読み書きできます。ただし、Windows では「書き出した CSV の行の間に空行が入る」「Excel で開くと文字化けする」「Excel の CSV を読むと UnicodeDecodeError が出る」といったつまずきがよく起きます。
この記事では、次のことを Windows 11 の Python 3.12 で実際に動かした結果(作られたファイルのバイト列も含む)つきで解説します。
csv.reader・csv.writerによる基本の読み書き- 見出しの行を使って辞書で扱う
DictReader・DictWriter open()にnewline=""が必要な理由(付けないと空行が入る実演)- Excel 向けの
utf-8-sigでの保存と、Shift_JIS(cp932)の CSV の読み込み - カンマ・改行・ダブルクォートを含む値のクォートと、タブ区切り(TSV)
CSV を split(“,”) で分けてはいけない理由
CSV(Comma-Separated Values)は「1 行が 1 件、値はカンマで区切る」という単純な形式です。そのため、最初は文字列の split(",") で分けたくなります。しかし、値そのものにカンマが入るときは、値全体をダブルクォート(")で囲むのが CSV の決まりです。split はこれを知らないので、値の途中で分かれてしまいます。
import csv
line = '佐藤,"東京都,港区",80'
print(line.split(","))
print(next(csv.reader([line])))
['佐藤', '"東京都', '港区"', '80']
['佐藤', '東京都,港区', '80']
split では 4 つに分かれ、" も残りました。csv モジュールなら、クォートの中のカンマは値の一部として扱われ、正しく 3 つになります。値の中の改行や " も同じように処理してくれるので、CSV は必ず csv モジュールで扱いましょう。
csv.writer で CSV を書く
まずは書き込みです。open() でファイルを開き、csv.writer() に渡して、writerow()(1 行)か writerows()(まとめて)で書きます。encoding と newline="" は毎回付ける、と覚えてください(理由は後の章で説明します)。
import csv
rows = [
["名前", "部署", "点数"],
["佐藤", "営業", 80],
["鈴木", "開発", 95],
]
with open("score.csv", "w", encoding="utf-8", newline="") as f:
writer = csv.writer(f)
writer.writerows(rows)
with open("score.csv", "rb") as f:
print(f.read())
b'\xe5\x90\x8d\xe5\x89\x8d,\xe9\x83\xa8\xe7\xbd\xb2,\xe7\x82\xb9\xe6\x95\xb0\r\n\xe4\xbd\x90\xe8\x97\xa4,\xe5\x96\xb6\xe6\xa5\xad,80\r\n\xe9\x88\xb4\xe6\x9c\xa8,\xe9\x96\x8b\xe7\x99\xba,95\r\n'
最後の 2 行は、できたファイルをバイナリモード("rb")で読んで、中身のバイトをそのまま表示しています。\xe5\x90\x8d などが UTF-8 の日本語、\r\n が行末の改行(CRLF)です。数値の 80 は自動で文字列 80 になりました。csv.writer は、行末に \r\n を書くのが初期設定です(公式ドキュメントの Dialect.lineterminator の既定値は '\r\n')。
csv.reader で CSV を読む
読むときは csv.reader() を使います。for 文で回すと、1 行ずつ「値のリスト」が取り出せます。
import csv
with open("score.csv", encoding="utf-8", newline="") as f:
reader = csv.reader(f)
for row in reader:
print(row)
['名前', '部署', '点数']
['佐藤', '営業', '80']
['鈴木', '開発', '95']
注意したいのは、点数の '80' も文字列だという点です。公式ドキュメントにも「読み込んだ各行は文字列のリストとして返され、自動的な型の変換は行わない」と書かれています。そのまま足し算すると、'80' + '1' は '801' になります。計算するときは int() や float() で変換します。1 行目の見出しは next() で先に取り出せば、残りの行だけを処理できます。
import csv
with open("score.csv", encoding="utf-8", newline="") as f:
reader = csv.reader(f)
header = next(reader)
total = 0
for name, dept, score in reader:
total += int(score)
print(header)
print("合計", total)
['名前', '部署', '点数']
合計 175
csv.reader はファイルを 1 行ずつ読むので、大きな CSV でもメモリを使いすぎません。ただし、with のブロックを抜けるとファイルが閉じるため、for 文はブロックの中に書きます。
DictReader・DictWriter で見出しを使って扱う
row[2] のような番号での指定は、列の順番が変わると壊れます。1 行目が見出しの CSV なら、csv.DictReader を使うと、各行を「見出し → 値」の辞書で受け取れます。
import csv
with open("score.csv", encoding="utf-8", newline="") as f:
reader = csv.DictReader(f)
print(reader.fieldnames)
for row in reader:
print(row["名前"], int(row["点数"]))
['名前', '部署', '点数']
佐藤 80
鈴木 95
見出しのない CSV は、csv.DictReader(f, fieldnames=["id", "name"]) のように列名を自分で渡します。この場合、1 行目もデータとして読まれます。
列の数が合わない行はどうなるか
実際の CSV には、値が多すぎる行や足りない行が混ざることがあります。DictReader の動きを試しました(ファイルの代わりに文字列のリストを渡しています)。
import csv
lines = ["id,name", "1,佐藤,余分", "2", "", "3,鈴木"]
for row in csv.DictReader(lines):
print(row)
{'id': '1', 'name': '佐藤', None: ['余分']}
{'id': '2', 'name': None}
{'id': '3', 'name': '鈴木'}
多すぎる値はキー None にリストでまとめられ(restkey 引数でキー名を変えられます)、足りない値は None になります(restval 引数で変えられます)。空の行は飛ばされました。int(row["name"]) のような処理の前に、None が来ないか確認しておくと安全です。
DictWriter で辞書のリストを書く
書くときは csv.DictWriter に列の順番(fieldnames)を渡し、writeheader() で見出しの行を書きます。
import csv
members = [
{"id": 1, "name": "佐藤", "email": "sato@example.com"},
{"id": 2, "name": "鈴木"},
]
with open("members.csv", "w", encoding="utf-8", newline="") as f:
writer = csv.DictWriter(f, fieldnames=["id", "name", "email"])
writer.writeheader()
writer.writerows(members)
with open("members.csv", "rb") as f:
print(f.read())
b'id,name,email\r\n1,\xe4\xbd\x90\xe8\x97\xa4,sato@example.com\r\n2,\xe9\x88\xb4\xe6\x9c\xa8,\r\n'
email のない 2 件目は、最後が空欄(2,鈴木,)になりました。逆に、fieldnames にないキー(例:age)が辞書に入っていると、ValueError: dict contains fields not in fieldnames: 'age' で止まります。
余分なキーを無視して書きたいときは、csv.DictWriter(f, fieldnames=[...], extrasaction="ignore") とします(既定は "raise" でエラー)。うっかり列が抜けるのを防げるので、普段は既定のままがおすすめです。
newline=”” が必要な理由(付けないと空行が入る)
csv モジュールの公式ドキュメントには、csv.reader と csv.writer の説明に「ファイルオブジェクトなら newline='' で開くべき」と書かれ、その理由が脚注にあります。原文は次のとおりです。
If newline=” is not specified, newlines embedded inside quoted fields will not be interpreted correctly, and on platforms that use \r\n line endings on write an extra \r will be added. It should always be safe to specify newline=”, since the csv module does its own (universal) newline handling.
出典:csv — CSV File Reading and Writing(Python 公式ドキュメント)の脚注[1](2026 年 10 月 18 日確認)
訳すと「newline=” を指定しないと、クォートで囲まれた値の中の改行が正しく解釈されず、書き込み時に \r\n を行末に使う環境(Windows)では余分な \r が加わる。csv モジュールは改行を自分で処理するので、newline=” は常に指定して問題ない」という内容です。本当にそうなるか、Windows で試します。
import csv
rows = [["id", "name"], ["1", "apple"], ["2", "banana"]]
with open("ng.csv", "w", encoding="utf-8") as f:
csv.writer(f).writerows(rows)
with open("ok.csv", "w", encoding="utf-8", newline="") as f:
csv.writer(f).writerows(rows)
for name in ["ng.csv", "ok.csv"]:
with open(name, "rb") as f:
print(name, f.read())
ng.csv b'id,name\r\r\n1,apple\r\r\n2,banana\r\r\n'
ok.csv b'id,name\r\n1,apple\r\n2,banana\r\n'
newline を付けなかった ng.csv は、行末が \r\r\n になりました。csv.writer が \r\n を書き、さらに Windows のテキストモードが \n を \r\n に変換したため、\r が 2 つ並んだのです。このファイルを読み直すと、行の間に空の行が入ります。
import csv
with open("ng.csv", encoding="utf-8", newline="") as f:
for row in csv.reader(f):
print(row)
['id', 'name']
[]
['1', 'apple']
[]
['2', 'banana']
[]
空のリスト [] が交互に出てきました。csv.reader は \r と \n のどちらも行の終わりとみなすため、\r のあとの \r\n が「中身のない 1 行」と読まれます。Excel などのソフトで開いたときに「1 行おきに空行がある」と言われるのは、このファイルです。
読み込みでも newline=”” は必要です。値の中に改行(CRLF)を含む CSV を、newline を付けずに読むと、値の中の \r\n が \n に変わってしまいます。
import csv
with open("memo.csv", "w", encoding="utf-8", newline="") as f:
csv.writer(f).writerow(["1", "1行目\r\n2行目"])
for nl in [None, ""]:
with open("memo.csv", encoding="utf-8", newline=nl) as f:
print(repr(nl), next(csv.reader(f)))
None ['1', '1行目\n2行目']
'' ['1', '1行目\r\n2行目']
newline=None は、newline を省略したときと同じ動きです。値が書き換わってしまうので、csv モジュールで open() するときは、読み書きどちらも newline=”” を付けるのが正解です。open() の newline 引数そのものの動きは「Pythonのファイル読み書き入門」で解説しています。
文字コードの指定:Excel 向けは utf-8-sig
日本語の CSV では、文字コード(encoding)の指定も欠かせません。Windows の Python 3.12 は、encoding を省略すると cp932(Shift_JIS)で読み書きします。UTF-8 の score.csv を encoding なしで読むと、エラーにならずに 1 行目が ['蜷榊燕', '驛ィ鄂イ', '轤ケ謨ー'] と文字化けしました。
エラーが出ないぶん、気づかずにおかしなデータを処理してしまう危険があります。encoding は必ず書きましょう。
Excel で開く CSV は utf-8-sig で保存する
Excel は、BOM(ファイルの先頭に付ける UTF-8 の目印)のない UTF-8 の CSV をダブルクリックで開くと、文字化けすることがあります。Excel で開いてもらう CSV は、encoding に utf-8-sig を指定すると、先頭に BOM(EF BB BF の 3 バイト)が付きます。
import csv
rows = [["名前", "点数"], ["佐藤", 80]]
with open("excel.csv", "w", encoding="utf-8-sig", newline="") as f:
csv.writer(f).writerows(rows)
with open("excel.csv", "rb") as f:
print(f.read())
b'\xef\xbb\xbf\xe5\x90\x8d\xe5\x89\x8d,\xe7\x82\xb9\xe6\x95\xb0\r\n\xe4\xbd\x90\xe8\x97\xa4,80\r\n'
先頭の \xef\xbb\xbf が BOM です。BOM 付きの CSV を読むときも utf-8-sig を使います。utf-8 で読むと、BOM が 1 列目の見出しにくっついて残ります。
import csv
for enc in ["utf-8", "utf-8-sig"]:
with open("excel.csv", encoding=enc, newline="") as f:
print(enc, next(csv.DictReader(f)))
utf-8 {'名前': '佐藤', '点数': '80'}
utf-8-sig {'名前': '佐藤', '点数': '80'}
utf-8 で読むと、キーが '名前' になり、row["名前"] が KeyError になります。utf-8-sig は BOM のないファイルもそのまま読めるので、UTF-8 の CSV を読むときは utf-8-sig にしておくと安心です。BOM の有無の使い分けは「UTF-8とは?」で解説しています。
Shift_JIS(cp932)の CSV を読む
Excel や古い業務システムから受け取った CSV が Shift_JIS のこともあります。Windows で作られた Shift_JIS のファイルは、encoding に shift_jis ではなく cp932 を指定します。試しに、Windows 独自の文字「髙」「①」を含む Shift_JIS(cp932)の CSV を作って読みました。ファイルの中身は次のバイト列です(16 進数)。
96 bc 91 4f 2c 8f 5a 8f 8a 0d 0a ee e0 8b b4 2c 93 8c 8b 9e 93 73 87 40 0d 0a
import csv
with open("sjis.csv", encoding="cp932", newline="") as f:
for row in csv.DictReader(f):
print(row)
{'名前': '髙橋', '住所': '東京都①'}
同じファイルを utf-8 で読むと UnicodeDecodeError: 'utf-8' codec can't decode byte 0x96 in position 0、shift_jis で読むと 'shift_jis' codec can't decode byte 0xee in position 11 になりました。0xee は「髙」の 1 バイト目です。shift_jis は Windows で追加された文字を知らないため、途中で止まります。Shift_JIS と cp932 の違いは「Shift_JISとは?」で詳しく解説しています。
反対に encoding="cp932" で書くときは、cp932 にない絵文字などがあると UnicodeEncodeError: 'cp932' codec can't encode character '😀' ... で止まります。open() に errors="replace" を付けると書けない文字が ? になりますが、データが変わるので注意してください。
Shift_JIS の CSV を BOM 付き UTF-8 に変換する
読み込みと書き込みで encoding を変えれば、文字コードの変換もできます。
import csv
with open("sjis.csv", encoding="cp932", newline="") as fin, \
open("utf8.csv", "w", encoding="utf-8-sig", newline="") as fout:
csv.writer(fout).writerows(csv.reader(fin))
できた utf8.csv をバイナリで確かめると、先頭に BOM(\xef\xbb\xbf)が付き、「髙」は UTF-8 の \xe9\xab\x99 になっていました。プログラムを書かずに 1 回だけ変換したいときは、CSV⇔JSON変換ツールでも Shift_JIS の CSV を読み込み、BOM 付き UTF-8 で保存できます。
カンマ・改行・ダブルクォートを含む値のクォート
csv.writer は、特別な文字を含む値だけを自動でダブルクォートで囲みます。値の中の " は "" と 2 つ重ねて書かれます。
import csv
rows = [
["id", "商品名", "メモ"],
[1, "ペン,赤", "在庫あり"],
[2, '15" モニター', "1行目\n2行目"],
[3, "ノート", ""],
[4, None, 1.5],
]
with open("quote.csv", "w", encoding="utf-8", newline="") as f:
csv.writer(f).writerows(rows)
with open("quote.csv", encoding="utf-8", newline="") as f:
print(repr(f.read()))
'id,商品名,メモ\r\n1,"ペン,赤",在庫あり\r\n2,"15"" モニター","1行目\n2行目"\r\n3,ノート,\r\n4,,1.5\r\n'
カンマを含む ペン,赤、" を含む 15" モニター、改行を含むメモだけが囲まれました。None と空文字列は、どちらも空欄になります。csv.reader で読み直すと、['2', '15" モニター', '1行目
2行目'] のように元の値に戻りました。
読み戻すと None は '' になり、1.5 は文字列 '1.5' になる点に注意してください。CSV には「空欄」と「値なし」、「数値」と「文字列」の区別がないためです。
quoting 引数でクォートの付け方を変える
「すべての値をクォートで囲んでほしい」と指定されたときは、csv.writer(f, quoting=csv.QUOTE_ALL) のように quoting 引数を使います。同じ行 [1, "ペン", "", None, 1.5] を書いた結果を比べました。
| quoting | 書かれた行 | クォートする値 |
|---|---|---|
| QUOTE_MINIMAL(既定) | 1,ペン,,,1.5 | カンマ・改行・” などを含む値だけ |
| QUOTE_ALL | “1”,”ペン”,””,””,”1.5″ | すべて |
| QUOTE_NONNUMERIC | 1,”ペン”,””,””,1.5 | 数値以外すべて |
| QUOTE_STRINGS | 1,”ペン”,””,,1.5 | 文字列だけ(None は空欄のまま) |
| QUOTE_NOTNULL | “1”,”ペン”,””,,”1.5″ | None 以外すべて |
QUOTE_STRINGS と QUOTE_NOTNULL は Python 3.12 で追加されたもので、それより前のバージョンでは使えません。なお、読み込みで quoting=csv.QUOTE_NONNUMERIC を指定すると、クォートされていない値が float に変換されます('1,"ペン",80' は [1.0, 'ペン', 80.0] になりました)。数値に変換できない値がクォートなしで入っていると ValueError になるので、形式が決まっている CSV だけに使いましょう。
区切り文字を変える:タブ区切り(TSV)
タブで区切った TSV ファイルは、delimiter="\t" を指定すれば、同じ csv モジュールで読み書きできます。
import csv
rows = [["id", "name", "memo"], ["1", "apple", "red, sweet"], ["2", "lemon", "a\tb"]]
with open("data.tsv", "w", encoding="utf-8", newline="") as f:
csv.writer(f, delimiter="\t").writerows(rows)
with open("data.tsv", "rb") as f:
print(f.read())
with open("data.tsv", encoding="utf-8", newline="") as f:
for row in csv.reader(f, delimiter="\t"):
print(row)
b'id\tname\tmemo\r\n1\tapple\tred, sweet\r\n2\tlemon\t"a\tb"\r\n'
['id', 'name', 'memo']
['1', 'apple', 'red, sweet']
['2', 'lemon', 'a\tb']
TSV ではカンマは普通の文字なので、red, sweet はクォートされません。代わりに、タブを含む a\tb がクォートされました。読み込みで delimiter を付け忘れると、['1\tapple\tred', ' sweet'] のように、タブで分かれずにカンマで分かれてしまいます。
セミコロン区切りなら delimiter=";" です。
実例:部署ごとに集計して Excel 向けに保存する
ここまでの内容を組み合わせた例です。売上の CSV(日付・部署・金額)を読み、部署ごとの合計を金額の多い順に、BOM 付きの CSV に保存します。
import csv
from collections import defaultdict
totals = defaultdict(int)
with open("sales.csv", encoding="utf-8-sig", newline="") as f:
for row in csv.DictReader(f):
totals[row["部署"]] += int(row["金額"])
with open("summary.csv", "w", encoding="utf-8-sig", newline="") as f:
writer = csv.writer(f)
writer.writerow(["部署", "合計"])
for dept, amount in sorted(totals.items(), key=lambda x: x[1], reverse=True):
writer.writerow([dept, amount])
sales.csv に「営業 12000・開発 8000・営業 5500・総務 3000・開発 4200」の 5 行を入れて実行すると、summary.csv は「営業 17500・開発 12200・総務 3000」の順になりました。defaultdict(int) は、まだないキーを 0 から始めてくれる辞書です。
よくある間違いと直し方
| 症状 | 原因 | 直し方 |
|---|---|---|
| 書いた CSV の行の間に空行が入る | open() に newline=”” がない(行末が \r\r\n になる) | newline=”” を付ける |
| 値の中の改行が \n に変わる | 読み込みで newline=”” がない | newline=”” を付ける |
| カンマを含む値で列がずれる | split(“,”) で分けている | csv.reader を使う |
| ’80’ + ‘1’ が ‘801’ になる | 読んだ値はすべて文字列 | int()・float() で変換する |
| KeyError: ‘名前’(キーが ‘名前’) | BOM 付きを utf-8 で読んだ | encoding=”utf-8-sig” |
| ‘utf-8’ codec can’t decode byte … | Shift_JIS の CSV を utf-8 で読んだ | encoding=”cp932″ |
| 縺・繧・蜷 などの文字化け | UTF-8 を encoding なし(cp932)で読んだ | encoding=”utf-8-sig” |
| ValueError: dict contains fields not in fieldnames | DictWriter に fieldnames にないキーを渡した | fieldnames に追加するか extrasaction=”ignore” |
| TSV が 1 列にまとまる | delimiter の指定がない | delimiter=”\t” |
よくある質問
Q. 既存の CSV に行を追加するには?
モードを "a"(追記)にして開きます。見出しの行が重複しないよう、ファイルがまだないときだけ見出しを書きます。
import csv
import os
path = "log.csv"
new_file = not os.path.exists(path)
with open(path, "a", encoding="utf-8", newline="") as f:
writer = csv.writer(f)
if new_file:
writer.writerow(["日時", "内容"])
writer.writerow(["2026-10-18 10:00", "ログイン"])
2 回実行すると、見出し 1 行とデータ 2 行のファイルになりました。BOM 付きのファイルに追記するときも encoding="utf-8-sig" で大丈夫です。2 回追記して確かめたところ、BOM は先頭に 1 つだけで(b'\xef\xbb\xbfa\r\na\r\n')、途中には入りませんでした。
まとめ
CSV は split(“,”) ではなく csv モジュールで扱い、読んだ値は文字列だと意識します。open() には読み書きとも encoding と newline="" を付けます。Excel で開く CSV は utf-8-sig で書き、Shift_JIS の CSV は cp932 で読みます。
関連する記事・ツール
- CSV⇔JSON変換ツール
- Pythonのファイル読み書き入門|open・with・encoding指定と文字化けの直し方
- Shift_JISとは?特徴と文字化け・機種依存文字・5C問題の注意点
- 文字コードとは?UTF-8・Shift_JIS・EUC-JPの違いと文字化けの原因・直し方
- PythonでJSONを扱う方法|json.loads・dumpsの使い方とエラー対処
- awkコマンドの使い方|列の取り出し・条件抽出・集計を実行結果つきで解説
- Pythonのsqlite3入門|SQLiteの操作方法とプレースホルダ・エラー対処