Unicode正規化とは?NFC・NFKCの違いと全角半角をそろえる方法

Unicode正規化とは?NFC・NFKCの違いと全角半角をそろえる方法
hr
記事内に商品プロモーションを含む場合があります

画面では同じ「が」に見えるのに、プログラムで比べると「違う文字列」と判定される。全角の「ABC」で検索すると半角の「ABC」が見つからない。こうした問題の多くは、Unicode 正規化(せいきか)で解決できます。

この記事では、見た目が同じでも違う文字列になる理由、NFC・NFD・NFKC・NFKD の 4 つの違い、全角半角をそろえるときの注意点を、Python・JavaScript・PowerShell で実際に動かした結果とあわせて解説します。

  • 「が」1 文字と「か+濁点」が別の文字列になる理由
  • NFC・NFD・NFKC・NFKD の違いと使い分け
  • NFKC で全角英数字・半角カナ・①・㈱がどう変わるか(一覧表つき)
  • 検索やユーザー名の比較で正規化する理由と、NFKC で意味が変わってしまう注意点

文字コードそのものの仕組みは「文字コードとは?」、UTF-8 のバイト数は「UTF-8とは?」で解説しています。

見た目が同じなのに一致しない文字列

Unicode では、文字 1 つ 1 つに「U+304C」のような番号(コードポイント)が付いています。ところが、濁点の付いた「が」には、次の 2 通りの表し方があります。

表し方コードポイント文字の数(コードポイント数)
「が」1 文字(合成済みの文字)U+304C1
「か」+結合用の濁点U+304B U+30992

U+3099 は「COMBINING KATAKANA-HIRAGANA VOICED SOUND MARK(結合用の濁点)」という文字で、単独では表示されず、直前の文字に重なって表示されます。そのため、どちらも画面では同じ「が」に見えます。しかし、コンピューターは番号の並びで文字列を比べるので、この 2 つは「違う文字列」になります。

Python で確かめてみます。次のコードをファイルに保存して実行します。

import unicodedata

a = "が"          # 「が」1 文字(U+304C)
b = "が"    # 「か」+結合用の濁点(U+304B U+3099)

print(a == b)
print(len(a), len(b))
print([hex(ord(c)) for c in b])
print(unicodedata.normalize("NFC", b) == a)

Python 3.12 での実行結果です。

False
1 2
['0x304b', '0x3099']
True

そのまま比べると False、文字数も 1 と 2 で違います。最後の行のように、NFC という形に「正規化」してから比べると True になります。このように、見た目が同じ文字列を、決まった 1 つの表し方にそろえる処理が Unicode 正規化です。

どんなときに混ざるのか

よく話題になるのはファイル名です。Apple の技術資料「Technical Note TN1150: HFS Plus Volume Format」には、以前の Mac の標準ファイルシステムだった HFS Plus は、ファイル名を「fully decomposed and in canonical order(完全に分解し、決まった順に並べた形)」で保存すると書かれています。つまり「が」は「か+濁点」の形で保存されていました。

現在の Mac で使われている APFS について、Apple の「Apple File System Guide」の FAQ には、ファイル名の正規化の形を変えずにそのまま保存し(normalization-preserving)、macOS High Sierra では正規化の違いを区別せずにファイルを探せる(normalization-insensitive)と書かれています。同じ資料には、ある正規化の形で作ったファイルを別の形の名前で開こうとすると「File Not Found」になることがある、という注意もあります。

一方、Windows では事情が違います。この PC(Windows 11、NTFS)で、Python から「が.txt」と「か+濁点.txt」の 2 つのファイルを同じフォルダーに作ったところ、見た目が同じ名前のファイルが 2 つできました。

2
b'\\u304b\\u3099.txt' False
b'\\u304c.txt' True

(1 行目がフォルダー内のファイル数、2 行目以降が各ファイル名のコードポイントと、NFC になっているかどうかです。)ファイル名をプログラムで比べたり、一覧と照らし合わせたりするときに「あるはずのファイルが見つからない」原因になります。

ファイル名のほかにも、PDF やほかのアプリからコピーした文章、外部システムから受け取ったデータに「か+濁点」の形が混ざっていることがあります。どこから来たデータでも、比べる前に正規化しておけば安心です。

Unicode 正規化とは?4 つの形の違い

Unicode 正規化の方法は、Unicode の仕様書「Unicode Standard Annex #15(UAX #15)Unicode Normalization Forms」で決められています(2026 年 10 月時点の最新は Revision 58)。まず、文字どうしの「同じ」には 2 つの強さがあることを押さえます。

種類意味例
正準等価(canonical equivalence)表し方が違うだけで、まったく同じ文字。UAX #15 では「基本的な同等性」とされている「が」と「か+濁点」、「é」と「e+アクセント記号」
互換等価(compatibility equivalence)見た目や幅は違うが、同じ文字とみなせるもの。UAX #15 では「より弱い同等性」とされている「A」と「A」、「カ」と「カ」、「①」と「1」

これを組み合わせて、正規化には次の 4 つの形(正規化形式)があります。表の「定義」は UAX #15 の Table 1 の記述を訳したものです。

形式定義(UAX #15)ひとことで言うと
NFD正準分解「が」を「か+濁点」に分ける
NFC正準分解のあと、正準合成分けたあと、くっつけられるものは「が」1 文字にまとめる
NFKD互換分解全角・半角などの違いもそろえたうえで、分ける
NFKC互換分解のあと、正準合成全角・半角などの違いもそろえたうえで、まとめる

名前の「C」は Composition(合成)、「D」は Decomposition(分解)、「K」は Compatibility(互換)の意味です。K が付かない NFC・NFD は「同じ文字の表し方」だけをそろえ、K が付く NFKC・NFKD は「似た文字」までそろえる、と覚えておくと分かりやすいです。

半角カタカナの「ガ」(U+FF76 と半角濁点 U+FF9E の 2 文字)を 4 つの形で正規化すると、違いがよく分かります。

import unicodedata

for form in ["NFC", "NFD", "NFKC", "NFKD"]:
    s = unicodedata.normalize(form, "ガ")
    print(form, s, len(s), [hex(ord(c)) for c in s])
NFC ガ 2 ['0xff76', '0xff9e']
NFD ガ 2 ['0xff76', '0xff9e']
NFKC ガ 1 ['0x30ac']
NFKD ガ 2 ['0x30ab', '0x3099']

NFC と NFD では半角カナのままで、何も変わりません。半角の「カ」と全角の「カ」は「表し方が違うだけの同じ文字」ではなく「似た文字」の扱いだからです。NFKC では全角の「ガ」1 文字に、NFKD では全角の「カ」+結合用の濁点の 2 文字になりました。

半角の ガ(U+FF76 U+FF9E)を 4 つの形で正規化した結果。K の付かない NFC と NFD では、ガ のまま変わらない。K の付く NFKC では全角の ガ 1 文字(U+30AC)になり、NFKD では全角の カ と結合用の濁点の 2 文字(U+30AB U+3099)になる。
図 1:半角の ガ を NFC・NFD・NFKC・NFKD で正規化した結果

ほかの例もまとめます(Python 3.12 の unicodedata.normalize で確認。Python 3.12 が使う Unicode のデータは 15.0.0 です)。

元の文字NFCNFDNFKCNFKD
が(U+304C)が(1 文字)か+濁点(2 文字)が(1 文字)か+濁点(2 文字)
か+濁点が(1 文字)か+濁点が(1 文字)か+濁点
Abc123(全角)変わらない変わらないAbc123(半角)Abc123(半角)
①変わらない変わらない11
㈱変わらない変わらない(株)(3 文字)(株)(3 文字)

NFKC で変わる文字の一覧

日本語のデータでよく使うのは NFKC です。全角英数字と半角カナを一度にそろえられるからです。次のコードで、よく出てくる文字をまとめて変換してみます。

import unicodedata

s = "ABC123 パソコン①㈱"
print(unicodedata.normalize("NFKC", s))
print(unicodedata.is_normalized("NFKC", s))
ABC123 パソコン1(株)
False

全角英数字は半角に、全角スペースは半角スペースに、半角カナは全角カナに、①は 1 に、㈱は (株) になりました。is_normalized は、文字列がすでにその形になっているかを調べる関数です(Python 3.8 以降)。

ほかの文字も含めて、NFKC での変わり方を表にまとめます。

種類元の文字NFKC 後
全角英数字Abc123Abc123
全角記号!@_:/<>!@_:/<>
全角スペース(U+3000)半角スペース(U+0020)
半角カタカナアイウ・パソコン・ヴアイウ・パソコン・ヴ
半角の長音ーー
丸数字①・⑩1・10
ローマ数字ⅣIV(2 文字)
囲み文字㈱・Ⓐ(株)・A
組文字㍿・㌔・㍻株式会社・キロ・平成
単位・記号№・℡・™No・TEL・TM
上付き・下付きx²・H₂Ox2・H2O
分数½1⁄2(「/」ではなく分数用の斜線 U+2044)
三点リーダー……(ピリオド 3 つ)
合字fifi(2 文字)

①や㈱は、Shift_JIS では「機種依存文字」と呼ばれ、文字化けの原因になりやすい文字です(「Shift_JISとは?」参照)。NFKC をかけると普通の文字に置き換わります。

NFKC でもそろわない文字

NFKC は「何でも同じにしてくれる」わけではありません。次の文字は NFKC をかけてもそろいません(Python 3.12 で確認)。

文字NFKC 後説明
〜(U+301C 波ダッシュ)と ~(U+FF5E 全角チルダ)〜 はそのまま、~ は ~(半角チルダ)見た目が似ていても別の文字のまま
ー(長音)・-(全角ハイフンマイナス)・−(マイナス記号)・‐(ハイフン)- だけが – になり、ほかはそのまま横棒の仲間はそろわない
¥(U+00A5)と \(U+005C)そのまま全角の ¥ は ¥(U+00A5)に、全角の \ は \ になる
髙 と 高そのまま異体字は別の文字
ひらがな と カタカナそのまま「あ」と「ア」は別の文字
大文字 と 小文字そのまま「A」と「a」は別の文字

大文字・小文字をそろえたいときは、Python なら casefold()、JavaScript なら toLowerCase() を正規化と組み合わせます。ひらがな・カタカナをそろえたいときは、正規化とは別に変換の処理が必要です。

プログラムで正規化する方法

Python(unicodedata.normalize)

ここまでの例のとおり、標準ライブラリの unicodedata を使います。インストールは要りません。

  • unicodedata.normalize("NFC", 文字列):正規化した文字列を返す。第 1 引数は “NFC”・”NFD”・”NFKC”・”NFKD” のどれか
  • unicodedata.is_normalized("NFC", 文字列):すでにその形になっていれば True
  • unicodedata.unidata_version:使っている Unicode のデータのバージョン(Python 3.12 では “15.0.0”)

JavaScript(String.prototype.normalize)

JavaScript では、文字列の normalize() メソッドを使います。MDN によると、引数は “NFC”・”NFD”・”NFKC”・”NFKD” のどれかで、省略すると “NFC” になります。ブラウザで F12 キーを押して開発者ツールの「コンソール」に貼り付けると試せます。

const a = "が";
const b = "が";
console.log(a === b);
console.log(a.length, b.length);
console.log(a === b.normalize());
console.log("ガ①A㈱".normalize("NFKC"));

Microsoft Edge 155 での結果は、順に false、1 2、true、ガ1A(株) でした。Python と同じ結果です。

引数のつづりを間違えると、エラーになります。Edge 155 では "a".normalize("NFX") で次のエラーが出ました。

RangeError: The normalization form should be one of NFC, NFD, NFKC, NFKD.

なお、a.localeCompare(b)(言語のルールに沿った比較)は 0(同じ)を返しました。一方、"ながの".includes("が") は false でした。比べ方によって結果が変わるので、検索や一致の判定では、先に両方を正規化しておくのが確実です。

PowerShell(.Normalize())

PowerShell では、.NET の文字列の Normalize() メソッドを使います。Microsoft のドキュメントによると、引数なしでは「正規化形式 C」(NFC)になります。次の結果は Windows PowerShell 5.1 で確認しました。

まず、そのまま比べるコマンドです。[char]0x3099 は結合用の濁点を表します。実行すると「False」と表示されます。

"が".Equals("か" + [char]0x3099)

NFC に正規化してから比べるコマンドです。実行すると「True」と表示されます。

"が".Equals(("か" + [char]0x3099).Normalize())

NFKC にするときは、引数に “FormKC” を指定します(NFD は “FormD”、NFKD は “FormKD”)。実行すると「ABC123」と表示されます。

"ABC123".Normalize("FormKC")

注意したいのは、PowerShell の -eq 演算子です。この PC(Windows PowerShell 5.1、表示言語は日本語)では、("か" + [char]0x3099) -eq "が" が True になりました。-eq は言語のルールに沿って比べるため、表し方の違いを同じとみなしたと考えられます。一方で .Equals() は False です。同じ PowerShell の中でも比べ方によって結果が変わるので、確実に比べたいときは両方を Normalize() してから比べましょう。PowerShell の基本は「PowerShellの基本コマンド一覧」で紹介しています。

検索やユーザー名の比較で正規化する理由

検索:全角・半角の違いで見つからないのを防ぐ

社員名簿や商品名を検索する機能で、データには「パソコン」(半角)、利用者が入力したのは「パソコン」(全角)、ということはよくあります。保存されているデータと検索語の両方を同じ形に正規化してから比べると、こうした取りこぼしを防げます。比べるための「キー」を作る関数の例です。

import unicodedata

def normalize_key(s):
    return unicodedata.normalize("NFKC", s).casefold().strip()

print(normalize_key("TANAKA Taro ") == normalize_key("tanaka taro"))
print(normalize_key("パソコン"))
users = ["admin", "tanaka"]
print(normalize_key("admin") in users)
True
パソコン
True

NFKC で全角半角をそろえ、casefold() で大文字・小文字をそろえ、strip() で前後の空白を取っています。全角スペースは NFKC で半角スペースになるので、strip() で一緒に取れます。

ユーザー名:見た目が同じアカウントを作らせない

上の例の最後の行のように、全角の「admin」は、そのままでは「admin」と別の文字列です。正規化しないで登録を受け付けると、見た目が「admin」とほとんど同じアカウントを別人が作れてしまい、なりすましに使われるおそれがあります。ユーザー名やメールアドレスのように「同じかどうか」が大事な値は、登録するときもログインするときも同じ正規化をしてから比べるようにします。

入力チェックは正規化のあとに行う

正規化する順番も大切です。次の例では、全角の「<」は、正規化前のチェックでは「<」と見なされませんが、NFKC のあとでは半角の「<」に変わります。

import unicodedata

name = "<script>"
print("<" in name)
name = unicodedata.normalize("NFKC", name)
print("<" in name, name)
False
True <script>

「チェック → 正規化」の順にすると、チェックを通った文字列が、正規化によって危険な文字を含む文字列に変わってしまいます。正規化 → チェック → 保存の順にしましょう。また、HTML に表示するときのエスケープは、正規化とは別に必ず行います(「XSS(クロスサイトスクリプティング)とは?」参照)。

入力チェックと正規化の順番による違い。全角の山かっこで囲んだ script という入力に対して、チェックしてから正規化すると、チェックの時点では半角の記号がないので通過し、そのあとの NFKC で半角の山かっこに変わって危険な文字を含む文字列になる。正規化してからチェックすると、NFKC で半角になった記号をチェックで見つけられる。
図 2:正規化してからチェックする

NFKC で意味が変わってしまう注意点

UAX #15 には、NFKC・NFKD について「Normalization Forms KC and KD must not be blindly applied to arbitrary text.(どんな文章にもむやみに適用してはならない)」と書かれています。多くの書式の違いを消してしまい、文章の意味にとって大事な区別までなくなることがあるためです。具体的には、次のような変化が起きます。

  • 数式・化学式の意味が変わる:「3²」(3 の 2 乗)は「32」に、「H₂O」は「H2O」になります。
  • 番号の区別がなくなる:「①-1」は「1-1」になり、元が丸数字だったかどうかは分からなくなります。
  • 文字数が増える:「㍿」は 1 文字から「株式会社」の 4 文字に、「…」は 1 文字から「…」の 3 文字に、「⑩」は 1 文字から「10」の 2 文字になります。入力欄やデータベースの項目に文字数の上限があると、正規化したあとに超えることがあります。
  • 元に戻せない:NFKC のあとの「1」が、元は「1」「1」「①」のどれだったかは分かりません。

そのため、利用者が入力した文章そのものは元のまま(または NFC にして)保存し、NFKC は「検索や比較のためのキー」を作るときだけに使うのが安全です。用途ごとの目安をまとめます。

用途おすすめ理由
文章・本文の保存NFC(または何もしない)見た目も意味も変わらず、「が」と「か+濁点」だけがそろう
検索用のキー・並べ替え用のキーNFKC+大文字小文字の統一全角半角の違いで見つからないのを防げる。元の文章は別に残す
ユーザー名・ID の重複チェックNFKC+大文字小文字の統一見た目がほぼ同じアカウントを防げる
ファイル名の比較NFCNFKC で名前を書き換えると、①などを含むファイル名が別の名前になる
パスワード独自に決めず、使うライブラリや仕様に従う処理を変えると、以前のパスワードでログインできなくなる

全角英数字だけを半角にしたいなら str.translate

「全角の英数字と記号だけを半角にしたい。①や㈱、半角カナはそのままにしたい」という場合は、NFKC は変えすぎです。Python なら str.translate で、変換する文字を自分で決めた対応表を使えます。全角の「!」(U+FF01)から「~」(U+FF5E)までは、半角の「!」(U+0021)から「~」(U+007E)と同じ順に並んでいるので、番号を 1 つずつずらして対応表を作れます。

ZEN = "".join(chr(0xFF01 + i) for i in range(94)) + " "
HAN = "".join(chr(0x21 + i) for i in range(94)) + " "
table = str.maketrans(ZEN, HAN)

print("Abc123! @".translate(table))
print("ガ①㈱".translate(table))
Abc123! @
ガ①㈱

全角英数字・記号・全角スペースだけが半角になり、「ガ①㈱」は変わっていません。NFKC と違い、どの文字をどう変えるかを自分で決められるのが利点です。半角カナを全角にする処理も、同じように対応表を作れば書けます(濁点の付く文字は 2 文字を 1 文字にまとめる必要があるため、少し手間がかかります)。

よくある間違い

片方だけ正規化して比べている

検索語だけを NFKC にして、データベースの値はそのまま、という書き方では、データ側の「パソコン」は見つかりません。比べる両方を同じ形式で正規化します。データが多い場合は、正規化したキーを別の列に保存しておくと、毎回変換しなくて済みます。

全角の「゛」を付けても「が」にならない

濁点には、結合用の濁点(U+3099)とは別に、キーボードで「゛」と入力したときの単独の濁点(U+309B)があります。「か゛」(U+304B U+309B)を NFKC にすると、結果は「か」+半角スペース+結合用の濁点(U+304B U+0020 U+3099)になり、「が」にはなりませんでした。単独の濁点は前の文字とくっつかないので、正規化では「が」にできません。

NFC にすれば元の文字が残ると思っている

NFC でも、文字が変わることがあります。たとえば、オングストロームの記号「Å」(U+212B)は、NFC にするとアルファベットの「Å」(U+00C5)に変わりました(Python 3.12 で確認)。見た目は同じですが、コードポイントが違うので、元のバイト列と完全に同じでなければならないデータ(電子署名をしたデータなど)には、正規化をかけないようにします。

ファイル名を NFKC で書き換えてしまう

ファイル一覧と比べるために名前を NFKC にすると、「資料①.xlsx」は「資料1.xlsx」になり、実際のファイル名と一致しなくなります。ファイル名を比べるときは NFC でそろえ、ファイルを開くときは、一覧から取り出した元の名前を使いましょう。

よくある質問

NFC と NFKC、どちらを使えばいいですか?

文章を保存するなら NFC、検索や重複チェックのための比較なら NFKC が目安です。迷ったら「元の文章は NFC で保存し、比較用のキーだけ NFKC で作る」と考えると、意味が変わる心配がありません。

正規化は文字化けを直す処理ですか?

違います。正規化は、正しく読めている文字の「表し方」をそろえる処理です。「縺薙s縺ォ縺。縺ッ」のような文字化けは、文字コード(UTF-8 と Shift_JIS など)の読み違いが原因なので、正規化しても直りません。文字化けを直したいときは、文字化け復元ツールで元の文字コードの候補を確かめてください。

「か+濁点」は何文字と数えればいいですか?

Python の len() や JavaScript の length では 2 になります。見た目どおり 1 文字と数えたいときは、先に NFC にするか、見た目の 1 文字単位で数える方法を使います(詳しくは「UnicodeとUTF-16・サロゲートペアとは?」で解説しています)。文字数・バイト数カウントは、濁点を組み合わせた文字も見た目どおり 1 文字として数え、UTF-8・Shift_JIS のバイト数も同時に表示できます。

ひらがなとカタカナも同じにできますか?

Unicode 正規化ではできません。「あ」と「ア」は、NFKC でも別の文字のままです。そろえたいときは、ひらがなとカタカナの対応表を使った変換を、正規化とは別に行います。

まとめ

  • 「が」には 1 文字の形と「か+濁点」の形があり、見た目が同じでも違う文字列として扱われる
  • NFC・NFD は表し方だけをそろえ、NFKC・NFKD は全角半角や①・㈱などの「似た文字」までそろえる
  • 検索やユーザー名の比較は、両方を NFKC+大文字小文字の統一でそろえてから比べる。入力チェックは正規化のあとに行う
  • NFKC は意味や文字数が変わることがあるので、元の文章は NFC(またはそのまま)で残す

関連する記事・ツール

ABOUT ME
hr
hr
エンジニアとして働いている hr です。仕事や資格勉強で「こんなツールがあれば」と感じたものを、無料Webツールと解説記事にして発信しています。
記事URLをコピーしました