UnicodeとUTF-16・サロゲートペアとは?絵文字の文字数がずれる理由と正しい数え方

UnicodeとUTF-16・サロゲートペアとは?絵文字の文字数がずれる理由と正しい数え方
hr
記事内に商品プロモーションを含む場合があります

JavaScript で "😀".length を実行すると、1 ではなく 2 が返ってきます。家族の絵文字「👨‍👩‍👧‍👦」にいたっては 11 です。入力欄の文字数チェックやデータベースの文字数制限で、「見た目は 1 文字なのに上限を超える」という不具合が起きるのはこのためです。

この記事では、原因となる Unicode の「コードポイント」と UTF-16 の「サロゲートペア」の仕組みを、😀 を実際に計算しながら解説します。そのうえで、言語ごとの「文字数」の違い、文字列を途中で切ると壊れる例、データベースの注意点を紹介します。

  • コードポイント(U+1F600 のような番号)と、BMP・補助面の違い
  • 😀(U+1F600)が UTF-16 で D83D DE00 になる計算の手順
  • 「文字数」には 3 種類の数え方があること(コード単位・コードポイント・書記素)
  • JavaScript・Python・Java で見た目どおりの文字数を数える方法

UTF-8 のバイト数や BOM、文字化けの直し方は「UTF-8とは?」「文字コードとは?」で解説しているので、この記事では UTF-16 と絵文字の数え方を中心に説明します。

Unicode のコードポイントとは

Unicode(ユニコード)は、世界中の文字に 1 つずつ番号を付けた一覧表です。この番号をコードポイントといい、「U+」の後ろに 16 進数を書いて表します。

文字コードポイント10 進数
AU+004165
あU+304212354
😀U+1F600128512
𠮷(「吉」の上が「土」の字)U+20BB7134071

コードポイントは 0 から 10FFFF(16 進数)までの範囲と決められています(Unicode の用語集 Glossary の「Code Point」の定義)。大事なのは、コードポイントはあくまで「番号」で、ファイルやメモリーに保存するときのバイトの並びとは別だということです。番号をバイトに変える方式が UTF-8・UTF-16・UTF-32 で、同じ 😀 でも方式によって保存される中身が変わります。

BMP と補助面

Unicode では、65,536 個(16 進数で 10000 個)ずつのまとまりを「面(プレーン)」と呼びます。U+0000〜U+10FFFF は、面 0 から面 16 までの 17 面に分かれます。

名前範囲入っている文字の例
基本多言語面(BMP、面 0)U+0000〜U+FFFF英数字、ひらがな・カタカナ、よく使う漢字、多くの記号
補助面(面 1〜16)U+10000〜U+10FFFF😀 などの多くの絵文字、𠮷 などのめずらしい漢字、古代文字

BMP の文字は 16 ビット(2 バイト)の数 1 つに収まりますが、補助面の文字は収まりません。この「収まらない文字」をどう表すかが、次のサロゲートペアの話です。補助面にある文字を「補助文字(supplementary character)」と呼びます。

UTF-16 とサロゲートペアの仕組み

UTF-16 は、16 ビットの数(これをコード単位といいます)を並べて文字を表す方式です。BMP の文字はコードポイントの番号をそのまま 1 コード単位にします。たとえば「あ」(U+3042)は 3042 の 1 単位です。

補助面の文字は、2 つのコード単位の組み合わせで表します。これがサロゲートペアです。1 つ目を上位サロゲート(high surrogate)、2 つ目を下位サロゲート(low surrogate)といい、それぞれ専用の範囲が予約されています。

種類範囲役割
上位サロゲートD800〜DBFFペアの 1 つ目。番号の上位 10 ビットを運ぶ
下位サロゲートDC00〜DFFFペアの 2 つ目。番号の下位 10 ビットを運ぶ

U+D800〜U+DFFF の範囲にはふつうの文字が割り当てられていないので、UTF-16 のデータを読む側は「D800〜DBFF が来たら、次の単位とセットで 1 文字」と判断できます。

😀(U+1F600)を UTF-16 にする計算

RFC 2781(UTF-16 の仕様)の 2.1 節に書かれている手順どおりに、😀 を計算してみます。

  1. 10000 を引く:1F600 − 10000 = F600。補助面の番号(最大 10FFFF)から 10000 を引くと、必ず 20 ビットに収まります。
  2. 20 ビットの 2 進数にする:F600 は 0000111101 1000000000(左の 10 ビットと右の 10 ビットで区切っています)。
  3. 上位 10 ビットを D800 に足す:0000111101 は 16 進数で 3D。D800 + 3D = D83D(上位サロゲート)。
  4. 下位 10 ビットを DC00 に足す:1000000000 は 16 進数で 200。DC00 + 200 = DE00(下位サロゲート)。

これで、😀 は UTF-16 で「D83D DE00」の 2 コード単位になることが分かりました。2 進数と 16 進数の読み替えに慣れていない場合は「2進数・16進数の基本」も参考にしてください。

U+1F600 を UTF-16 にする計算の手順。U+1F600 から 10000 を引くと F600 になり、20 ビットに収まる。F600 を 2 進数にして、上位 10 ビット 0000111101 と下位 10 ビット 1000000000 に分ける。それぞれ 16 進数にすると 3D と 200 になる。3D を D800 に足すと上位サロゲート D83D、200 を DC00 に足すと下位サロゲート DE00 になり、UTF-16 では D83D DE00 の 2 コード単位になる。
図 1:U+1F600 から D83D DE00 を求める計算

Python で計算を確かめる

同じ計算を Python で書くと次のようになります。「>> 10」は 10 ビット右にずらす(上位 10 ビットを取り出す)、「& 0x3FF」は下位 10 ビットだけを残す、という意味です。

cp = 0x1F600
v = cp - 0x10000
high = 0xD800 + (v >> 10)
low = 0xDC00 + (v & 0x3FF)
print(hex(v), hex(high), hex(low))
print("😀".encode("utf-16-be").hex(" "))

Windows 11 の Python 3.12 で実行した結果です。自分で計算した値と、Python に UTF-16(ビッグエンディアン)で変換させたバイトが一致しています。

0xf600 0xd83d 0xde00
d8 3d de 00

逆に、サロゲートペアからコードポイントに戻すには「(上位 − D800) × 400 + (下位 − DC00) + 10000」を計算します。(D83D − D800) は 3D、3D × 400 = F400、(DE00 − DC00) は 200 なので、F400 + 200 + 10000 = 1F600 に戻ります。

UTF-8・UTF-16・UTF-32 の比較

同じ文字を 3 つの方式で保存したときのバイト(16 進数)を比べます。Python の encode("utf-8")・encode("utf-16-be")・encode("utf-32-be") で確かめた値です。

文字UTF-8UTF-16UTF-32
A(U+0041)41(1 バイト)00 41(2 バイト)00 00 00 41(4 バイト)
あ(U+3042)E3 81 82(3 バイト)30 42(2 バイト)00 00 30 42(4 バイト)
😀(U+1F600)F0 9F 98 80(4 バイト)D8 3D DE 00(4 バイト)00 01 F6 00(4 バイト)
  • UTF-8:1〜4 バイト。U+10000 以上の文字は 4 バイトになります(RFC 3629)。サロゲートペアは使いません。RFC 3629 は U+D800〜U+DFFF の番号を UTF-8 で表すことを禁止しています。
  • UTF-16:2 バイトまたは 4 バイト。BMP は 2 バイト、補助面はサロゲートペアで 4 バイトです。JavaScript や Java の文字列は、内部でこの UTF-16 を使っています。
  • UTF-32:どの文字も 4 バイト。コードポイントの番号がそのまま入るので計算は簡単ですが、英数字ばかりの文章でも 4 倍の大きさになるため、ファイルの保存にはほとんど使われません。

UTF-16 は「2 バイト固定」と誤解されがちですが、補助面の文字は 4 バイトです。昔の「Unicode は 65,536 文字まで」という前提で作られたプログラムが、絵文字で不具合を起こすのはこのためです。

「文字数」には 3 種類の数え方がある

プログラムの「文字数」は、次のどれを数えているかで結果が変わります。

  • UTF-16 のコード単位の数:サロゲートペアを 2 と数える。JavaScript の length、Java の length()
  • コードポイントの数:Unicode の番号の数。Python の len()
  • 書記素(グラフィム)の数:人が見て「1 文字」と感じる単位。Unicode の UAX #29(Unicode Text Segmentation)で区切り方が決められていて、「拡張書記素クラスター(extended grapheme cluster)」と呼ばれます

サロゲートペアの問題は「コード単位」と「コードポイント」のずれです。しかし実際には、複数のコードポイントを組み合わせて 1 文字に見せる仕組みもあるため、「コードポイント」と「書記素」もずれます。次の表は、JavaScript(Microsoft Edge 155)と Python 3.12 で実際に数えた結果です。

見た目中身(コードポイント)UTF-16 コード単位コードポイント書記素
あU+3042111
😀U+1F600211
𠮷U+20BB7211
が(結合文字の濁点)U+304B + U+3099221
é(結合文字のアクセント)U+0065 + U+0301221
❤️(絵文字スタイルの指定)U+2764 + U+FE0F221
葛(異体字の指定)U+845B + U+E0100321
👍🏽(肌の色)U+1F44D + U+1F3FD421
🇯🇵(国旗)U+1F1EF + U+1F1F5421
👨‍👩‍👧‍👦(家族)👨 ZWJ 👩 ZWJ 👧 ZWJ 👦1171

それぞれの仕組みを簡単に説明します。

  • 結合文字:U+3099 は「直前の文字に濁点を付ける」文字です。「が」には 1 つのコードポイント(U+304C)で表す形と、「か」+濁点の 2 つで表す形があります。見た目は同じでも中身が違うため、検索や比較で一致しないことがあります。
  • 異体字セレクタ:直前の文字の字形を指定する文字です。U+FE0F は「絵文字として表示する」指定、U+E0100 は漢字の字形(「葛」の下の部分が「ヒ」か「人」か、など)の指定に使います。U+E0100 は補助面にあるので、これだけで UTF-16 の 2 単位を使います。
  • 肌の色:👍 の後ろに肌の色を指定する文字(絵文字修飾子、U+1F3FB〜U+1F3FF)を付けます。どちらも補助面なので、UTF-16 で 4 単位です。
  • 国旗:「地域指示記号」という A〜Z に対応する文字を 2 つ並べます。🇯🇵 は「J」「P」にあたる 2 文字です。UAX #29 では、地域指示記号の 2 つ組の間では区切らないと決められています。
  • ZWJ 絵文字:ZWJ(ゼロ幅接合子、U+200D)は「前後の絵文字をくっつけて 1 つの絵文字にする」目印です。👨‍👩‍👧‍👦 は 4 人の絵文字を ZWJ 3 つでつないだもので、コードポイントは 7 個になります。UAX #29 の規則 GB11 で、ZWJ でつないだ絵文字の間は区切らないと決められています。
家族の絵文字の 3 種類の数え方。書記素では見た目どおり 1 個。コードポイントでは、男性 U+1F468、ZWJ、女性 U+1F469、ZWJ、女の子 U+1F467、ZWJ、男の子 U+1F466 の 7 個。UTF-16 のコード単位では、D83D DC68、200D、D83D DC69、200D、D83D DC67、200D、D83D DC66 の 11 個。ZWJ は U+200D で、絵文字は 2 単位、ZWJ は 1 単位なので、4 かける 2 足す 3 で 11 になる。
図 2:家族の絵文字の書記素・コードポイント・コード単位の数

貼り付けた文章のコードポイント数・UTF-16 のコード単位数・見た目の文字数をまとめて確かめたいときは、「文字数・バイト数カウント」ツールが使えます。絵文字を見た目どおり 1 文字と数え、参考としてコードポイント数と UTF-16 のコード単位数も表示します。

言語ごとの文字数の数え方

JavaScript:length・[…s].length・Intl.Segmenter

JavaScript の文字列は UTF-16 のコード単位の並びです。ブラウザの開発者ツール(F12 キー →「コンソール」タブ)で試せます。次の例は Microsoft Edge 155 で確認しました。

length はコード単位の数なので、😀 は 2 になります。

"😀".length

スプレッド構文 [...s] は文字列をコードポイントごとに分けるので、😀 は 1 になります。ただし家族の絵文字は 7 です。

[..."👨‍👩‍👧‍👦"].length

見た目どおりの文字数(書記素の数)を数えるには Intl.Segmenter を使います。家族の絵文字も 1 になります。

[...new Intl.Segmenter("ja", {granularity: "grapheme"}).segment("👨‍👩‍👧‍👦")].length

1 文字ずつの値を調べるときは、charCodeAt() がコード単位(😀 の 0 番目は d83d、1 番目は de00)、codePointAt() がコードポイント(😀 の 0 番目は 1f600)を返します。正規表現も同じで、/^.$/.test("😀") は false、u フラグを付けた /^.$/u.test("😀") は true になります。

Python:len はコードポイントの数

Python 3 の文字列はコードポイントの並びなので、len("😀") は 1 です。サロゲートペアを意識する場面はほとんどありませんが、結合文字や ZWJ 絵文字はコードポイントごとに数えられます。

s = "👨‍👩‍👧‍👦"
print(len(s))
print(len(s.encode("utf-16-le")) // 2)
print(len(s.encode("utf-8")))
print([f"U+{ord(c):04X}" for c in s])

実行結果です。コードポイントは 7 個、UTF-16 では 11 コード単位、UTF-8 では 25 バイトです。

7
11
25
['U+1F468', 'U+200D', 'U+1F469', 'U+200D', 'U+1F467', 'U+200D', 'U+1F466']

Python の標準ライブラリには、書記素で区切る機能はありません(Python 3.12 で確認)。見た目の文字数が必要なら、書記素の区切りに対応した外部ライブラリを使うことになります。なお、Windows のコマンドプロンプトや PowerShell で絵文字を print すると UnicodeEncodeError になることがあります。そのときは py -X utf8 ファイル名.py のように UTF-8 モードで実行してください。

Java:length() はコード単位の数

Java の String も UTF-16 なので、length() は JavaScript の length と同じくコード単位の数です。コードポイントの数は codePointCount()、書記素の数は java.text.BreakIterator で数えます。次は Java 21(21.0.1)で実行した例です。

String s = new String(Character.toChars(0x1F600)); // 😀
System.out.println(s.length());                      // 2
System.out.println(s.codePointCount(0, s.length())); // 1
System.out.println(Integer.toHexString(s.charAt(0))); // d83d
System.out.println(Character.isHighSurrogate(s.charAt(0))); // true

Java 21 の BreakIterator.getCharacterInstance() で数えると、家族の絵文字と 🇯🇵 は 1、「か」+結合文字の濁点も 1 になりました。古い Java では結果が違う可能性があるので、使う Java のバージョンで確かめてください。

文字列を途中で切ると壊れる例

「先頭から 10 文字だけ表示する」「140 文字で切る」といった処理を、数え方を意識せずに書くと文字が壊れます。

サロゲートペアの真ん中で切る(JavaScript)

"あ😀".slice(0, 2) はコード単位で 2 つ分なので、「あ」と 😀 の上位サロゲート(D83D)だけが残ります。ペアの片方だけのサロゲートは「孤立サロゲート」と呼ばれ、Unicode の FAQ でも UTF としては不正(invalid)とされています。画面には「�」のような文字が表示されます。不正な文字列かどうかは isWellFormed() で調べられ、次の結果は false です。

"あ😀".slice(0, 2).isWellFormed()

このような文字列を URL に入れようとすると、encodeURIComponent() は「URIError: URI malformed」というエラーを出します。また TextEncoder で UTF-8 に変換すると、孤立サロゲートは EF BF BD(置換文字「�」)に置き換わり、元の絵文字は失われます。

encodeURIComponent("あ😀".slice(0, 2))

同じ理由で、s.split("").reverse().join("") で文字列を逆順にすると、絵文字の上位と下位が入れ替わって壊れます。[...s].reverse().join("") ならコードポイント単位なので 😀 は壊れません(ただし家族の絵文字などはばらばらになります)。

UTF-8 のバイト数で切る(Python)

「あ😀」は UTF-8 で 7 バイト(3 + 4)です。「5 バイトまで」と切ると、😀 の 4 バイトのうち 2 バイトだけが残り、デコードできなくなります。

b = "あ😀".encode("utf-8")
print(b[:5].decode("utf-8", errors="replace"))
b[:5].decode("utf-8")

実行結果です。errors="replace" を付けた 2 行目は壊れた部分が「�」になり、3 行目はエラーで止まります。

あ�
UnicodeDecodeError: 'utf-8' codec can't decode bytes in position 3-4: unexpected end of data

ファイルを決まったバイト数ずつ読み込んで、そのたびにデコードする処理でも同じことが起きます。ファイルの読み書きは「Pythonのファイル読み書き」で解説しているように、open() に encoding を指定してテキストとして読めば、Python が文字の境目を正しく扱います。

コードポイントで切っても絵文字が分かれる

Python で家族の絵文字の先頭 3 コードポイント(s[:3])を取り出すと「👨‍👩」(男性+ZWJ+女性)になり、家族が 2 人に減ってしまいます。JavaScript の "👨‍👩‍👧‍👦".slice(0, 5) でも同じく「👨‍👩」になりました。エラーは出ませんが、意味が変わってしまうので気付きにくい不具合です。

見た目の文字単位で切りたいときは、JavaScript なら Intl.Segmenter で区切ってから先頭の何個かをつなげます。Edge 155 で「👨‍👩‍👧‍👦あいう」の先頭 2 個を取り出すと、「👨‍👩‍👧‍👦あ」と正しく取り出せました。

データベースの文字数制限と MySQL の utf8・utf8mb4

データベースの「何文字まで」も、どの単位で数えるかを確かめる必要があります。MySQL 8.4 のリファレンスマニュアルでは、VARCHAR(M) の M は保存できる最大の文字数とされています。また、strict モード(厳密モード)が有効なら上限を超える値は保存されずにエラーになり、無効なら切り詰めて警告を出すと書かれています。

もう 1 つの落とし穴が、MySQL の文字コード名「utf8」です。

MySQL の文字コード1 文字の最大バイト数補助面の文字(😀・𠮷 など)
utf8mb3(以前は utf8 という名前で使われていた)3 バイト保存できない
utf8mb44 バイト保存できる

MySQL の公式ドキュメント(8.4)によると、「utf8」はこれまで utf8mb3 の別名として使われてきましたが、この使い方は非推奨になっています。utf8mb3 は BMP の文字しか扱えず、補助面の文字は保存できません。utf8mb3 自体も非推奨で、将来のメジャーリリースで削除される予定とされ、新しいアプリケーションには utf8mb4 を使うよう推奨されています。MySQL 8.4 のサーバーの文字コードの既定値は utf8mb4 です。

古いテーブルが utf8(utf8mb3)のままだと、「日本語は保存できるのに、絵文字や 𠮷 だけ保存できない」という現象が起きます。また、アプリ側の入力チェックを JavaScript の length で、データベース側をコードポイント数で数えていると、絵文字の多い文章で上限の判定が食い違います。参考までに、SQLite(3.45.3)の length() で数えると 😀 は 1、家族の絵文字は 7 で、コードポイントの数でした。

よくある間違い

  • 「UTF-16 は 1 文字 2 バイト」と思い込む:補助面の文字は 4 バイト(2 コード単位)です。
  • 入力欄の上限チェックに length を使う:😀 を 2 文字と数えるので、利用者の感覚より早く上限に達します。画面での見た目と数を合わせたいなら Intl.Segmenter を使い、データベースの上限と合わせたいならデータベースと同じ単位で数えます。
  • コードポイントで数えれば完璧だと思う:結合文字・国旗・肌の色・ZWJ 絵文字は、コードポイントが 2 個以上でも見た目は 1 文字です。
  • バイト数で切ってからデコードする:UTF-8 の文字の途中で切れて、「�」やエラーになります。
  • MySQL で utf8 を指定する:補助面の文字が保存できません。新しく作るなら utf8mb4 を指定します。

よくある質問

日本語の漢字でもサロゲートペアになりますか?

よく使う漢字の多くは BMP にあるので 1 コード単位です。ただし「𠮷」(U+20BB7)のように補助面にある漢字もあり、人名や地名で使われることがあります。"𠮷".length は 2 です。

UTF-8 にもサロゲートペアはありますか?

ありません。UTF-8 は補助面の文字を 4 バイトで直接表します。RFC 3629 は、サロゲート用の番号(U+D800〜U+DFFF)を UTF-8 で表すことを禁止しています。Python で孤立サロゲートを encode("utf-8") すると「surrogates not allowed」というエラーになります。

結局、どの数え方を使えばいいですか?

目的で選びます。画面に表示する文字数や「〇文字まで入力できます」の表示は書記素、データベースや API の上限チェックは保存先と同じ単位(文字数ならコードポイント、バイト数なら UTF-8 のバイト数など)、文字列を切るときは書記素の境目で切るのが安全です。

まとめ

  • U+10000 以上の補助面の文字は、UTF-16 では 2 コード単位のサロゲートペアになる(😀 は D83D DE00)
  • JavaScript・Java の length はコード単位、Python の len はコードポイント、見た目の文字数は書記素
  • 結合文字・国旗・肌の色・ZWJ 絵文字は、コードポイントが複数でも見た目は 1 文字
  • 文字列を切るときは単位に注意し、MySQL では utf8mb4 を使う

関連する記事・ツール

ABOUT ME
hr
hr
エンジニアとして働いている hr です。仕事や資格勉強で「こんなツールがあれば」と感じたものを、無料Webツールと解説記事にして発信しています。
記事URLをコピーしました