Tech Learning Daily

「文字」は 3 つの層でできている

Unicode は、世界中の文字一つひとつに番号を割り振った表である。この番号を符号位置（コードポイント）と呼び、U+3042（あ）や U+1F604（😄）のように 16 進数で書く。範囲は U+0000 から U+10FFFF までで、ここまでは単なる「番号の表」にすぎない。

番号をメモリやファイルに置くには、それをバイト列に変換する規則が要る。これが符号化方式（エンコーディング）で、UTF-8 と UTF-16 が代表例だ。同じ U+1F604 でも、UTF-8 なら 4 バイト、UTF-16 なら 16 ビットの単位 2 つになる。

さらにその上に、人間が「1 文字」と感じる単位がある。Unicode の規格 UAX #29 はこれを書記素クラスタ（grapheme cluster）と定義している。冒頭の家族絵文字は、男性・女性・女の子の 3 つの絵文字を、ZWJ（Zero Width Joiner, U+200D。前後の絵文字を 1 つに合成させる目に見えない文字）でつないだ 5 つの符号位置からできている。

UTF-8 は「先頭バイトを見れば長さが分かる」

UTF-8 は、符号位置の大きさに応じて 1〜4 バイトを使い分ける。RFC 3629 の規定では、U+007F までは 1 バイト、U+07FF までは 2 バイト、U+FFFF までは 3 バイト、それより上は 4 バイトだ。ひらがなや常用漢字の多くは 3 バイト、絵文字の多くは 4 バイトになる。

 😄 = U+1F604（21 ビットの番号）
 0 0001 1111 0110 0000 0100
   │
   ▼ 4 バイト用の型に上から詰める
 ┌────────┬────────┬────────┬────────┐
 │11110xxx│10xxxxxx│10xxxxxx│10xxxxxx│
 └────────┴────────┴────────┴────────┘
   │
   ▼
 ┌────────┬────────┬────────┬────────┐
 │11110000│10011111│10011000│10000100│
 │   F0   │   9F   │   98   │   84   │
 └────────┴────────┴────────┴────────┘
 先頭の 1 の個数 = 全体のバイト数
 10 で始まる = 続きのバイト

この型には 2 つの狙いがある。1 つ目は、先頭バイトの上位ビットに並ぶ 1 の個数が全体のバイト数を表し、続きのバイトは必ず 10 で始まることだ。バイト列の途中から読み始めても、10 で始まらないバイトまで戻れば文字の切れ目が見つかる。

2 つ目は ASCII との互換である。U+007F までは ASCII と同じ 1 バイトになり、複数バイトの文字を構成するバイトはすべて最上位ビットが 1 なので、/ や " のような ASCII のバイトが日本語の途中に紛れ込むことがない。ASCII しか知らない古いプログラムに UTF-8 を流しても、区切り文字の検索が壊れないのはこのためだ。

JS の length が数えているのは UTF-16 の「単位」

JavaScript の文字列は UTF-16 で表現され、length は文字数ではなく UTF-16 の符号単位（16 ビットのかたまり）の数を返す、と MDN は明記している。U+FFFF 以下の文字は 1 単位で収まるので、日本語だけを扱っている間は length が文字数と一致して見える。

しかし 16 ビットでは U+10000 以上を表せない。そこで UTF-16 は、文字を割り当てずに予約してある領域 U+D800〜U+DFFF から 2 つの値を組み合わせて 1 文字を表す。これをサロゲートペアと呼ぶ。😄 は D83D DE04 の 2 単位なので、"😄".length は 2 になり、"😄".slice(0, 1) は前半だけの壊れた値（表示すると �）を返す。

一方、Go の len() は UTF-8 のバイト数を返し、Ruby の length は符号位置の数を返す。これで冒頭の 3 つの数字が説明できる。

 👨‍👩‍👧 を分解すると（見た目は 1 文字）

  男    ZWJ   女    ZWJ   子
 ┌────┬────┬────┬────┬────┐
 │ 1  │ 1  │ 1  │ 1  │ 1  │ 符号位置  5
 │ 2  │ 1  │ 2  │ 1  │ 2  │ UTF-16    8
 │ 4  │ 3  │ 4  │ 3  │ 4  │ UTF-8    18
 └────┴────┴────┴────┴────┘
 └──────── 書記素 1 個 ───────┘

 Ruby  s.length    ─▶  5
 JS    s.length    ─▶  8
 Go    len(s)      ─▶ 18

こう並べると、符号位置を数える Ruby が一番「正しい」ように見える。しかし実際は Ruby の 5 も人間の答えの 1 とは違う。正解に近いのは、どの層を数えるべきかを用途ごとに選ぶことである。

どの層で数えるべきか

画面上の文字数制限やカーソル移動、「先頭 20 文字で省略」のような処理は、書記素クラスタで数えないと絵文字や国旗の途中で切れる。国旗 🇯🇵 も 2 つの符号位置（地域指示子）の組なので、符号位置で切ると「🇯」だけが残る。JavaScript では Intl.Segmenter、Ruby では String#grapheme_clusters が書記素単位の分割を提供する。

// JavaScript
const s = "👨‍👩‍👧";
s.length;                    // 8（UTF-16 単位）
[...s].length;               // 5（符号位置）
[...new Intl.Segmenter("ja", { granularity: "grapheme" })
  .segment(s)].length;       // 1（書記素）

逆に、DB のカラム容量や HTTP ボディのサイズ上限、ネットワーク越しのバッファ確保はバイト数で考える。Go が len() でバイト数を返し、for range で回したときだけ UTF-8 を 1 符号位置（Go では rune と呼ぶ）ずつ解読するのは、文字列を「UTF-8 のバイト列」として扱う設計を貫いているからだ。

MySQL の utf8 は 3 バイトまでしか入らない

MySQL の文字セット utf8 は utf8mb3 の別名（非推奨）で、1 文字最大 3 バイト、つまり U+FFFF 以下しか保存できない。4 バイトになる絵文字を挿入すると、strict モードでは Incorrect string value: '\xF0\x9F...' のエラーで INSERT が失敗する。先ほどの UTF-8 の表で、4 バイト文字の先頭が F0 だったことを思い出すと、このエラーメッセージが何を拒否しているかが読める。

MySQL 8.0 ではサーバーのデフォルトが utf8mb4（照合順序 utf8mb4_0900_ai_ci）になった。ただし、5.7 以前に作られたテーブルはアップグレード後も作成時の文字セットを持ち続けるので、デフォルトが変わっても古いテーブルには絵文字が入らないままになる。

-- テーブルの文字セットを確認
SHOW CREATE TABLE posts;

-- utf8mb3 なら変換する（テーブルを書き換えるので本番は要計画）
ALTER TABLE posts CONVERT TO CHARACTER SET utf8mb4;

接続側の文字セットも揃える必要がある。Rails なら config/database.yml に encoding: utf8mb4 を書く。テーブルだけ utf8mb4 にしても、接続が 3 バイトまでの文字セットで送れば、4 バイト文字は DB に届く前に変換に失敗する。