文字コード

FrontPage

• ASCIIコード表
• JIS文字コード
• ISO2022
• EUC
• Shift_JIS
• Windows-31J
• Unicode
• 文字化け
• 自動判別

大まかな流れ †

• [キーボード]→キーコード→[キーコード-文字コード変換]→文字コード
• 文字コード(主にASCII)→[かな漢字変換]→文字コード(漢字など)
• 文字コード→[エンコード]→通信用文字コード→[通信路]→通信用文字コード→[デコード]→文字コード
• 文字コード→[文字コード-フォント対応]→画像データ→[ディスプレイ]

文字コードの違いによるトラブル †

• 文字化け
• 誤解釈
• ソート順の食い違い
  • ISO-2022-JP, EUC-JP, Shift_JIS は同じ順になるが、Unicode とは違う順になる。

文字コードの階層モデル †

• RFC 2130 では、CCS/CES/TES の3層モデルが示されている。
  • CCS Coded Character Set
    • コード化された文字集合のこと。文字に番号が付いた状態。コンピュータ上でのデータ列表現はここには定義されない。
    • JIS X0208 の文字表とか、Unicode の文字表がここに相当。
  • CES Character Encoding Scheme
    • 文字エンコーディング方法のこと。番号とコンピュータ上でのデータ列表現とを変換する方法。
    • Shift_JIS とか EUC-JP とか ISO-2022-JP とか UCS-2 とか UTF-8 とかがここに相当。
  • TES Transfer Encoding Syntax
    • 転送用エンコーディング文法のこと。
    • BASE64 とか gzip とかがここに相当。(要はもう文字コードとはあまり関係ない。)
• UTR#17 http://unicode.org/reports/tr17/ では、5層モデルが示されている。(Unicode用)
  • Abstract Character Repository
    • 抽象文字リポジトリ。エンコードするための文字の集合。ここでは番号は付いていない。
  • CCS Coded Character Set
  • CEF Character Encoding Form
    • ここで、単純なバイトへの変換をする。ここではバイト順は不明。
    • たとえば UTF-16 がここに入る。
  • CES Character Encoding Scheme
    • ここで、バイト直列化を入れる。ビッグエンディアンとリトルエンディアンの問題がここに入る。
    • たとえば UTF-16BE と UTF-16LE とがここに入る。
  • (CM Character Maps)
    • CCS, CEF, CES をまとめたもの
  • TES Transfer Encoding Syntax
• CCS は Character Coding Scheme の略ともされる。この場合、CESと同義。(おいおい…)

符号化文字集合(文字セット)(CCS) †

基本 †

• US-ASCII
• JIS X 0201 ラテン文字
• JIS X 0201 片仮名
• JIS X 0208-1978
• JIS X 0208-1983
• JIS X 0208-1990
• JIS X 0212-1990
• JIS X 0213:2000
• JIS X 0213:2004
• Unicode (UCS-4)

ベンダ依存 †

• NEC特殊文字
• NEC選定IBM拡張文字
• IBM拡張文字

合成されたもの †

• マイクロソフト標準キャラクタセット(Windows-31J)
  • JIS X 0201 ラテン文字
  • JIS X 0201 片仮名
  • JIS X 0208:1990
  • NEC特殊文字
  • NEC選定IBM拡張文字
  • IBM拡張文字

符号化方式(CES) †

• ISO 2022
• Shift JIS
• Unicode
  • UCS-2
  • UCS-4
  • UTF-8
  • UTF-16
  • UTF-7

メモ †

• 漢字は大量のバリエーションを持っているが、安易に文字コードをつけていくとすぐにパンクする。
• 勝手な簡略字、書き間違いにまで文字コードを振っていたらきりがない。特に人名は、勝手な簡略字、書き間違いの宝庫。
• 文字コードをつけるには、どこでどう使われているのかの典拠が必要。
  • 辞書に載っていないが広く使われているケースはある。(有名人名、地名、有名書籍)
  • 広く使われている異体字には文字コードを与える価値はある。

リンク †

• 文字コード年表 http://kanji.zinbun.kyoto-u.ac.jp/~yasuoka/publications/chronology.html
• ミケネコの 文字コードの部屋 http://mikeneko.creator.club.ne.jp/~lab/kcode/index.html
• シフトJIS / EUC-JPとUnicodeとの妥当な変換表 http://www.nslabs.jp/round-trip.rhtml
• JIS X0201 片仮名 http://www2d.biglobe.ne.jp/~msyk/charcode/jisx0201kana/index.html
• Windows-31J 情報 http://www2d.biglobe.ne.jp/~msyk/charcode/cp932/index.html
• 日本語文字コードの判別 http://www.gprj.net/dev/tips/other/kanji.shtml
• Windowsの次期バージョンWindows Vista(TM)において日本語フォント環境を一新 http://www.microsoft.com/japan/presspass/detail.aspx?newsid=2353
• 「Vista」新フォントは「国語政策的にも正しい」 http://www.itmedia.co.jp/news/articles/0508/31/news062.html
• 2004 JIS をめぐる混乱 http://www005.upp.so-net.ne.jp/greentree/koizumi/75_moji.htm
• LinuxへのApache+Tomcat+DB2インストール (Tomcat+DB2での文字化けについて) http://www-06.ibm.com/jp/software/data/developer/library/techdoc/tomcat_2.html
• XML日本語プロファイル 解説(Unicode変換表について詳細) http://www.y-adagio.com/public/standards/tr_xml_jpf/kaisetsu.htm
• シフトJISからUnicodeへの変換テーブルの相違 http://www.autumn.org/etc/unidif.html
• インターネットメールの注意点 http://www02.so-net.ne.jp/~hat/imail/cover.html
• 文字コードの解説 http://www.d2.dion.ne.jp/~imady/charset/
• 小形克宏の「文字の海、ビットの舟」―― 文字コードが私たちに問いかけるもの http://internet.watch.impress.co.jp/www/column/ogata/index.htm
• Javaの文字化け対策FAQ http://www.atmarkit.co.jp/fjava/rensai3/mojibake01/mojibake01.html
• シフトJISの「拡張文字」 (拡張漢字を Unicode CJK統合漢字にするためのマッピングあり) http://homepage1.nifty.com/~petronius/kana/kakutyaumozi.html
• [PRB] SHIFT - JIS と Unicode 間の変換問題 (Windows-31J → Unicode → Windows-31J の場合のラウンドトリップ問題) http://support.microsoft.com/default.aspx?scid=kb;ja;JP170559
• JISと旧字体の関係 http://homepage3.nifty.com/jgrammar/ja/kanji006.htm

• 携帯絵文字対応表 http://www.au.kddi.com/email/emoji/taiohyo/index.html
• Windows の多言語フォント http://mlang1.osaka-gaidai.ac.jp/multi/win_font.html
• Windows 2000/XPのFont Link機能 (Font Linking) http://blue.ribbon.to/~akene/fontlink.htm
  • フォントの非サポート部分に別のフォントを結合できる。

書籍 †

#amazon(4320121023, left) #amazon(4899770510, left) #amazon(4873111080, left) #amazon(4798100307, left) #amazon(4320029046, left)