タグ

文字コードに関するirasyaのブックマーク (5)

  • 改行コードの変換と上書きモードについて。あるいは iconv と nkf に見る思想の違い - 玉虫色に染まれ!!

    前エントリで id:CCG さんからコメントにてご指摘がありましたので、その点について補足のエントリを書きます。完全に続きの話なので、未読の方は、まず前エントリをご参照下さい。 改行コードの変換 文字コードを変換する場合は、同時に改行コードも変換したくなる事が多いかと思いますし、実際、 nkf ではそういった変換をサポートしていましたが、 iconv には改行コードの変換機能はありません。 したがって、改行コードを変換したい場合には別のコマンドを併用する必要があります。改行コードの変換は、 tr や sed で力技で片付けるのも手です*1が、 dos2unix とか unix2dos といった簡便なコマンドもあります。 $ iconv -f SHIFT-JIS -t UTF-8 README.TXT | dos2unix > readme.txt.utf8 (文字コードが Shift JI

    改行コードの変換と上書きモードについて。あるいは iconv と nkf に見る思想の違い - 玉虫色に染まれ!!
  • iPhone:auへのメールが文字化けする - Kelly's Personal Island "興味のタネ"

    これは、iPhoneが文字コードをUTF-8で送信するのに対し、auの端末ではJIS(iso-2022-jp) にのみ対応している製品があるため、iPhoneからの文字コードが違うことで文字化けを起こします。 これは、もともと多言語を扱うiPhoneでは、文字コード体系として多言語を扱うことのできるUnicode(ユニコード)を使用するように設計されており、そのためUnicodeの一つである、UTF-8でインターネットメールを送るようにしているのです。 もともと日国内の携帯では、海外からの(JISコード以外の)メールを受信するような事まで想定されていない時代がありました。 auの場合は、端末の要求事項としてUTF-8の文字コードに対応しなくて良いとされていたのでしょう。 そのため、海外からのコード体系の違うメールやiPhoneからのメールを受信すると文字化けが発生します。 また、英語(つ

    iPhone:auへのメールが文字化けする - Kelly's Personal Island "興味のタネ"
  • 文字コード(UTF-8,Shift_JIS,EUC-JP,ISO-2022-JP)についての俺的まとめ - 今日もスミマセン。

    「プログラマのための文字コード技術入門」を読んで自分なりに理解した点をザックリとまとめてみる。 それほど正確性を求めて書いているわけではないので、間違ってる可能性大です。 間違いなどあればコメントなど頂けるとありがたいです。 それぞれの文字コードはどう違うのか? 日語の文字コードは大きく以下の2つに分けられる JIS X 0208 文字集合をベースにしたもの Unicode文字集合をベースにしたもの JIS X 0208 文字集合をベースにした文字コードには、EUC-JP, Shift_JIS, ISO-2022-JP がある。 Unicode文字集合をベースにした文字コードには、UTF-8, UTF-16 などがある。 上で挙げた「文字コード」とは正確には「エンコーディング(文字符号化方式)」の事を指す。 文字符号化方式 文字集合って? 読んでそのまんま”文字の種類の集まり”。「キャラ

    文字コード(UTF-8,Shift_JIS,EUC-JP,ISO-2022-JP)についての俺的まとめ - 今日もスミマセン。
  • CP932とは : JavaA2Z

    Windowsでの正しい文字コード。 Windowsの文字コードは、一般的には「シフトJIS」だが、正しくは「CP932」である。 「MS932」とも言う。 CP932は、シフトJISを拡張したものである。 ただし、基的には文字コードとしての違いはない。各文字の「整数値としての値」が異なることはない。 違いが現れるのは、他の文字コードへと変換する場合である。 他の文字コードへと変換する場合、「~」や「-」といった一部の文字が、異なる整数値へと変換される。 たとえばUnicodeへと変換する場合、以下のように変換される。 ■「~」 ・シフトJIS:0x81,0x60→Unicode:0x301C ・CP932:0x81,0x60→Unicode:0xFF5E ■「-」 ・シフトJIS:0x81,0x7C→Unicode:0x2212 ・CP932:0x81,0x7C→Unicode:0xF

    irasya
    irasya 2010/06/29
    CP932とShiftJISの違い
  • MySQL5の既存DB文字コード変更(latin1からujis) | Wingnotes

    フライトシミュレーター「リアルフライト」 値段が高いだけある!リアルなシミュレータです。シミュレーターから始めるのが壊さず上達する一番の近道です。 XOOPS Cube と MySQL 前回の日記XOOPS Cube と MySQL5 の相性でも書いたが、新しいバージョンのOS、MySQLでXOOPSを再構築した時に、MySQL5でのDB作成時にどつぼにはまっていた。 既に作成済みのDBの文字コードを変更する とりあえずXOOPSの動作確認が取れた時のMySQLのデフォルトで作成した文字コードがlatin1のDBで、XOOPSの設定やコンテンツを登録したため、後になって問題が出てきた。 その問題とは、DBをバックアップ(ダンプ:mysqldump)した時に、ダンプファイルをテキストエディタで開くと、文字化けしているのである。無理矢理文字コードを変換すれば日語で読める文

  • 1