【VBA】文字コード・エンコードと改行コードについて

VBAに限らず、プログラミング言語でテキストファイル（csvを含む）を扱うには、文字コードやエンコードというのを意識する必要があります。
ここでは、Shift-JIS、UTF-8、Unicodeといった、文字コード・エンコードがらみでよく出てくる用語について、ご説明いたします。
また、テキストファイルを扱う際に意識しておきたい改行コードについても、併せて言及いたします。

文字コードとは

はじめに

文字コードとは、コンピュータ上で文字を扱うために、文字に割り当てられた固有の番号のことです。
コンピュータでは2進数しか扱えないため、文字を数字（2進数の集まり）に置き換えて扱っています。
このときの文字⇒数字への置き換えの方法に、何種類かのルールがあるため、文字を書き込んだときのルールで読み込まないと、いわゆる文字化けを起こしてしまい、文字を読み込めません。
先ほど、『文字コードとは、文字に割り当てられた番号』と述べましたが、一般的には、『文字⇒数字への置き換えルールの名称』を「文字コード」と呼ぶことが多いです。

また、「文字コード」というのは広義の分類であり、正確には「符号化文字集合」 と 「文字符号化方式」を総称して、「文字コード」と呼びます。
この説明は非常に難しいのですが（と言うか私もちゃんと理解できていないと思います・・・）ざっくり言うと、以下のような感じです。

• 符号化文字集合：文字の種類についてのルール
• 文字符号化形式：テキストファイルの保存方法についてのルール
  「エンコード」と言うことも多いです

符号化文字集合の代表例

文字符号化形式（エンコードの種類）の代表例

Unicodeでしか扱えない文字の制約

Visual Basic Editorで扱えない

Visual Basic Editorにて、㉑のようにUnicodeでしか扱えない文字を入力しようとすると、下図のように「?」に化けてしまいます。

VBAのDir関数で扱えない

指定されたフォルダ内のファイル名を返す「Dir関数」ですが、ファイル名にUnicodeでしか扱えない文字（㉑など）が含まれると、これまた「?」に化けてしまいます。
※そもそもVisual Basic Editorで扱えない文字なので、他にも扱えないVBA関数があるかもしれません。

例：「C:\work」フォルダに、「サンプル㉑.txt」 というファイルを置いておく

VBAにてDir関数を実行

Sheets("Sheet1").Range("A1") = Dir("C:\work\サンプル*")

「㉑」が「?」に化けて出力された

回避方法

ちょっと面倒ですが、以下のように「FileSystemObject」というのを使うと、㉑のような文字も扱えます。
ざっくりですが、コメントに説明を書いておきました。

Dim objFso As Object
Set objFso = CreateObject("Scripting.FileSystemObject") 'FileSystemObjectを作成

Dim objFolder As Object
Set objFolder = objFso.GetFolder("C:\work")         'フォルダをObject変数にSet

Dim objFile As Object                               'ファイル情報取得用のObject変数

Dim Ix1 As Integer: Ix1 = 1                         'Excelの行番号カウント用
For Each objFile In objFolder.Files                 'フォルダ内のファイルを1つずつ取得
    Sheets("Sheet1").Cells(Ix1, 1) = objFile.Name   'ファイル名を出力
    Ix1 = Ix1 + 1
Next

「㉑」が化けずに出力された

「BOM」について

「BOM」とは？

Unicodeで書かれたテキストファイルの先頭に付ける、「このファイルはUnicodeで書かれています」ということを示す3バイトの目印データのことです。

BOMあり／なしでのExcelとAccessでの扱い

BOMが無いCSVファイルは、Excelで開いたときに文字化けが起こります。
一方で、BOMが有るCSVファイルは、Accessでインポートできません。
つまり、下表のようになります。

BOMの付け外しをVBAで行う方法

かなり長くなりますので（と言ってもソースのコピペで対応可能ですが）、「大体でIT」様の下記サイトをご覧いただければと思います。

【VBA】ファイル形式の変換【UTF-8・Shift-JIS・BOM付き】

Excel VBAでテキストファイルの形式をUTF-8、Shift-JIS、UTF-8（BOM付き）へ変換する方法についてご紹介します。Windows10でメモ帳のデフォルトがUTF-8になったのでUTF-8形式へ統一したい、CSVの表示が...

daitaideit.com

エンコードの種類の判別方法

テキストファイルにはエンコードの種類を完全に判別する仕組みはありません(BOM付きを除く)。
「XXというバイトは、文字コードYYYにしか出現しないから、エンコードの種類はYYYだ！」と判別するしかありません。
「じゃあ具体的にどうやるの？」ということですが、こちらもかなり長くなりますので、「ddxb-0x41」様のQiitaの下記記事をご覧いただければと思います。

VBAで日本語テキストの文字コード判定 - Qiita

はじめにExcel VBAで日本語テキストの文字コード判定をする方法を調べたところ、UTF8(BOM有り)：先頭３バイトのBOMで判定可能UTF16：先頭２バイトのBOMで判定可能で判定可能…

qiita.com

ちなみに、テキストエディタでファイルを開くと、自動判定されたエンコードの種類と、BOMの有無が表示されます。
以下は、Windows 11のメモ帳の例です。

なお、Windows 11のメモ帳以外で、システム開発でよく使われるエディタ（VS Code、サクラエディタ、秀丸エディタ、など）では、エンコードの種類と、BOMの有無を変更できる機能が備わっています。

改行コードについて

最後に、改行コードの違いについてご説明いたします。
「改行」を表す文字コードには、下表の通り3種類があります。
OSによって、扱う文字コードが違うのですが、「Excelのセル内改行については、vbLfが使われる」ことを、知っておくと良いです。異なる改行コードが混在するファイルを扱うときに、ハマりやすいポイントです。