なぜ Excel で開けないのか
Excel のワークシートに入るのは 1,048,576 行 × 16,384 列までです(Microsoft「Excel の仕様と制限」)。これを超える CSV を開くと、上限の行で読み込みが止まり、警告が出ます。残りの行はシートに入らないので、ファイルの後半で起きた変化は見えません。
行数が上限の内側でも、時系列のデータでは次のような点で手間がかかります。
- 1 つのグラフに入れられる系列は 255 本までです。
- 点の多い折れ線グラフは、作るのにも、拡大・縮小するのにも時間がかかることがあります。
- ファイルを開くたびに、同じグラフを作り直す必要があります。
主な方法の比較
| 方法 | 向いているとき | 気をつけること |
|---|---|---|
| ファイルを分割して Excel で開く | 一部の期間だけを見ればよいとき | 全体を通して見られません。分けたファイルの管理も増えます |
| Excel の Power Query でデータモデルに読み込む | ピボットテーブルで集計したいとき | データはシートに並びません。波形をそのまま眺める用途には向きません |
| Python(pandas・matplotlib など) | 処理を自動にしたいとき | Python の環境とプログラムが必要です。会社の PC ではインストールできないこともあります |
| 時系列データ用の表示ソフト(LOGADEC など) | 全体を見渡して、気になる時刻へすぐ寄りたいとき | ソフトの入手が必要です(LOGADEC はインストール不要) |
LOGADEC で巨大な CSV を開く手順
LOGADEC は、HTML ファイル 1 つで動く時系列データの表示・解析ソフトです。インストールも管理者権限も要りません。Excel のシートのような行数の上限はなく、CSV を分割せずに読み込めます。
- ブラウザで今すぐ試すから起動するか、無償版をダウンロードして、展開した HTML ファイルを Google Chrome か Microsoft Edge で開きます。
- [CSV/Excel]を押して CSV を選びます(画面へドラッグしてもかまいません)。
- 区切り文字・文字コード・見出しの行・単位の行は自動で判定されます。右の「表示する列」で、見たい列だけを選びます。
- [読み込む]を押します。大きなファイルは、まず一部のデータでグラフを表示し、残りを裏で読み込みます。
- [系列]タブで[全選択]を押すと、グラフに表示されます。マウスのホイールで拡大・縮小、ドラッグで移動して、気になる時刻へ寄ります。
読み込みの画面のくわしい説明は、説明書のデータの読み込みにあります。
大きなファイルを扱うときのコツ
- 必要な列だけを読み込む: 列を絞ると、読み込みの時間とメモリが減ります。
- 全体を表示しても、一瞬の跳ね上がりは消えない: 画面に収まらないほどの点は、画面の 1 列ごとに最大と最小を残して描きます。全体を表示したままでも、スパイクを見落としません。
- 時間の解析は間引かない: 外れ値や変化点の検出などの解析は、範囲の中の点を間引かずに使います。
- 分かれたファイルは 1 本につなぐ: 日ごと・時間ごとに分かれたログは、[フォルダ]でまとめて取り込み、時刻の順に 1 本につなげられます。
- 扱える量はパソコンによる: 読み込める量は、列の数・データの中身・パソコンのメモリ・ブラウザによって変わります。無償版で読み込める系列は 1,000 までです。