【2018/12/24追記】以下の記事も参考になるかな。
扱えるテキストファイルの最大行数は1億行
バカでかいテキストファイルを作る必要があって、結果約2GBにもなった。
CADから出力するんだけど、7.5時間もかかってしまった。
中身を見ようと思って、おなじみ秀丸くんで開こうとしたら開けなかった。
上限の行数1000万行を超えているとのこと。
軽く調べたら、秀丸エディター64bit版は1億行までに対応していた。
おいらは64bitOSを使っているが、秀丸は32bitを使っていたのだ。
64bitを入れなおしたら、なんとか読み込めた。
4845万行だから、限界の半分までいってない感じ。
秀丸くんサスガですな。
この巨大なテキストファイルにもう一つ特徴があった。
最後のほうに、1行にとてつもなく大量のテキストが書かれていたのだ。
その行だけ抜き出してファイルサイズを見たら62MB。
1バイトで半角1文字だから、62,000,000文字もあるのだ。
6200万文字ってすげぇぞ。
よくぞ、これだけの文字を1行として扱えたものだ。
たぶんこんな構造になっているから、ファイル書き出しに7.5時間も
かかってしまうのだろう。。