hsimyu's diary

ゲームなどをします。

12/31-1/1 年始感なし

12/31 (月)

たくさん散歩をした。

ごはん

朝: もち

昼: 鴨出し蕎麦

夜: すきやき

JSONL

JSON Lines format: Why jsonl is better than a regular JSON for web scraping

json フォーマットで GB 級の巨大なファイルを取り扱うのは、読み終えるまでオブジェクトが確定しないので丸ごとオンメモリにしてからパースしないといけない→メモリ使用量の観点から実用的でない。

各行が単一の json オブジェクトを成すようにした JSONL 形式を使えば、行読み込み→パースを繰り返すだけで良いため、メモリ量を節約できるし、データを増やしたい時にファイル末尾に追加していけばよい。この形式はストリーミングにも向いてる。

以下の欠点がありそうにみえる:

  • データ表現が縛られやすいのでは
  • ファイル分ければ良いのでは
  • 可読性が犠牲になりすぎ
    • grep . families.jsonl | jq で pretty print できるよって書いてあるけど、ええ……
  • パース速度が落ちそう
    • ⇔ 順番を維持する必要がないなら、スレッドたくさん立てて並列パースできそう。
  • json から jsonl への変換は簡単に出来るが、(速度面で)最適な jsonl を見つけるのは難しそう

ダクトテーププログラマ

ダクトテーププログラマ - The Joel on Software Translation Project

ウーン。

みかん

様子を見に行ったが、だいぶリラックスしているようだ。

顎を拭いた。水飲み、おしっこ、うんちはちゃんとしてるが、あんまり餌を食べていないかも?

まあ普段ちゃんと食べた分の蓄えがあるし大丈夫だろう。

1/1 (火)

明けた。昨日割りと早く寝たからか早めに起きる。

昼前〜昼過ぎで実家へみかんの様子を見に行く。

その後は義実家に戻ってだらだら。

3日に生まれてほしいのだが、今のところ兆候なし。ふうむ。

ごはん

朝: お雑煮

昼: ケーキ、豆

夜: 米、刺し身、おせちの一部など

みかん

叔母一家が実家に来ていて、挙動不審だった。

その他

砂 > シルト > 粘土

ローム = 砂4 シルト4 粘土2の比率

耕作に最適な土組成