Json データ追加

XServerでDjangoが動作するように設定できた。

ところが、そもそもPythonをたいして知らないので、活用できない。
やっているのは、PythonでJRAのデータをScrapingしているくらい。

そのScrapingしたJsonファイルは大きくなってきて、扱いが大変だった。

現在のJsonファイルに今週のJsonファイルを足すわけだが、これはVSCodeで手作業でやっていた。大した作業ではないのと、Jsonファイルを垂直に結合する関数がありそうなのに見つけられなかったから。

(これは、順次読んで、連続して同じ辞書にAppendするだけでよかった。)

でも、ファイルサイズが大きくなってきて操作が少し重い。

Scraping用のURLリストはエクセル関数やVBAで作成している。
これを元に、ローカル環境のPythonでScrapingしてJsonファイルを作成している。
通信トラブルもあったりするので、これはローカルのままで問題ないと考えている。

このJsonファイルは階層構造になっているが、全競馬場のデータから競走馬の成績を一覧するのに、階層が邪魔だったので、階層をはずしたプレーンな構造のJsonファイルも追加されたJsonファイルからPythonで作成している。

レースの多い競馬場だと1ファイルが25Mbくらいになる。少ないところでも10Mbはある。
3場開催だと、6ファイルになるので、80Mb程度をローカル環境からアップロードしていた。
CATVのインターネット環境を利用しているがアップロードは遅い。

XServerでDjangoが動作するので、サーバー上でPythonファイルを結合すればアップロードの負荷を減らすことができる。
もちろん、プレーンなJsonファイルも連続して作成する。

ScrapingしたJsonファイルを違う競馬場のJsonファイルに足すと大変面倒なことになるので慎重に操作していたが、Djangoなのでドロップダウンリストで競馬場を選択できるようにしたため、その点でも楽になった。

CAT