pythonのループ処理の進捗を可視化するtqdmの使い方

pythonでデータセットの前処理とか
学習ループ（最近はtorchとかの方でいい感じに出してくれるからあんまやらなくなったけど）とかではpython処理が終わるのに数時間から数日かかることもよくありますね

そんな時に、今どれくらい進んだんだろう
いつPCシャットダウンしてもいいんだろうか？
とかを確認する際にプログレスバーがあると便利です

それをpythonではtqdmが提供してくれます

install

pip install tqdm

コード例

from tqdm import tqdm

for i in tqdm(range(5000000)):
    a = 100

# こんな感じの出力がくる
# 100%|██████████| 5000000/5000000 [00:01<00:00, 2858371.09it/s]

こんな感じでイテレータを入れるところにtqdmで括ってあげるだけですね。簡単

pandasのdataFrameとかのイテレーション処理では

for d in tqdm(df.iterrows()):
    hogehoge

こんな感じで書けば進捗確認ができます。

p.s. dfのiterrowは効率的ではないので最終手段くらいに思った方がいいでしょう。
大抵の場合pandasでもっと高速に処理できる方法があります