並列処理・並行処理を設計するときに最初に整理すべきこと

プログラムのパフォーマンス向上のため、並列処理・並行処理化する際に必要な観点や分割方針について整理

ボトルネックの種類
1. I/Oバウンド
2. CPU バウンド
並列処理化するための観点
1. 処理を分解する場合
2. データを分解する場合
並列処理(parallel)と並行処理(concurrent)
参考

ボトルネックの種類

ボトルネックが CPU バウンド or I/O バウンドのいずれかに該当した場合、並列処理にすることが有効になる。

I/Oバウンド

ファイルのDL/UL や、外部システムからのレスポンス待ちが長いことがボトルネックの場合を指す。レスポンスが届くまで待ち続けるより、待っている間に別処理を進めておくほうがかかる時間短縮に有利。代表的な要因は以下。

DBアクセス
ファイルのDL/UL, 読み書き
ネットワーク通信

上記のアクセス頻度をいかに減らすか？　という観点に立つことが有効になる。

例えば、for 文内にDBアクセスのコードがあった場合、頻度を減らすor キャッシュを残すなどが有効になる。

# for文の中でDB検索をする場合、I/Oがファイル数分繰り返されてしまう
for file in file_list:
    # DBアクセスしてデータ取得
    db_select = ...
    # 取得結果に対して何らかの処理
　　result = process(file, db_select)

↓改善策案

# DBアクセスしてデータ取得
db_select = ...
# アクセス後にfor文に入る
for file in file_list:
    
    # 取得結果に対して何らかの処理
　　result = process(file, db_select)

# もしくは、DBで取得したものを一時的に保管しておき、存在しない場合だけDBアクセス

db_select_cache = {}  # DBの取得結果をキャッシュする変数を設定
for file in file_list:
    db_select = (db_select_resultから取得)
    # db_select が空（取得できなかった）場合はDBアクセス
　　if not db_select:
        db_select = (DBアクセスする処理)
    
    # 取得結果に対して何らかの処理
　　result = process(file, db_select)