【実務で使える】プログラムの性能向上のために有効だったこととか観点とか

# pythonで ETL処理を例にする
## ETL対象ファイルのDL
logging.info("ファイルDLが開始")
dl_start = time.perftime()
file = ...(ファイルのダウンロード処理・読取）...
dl_end = time.perftime()
logging.info(f"ファイルDLが終了:かかった時間は {dl_end - dl_start}")

## ファイルの中を解析する処理
logging.info("ファイル解析が開始")
analysis_start = time.perftime()
result = ...(ファイルの中を解析する処理）...
analysis_end = time.perftime()
logging.info(f"ファイル解析が終了:かかった時間は {analysis_end - analysis_start}")

## DBテーブルへ登録
logging.info("DB登録処理が開始")
query_start = time.perftime()
query_result = ...(DBにアクセスしてinsertやupdateやdeleteなど)...
query_end = time.perftime()
logging.info(f"DB登録処理が開始:かかった時間は {query_end - query_start}")

# users, ordersがファイルから取得した内容と仮定。
# 各オーダーをしたユーザ名を表示したい場合を考える。
## users.json
users = [
    {"id": 1, "name": "Alice"},
    {"id": 2, "name": "Bob"},
    {"id": 3, "name": "Charlie"},
]
## orders.json
orders = [
    {"order_id": 101, "user_id": 2},
    {"order_id": 102, "user_id": 1},
    {"order_id": 103, "user_id": 3},
]

## ファイル量とともに遅くなる場合。各orderに対してusers全体から検索しているので、O(N^2)かかる。
for order in orders:                                              # O(N)
    # 毎回 users を先頭から検索している
    user = next(u for u in users if u["id"] == order["user_id"])  # O(N)
    print(order["order_id"], user["name"])

## 高速化の工夫：オーダーidをキー、ユーザ名を値とする辞書型配列で管理。
user_map = {user["id"]: user for user in users}

for order in orders:                           # O(N)
    # O(1)で取得できる
    user = user_map[order["user_id"]]          # O(1)
    print(order["order_id"], user["name"])

# 例） order の各レコードから、注文者の名前を表示したい場合

orders = (sqlでordersテーブルを検索。 select order_id, user_id from orders)
# 各レコードに対し、注文者名を表示
for order in orders:                                              
    # 各orderごとにユーザ名検索を繰り返す
    # select user_name from users where user_id = (order["user_id"])
    user = (sqlでusersテーブルから user_id に紐づくレコードを検索。
            select user_name FROM users WHERE users.user_id = order["user_id"]) )  
    print(order["order_id"], user["user_name"])

results =  (sqlでordersテーブルとusersテーブルを内部構造して検索。 
           select order_id, user_name from orders 
           inner join users on orders.user_id = users.user_id)

# 内部結合でのクエリ結果に対し、注文者名を表示
for result in results:
    print(order["order_id"], user["user_name"])

import requests

urls = [
    "https://example.com/file1.zip",
    "https://example.com/file2.zip",
    # ...
]

# urlsを先頭から逐次進める。urlが完了しないと次のurlに進めない
for url in urls:
    response = requests.get(url)

    with open(url.split("/")[-1], "wb") as f:
        f.write(response.content)

import asyncio
import aiohttp

urls = [
    "https://example.com/file1.zip",
    "https://example.com/file2.zip",
    # ...
]

async def download(session, url):
    async with session.get(url) as response:
        content = await response.read()

        with open(url.split("/")[-1], "wb") as f:
            f.write(content)

async def main():
    async with aiohttp.ClientSession() as session:
        tasks = [
            download(session, url)
            for url in urls
        ]
        # 各urlを並行して処理できる。同タイミングでurl1,url2,url3, など複数個の処理を開始できる
        await asyncio.gather(*tasks)

asyncio.run(main())

# 前）ファイル全体をDL→中身の処理を開始　の例
# large.csv (10GB)

with open("large.csv", "r", encoding="utf-8") as f:
    content = f.read()   # 10GBすべて読み込む

for line in content.splitlines():
    process(line)

# 後）ファイルの一部のみDL→中身を処理 を繰り返す方法
with open("large.csv", "r", encoding="utf-8") as f:
    for line in f:
        process(line)

CREATE TABLE users (
    user_id BIGINT,
    user_name STRING NOT NULL
)

# usersテーブルの user_id カラムにインデックス付与
# user_id をキーにして検索をする場合に高速化できる

CREATE INDEX idx_users_user_id
ON users (user_id);

CREATE TABLE orders (
    order_id BIGINT,
    order_date DATE NOT NULL,
    user_id BIGINT,
    amount NUMERIC
)
PARTITION BY RANGE (order_date);         # パーティションの親テーブルの設定。order_dateカラムの値で分ける


CREATE TABLE orders_202607               # パーティションの子テーブル。2026年7月のorderを管理
PARTITION OF orders
FOR VALUES FROM ('2026-07-01')
TO ('2026-08-01');

CREATE TABLE orders_202608               # パーティションの子テーブル。2026年8月のorderを管理
PARTITION OF orders
FOR VALUES FROM ('2026-08-01')
TO ('2026-09-01');