Python プログラムの性能向上のために有効だったこととか観点とか
PythonやSQLの処理速度を改善するための実践的な考え方をまとめました。ボトルネックの特定方法から、CPUバウンド・I/Oバウンド別の改善策、N+1問題、async、ストリーミング処理、インデックス、パーティショニングまでコード例付きで解説します。
Python 未分類 IPアドレス・FQDN・DNS周りの気持ち
自分のPCからgoogle.comにつなげたいという場面を例に、ネットワーク関連の用語の意味・なぜその仕組みがあるのかをメモ。あくまで雰囲気・大枠を知る程度にとどめ、詳しいことは述べない。前提として、接続側である自分のPC（接続側のことをク...
アルゴリズムとデータ構造 並列処理・並行処理を設計するときに最初に整理すべきこと
プログラムのパフォーマンス向上のため、並列処理・並行処理化する際に必要な観点や分割方針について整理ボトルネックの種類 ボトルネックが CPU バウンド or I/O バウンドのいずれかに該当した場合、並列処理にすることが有効になる。I/Oバ...
Python [python]strip()を使う前に知っておきたい仕様と落とし穴
Pythonのstrip()は文字列を削除するのではなく、引数に含まれる文字を両端から削除します。実務で発生した不具合を例に、removeprefix()・removesuffix()との違いやCPythonのソースコードを交えながら挙動を解説します。
SQl,DB 【PostgreSQL】ハッシュパーティションの設定方法と性能確認
PostgreSQLのパーティション機能（ハッシュ分割）について、概念図を交えて分かりやすく解説します。テーブル作成時の注意点やSQLの書き方、1,000万レコードを用いたSeq Scanの実行速度変化（850ms→200ms）など、導入効果を実証データ付きで紹介。
未分類 [Azure] Data Factoryの本番環境にmainブランチが反映されない
詰まったのでメモ。事象Data Factoryで開発した内容をmainブランチから「発行ボタン」を押して、本番環境へ反映しようとした。しかしながら、発行に成功したのに本番環境が変わっていなかった。Data Factoryのmainブランチ画...
SQl,DB [MySQL]クエリにかかった時間の計測方法メモ
MySQLのクエリの性能評価の一環として、クエリにかかった時間を確認することがあったのでメモ。前提MySQLは8.1系を利用しています。selectにかかった時間の確認explain analyze コマンドを実行することで、実際にクエリを...
SQl,DB [SQL] 複合インデックスで2つ目のインデックスで検索すると遅い理由を解説
MySQLの複合インデックスは左端のカラムを基準にソートされているため、2つ目のカラム単体では高速化できません。本記事ではB+ツリー構造を用いたインデックスの仕組みを解説し、最適な検索クエリの書き方を紹介します。
未分類 初心者向け：Googleスプレッドシートで2シートの値を比較してハイライトする手順(GASコードなし)
Googleスプレッドシートで2つのシートを比較し、値が異なるセルを自動的に強調表示する方法を紹介します。GASを使わず、条件付き書式を利用した簡単な手順で実現します。初心者にもわかりやすい解説付きです。
Linux SQL初心者向け：UNIQUE制約と主キーの違いを解説
SQLでデータベースを設計する際、一意性を保証するために使われるUNIQUE制約と主キー（PRIMARY KEY）。これらは似ているようで、実際には異なる目的と特性を持っています。