High Performance Computing on AWS 考试频率 ⭐⭐⭐

HPC on AWS

High Performance Computing on AWS

architectureHigh Performance Computing on AWSAWS
最終整理

Compute、Node 間通信、Storage I/O、Data Transfer のどこが Bottleneck かを見極めてから AWS Component を組み合わせる。

基本情報

項目内容
英語 / 正式名称High Performance Computing on AWS
中国語AWS 高性能计算架构
日本語AWS の高性能コンピューティング
復習優先度考试频率 ⭐⭐⭐
混同しやすい項目AWS Batch / ParallelCluster / EFA / FSx for Lustre

一言で理解

Compute、Node 間通信、Storage I/O、Data Transfer のどこが Bottleneck かを見極めてから AWS Component を組み合わせる。

要点整理

疎結合 Job は Batch と Elastic Node、密結合 MPI は Single-AZ Cluster Placement、EFA、並列 File System を重視する。

学習ポイント

  • ENA は通常の IP Network、EFA は対応する低遅延通信を改善する。
  • FSx for Lustre は並列 File I/O、S3 は永続 Dataset と結果保存に適する。
  • Batch は Job/Queue、ParallelCluster は HPC Cluster を管理する。
  • Spot には再試行可能な Job または復元可能な Checkpoint が必要。

よくある誤解

  • Instance を増やしても通信や Storage が Bottleneck なら速くならない。
  • Cluster Placement Group は通信性能を高めるが Multi-AZ 分散を提供しない。

重要ポイント

HPC は Compute、低遅延通信、並列 Storage、Scheduling の組み合わせ。