1917年4月26日、中国広州生まれ。 1935年に渡米し、当初はフィラデルフィアのペンシルベニア大学で建築を学び、その後マサチューセッツ工科大学(MIT)に移って建築工学を専攻した。 卒業後は第二次世界大戦の勃発で中国に戻ることができず、ボストン、ニューヨーク、ロサンゼルスでさまざまな建築の仕事を請け負った。 1945年から1948年までハーバード大学デザイン大学院の助教授。 米国籍を取得。 1954年のことだ。

1955年、ペイは自身の建築事務所I.M.ペイ&アソシエイツ(後のペイ・コブ・フリード&パートナーズ)を設立し、ケネディ図書館、中国銀行タワー、ルーブル美術館のクリスタル・ピラミッド、ロックの殿堂などの有名なプロジェクトを手がけた。 その革新的な構造により、1985年のプリツカー賞をはじめ、数々の賞を受賞している。