1945年8月12日、フランス南西部のコミューン、フュメル生まれ。 パリのエコール・デ・ボザールで建築とデザインを学ぶ。

在学中は建築事務所で働き、卒業後は2人のパートナーとともに建築事務所を設立し、いくつかのコンペティションに参加した。 1994年には自身の建築事務所を設立したが、そのほかにも2度、それぞれ5年間のパートナーシップを結んでいる。 ヌーヴェルは1968年の学生反乱に積極的に参加し、年齢と仕事の責任からだいぶ落ち着いてはいるが、不適合で反抗的な人間であり続けている。 1976年、ヌーヴェルは他の若いフランス人建築家たちとともに「マルス1976」の創設メンバーだった。 建築組合の設立にも携わった。

建築家としての仕事を始めて以来、ヌーヴェルはモダニズムやポストモダニズムのスタイルとは一線を画した独自の建築言語を創造するために精力的に取り組んできた。 多くの建築家に影響を与えたル・コルビュジエのガイドラインを否定し、先入観なしに新しいプロジェクトに取り組む。 このように、彼らの建物は互いに著しく異なるが、光と影だけでなく、透明性という共通項がある。 また、建物を周囲の環境に調和させることも重要視している。 1982年、彼は偉大な建築家の仲間入りをすることになるコンペで、パリのアラブ世界学院の建設プロジェクトを勝ち取った。 この時から、彼は流行のフランス人建築家となり、重要なプロジェクトの依頼を受けるようになり、パリのラ・デファンスに建設されるトゥール・サン・フィンのように、実現したものもあれば、実現しなかったものもあった。

ヌーヴェルは数々の建築賞やデザイン賞を受賞している。 1980年、建築アカデミー銀賞受賞。 1983年にはブエノスアイレス大学から名誉博士号を授与された。 1987年、作品全体に対して「建築グランプリ」、ミニマルな家具デザインに対して「イクエール・ダルジャン」を受賞。 彼の作品は、国立ソフィア王妃芸術センター美術館、エクスポセウム現代美術館、パリのポンピドゥー芸術文化センターなど、さまざまな国際美術館で展示されている。 2005年にはエルサレムでウルフ財団芸術賞を、2008年には200以上のプロジェクトが評価され、建築家として最高の賞であるプリツカー賞を受賞した。