1891年12月1日，江西臨川鐘嶺。又名俭如，字树人。父饶之麟，为清朝举人、拔贡生，曾任户部主事。母余峨之。

幼年在叔父和舅父教导下习四书经史。

1903年，入抚州中学堂学习。

1905年，只身去上海，就读于中国公学。后转入“中国新公学”，胡适曾为其英文老师。

1911年，以优异成绩毕业于上海南洋公学（上海交通大学前身）。

1912年，回临川中学（今抚州一中）任教半年。

1912年，考取江西首批官费赴洋留学，与之同批出国留学的还有陈寅恪、胡先骕、程孝刚等人。

1913年2月，前往美国，初入加州大学，后转入芝加哥大学。

1917年，获芝加哥大学物理系学士学位。同年，获物理学硕士学位。随即又考入普林斯顿研究生院。

1921年，获得普林斯顿大学硕士学位。

1922年，獲美國普林斯頓大學哲學博士學位，导师为卡尔·泰勒·康普顿（阿瑟·康普顿之兄）。

1922年，在美国权威杂志《物理评论》上发表论文《水银蒸气的低压弧光和它对荧光的影响》。这是当时气体导电研究的一项新成就。

1922年，返國，應南開大學校長張伯苓的聘請，來到南開大學任教授，创立物理系并任主任。学生中有吴大猷、吴大任、郭永怀、马仕俊、江泽涵、申又振、陈省身、郑华炽等。

1929年，赴德國萊比錫大學波斯坦天文物理實驗室進行科學研究，完成了《论铷和铯的基本线系的二次斯塔克效应》论文。

1932年，回国任北平研究院物理研究所研究员。

1933年，到北京大学任物理系主任。

1935年，兼任北京大学理学院院长。

抗日战争爆发后，先后在湖南长沙临时大学（西南联合大学前身）和昆明西南联合大学任物理系主任。期间培养了杨振宁、黄昆、张守廉、邓稼先、李政道等一大批优秀物理学家，影响深远。

1944年，他休假到美国，与A．H．尼尔森（Nielsen）等合作进行分子光谱研究。

1947年初回国，继续担任北京大学理学院院长和物理系主任等职务。

1948年，当选为中央研究院第一屆院士。

1949年拒绝登上南京政府接名教授去台湾的专机，继续在北京大学任教。

1949-1951年，继任北大理学院院长兼物理系主任、学校校务委员。

1952年北大院系调整时，辞去院、系领导职务。

1954年以後，先後當選為第二、三屆全國政協委員、四屆政協常委。

1955年当选为中国科学院学部委员。

1968年10月16日“清理階級隊伍”時，在北京大學燕南園41號上吊自殺身亡。

2000年，中国物理学会为纪念胡刚复等五位物理学界前辈，设立了胡刚复、饶毓泰、叶企孙（叶企荪）、吴有训、王淦昌物理学奖，其中饶毓泰物理奖授予光学、声学、原子和分子物理方面有突出成就的物理学家。