1899年9月19日，出生于上海市一个家境贫寒的职员家庭。
1913年，初中毕业。因为家境贫寒，无力升入高中。 恰逢民国政府工商部在北京创办地质研究所到上海招生。他应试并成为当年的27名正取生之一。
1913年—1916年，在农商部地质研究所学习地质学，在30名学员中岁数最小，以优异成绩毕业，为中国地质科学界“十八罗汉”之一。
1916年11月1日，他和叶良辅等5名优秀毕业生被任 命为农商部地质调查所调查员。
1917年—1920年，被选派赴美留学深造。先在斯坦福大学，第三年转入威斯康星大学读研究生，获理学硕士学位。
1921年—1923年，发起成立中国地质学会，任首届理事会书记。在《甘肃玉门石油报告》中论述地质构造对油气生成及运移，储存的控制，揭示背斜层的重要意义。同期，发表《有关中国地质调查所收到的第一块陨石的成分和构造的初步研究》和《中国陨石之研究》两篇论文，是中国陨石学最早期的探索。出版中国第一本煤地质学专著《煤》。
1924年—1937年，先后任教于北京大学、清华大学和北京师范大学地质系，曾任北京大学地质系主任、清华大学地质系主任和北京师范大学地质系主任。桃李满天下。期间曾赴德国和法国做访问学者，出版普通地质学教材《地质学（上编）》，并参与华南区域地质和矿产调查。发表《中国中生代末第三纪初之造山运动火成岩活跃及与矿产形成的关系》等一系列论文和中国第一本石油地质专著《石油》、《煤之成因与分类》，以及《中国之石油》，编制了《中国各种储油区域油苗、油页岩及地沥青分布图》，同时发表《中国之石油储量》，最早提出陆相生油理论，为在陕北发现中国的第一个油田（玉门油田），奠定了理论基础。
1938年—1950年，主持矿产测勘处。发现或指导发现了淮南八公山煤田、福建漳浦铝土矿、安徽凤台磷矿、南京栖霞山铅锌银矿、甘肃白银厂铜矿等一批重要矿产。其中在南京栖霞山，一钻成功，如有神助。同时期发表的《铀矿浅说》，是中国铀矿地质学研究的起点。
1948年，当选为中央研究院第一届院士。发表《江南探油论》，第一次指出黑龙江省可能有油。
1951年—1956年，担任全国地质工作计划指导委员会副主任，兼计划处处长，中华人民共和国地质部总工程师、地质部普查委员会常委兼总工程师。着重于矿产分布规律的综合研究，发表《中国矿产的分布规律及其预测》。如对甘肃白银厂铜矿的地质评价意见，为第一个五年计划的铜矿基地建设提供了理论依据。其与黄汲清共同编写的《普查须知》为当时全国所有地质队人手一册。被业内人士认为是使用最广的一本普查工作指导书。同期被选聘为中国科学院学部委员，并开始兼任燃料工业部石油地质顾问，发表《中国的产油区和可能含油区》、《石油地质的现状、趋势及今后中国勘探石油的方向》等一系列论文，指导中国的石油普查，为大庆等油田的发现提供了理论依据。
1957年—1966年，谢家荣与其长子谢学锦一同被打成右派，工作重点转移到成矿理论研究和总结中国矿产地质问题，开始撰写《中国矿床学》。
1966年，文革开始后，因不堪忍受造反派的批斗冲击，于1966年8月14日在北京服安眠药自杀，69岁。其后约一月，其妻吴镜侬亦服安眠药自杀。
