1977年9月10日，中国科学院向国务院报送了《关于招收研究生的请示报告》，提出委托中国科技大学在京区各所的大力协作下在北京筹办研究生院。月底，报告获得批准，国家决定在中国科学院所属的66个研究所和四所大学恢复研究生制度。11月3日，经国务院批准，中国科学院与教育部联合发出《关于一九七七年招收研究生具体办法的通知》，标志着我国研究生教育制度中止了12年之后的恢复。

1977年12月19日，中国科学院批复同意研究生院机构设置和人员编制。1978年3月1日，中国科学技术大学研究生院在北京正式成立。3月31日，国务院批复中国科学院，同意严济慈任中国科学技术大学研究生院院长，马西林等任副院长。研究生院于1978年10月14日举行开学典礼。

研究生院设有数学、物理、化学、天文、地学、生物学、无线电技术、计算机工程、空间技术、环境科学以及科学组织管理等专业。中国科学院的73个研究所与208所高校及中国社科院、部委所属89个单位，于1978年招收了恢复研究生教育后的第一批研究生。1978年，中国科学院共招收研究生1400名，从中选择数、理、化、专业课和外语课基础较好的170人，准备出国留学。

1980年，五届人大常委会第13次会议通过《中华人民共和国学位条例》，学位条例规定“硕士学位、博士学位，由国务院授权的高等学校和科学研究机构授予”，以立法的形式确立了中国的研究生教育是由高等学校和科学研究机构共同进行。首任国务院学位委员会主任由时任中国科学院院长的方毅出任。

1981年5月20日，国务院批准实施《中华人民共和国学位条例暂行实施办法》。

1983年5月27日，国务院学位委员会和北京市人民政府在人民大会堂联合召开博士、硕士学位授予大会，共授予新中国首批18人博士学位，其中马中骐（高能物理研究所）、谢惠民（系统科学研究所）、冯玉琳（计算技术研究所）、黄朝商（理论物理研究所）、徐功巧（生物物理研究所）、徐文耀（地球物理研究所）6人来自研究生院。

1980年1月16日，严济慈同意李政道在美国同各大学联系招考研究生时，使用“中国科学院研究生院”名称。1982年，中国科学院党组批准研究生院在对外交流中，同时使用“中国科学院研究生院”和“中国科技大学研究生院”的名称。1986年10月，中国科技大学研究生院（合肥）成立。