1902年三江师范学堂由两江总督张之洞创建于南京北极阁下明代国子监旧址，南京大学肇始于此。“堪与京师大学堂比美”，亦为“中国师范学堂之嚆矢”。1906年，更名两江师范学堂。李瑞清亲提“嚼得菜根、做得大事”的校训，为学堂提出了培养中国之培根、笛卡尔的办学目标。
1913年，南大的另一个重要源头、始建于1888年、在美国加利福尼亚大学对外人在华所办大学编类中为教会大学内唯一A类的金陵大学，创建了我国最早的七年制医学教育。持有金陵大学学位的毕业生有资格直接进入美国大学的研究生院。
1914年江谦掌南京高等师范学校，以诚为训，确立“三育”（训［德］、智、体）并举和“四个平衡”的办学理念。其又与李叔同分别作词、谱曲，“大哉一诚天下动”的南大校歌传唱至今。1916年金大农林科开启中国四年制农林教育先河。
1919年，金陵大学文学院北大楼竣工，是为南京城内最高建筑；至1921内校舍几近全部完工，是为南京最大之建筑群。1920年，郭秉文校长在南高师的基础上组建国立东南大学，1921年，金陵大学开办了中国大学中的第一个农业经济系，卜凯（赛珍珠第一任丈夫）为农经系首任主任。
1927年，陈裕光执掌金陵大学成为中国历史上第一位担任教会大学校长且任期最长的中国人。1928年2月学校改名为江苏大学后，全校师生群情激愤，组成“改定校名请愿团”，要求政府将校名改为国立南京大学。1928年5月16日，国民政府行政院做出决议，江苏大学改称国立中央大学。
1946年11月，东还南京的中央大学正式复校上课。1947年，中大物理系主任赵忠尧受吴有训校长之托，在九华山下创办我国最早的原子能科学研究基地。1949年，国立中央大学更名为国立南京大学；1950年，径称南京大学（简称“南大”）。
1951年，金大与美国教会断绝关系，金陵女子文理学院并入金陵大学。1952年，在调整出工学、农学、师范等系科后，南京大学与金陵大学合并成立新的南京大学，校址由四牌楼迁至金大鼓楼校区。原南大校长潘菽留任，原金大校长李方训任新南大副校长。
1954年6月校务委员会决议，南大校史自1902年算起，为纪念“五二〇”运动，以5月20日为校庆日。1965年，南大匡亚明校长率先提出“打通文史哲，创办大文科”的通识教育理念。1978年2月，南京大学成为中国首批国务院确定的重点高校。
1980年南大在全国高校中率先开设大学语文课程。1988年，南京大学与清华大学等5所高校成为全国首批综合改革试点高校。同年，南大以18个国家重点学科位列全国高校第三位，仅次于北京大学、清华大学。
1984年，南京大学成为全国首批试办研究生院单位，培养出新中国第一位中国古代文学、地区史国别史、无机化学、构造地质学、矿床学和计算机专业博士。1991年以来，南大在世界顶尖期刊《自然》和《科学》上发表论文数高居全国大学榜首。
1992年-1999年，南京大学被国际权威的科研检索资料《科学引文索引》（SCI）收录的论文数连续8年位居中国大陆高校第一，被引用论文数也自1994年起连续7年保持第一。1996年，南京大学成为全国首批211高校。1999年，南京大学成为全国首批9所985高校之一。