大陈岛古称东镇山或洞正山，公元5世纪中叶始闻。古代台州往朝鲜、日本的商贸船只皆取道该岛，并习惯以高梨头礁为航海标识。
上大陈岛古又称三女山或三盘山，一说为释教始祖如来佛的出世之山，史载“有二石如松状，号石松，潮平则没，舟行必避之”。
这松枝状的适淹礁很可能是珊瑚礁，今天渔民在大陈海底仍常能拖获小块珊瑚残骸，即说明这个问题。历史上正式以“大陈山”为名的，最早见《郑和航海图》记载。此后，大陈在500年风云大跌荡中历经巅簸。
16世纪中叶，大陈岛为海上抗倭战场之一。明嘉靖三十四年（公元1555年），明军水师于大陈洋追剿倭寇，并擒获通倭大盗。今下大陈岛风门岭有烟墩遗址，即为当时留守明军所筑。
清乾隆（1736～1795）年间，居民渐聚，浙江道特在岛上分设汛官，统领军、渔政务，此为大陈设治之始。至清末和民国初年，大陈居民已达万人规模，形成台州湾最繁荣的海上集镇，为“旧台（州）属洋面唯一之大渔村、大渔场、大渔埠，在昔全盛时代，渔获量年达 500万元以上，亦可谓旧台属之经济重心”。
第二次世界大战以前，大陈岛只是一个普通的海岛，二战期间曾被日本占领。
抗日战争期间，日军封锁沿海，土著武装王相义活动于大陈海域，率部阻击日军，并收复大陈岛，时称“海上豪客”。
二战结束后，中国***大挫蒋介石国民党政府，建立了中华人民共和国。国民党则败退台湾，但仍实际控制着大陈岛在内的诸多岛屿。
建国初，大陈岛又成为浙中南国民党残部的主要踞点，岛上人口激增至3万之众。台湾当局除蒋经国频繁出入大陈外，军政首要如蒋介石、胡宗南、俞大维、蒋纬国、毛人凤等，以及美军太平洋舰队司令史郭普、美驻台大使蓝钦和美军顾问团长蔡斯亦亲临大陈岛活动。岛上设立的机构亦名目繁多。
1950年代初的台海对峙中，大陈岛处于对峙的最前沿，军事地位相对提升，国民党当局基于战备需求，开始在大陈岛上修建硬件设施，成果比较显著的是教育和卫生方面。
1951年，开始推行基础教育，开办了许多学校，并成立第一所中学——中正中学。
1953年，卫生所成立，医疗资源和硬件设施的投入，使岛上卫生环境和居民卫生习惯明显改善。
1955年1月，解放军攻克一江山岛，大陈岛失去外围屏障，国民党当局被迫实施“大陈撤退”计划。2月7日，由蒲赖德指挥的美国海军第七舰队132艘、蒋军27艘舰船组成混合船队（包括6艘航空母舰）抵大陈海域，至12日，从大陈、竹屿、披山、渔山诸岛撤走国民党正规部队1万人、游击队4千人、居民1万7千余人（其中上大陈3937人，下大陈10974人，披山1083 人，渔山518人），以及军用物资4万吨和各村庙宇神像10余座，同时将遗留的码头、渔船悉数毁坏。整个大陈岛仅留下1位奄奄一息的老人。
1955年2月，国民党当局施行了大陈岛撤退，毁坏岛内设施，向台湾撤离，随后中国人民解放军进驻大陈岛。大陈岛收复后，人民政府立即开展重建工作。