陳衍自幼隨祖父讀書寫字誦詩， 10歲時(shí)已讀完《書》、《詩》、《禮》、《易》等國學(xué)經(jīng)典，能將“六朝人文長篇若兩都若哀江南諸賦皆背誦如流”，且“終年為詩，日課一首”，還對(duì)唐、元、明人筆記、小說廣有涉獵。但他在考場(chǎng)上并不如意，屢試屢敗，好不容易在光緒八年（1882年）才中舉，當(dāng)時(shí)二十七歲，同榜者中還有后來的外國名著翻譯家林紓。

　　1886年曾入臺(tái)灣巡撫劉銘傳幕府，隨軍招撫當(dāng)?shù)赝林?886年在北京時(shí)，與鄭孝胥共同標(biāo)榜“同光體”，并成為“同光體”閩派的代表人物，其評(píng)論著作有《石遺室詩話》。 1895年三、四月間，陳衍到京會(huì)試，時(shí)值甲午中日戰(zhàn)爭(zhēng)后期，清政府派李鴻章為全權(quán)代表赴日求和簽署《馬關(guān)條約》，舉國嘩然。陳衍起草、并與林紓等人聯(lián)名上書都察院，反對(duì)割讓遼東半島、臺(tái)灣等領(lǐng)土。1897年夏，陳衍被公推為《求是報(bào)》主筆，在其主事期間，《求是報(bào)》的內(nèi)容包括社論、諭旨恭錄、中外新聞、中外法律法規(guī)、譯文和逸聞、理論科學(xué)的譯介和小說連載等等，而且每期都有針對(duì)中國現(xiàn)狀的論說，因此讀者日多，風(fēng)行一時(shí)。當(dāng)時(shí)的湖廣總督張之洞正是由《求是報(bào)》看出陳衍的卓越的才干，于1898年邀請(qǐng)他到武昌，為其寫作，并任《官報(bào)》局總編纂。1898年春，京城會(huì)試之際，變法呼聲正高，陳衍作《戊戌變法榷議》，分議相、議兵等十條，提出自己的變法主張。同年，應(yīng)經(jīng)濟(jì)特科試，不中。戊戌變法失敗后，《官報(bào)》停辦，陳衍籌辦《商務(wù)報(bào)》，以研究實(shí)業(yè)為主，除了連載他同其下屬河瀨儀太郎翻譯的《銀行論》、《貨幣制度論》、《商業(yè)經(jīng)濟(jì)學(xué)》、《商業(yè)地理》、《商業(yè)開化史》、《商業(yè)博物志》、《日本商律》、《破產(chǎn)律》等外，還連載了《歐美商業(yè)實(shí)勢(shì)》，對(duì)世界各國的經(jīng)濟(jì)情況做了大量翔實(shí)報(bào)道。1907年陳衍到北京任學(xué)部主事、并兼京師大學(xué)堂文科教習(xí)。1911年清朝滅亡后，到南北各大學(xué)講學(xué)。1912年12月起，在梁?jiǎn)⒊鬓k的《庸言》半月刊上連載，數(shù)十萬言的長文，旁征博引，侃侃而談，甚獲好評(píng)。后來《石遺室詩話》結(jié)集出版，風(fēng)靡一時(shí)。“煌煌巨帙，聲教遠(yuǎn)暨海內(nèi)外，一時(shí)豪俊，奔趨其旗之下。”他要續(xù)輯詩話的消息傳出后，各地詩人竟“爭(zhēng)欲得其一言為榮，于是投詩乞品題者無虛日”。他得意地告訴朋友：“海內(nèi)詩人寄到之集，已閱過者殆滿間一屋，而架上案頭，有已選佳句不及收入者，尚不可勝計(jì)。”陳衍的詩歌理論對(duì)“同光體”詩人的上述主張作了較為系統(tǒng)的總結(jié)與發(fā)展，具有集大成的意義。他的詩作則瓣香白居易、楊萬里，多抒發(fā)閑適情趣，涵泳山水妙旨，遣詞造句，頗具新意，于“同光體”中自成一家。

　　1916年起編修《福建通志》，5年后《通志》全稿完成，凡600余卷約1000萬字，除鹽政、水利等數(shù)志外，皆由陳衍一人經(jīng)營編纂。該《通志》于1938年出版，迄今仍是省志中最為完備的一部。

　　1933年除夕，錢鐘書拜會(huì)他，當(dāng)時(shí)已年過七旬，錢其時(shí)尚在清華讀書。可謂忘年之交。錢在英國留學(xué)時(shí)陳衍還寄給他自己的詩作，其中有“青眼高歌久，于君慰已奢”詩句。錢鐘書早年“好義山、仲則風(fēng)華綺麗之體，為才子詩，全恃才華為之”，陳衍則批評(píng)他：“湯卿謀不可為，黃仲則尤不可為”，因而改弦易轍，奉衍若神明。三十年代初，陳衍仍對(duì)錢鐘書到國外念文學(xué)大惑不解：“文學(xué)又何必向國外去學(xué)呢！我們中國文學(xué)不就很好嗎？”

　　陳衍晚年寓居蘇州，與章炳麟、金天翮共倡辦國學(xué)會(huì)，并任無錫國學(xué)專修學(xué)校教授。1937年8月，陳衍在福州病逝，葬于西門外文筆山。