弟万丧，十年不听音乐。及登台辅，期丧不废乐。王坦之书喻之，不从，衣冠效之，遂以成俗。又于土山营墅，楼馆林竹甚盛，每携中外子侄往来游集，肴馔亦屡费百金，世颇以此讥焉，而安殊不以屑意。常疑刘牢之既不可独任，又知王味之不宜专城。牢之既以乱终，而味之亦以贪败，由是识者服其知人。
时会稽王道子专权，而奸谄颇相扇构，安出镇广陵之步丘，筑垒曰新城以避之。帝出祖于西池，献觞赋诗焉。安虽受朝寄，然东山之志始末不渝，每形于言色。及镇新城，尽室而行，造泛海之装，欲须经略粗定，自江道还东。雅志未就，遂遇疾笃。上疏请量宜旋旆，并召子征虏将军琰解甲息徒，命龙骧将军硃序进据洛阳，前锋都督玄抗威彭沛，委以董督。若二贼假延，来年水生，东西齐举。诏遣侍中慰劳，遂还都。闻当舆入西州门，自以本志不遂，深自慨失，因怅然谓所亲曰：“昔桓温在时，吾常惧不全。忽梦乘温舆行十六里，见一白鸡而止。乘温舆者，代其位也。十六里，止今十六年矣。白鸡主酉，今太岁在酉，吾病殆不起乎！”乃上疏逊位，诏遣侍中、尚书喻旨。先是，安发石头，金鼓忽破，又语未尝谬，而忽一误，众亦怪异之。寻薨，时年六十六。帝三日临于朝堂，赐东园秘器、朝服一具、衣一袭、钱百万、布千匹、蜡五百斤，赠太傅，谥曰文靖。以无下舍，诏府中备凶仪。及葬，加殊礼，依大司马桓温故事。又以平苻坚勋，更封庐陵郡公。
安少有盛名，时多爱慕。乡人有罢中宿县者，还诣安。安问其归资，答曰：“有蒲葵扇五万。”安乃取其中者捉之，京师士庶竞市，价增数倍。安本能为洛下书生咏，有鼻疾，故其音浊，名流爱其咏而弗能及，或手掩鼻以斅之。及至新城，筑埭于城北，后人追思之，名为召伯埭。
羊昙者，太山人，知名士也，为安所爱重。安薨后，辍乐弥年，行不由西州路。尝因石头大醉，扶路唱乐，不觉至州门。左右白曰：“此西州门。”昙悲感不已，以马策扣扉，诵曹子建诗曰：“生存华屋处，零落归山丘。”恸哭而去。
安有二子：瑶、琰。瑶袭爵，官至琅邪王友，早卒。子该嗣，终东阳太守。无子，弟光禄勋模以子承伯嗣，有罪，国除。刘裕以安勋德济世，特更封该弟澹为柴桑侯，邑千户，奉安祀。澹少历显位，桓玄篡位，以澹兼太尉，与王谧俱赍册到姑孰。元熙中，为光禄大夫，复兼太保，持节奉册禅宋。
琰字瑗度。弱冠以贞干称，美风姿。与从兄护军淡虽比居，不往来，宗中子弟惟与才令者数人相接。拜著作郎，转秘书丞，累迁散骑常侍、侍中。苻坚之役，安以琰有军国才用，出为辅国将军，以精卒八千，与从兄玄俱陷阵破坚，以勋封望蔡公，寻遭父忧去官，服阕，除征虏将军、会稽内史。顷之。征为尚书右仆射，领太子詹事，加散骑常侍，将军如故。又遭母忧，朝廷疑其葬礼。时议者云：“潘岳为贾充妇《宜城宣君诔》云：‘昔在武侯，丧礼殊伦。伉俪一体，朝仪则均。’谓宜资给葬，悉依太傅故事。”先是，王珣娶万女，珣弟珉娶安女，并不终，由是与谢氏有隙。珣时为仆射，犹以前憾缓其事。琰闻耻之，遂自造辒辌车以葬，议者讥之。
太元末，为护军将军，加右将军。会稽王道子以为司马，右将军如故。王恭举兵，假琰节，都督前锋军事。恭平，迁卫将军、徐州刺史、假节。孙恩作乱，加督吴兴、义兴二郡军事，讨恩。至义兴，斩贼许允之，迎太守魏鄢还郡。进讨吴兴贼丘尪，破之。又诏琰与辅国将军刘牢之俱讨孙恩。恩逃于海岛，朝廷忧之，以琰为会稽内史、都督五郡军事，本官并如故。琰既以资望镇越土，议者谓无复东顾之虞。及至郡，无绥抚之能，而不为武备。将帅皆谏曰：“强贼在海，伺人形便，宜振扬仁风，开其自新之路。”琰曰：“苻坚百万，尚送死淮南，况孙恩奔衄归海，何能复出！若其复至，正是天不养国贼，令速就戮耳。”遂不从其言。恩后果复寇浃口，入余姚，破上虞，进及邢浦，去山阴北三十五里。琰遣参军刘宣之距破恩。既而上党太守张虔硕战败，群贼锐进，人情震骇，咸以宜持重严备，且列水军于南湖，分兵设伏以待之。琰不听。贼既至，尚未食，琰曰：“要当先灭此寇而后食也。”跨马而出。广武将军桓宝为前锋，摧锋陷阵，杀贼甚多，而塘路迮狭，琰军鱼贯而前，贼于舰中傍射之，前后断绝。琰至千秋亭，败绩。琰帐下都督张猛于后斫琰马，琰堕地，与二子肇、峻俱被害，宝亦死之。后刘裕左里之捷，生擒猛，送琰小子混，混刳肝生食之。诏以琰父子陨于君亲，忠孝萃于一门，赠琰侍中、司空，谥曰忠肃。
三子：肇、峻、混。肇历骠骑参军，峻以琰勋封建昌侯。及没于贼，诏赠肇散骑常侍，峻散骑侍郎。
混字叔源。少有美誉，善属文。初，孝武帝为晋陵公主求婿，谓王珣曰：“主婿但如刘真长、王子敬便足。如王处仲、桓元子诚可，才小富贵，便豫人家事。”珣对曰：“谢混虽不及真长，不减子敬。”帝曰：“如此便足。”未几，帝崩，袁山松欲以女妻之，珣曰：“卿莫近禁脔。”初，元帝始镇建业，公私窘罄，每得一，以为珍膳，项上一脔尤美，