祖父岑全,南宋秘书省校书。父岑珍,宋末仙居教谕。岑安卿生于元世祖至元二十三年,卒于惠宗至正十五年,年七十岁,与李孝光、危素友善,一生未仕。岑安卿的老师是姚北著名的志士厉元吉。厉元吉,南宋咸淳七年(1271年)进士,曾任乌程县尉。宋亡后隐退在家,元朝政府为笼络人心,遍访宋臣,任以高官。厉元吉不得已背井离乡,浪迹湖海,白首始归,著有《半山文集》12卷(一作《半村集》10卷),“多悲愤语”,表示他对故国的怀念之情。
岑安卿受其师的影响,不喜科举之业,乐于圣贤之道,“故岑氏多以科第显,而安卿独隐居乐道,以名节高天下”(《余姚六仓志》本传)。他筑室在上林湖畔的栲栳峰下,因号栲