他一共有4子3女。纪汝佶，纪晓岚长子。生于乾隆甲子年，从公安、竟陵两派入，幼年时他极为聪颖，20岁中举人，可谓前途无量之人。但其后来随泰安知府朱子颖学习之时，迷恋上蒲松龄所著的《聊斋志异》而陷入其中不能自拔，纪晓岚流放新疆时，纪汝佶终因沉迷而不悟疯癫而死，年仅二十几岁。纪汝传，纪晓岚次子。监生，由《四库全书》馆议叙，历任湖北布政司经历，江西南昌、九江等府通判。纪汝似，纪晓岚第三子。附学生，由鸿胪寺序班加捐广东候补东莞县丞。《家谱》只载其为广东县丞，未记何县，民间传说其为东莞县丞。纪汝亿，纪晓岚第四子。事迹无考。大女嫁给卢见曾的大孙子卢荫文，二女嫁给袁照，三女夭折。