他在任上，没有住在衙门里，而是和妻子租住在城中一处独门独院。妻子由于身体原因很少出门，也不与那些太太们打交道，偶尔带着孩子出去，左邻右舍还以为这是他们的孩子。
而霍家......霍江有把握让亲戚们相信，这个孩子是他亲生的，至于父亲，估计还巴不得把那家人的孩子养在膝下，待到妻子身体养好了，再生几个亲生骨肉也就是了。
他这样想了，便这样做了。他向福伯保证，一旦高清辉和谢红琳回来，他便会让孩子认祖归宗，福伯答应了，因为这个时候，也没有更好的办法了。如果高清辉和谢红琳有个三长两短，这个孩子便是高谢两家嫡房里唯一的骨肉。
霍江还记得，福伯临走的时候，郑重地给他跪下，对他说道：“谢家自从近百年来，便有祖训，无论男女均可承继香火，高家迎娶小姐时，便曾许诺，长子承继谢家香火，次子承继高家香火，若是只得一子，便在孙辈里挑选一个认祖归宗。霍大人，这孩子是谢家血脉，您收养了谢家公子，责任重大，请您受小老儿一拜。”
谢家的祖训，霍江是知道的，当年父亲与谢先生议亲时便曾答应过，只是那时说的不是长子，而是次子，也就是说长子姓霍，次子姓谢。
而霍家和高家又有不同，虽然知道谢家的情况，但毕竟江山已易主，且当年霍家也没有出仕，与谢家没有君臣之谊。但是对于高家而言，高家是臣，谢家是君，谢家女儿下嫁高家，高家让长子承继谢家香火，是情理之中。
霍江这时才想到，谢先生放着眼前的高清辉而不顾，却应允了和霍家的亲事，想来最大的原因，就是想让谢红琳离开关外，像普通女子一样，嫁到霍家过上相夫教子的平静生活。
可惜最终谢红琳还是嫁给了高清辉，孩子只有一岁时，她便跟着他远走天涯，为免儿子跟着他们受风霜之苦，把孩子交给福伯照顾。