于成龙卧病在床，一躺就是一个多月。他虽然是老爷，到此时也只得饱看仆人的冷脸。仆人们对于成龙的照料当然还算是周到的，只是都没有好心情好脸色，整天落泪想家。一个多月后，于成龙病情好转，逐渐恢复了健康，但五个仆人却又病倒了，一个个面黄肌瘦，如同寺庙壁画上的饿鬼。不久就病死了一个，其他几个越发地惊恐不安。

到了康熙元年（公元1662年）正月，仆人们开始闹情绪，要求于成龙放他们回家。于成龙想了想，自己运气太差，流落到这么个地方当官，仆人们有什么罪过，凭什么要连累他们呢？不如就放他们逃生去吧。这时候，有一个名叫苏朝卿的仆人义正词严地表示：“若今生当死于此，回去亦不得活。弃主人流落他乡，要他们何用哉！”

于是，苏朝卿就留下来侍候于成龙，其他三人领了些盘缠，急急地逃回家乡去了。

这时候，于成龙再一次后悔了。只有一主一仆，在罗城县实在是没法生活，更不要说好好当官治民了。他向上司写了一封公文，请示道：“边荒久反之地，一官一仆，难以理事，乞赐生归。”意思是你放我们活着回家吧，但上司没有答复。

三名仆人历尽千辛万苦回到山西永宁，向少爷于廷翼汇报了罗城的情况。廷翼也真是孝顺，又花钱雇了四名仆人，让他们到罗城侍候于成龙。这四名仆人走了几千里路赶到罗城，没几天就病死了三个，剩下一个也发疯了，成天狂呼乱叫，闹着要回家。这可把于成龙难住了，病仆一个人是走不回家的，得让苏朝卿陪着走，但苏朝卿走了，自己一个人可怎么办？于成龙征询苏朝卿的意见，苏朝卿以前说过大话，这时候其实也早就想家了，恨不得马上就飞回去。

于成龙长叹了一声，发放盘缠，让苏朝卿带着病仆回山西去，只把自己一个人留在了罗城。

这时候的于成龙，真是可怜到了极点，无奈到了极点。白天，要自己洗衣，自己煮饭，为了方便，经常只吃一顿饭，闲了才吃两顿。晚上睡觉时，为了防备盗贼和野兽袭击，头下枕一口刀，床前插两支枪。也许嘴里还要念一点观音弥陀、《太上感应篇》，请神灵多多保佑吧！这哪里像是在做官做老爷，简直就是中国版的“鲁宾逊”了。

此所谓“天将降大任于斯人也，必先苦其心志，劳其筋骨，饿其体肤，空乏其身，行拂乱其所为，所以动心忍性，增益其所不能”。兵法又说，“置之死地而后生”。命运把人到中年的于成龙抛弃在这么一个随时都会死亡的绝地之中，同时也把他放在了“天下第一廉吏”的起跑线上。人生的道路，该往哪边走，就看于成龙的了。