很多时候，小卢森不在自己妈妈身边的时候，又瞎又哑的翠萍就会遭到家中下人的欺辱。由于翠萍原原本本就是卢家的一个下人的出身，所以这些下人在面对翠萍时并没有那一份对待卢家上位者的那些尊敬或者是惧怕，更何况如今已经是又瞎又哑的、根本不得宠的翠萍了！
所以从小卢森懂事开始，就觉得家里的这些下人没一个是好东西，因为他们全都欺负自己的妈妈，每一次自己离开了再回去的时候，不是正抓到那些下人丫鬟正在欺负自己的妈妈，就是欺负完了之后自己妈妈大发脾气，由于看不见也说不出来，所以一通疯狂的发泄，把屋子里弄的乱七八糟、满地狼藉的。所以在小卢森的幼年时期，所有的心思都放在了要保护自己妈妈的身上。
后来在自己四五岁的时候，卢茂平有了自己的第四个儿子，也就是后来经常明目张胆的对卢森做出各种羞辱的卢麒生。从卢家四少爷卢麒生出生的那一天开始，自己渐渐失去了父亲卢茂平的全部关心，渐渐沦落到和自己母亲一个不受人待见的地位了。
所以小卢森从很小很小的时候就不太敢跟人开口说话，因为他心里总是有一种自卑。整个卢府上下全都对他那么冷淡，甚至卢府的那些上位者，诸如卢家家主卢茂平和卢茂平的妻子李夫人都对他有一种抵触的情绪，这些都让年纪还那么小的卢森对自己也产生了一丝怀疑，久而久之，小卢森的心里就有了一种根深蒂固的自卑。
也就是因为心中的这一分自卑，从小到大，卢森的身边没有一个真正交好的朋友，仅有的三个王宇坤、木小北、彦城，也还是因为父亲卢茂平给自己下达的命令才不得不交往的。这种没有朋友的生活令卢森的心里更加孤僻，也更加自卑了。