虽然施尔雅是绣庄幕后的老板，但她平时没什么事不会常来绣庄, 来得多了，会引起施尔嘉的注意, 若是被二房的人发现这间绣庄，那可不好了。
平日出府，她多穿男装，只有去年被萧家那些兄长们围堵, 她为了躲着他们，穿了几次女装。
绣庄的姑娘们，大多不知道施尔雅是女儿身, 施尔雅偶尔穿女装来绣庄，脸上都蒙着面纱, 且一进绣庄, 她就钻进铺子里特意为她留的厢房里，甚少与绣庄的姑娘们打照面。
姑娘们不知道施尔雅是施家的二公子, 姑娘们只知道绣庄的老板是城里大户人家的二公子, 所以就算姑娘们看到女装的她, 只会以为她是公子身边有头有脸的大丫鬟。
绣庄的姑娘们，都是施尔雅与嫣红从青楼楚馆中赎出来的, 再开了这间绣庄, 给了她们一个安身的地方。
在青楼楚馆待过的女子，看淡情爱，却讲义气, 视施尔雅为救命恩人，尽管不清楚施尔雅的身份背景，但仍旧对施尔雅忠心耿耿。
凡事不多问，不打探，看到绣庄与绮罗阁共用的那堵围墙，砸开一个口子，装上了一道小门，姑娘们也没有好奇打听，众人装作不知道有了这道门，安心做自己的绣活。
嫣红平日里打理着五味楼，绣庄这边有专门的管事，正是当初与嫣红同在群芳院，却小嫣红六岁的留香姑娘。
留香身世凄惨，年幼时父母双亡，上有两个兄长，均已娶妻。
兄长性子怯懦，两位嫂嫂都是厉害的狠角色，瞧着留香身子瘦弱不能做重活，等留香长大及笄后嫁人，她们还要准备嫁妆，公公婆婆留下的银钱要分一点给留香，时日久了，便起了恶毒心思。
待留香八岁时，她们合谋将留香卖进了楼子里，留香因为从小吃不饱，身材瘦骨如柴，且日日要去地里帮忙，皮肤蜡黄黝黑，头发更如稻草一般，明明是八岁孩童，看起来却只有五六岁的模样。
但留香五官长得精致秀丽，老鸨见的姑娘多了，知道留香底子好，日后好生养着，等皮肤白了，身材发育好了，定是个魅惑人的主，便给了那两个嫂嫂不少钱财。
可怜留香当时只有八岁，卖进楼子里，因年纪尚小，每日被老鸨逼着学吹拉弹唱，前三个月每天都要抽一鞭子，名曰将身上的贱骨头打软了，以后就会听话。
尽管留香从小没有爹娘疼爱，吃不饱穿不暖，但哪里挨过这样的打，一度想要一死了之。
那日留香实在熬不下去，夜深人静，走到后院水井边，想要跳井自尽，正好那日嫣红想要趁着众人睡着，再次出逃，撞见留香站在井边，二话不说就将人抱了下来。
所谓好死不如赖活着，嫣红宽慰许久，日常也偷偷接济她，给她送些伤药，甚至偷偷下厨做些好吃的糕点，日子久了，留香便没有了轻生的念头。
而另一头，留香的两位嫂嫂，拿着卖留香得来的钱财，两家均分，在村子里置办了不少田地，隐隐有了村中富户的样子，行事霸道，村民敢怒不敢言。
不过，善恶到头终有报，两年前，留香的两位嫂嫂，因家中银钱多，村中无人敢惹，行事越加嚣张跋扈。
她们两人进城赶集时，不知收敛，无意中撞到了大户人家的小厮，不小心将小厮手中捧着的，主人家刚买的一个青花瓷瓶给打碎了。
好巧不巧，那青花瓷瓶是主人家好不容易淘来的，据说是前几朝某王爷府里的摆件，是货真价实的古董，这一摔，近万两白银就没了。
两个嫂嫂被主人家的嬷嬷打了一顿不说，为了赔偿损失，两个兄长卖田卖地，甚至跑到群芳院去找留香，乞求留香帮他们