在长沙市的中心城区，营盘路与蔡锷路交会处，绿化丛中立着一块并不起眼的石碑，上书“湘绮楼故址”，石碑虽然因市政建设多次移动，但可以肯定的是，大名鼎鼎的湘绮楼就曾经屹立在附近。

光绪二年（1876）秋，王家接手营盘街陈鲁詹家祖宅，稍作修葺，并将后屋改建为楼房。改建只请了木匠，当是木楼，半月即完工。王闿运循旧居命名曰“湘绮楼”，作《湘绮楼铭》，由长女无非作篆。王家门生故交、族亲姻戚和社会名流，或叙旧，或问学，或求事，文酒诗会、喜庆悲吊、鱼雁往还，几无一日间断，湘绮楼一时闻名遐迩。

王闿运的妻妾、子女及三弟一家，二十余人聚居于此，地面是日常活动之处，楼上是读书作文、看月听风、游目远望之所。“楼之后，俯临荒园，旷望三方，上作重台，目送湘帆。”其时楼房很少，湘绮楼上视线无碍，远处湘江如席、麓山如带，极享登临之乐。“夜雷电大雨，子女并登楼看电光，奇采炫耀，更甚于江湖夜泊时。”王闿运乐观、幽默、重情，女儿、男儿一样平等对待，非常重视家庭教育。他每日亲自教子女识字作文，课余携往城隍庙、天妃宫、雷神庙看戏，于定王台看早梅，浩园看新柳，荷花池看紫荆。看到邻居小伙子放纸鸢，也带着儿女试放之，并感叹“引线亦颇有远趣”。每逢节日，与妻妾子女玩斗牌、天九、摊钱游戏，鸡鸣始散，王闿运兴致很高，常在日记里记录输赢。四个儿子、七个女儿均通经史诗画，广有聪慧之名，长女无非、四子代丰尤其优秀。王无非能作盈尺大字，篆书最见功力，求字者众多，亦常为父亲代笔；又善绘图，《湘军志》的地图就多出自她之手。王代丰最受父母器重，功课最优，又长于应对，经常代表父亲接待客人。

湘綺楼经常高朋满座。“与余游者莫不登焉”，常来者有朱雨田、李次青、邓弥之、曾昭吉、僧笠云、僧紫云等。朱雨田是著名的富商、慈善家，后参与维新新政；李次青、邓弥之均有湘军经历，诗文名声甚高，此时流连诗酒，有百战归来再读书的感慨；曾昭吉是“王门三匠”之一的铜匠，后为著名武器专家；笠云、紫云是诗僧，通佛经更通诗文。