著名史学家陈寅恪先生提到，湘军实际上有三支，一是曾国藩、胡林翼、彭玉麟统帅的湘军，一是左宗棠、刘锦棠统帅的湖北楚军，一是江忠源、刘长佑、刘坤一统帅的湖南楚军（《寒柳堂记梦》）。然而，精于中古史研究的陈寅恪这一关于湘军的看法中，正误参半，如认为左宗棠、刘锦棠统帅的是湖北楚军这一说法就并不确切。左宗棠回湘募勇组成的楚军是主要来自原来的老湘营即王珍部下，皆为湘勇；刘松山是曾国藩部下，后被曾国藩派往西北支援左宗棠，刘松山战殁后由侄子刘锦棠统领其军，也不是什么湖北楚军。湘军中还有特殊的一支，即李续宾、李续宜兄弟的“李家军”，他们虽然接受胡林翼、曾国藩的调遣，但又保持事实上的相对独立。而陈寅恪所说的江氏、二刘为“湖南楚军”，确乃火眼金睛。这里重点说说湖南楚军，即“江家军”。
一
江忠源（1812—1854），字常孺，号岷樵，湖南新宁人。于道光十七年（1837）考中举人，后入京参加会试，可惜没有中榜。道光二十四年（1844），江忠源通过大挑被任命为教职，返回家乡。有人说，以江忠源的资质和才学，考个进士本不成问题，但他为了护送客死京城的朋友回籍，三次误了考期，断送了功名。这也是胡扯。事实上，江忠源护送朋友的灵柩回乡只有两次，一次是在道光二十五年（1845），先是新化孝廉邹兴愚在京久病而死，后是八月湘乡孝廉邓鹤龄出京后病死于途中。江忠源只好委托人送邹兴愚灵柩归陕西，自己护送邓鹤龄灵柩回湖南。第二次是一个叫曾如龙的同年客死京城，江忠源“归其丧”，与考试并无冲突。
道光二十七年（1847），瑶人雷再浩在新宁黄背峒聚众作乱。江忠源组织团练镇压，击破叛军巢穴，擒杀雷再浩，被擢升为知县，赴浙江候补出缺。道光二十九年（1849），江忠源担任秀水县知县，因政绩卓著，受到浙江巡抚吴文镕的赏识，后补任丽水县知县。咸丰帝即位，诏令部院九卿举荐贤才。江忠源在时任礼部左侍郎曾国藩的推荐下，入京朝见皇帝，但不久便因父亲去世，按制守孝。曾国藩不仅托四弟国潢从京城带回挽联一副、白金二十两献祭，同时劝他办团练：“粤西盗贼方炽，足下所居，逼迫烽火，团练防守，未可以已。或有企慕谋勇，招之从军，则苫块（古代居丧之礼）之余，不宜轻往，斯关大节，计之宜豫。”
同时，曾国藩提醒其不要夺情从军，但不久因左景桥上书言兵事中谈及江忠源，结果赛尚阿便奏调江忠源赴广西。等到曾国藩知道时，来不及阻止，赛尚阿业已出发。曾国藩又致信江忠源，劝其托疾以辞，“上不违君命，下不废丧礼”。但是，江忠源其时已经募勇五百进入广西。
区区五百乡勇既没有经历有效训练，也无朝廷谕旨，算不上成军，属于团练。可以说，江忠源是晚清湖南第一个组织团练的人，也是第一个出省征战的人，第一个与太平军作战而牺牲的将领。
咸丰元年（1851），在围攻永安之战中，清军二位统领向荣和乌兰泰在“围城必阙”还是“围城必锁”的问题上发生争执，江忠源调解不成，便称病回乡。假如这一次采取了乌兰泰“围城必锁”的策略，那太平军基本上到此就结束了。由此看，江忠源并无创建军队的想法。
咸丰二年（1852），太平军进攻桂林，江忠源闻讯后再次募勇一千，派刘长佑星夜赶往桂林，三败太平军，解桂林之围，被提升为知府。紧接着，江忠源追歼太平军至全州，在蓑衣渡设伏炮击太平军，炸死南王冯云山。然后，江忠源一路追击太平军至长沙，与城内守军共同保卫长沙，并打死西王萧朝贵于天心阁下。
咸丰三年（1853），江忠源升任湖北按察使，北上继续与太平军作战，“历生平未历之险，受生平未受之惊”。不久，奉旨赴向荣的江南大营帮办军务。行至九江时，听说南昌被围，便主动请求先救江西，坚守南昌九十余日，太平军被迫撤围而去。不久，江忠源升任安徽巡抚。
太平军再次围困武昌后，江忠源率部解武昌之围，将大部留在湖北，只率一千七百楚勇东向庐州，路上身染重病。太平军攻克桐城、舒城，庐州告急。庐州知府胡元炜谎称城中兵力、军饷充足，江忠源便留下一千兵马守卫六安，带病前往庐州。抵达庐州后，江忠源方知城内总共不过三千人马，而且粮草、军火短缺，但此时庐州已被太平军重重围困。江忠源虽知自己被胡元炜所骗，而且庐州难以保全，但仍不肯弃城退守。十二月，胡元炜私通太平军，太平军获知城中虚实，炸毁江忠源亲自驻守的水西门，攻陷庐州，江忠源先是自刎未遂，继而投水自杀。死时年仅四十二岁，是晚清湘籍将领中一颗闪耀的流星。
二
曾国藩在江忠源战死后为其写《江忠烈公神道碑》中才明确称其为“江家军”。在江忠源出征湖北、江西、安徽时，曾国藩每次应其请而募兵救援时，都将所募兵勇交给其弟统领。
所谓“江家军”，就是以江忠源的弟弟和亲戚为统领的军队。“江家军”阵营强大，其成员包括江忠源的三个弟弟：二弟江忠浚，字达川。三弟江忠济，字汝舟。四弟江忠淑，字幼陶。还有两个从弟：江忠义、江忠信。三个族弟：江忠珀、江忠朝和江忠著，计有八人。另外，还有两个新宁老乡，也是江忠源的亲戚：一是刘长佑（1818—1887），字子默，号荫渠，出身拔贡。
