1927年9月，毛泽东领导中国工农革命军第一军第一师，在湘赣边界发动秋收起义。由于敌我力量悬殊，攻打长沙的计划受挫，毛泽东果断放弃长沙，率部队从浏阳的文家市向罗霄山脉中段江西省永新县三湾村转移。

　　转移途中，作战失利加上艰苦的长途行军，士兵情绪低落，一些意志不坚定的人离队而去。部队到达三湾时，只剩下不到1000人。毛泽东深感军队思想建设和组织制度不能适应革命形势的发展和需要。

　　利用在三湾村短暂休整的时间，以毛泽东为书记的前敌委员会召开会议，决定对工农革命军进行改编：将师建制缩编为团，建立党的各级组织和党代表制度，把党支部建在连上，班、排设党小组，连以上设党代表，团、营建立党委，重要问题都要经党委决定。同时实行民主管理制度，不准打骂士兵，官兵平等，经济公开。

　　三湾改编半个月后，起义部队来到了湖南省炎陵县的水口镇，部队有了一个相对安定的环境，并在这里进行了一个多星期的休整。面对改编后700多人的队伍，如何才能建设能担当革命大任的军队，如何才能把斗争之火引向全国，成为当时我们党面临的亟须解决的问题。

　　毛泽东利用空隙时间，找战士们促膝谈心，进行革命前途和信仰的教育，各连党代表也在战士中发现、培养了不少工农出身的积极分子。毛泽东感到，在战士中发展党员的条件已经成熟，便召集团、营、连党代表开会，研究连队建党工作。

　　1927年10月15日，根据提名，毛泽东在水口叶家祠堂主持了我军历史上的首次连队建党活动，陈士榘、赖毅、李恒、欧阳健、鄢辉和刘炎6名士兵宣誓入党，成了首批战士中的共产党员。自此，人民军队第一个连队党支部诞生了。

　　水口连队建党是对三湾改编确定的“支部建在连上”原则付诸实践的开端。从此，工农革命军的各个连队普遍建立了党的支部，实现了党指挥枪这一伟大的战略思想，使党对军队的绝对领导得以具体实现。