9 月 14 日，毛泽东在浏阳东乡上坪召开紧急会议，果断改变原有作战部署，下令各路起义部队停止进攻，迅速退到文家市集中。9 月 19 日，毛泽东在文家市主持召开前委会议，否定了「取浏阳直攻长沙」的主张，决定把起义部队向南转移到敌人力量薄弱的农村地区，以保存革命力量，再图发展。从进攻大城市到进攻农村地区，这是中国革命史上的重大转折。
起义部队在向南转移途中，处境十分困难。部队中党的组织不健全，思想比较混乱；缺乏弹药，没有给养，指战员伤病残增多；在江西省萍乡县芦溪又遭敌人伏击，总指挥卢德铭牺牲。因此，许多人情绪低落，不少人离队。
为了解决起义部队面临的困境，加强党对革命武装的领导，1927 年 9 月 29 日，部队到达江西省永新县三湾村时，毛泽东决定对起义队伍进行改编，这就是三湾改编。三湾改编的主要内容是：对部队进行重新编制，由原来的一个师缩编为一个团；在起义部队中建立党的各级组织和党代表制度，党的支部建在连上，班、排有小组，连以上设党代表，营、团建立党委；在连以上建立各级士兵委员会，实行民主制度，在政治上官兵平等。这样，就从组织上确立了党对军队的领导。
「支部建在连上」这一原则的提出和贯彻执行，极大地增强了人民军队的战斗力和向心力。毛泽东同志曾说，「红军所以艰难奋战而不溃散，『支部建在连上『是一个重要原因」。三湾改编，改变了起义部队中旧军队的习气和不良作风，使部队的精神面貌焕然一新。从此，党开始领导和建设起一支强大的无产阶级领导的新型人民军队。
链接：毛泽东提出「支部建在连上」
秋收起义失败后，面对起义队伍士气低落、思想混乱的状况，毛泽东开始考虑怎样才能保住和掌握住这支革命武装，并对其加以改造，真正成为党领导的有战斗力的队伍。
在转移过程中，他不顾自己的脚伤，一边指挥队伍，一边亲自进行调查研究。经过考察，他发现凡是拥有一定数量党员的连队，士气就高，作战英勇，长官也能得到有效的民主监督。尤其是由何挺颖任党代表的连队，党员多，注重发挥党员积极作用，基本没有逃兵。
毛泽东多次找何挺颖谈话，听取意见。何挺颖说：我看要从军队的党组织去考虑。部队党组织太少，党员人数也不多，这样就抓不住士兵。他还先后与参加过北伐战争的宛希先、何长工、韩伟等谈话，了解北伐军党组织建设情况，典型代表叶挺独立团是团建支部、营建小组，共产党员发挥了很大作用。这些情况让毛泽东下定决心，要加强队伍中党的建设，从组织上确保党对革命力量的绝对领导，再造一支新型革命军队。