1927年10月至11月间，在围剿南昌起义军得手之后，李济深自恃实力强劲且为党国立下大功，自行成立了所谓的“临时军事委员会”并自任军委主席，而让得胜回师的黄绍竑代任第八路军总指挥。李对张发奎不肯帮他围剿起义军耿耿于怀，企图取消第二方面军的番号，直接指挥黄琪翔的第四军。
张发奎当然不甘拱手让出自己的嫡系部队，暗地里召集军官会议签名倒李。他非常需要政治上的靠山，前来广州的汪精卫自然就成了他合作的对象。汪精卫认为，李济深、黄绍竑都是广西人，与桂系李宗仁、白崇禧同声同气，因此对他们难以信任，还是觉得同为广东人的张发奎比较靠得住。这样，汪和张多次密谋，欲将李济深调开，然后乘机解除其部队的武装。
当汪精卫召集在广东的中央委员们讨论国民党四中全会问题的时候，突然接到蒋介石的邀请电报，令他又惊又喜！原来，仍然在野的蒋介石也非常反感特委会，因为蒋在那里没有得到特别的尊重。经过深思熟虑，蒋认定汪不足为患，特委会才是不能不除去的政治威胁。汪精卫灵机一动，想出了一个“一箭双雕”的计谋：赴上海同蒋介石合作，以扳倒特委会，入主中央；同时，骗李济深同往上海，给张发奎、黄琪翔创造夺权的机会。
于是，张发奎表现出准备放弃第二方面军总指挥的样子，对外声称要出洋，动身去了香港，以放松李济深的警惕。李济深完全没有料到汪精卫能干出这种事，准备动身去上海之前，将黄绍竑请来，代他坐镇广州。
任第四军参谋长的叶剑英获得了张发奎和黄琪翔充分信任，多次参加倒李的秘密会议，因此对内情了如指掌。叶判断，两霸相争，必有一败，大可利用。于是他完全支持张的主张，并答应率领第四军教导团为主力，进行逐桂之战。
这个教导团是由前黄埔军校武汉分校的师生组成的，其革命气氛继承了黄埔军校的传统，学员当中有大量的秘密共产党员。叶剑英看透了张发奎和黄琪翔的心思，他们手里兵力太少，舍不得放弃一个军事素质这么强的教导团，于是几次找他们陈述利害，终于把教导团调入广州。叶剑英为了避嫌，辞掉了兼任团长，但中共地下党对这个团的领导仍然不变。
11月16日，汪精卫同李济深乘军舰同赴香港并转道去上海。张发奎马上就潜回广州，与黄琪翔、李福林、薛岳等粤藉将领密会，决定将桂系驱逐出广东。
11月17日凌晨，叶剑英向教导团下达了战斗命令。全团官兵按照预定部署，一举攻克了黄绍竑的第八路军总指挥部，接着占领黄埔军校、虎门要塞等地，夺取了兵工厂，捣毁了国民党广州政治分会清党委员会等据点。
黄绍竑因得到密报而抢先逃走，其指挥部又被打掉，桂军陷入群龙无首的境地，很快就被各路粤军逐出广州，退往梧州。至此，张发奎发动的政变成功了。叶剑英和教导团为其立了大功，教导团的表现也完全赢得了张、黄的信任。
第二天，广州政治分会任命张发奎为广州军委会主席，顾孟余为广州政治分会主席，陈公博代理广东省政府主席，汪精卫的人马完全控制了广东。广州政变的消息一出，国民党内大哗。李济深在上海乃呈请中央剿办张发奎、黄琪翔，并痛斥汪精卫是骗子。
在国民党内讧之时，中国共产党正在充满激情地制定和执行“总罢工”和“总暴动”的计划。这与共产国际的错误指导有极大的关系，罗明纳兹认为中国革命是“不断高涨”，助长了党内的“左”倾情绪。不过，主持中央工作的瞿秋白错误地听从这种指导，也负有很大的责任。
1927年12月初，张发奎、黄琪翔率第四军主力离开广州，前去西江一带迎战桂系，负责广州市内防务的只有第四军军部、第五军军部加上少量部队。在这些部队中，第四军教导团及警卫团已被共产党员所掌握，以第四军参谋长身分坐镇广州的叶剑英、教导团团长和警卫团团长均为中共秘密党员。这似乎是天赐良机，共产国际觉得机不可失，指挥中共加快准备广州暴动的步伐。
12月6日，中共广东省委在省委书记张太雷主持下，召开紧急会议。共产国际派了代表来指导起义，为首的是德国工人运动的干部诺伊曼，他完全没有军事指挥经验，对中国和广州的情况也全然不了解，只知道生搬俄国城市暴动的模式。会议决定于12月12日举行起义，成立了起义军总指挥部和参谋部，人在香港的叶挺任总指挥，叶剑英任副总指挥。
起义部队的基本构成是教导团、警卫团和工人赤卫队，共计5000人。其中，教导团是绝对主力；警卫团人数不足，战斗力也不够强；至于工人赤卫队，不仅什么没有武器，绝大多数甚至都没有摸过武器，急需对他们进行军事训练，否则整体战斗力太弱。为此，中央已从各地向广州调进一些军事人才，包括黄埔一期的徐向前，他被任命为赤卫队第六联队队长。
不料，中共准备暴动的计划被教导团内的反共者告密。汪精卫在上海得知后，连夜派其妻陈壁君赶回广东，找张发奎要立即镇压暴动。然而，汪还不知道叶剑英是秘密共产党员，他的命令和张发奎的军令却让中共知道了。张太雷等人根据叶剑英和其他方面提供的情报，决定于11日提前起义。
1927年12月11日3时半，广州暴动开始。起义部队分数路向广州市各要点发起突然袭击，叶挺亲自指挥教导团消灭市区内的国军。在广州的苏联、朝鲜、越南的革命者也参加了起义。经过10个多小时的战斗，除第四军军部、军械库和第四军第十二师后方办事处等少数据点之外，珠江以北市区的国军、保安队和警察武装均被消灭，缴获各种炮20余门，各种枪支数千。
当日上午，广州市苏维埃政府宣布成立，中共中央政治局常委苏兆征为主席（在苏未到广州前由张太雷代理），叶挺出任工农红军总司令。并发布了《广州苏维埃宣言》、《告民众书》以及有关的法令。这时，从共产国际到中共中央，都试图将广州变成一个红色城市根据地。
身经百战的总指挥叶挺，没有被眼前胜利的喜悦冲昏头脑，始终警惕地关注着周围的敌情。在张太雷主持的军事会议上，叶挺向大家分析了敌情：“敌人决不会甘心失败，一定要进行反攻，张发奎从四周可以调来二三万军队，围打广州。我们正规兵力只有一个半团，现在有伤亡，工人赤卫队虽然人数有一两万，但配发了武器的只五六千人，多数人不会使用枪械，也不懂作战，敌人发起猛烈反攻，我们是难以抵挡的。”他提出的计划是：“我们应该撤退到海陆丰，与彭湃的农军汇合，发展壮大力量后再来打张发奎。”叶剑英、聂荣臻、恽代英等都支持叶挺的意见，认为应该撤退以保存实力，将来东山再起。
然而，共产国际代表诺尹曼坚决反对撤退，强烈要求在市内坚守。张太雷迫于压力，最后决定起义部队暂不撤退，就地迎战国军的反扑。于是，“广州苏维埃”不可避免地重复着“巴黎公社”的命运。
12月12日中午，广州市内制高点观音山阵地被国军攻占，并开始向起义军总指挥部攻来。张太雷乘坐汽车开往前线时，突然遭到伏击，不幸中弹牺牲！
当日，在英、美、日、法各国军舰和陆战队支援下，国军以优势兵力从四面向起义军进攻。起义军同敌军进行了血战，终因众寡悬殊，遭到严重损失，情况非常危急。
起义军总指挥部为保存革命力量，于12日夜下达了撤出广州的命令。叶挺、叶剑英等分别化装离开广州，转移到香港。由于事先无此计划，又无法通知所有的起义者，结果损失极其惨重。
起义军余部1000多人于13日凌晨撤出广州，到花县集结了一下，其中有领导人叶镛、袁国平、徐向前等。这支部队整编成了中国工农革命军第四师，下辖第十、十一、十二团，叶镛任师长，袁国平任党代表，徐向前任第十团党代表。
起义军师部听说朱德的队伍在韶关一带活动，3次派人去韶关却都没有找到，只好改变方向，决定去海陆丰，汇合工农革命军第二师。徐向前由此错过了与朱德合作的机会，对后来中共的武装斗争来说，未必不是因祸得福。