但是，蒋介石凭借自己掌握的反动武装，很快开始镇压和屠杀革命群众。3月6日，赣州总工会委员长陈赞贤惨遭杀害。
3月11日，拥护孙中山先生制定的三大政策的国民党南昌市党部被迫解散，南昌市的总工会、农民协会、学联、妇女协会等机关先后被“反布尔什维克”的AB团分子捣毁。
3月17日，九江市党部和总工会被国民党特务分子职占……
一时间，南昌上空黑云滚滚，天昏地暗。
在这种形势下，朱德认为，反动派已经动手杀害革命同志，我们就要准备还击。他对军官教育团的一些骨干说：“AB团的捣乱表明，敌人已经杀进南昌了，我们必须认真对待。
3月18日，南昌市各界革命团体和数万名群众召开“追悼陈赞贤烈士”大会。身为南昌市公安局长的朱德坚决支持并参与了这次追悼大会，鼓励高举烈士血衣的群众上街游行，向反动势力示威，还公审了AB团的一名头目程天放。
当蒋介石留守南昌的宪兵团镇压群众时，朱德果断命令军官教育团和工人纠察队于3月30日解除其武装，并将宪兵团代理团长关麟征逮捕押送到总工会。3天以后，军官教育团和南昌市的群众还推翻了反动的国民党省党部，逮捕了一些AB团分子，迫使蒋介石留下来的心腹段锡朋化装逃离南昌，省政府主席李烈钧逃往上饶。