陈庆之是今江苏宜兴人，自幼为萧衍的随从。当时围棋风靡一时，萧衍是个棋迷，据说他常常通宵下棋，能奉陪到底的不多，陈庆之是其中之一。因为陪萧衍通宵下棋不困的缘故，很受器重。萧衍起兵代齐自立后，封陈庆之为梁朝主书。在任期间，他散财聚士，常思效用。
大通六年（公元525年）正月，北魏徐州刺史元法僧叛乱不成，在彭城降梁，并请求梁武帝派兵接应。梁武帝以陈庆之为武威将军，与胡龙牙、成景俊率梁军前去接应。回军后，陈庆之任宣猛将军、文德主帅，并率2000人送豫章王萧综入镇徐州。
五月，魏遣安丰王元延明、临淮王元彧率2万来拒，屯据陟口。元延明先遣其将丘大千筑垒，以切断梁军的进军路线。陈庆之进逼其垒，魏军一鼓便溃。六月，萧综乘夜弃梁军降魏。
天亮后，梁军寻萧综不见，却见魏军在城外说：“汝豫章王昨夜已来，在我军中，汝尚何为”！梁军遂溃散。魏军入彭城，乘胜追击梁兵，复取诸城，至宿豫而还。梁军损失十之七八，只有陈庆之斩关夜退，所部得以全归。
真正使陈庆之的勇名天下皆知，则是在大通年间（公元527年—529年）的事情，这时的陈庆之刚过不惑之年。
当时北魏的朝廷因帝位而产生了内讧，重臣尔朱荣领兵占据洛陽，杀了幼小的皇帝和皇太后独揽权势。而皇族之一的北海王元颢就因此而亡命至梁。当时的梁主萧衍决定出手援助北海王，命陈庆之护卫北海王回到洛陽。其实萧衍的本意也就是命令他攻击洛陽，并让北海王即帝位。陈庆之虽对萧衍的命令觉得无谋，但最后还是接受了。于是历史上的战争奇迹出现了。
当时陈庆之手下只有七千骑，而当时魏境内兵力约有近百万之众，以七千对百万，结果想都不用想，但陈庆之毫无畏惧。他带着他的七千骑兵，从梁边境开始，在魏的领土内进击一百四十日，其间激战四十七回，水、陆、山、城市攻坚作战全部都获得胜利，共攻陷了三十二座城池，击灭十万余兵力，击败退约三十万兵力！造成了洛陽极大的震撼。“陈庆之来了！”这句话让魏朝廷闻风丧胆，连军队都放弃了洛陽逃走，更别说是皇帝和尔朱荣了，洛陽就这样变成了一个空城。
更让人吃惊的是陈庆之占领了洛陽后所率的七千骑几乎没有损伤！以至于当时就有人评论“以七千兵即能陷落洛陽的人，古今仅此一人”。陈庆之占领洛陽达六十五日，后由于孤军深入，只好向南撤退。自认为胜利的尔朱荣亲领了三十万大军追击，然而又令人不敢置信地，十一次的会战都为陈庆之所击退，直到梁军渡过一条河后，因为涨水淹至桥上，尔朱荣才放弃追击，不过这次不算是完胜。当陈庆之带着他的部队到达建康（南京）时，七千的兵数还剩下一半，这已经是相当的不错了。
陈庆之攻魏的作战虽因孤军深入，后援无继，而以失败结束，但也不能因此否定陈庆之的军事才能，陈庆之仅以7000之众北伐，连克魏军，以少胜多，占领了洛陽等30余城，自古用兵未之有也。所以梁武帝在陈庆之回建康后，仍封他为右卫将军，永兴侯，邑一千五百户。
此战以后，北魏国力大衰，大权握在尔朱氏手中。中大通四年（532年），高欢诛杀尔朱氏（参见高欢击尔朱氏之战），夺取北魏朝政大权。中大通六年（534年）和七年（535年），高欢和宇文泰先后立元善见和元宝炬为帝（参见北魏分裂之战），史称东魏和西魏，北魏从此灭亡。
北伐之后，陈庆之依然为梁战斗着。后来，北朝大将侯景曾以北朝将军的身份领了七万兵力攻打梁，与陈庆之的一万梁军作战而遭击溃，只剩他一个人逃回。
陈庆之在担任予州刺史的时候，由于农作歉收。有许多人饿死，他除了打开官仓，将储存的米麦分配给民众外，还从丰收之处急运米粮前来。予州的人民为这位将他们从饥饿之中拯救出来的刺史建立了祠堂，还称呼他为“仁威将军”。
陈庆之为人谨慎，每次奉诏，都要洗沐拜受；生活俭朴，只穿素衣，而且不好丝竹；虽身为武将，但射箭却不能穿札，而且也不善于骑马，但善抚士卒，能使部下为其效死力。更为难得的是陈庆之出自寒门，在梁朝历史上能达到这样成就的，只有他和俞药（官至云旗将军，安州刺史）。