原名李新喜。1904年12月31日生于湖南省安化县兰田镇（今属涟源县）西坪村一个农民家庭。幼年读过两年私塾，10岁起开始干农活。1926年夏到长沙入国民革命军第8军，参加北伐战争。1928年7月参加平江起义，在中国工农红军第5军13师7团当排长。8月加入中国共产党。后任中队长，随彭德怀转战井冈山。红4军主力向赣南出击后，随第30团留守井冈山，参加第三次反“会剿”。突围时，带领中队抢占有利地形坚守四昼夜，掩护30团主力顺利撤离。1929年夏任红5军第4纵队8大队大队长。1930年1月随黄公略到永新，参加组建红6军的工作，先后任第3纵队代理纵队长、第4大队大队长、红3军（红6军改称）第9支队支队长、第9师27团团长。在第二次反“围剿”作战中，曾带领传令班乘夜间敌混乱之际，抓获100余俘虏。1931年第三次反“围剿”后，历任红8师、红7师、红9师师长。在第四次反“围剿”作战中，率红9师直插大龙坪，以极小代价全歼国民党军52师师部和1个团，俘师长李明。1933年任红1师师长，同年获二等红星奖章。1934年10月随红一方面军主力长征，率红1师先后参加强渡乌江、攻占遵义、四渡赤水、强渡大渡河和占领芦山城等战役战斗。1935年6月红一、红四方面军在四川懋功（今小金）会合后，调任红四方面军第31军参谋长。1936年11月随西路军转战甘肃，调任红9军参谋长。1937年3月西路军失败后，只身一人千里行乞，历尽艰险到达延安，复任红31军参谋长。

　　抗日战争爆发后，任八路军第129师386旅参谋长，随部在太行山地区发动群众，组织抗日武装，创建游击根据地。先后参加神头岭、响堂铺和晋东南反“九路围攻”等战役战斗。1938年5月随徐向前赴冀南抗日根据地，任第129师青年纵队政治委员。同年冬到鲁西北地区组建第129师抗日先遣纵队，任司令员兼政治委员，在黄河以北、津浦路以西地区组织开展抗日武装斗争。1941年后调任山西青年抗敌决死第1纵队副司令员、新编第1旅旅长兼太岳军区第1分区司令员，领导军民多次粉碎日伪军“扫荡”，巩固和扩大了根据地。1944年初到延安，入中共中央党校学习。抗日战争胜利后，率干部队到承德，任冀察热辽军区参谋长。1946年1月指挥冀晋纵队取得古北口保卫战的胜利。后调任北平军事调处执行部执行处副处长。1947年1月起任西满军区参谋长、东北民主联军后勤司令部参谋长、西线后勤司令部司令员兼政治委员、东北野战军后勤部副部长、第四野战军后勤部第二政治委员。参与组织了辽沈战役和东北野战军入关的后勤保障工作。

　　新中国成立后，任第四野战军副参谋长，参与组织实施海南岛战役。1950年夏调任东北军区后勤部部长，领导组建军区后勤机构，筹措战备物资。中国人民志愿军参加抗美援朝战争后，组织领导东北军区后勤人员保障志愿军进行五次战役的物资供应。1952年受命组建中国人民解放军后勤学院，任院长。1955年任国家石油工业部部长。1958年任解放军总后勤部政治委员。1966年任解放军高等军事学院院长。“文化大革命”中曾遭受诬陷迫害。1977年任解放军后勤学院政治委员、中共中央军委委员。1981-1988年任中共中央军委顾问。

    是第二、第三届国防委员会委员，第四、第五届全国人大常务委员会委员。1982年被选为中共中央顾问委员会委员。

    1958年被授予上将军衔，获一级八一勋章、一级独立自由勋章和一级解放勋章。1988年获一级红星功勋荣誉章。

    1995年6月25日在北京病逝。

    著有《李聚奎回忆录》。