乳名辛龙宝，原名曾世裕。1911年2月2日生于江西省信丰县嘉定区庄上村一个贫苦农民家庭。幼年读书3年半。1928年参加本县农民暴动，次年参加游击队。1930年8月随游击队编入中国工农红军，并改名曾思玉。同年10月加入中国共产主义青年团。1931年11月转入中国共产党。曾任红22军第64师政治部宣传员，红12军第36师宣传队中队长、第108团连指导员、第107团代理政治委员、第109团政治委员，红1军团第2师司令部通信主任等职，参加了中央苏区第一至第五次反“围剿”和长征。到陕北后，任红1军团司令部侦察参谋，参加了直罗镇和东征战役。1936年入抗日红军大学学习，同年底调任中央革命军事委员会警卫3团政治委员，后任警卫1团政治委员，红2师政治部组织科科长，红2师第4团政治委员。抗日战争爆发后，任八路军第115师343旅685团民运股股长。参加平型关战斗后，调任343旅686团政治处主任，协助团长兼政治委员杨勇指挥部队参加了午城井沟、汾离公路伏击战等战斗。1938年底，任第343旅689团政治委员，随第115师由山西挺进山东，期间曾圆满完成护送晋东南分校400余名青年学员（亦称“山东营”）到达鲁东南，受到上级通报表扬。1939年12月鲁西军区成立，任政治部主任。后任鲁西军区运河支队政治委员，第115师教导第3旅政治部主任、政治委员，参加了冀鲁豫边区1942年反“铁壁合围”作战，曾指挥教3旅一部巧妙歼敌，创造了仅以20余人的代价毙伤日伪军百余名、掩护数千群众胜利冲出重围的辉煌战绩。同年底起，任冀鲁豫军区第二、第八军分区司令员，参与指挥了八公桥、昆（山）张（秋）、郓北、豫北等战役战斗。解放战争时期，任晋冀鲁豫军区第1纵队副司令员，冀察军区副司令员，冀热察军区司令员，晋察冀军区、华北军区4纵队司令员，第64军军长，率部先后参加了邯郸、清风店、石家庄、平津、太原、扶郿、宁夏等战役。1951年参加抗美援朝战争，任中国人民志愿军第19兵团第64军军长、兵团副司令员兼参谋长，参加了第五次战役和1951年夏、秋季防御作战。1954年回国后，入军事学院学习。后任沈阳军区参谋长、副司令员兼参谋长，武汉军区司令员，济南军区司令员。1980年至1982年任南京军区顾问。 

    是中共第九、第十、第十一届中央委员，第三、四、五届全国人大代表。

    1955年被授予中将军衔，获二级八一勋章、一级独立自由勋章、一级解放勋章。1988年获一级红星功勋荣誉章。

    著有《八年抗战》、《烽火岁月》等。