胡德济是大明知名开国名将胡大海的养子，在朱元璋刚刚起兵的时候，胡大海便带着养子胡德济一起投靠了朱元璋，跟着其四处东征西讨，立下不少战功。
对于胡德济是什么时候成为胡大海养子的，其原本的姓氏为什么？这种种问题都已经无法考据了，前期的各种战斗经历也没有详细的记载。只知道其在从攻婺州期间，曾经当做是有兵，引有城中敌军追击，最终大破元兵于梅花门外，擒其将季弥章。从此，胡德济开始在历史上闻名。
到了至正二十年，也就是公元1360年的时候，陈友谅进攻龙江，大有一举扫灭朱元璋的气势。而老朱则命令胡大海前去进攻信州，以此来吸引陈友谅的兵力。
信州被拿下来之后，朱元璋便任命胡德济为行枢密院同佥，让其把守在这里。不久后，陈友谅果真派遣别将李明道前来进攻，胡德济同其力战，双方不分胜负。等到胡大海率兵过来支援的时候，与胡德济形成了前后夹击的态势，成功将李明道及其宣慰王汉二等一起擒获。
不久后，胡大海本人便被早就投降的苗将蒋英所杀害，与此同时，处州那边的降将李佑之，也成功将院判耿再成杀害，此时由朱元璋所控制的浙东开始混乱起来，张士诚便立马派遣他的弟弟张士信去进攻诸全。胡德济闻讯赶紧从信州赶过去救援，在夜半时分，成功悄悄地莫进敌营中，将其轻轻松松地击败了。
此战过后，胡德济因功被擢浙江行省参知政事，并移驻新城，也就是现在的今浙江诸暨市南部，很快不甘失败的张士诚又派遣其麾下的大将军李伯升率领二十万大军前去进攻新城，胡德济顽强固守，等到李文忠将军率军前来支援时，与之前后夹击，将李伯升打得大败而归。
在胡德济驻守新城的时候，其部下有人悄悄地把家人给移驻到新城内，这种做法在当时很明显是违反规定的，因为在战乱年代，是不允许士兵和家人在一起的，要不然士兵带着家人一起当逃兵了，只有让士兵和家人隔开，才能够让其在当逃兵的时候有所顾忌。
李文忠获知这一点都，便选择把胡德济的都事罗彦敬抓起来杀了，想要以此来给胡德济一个简简单单的警告。
但李文忠的这一举动，机怒了胡德济的其他部将，他们纷纷吵闹着要给个说法。而胡德济却明显站在李文忠这边，称李文忠将军杀掉罗彦敬是请有可原的，他这是担心我们会作乱。所以这件事请就这样过去了，你要是还不服气，就不要怪我不客气。
朱元璋听说此事好，对胡德济一番称赞，认为他很有肚量，将其提拔为浙江行省右丞，镇守杭州，并责备了李文忠一番。
后来，胡德济跟着徐达一起参加北伐元朝的战争，但在攻打安定州时，他作战不利，其麾下多员部将都被徐达依照军法处斩，而胡德济本人则被押送往南京，供朱元璋处治。
朱元璋念在胡德济过往的功劳上，不追究他此次的战败过错，并任命他为都指挥使，镇守陕西，后来他便直接在任上病逝了。
