明洪武四年（1371年），明太祖朱元璋开国的第四年，在河套地区的黄河北岸设置东胜卫，属山西行都指挥使司，卫城遗址在今内蒙古自治区托克托县的双河镇。这一年，明廷还设置了河州卫（位置在今甘肃省临夏市）、辽东卫（位置在今辽宁省瓦房店市）、定辽都卫（位置在今辽宁省辽阳市）。洪武五年（1372年），“冯胜、傅友德帅开国公常升等分行山西，籍民为军，屯田于大同、东胜，立十六卫”（《明史》）。明朝初期在今内蒙古地区设置的卫所，自东而西依次有兀良哈三卫诸卫、大宁诸卫、开平诸卫、东胜诸卫、宁夏诸卫、甘肃诸卫等。其中东胜、宁夏两地的经营，增强了河套一带前哨的防卫，弥补了整个北边防御中最薄弱的环节。东北到外兴安岭，东到渤海，西到黄河中上游，北到阴山，明王朝早期的北方疆域边界徐徐展开，蒙元势力被远远驱赶到了漠北，东胜卫所在的黄河中部整个河套地区尽入明朝版图。

明东胜卫城墙遗址经历了600余年，如今基本完好，当地人们管它叫“城圐圙儿”。四面城墙大体围成了正四边形，周长大约8.7公里。在东胜卫城圐圙内里的西北角，另外有一处四边形的城址，西墙与东胜卫城的墙重合，北、东、南墙独立，周長大约2.2公里，这便是元代的东胜州城遗址。从卫星地图上看，元东胜州城偏居东北角，面积远远小于明东胜卫城。元王朝统一全国后，在东胜州至中兴府（今宁夏银川市）之间的黄河上设立了水路驿站，东胜州因水运发达，在元代有一定的知名度，这主要得益于它所处的地理位置，城筑在高冈之上，东北是一望无际的广阔平原，西南是黄河古渡，既是通达东西、连接南北的交通要冲，又是古代黄河的渡口津关所在，因此成为历代兵家必争的战略要地，也是和平时期的经贸繁华之地，千百年来的持续累积，给这里留下了丰富的历史遗迹，也出土过许多重要文物。

明东胜卫城规模宏大、修筑坚实，然而它真正被作为明帝国疆域掌握在明军的手里，只有短短的30余年。根据《明史》记载，洪武二十五年（1392年）八月，分置东胜左、右、中、前、后五卫。洪武二十六年（1393年）二月，罢东胜中、前、后三卫，同时设甘州右、中二卫（遗址在今张掖市）。永乐元年（1403年），又撤销了东胜左、右卫，同时设置宣德卫（遗址在今内蒙古自治区凉城县）、玉林卫、云川卫（遗址在今内蒙古自治区和林格尔县）、镇虏卫（遗址同在今内蒙古自治区托克托县）等。