贞观七年（633年），晋王李治遥领并州大都督，朝廷授李勣为金紫光禄大夫，代理并州大都督府长史。其后，李勣因父丧离职。在不久又获起用，官复原职。

贞观十一年（637年），李勣被改封为英国公，世袭蕲州刺史。当时，朝廷所封的世袭刺史都只是挂名，不到州郡就任，于是他又以并州大都督府长史的官职遥领太子左卫率。

李勣在并州任职共十六年，令行禁止，颇为称职。

李世民曾对侍臣说：“隋炀帝不能选贤安民，只知道筑长城来防备突厥，对世情的认知糊涂至此。朕现在委任李勣在并州，就使突厥畏惧他的威名逃走。边塞安静，难道不是远远地胜过筑长城吗？”

贞观十五年（641年）十一月，李勣被征调入朝，任兵部尚书。他尚未赴任，正遇上薛延陀真珠可汗夷男派其子大度设联同同罗、仆骨、回纥、靺鞨、霫等部族，领军二十万南侵突厥俟利苾可汗阿史那·思摩。

这薛延陀一直以来是敕勒部落的一员，从属于突厥，包括在600年前后分成的西突厥和东突厥。

628年，这些敕勒部落为夷男上可汗号，夷男最初没敢接受。但唐太宗听说后，希望建立一个以薛延陀为主的抗东突厥的联盟，派游击将军乔师望，册封夷男为薛延陀真珠毗伽可汗。随后，许多敕勒和突厥部落被夷男统治。随后，唐和薛延陀经常交流使者，薛延陀在东突厥的领土上扩张强大。

629年，唐太宗派大将李靖领导大军对东突厥反击，630年李靖抓获阿史那咄苾，成功地消灭了东突厥汗国。大部分东突厥人投降了薛延陀，有一部分投降唐朝。此后，薛延陀成为中国北方草原的主要力量，但仍臣服于唐。

638年，唐太宗在夷男的同意下，册封夷男的儿子多弥可汗拔灼和颉利苾为夷男属下的可汗。这表面上是对他们的尊重，而实际上是希望扩大他们之间的分歧。

639年，唐太宗派大将侯君集开展了对高昌的战争，同时夷男协助唐军也对高昌发起了攻击。但由于侯君集迅速征服高昌，薛延陀的援助并没有实际作用。

但是639年，唐朝的行动开始导致了唐与薛延陀之间的关系恶化。

阿史那咄苾被俘后，唐太宗将投降的东突厥人安置在唐朝边界之内，并没有册封一个新的可汗管理他们。然而，在639年，阿史那咄苾的侄子阿史那结社率（人名）阴谋暗杀唐太宗败露后，唐太宗改变了主意，册封了忠于唐朝的东突厥贵族阿史那思摩为新的东突厥可汗（俟力苾可汗），居于漠南作为唐和薛延陀之间的缓冲区。

夷男虽然感到担忧，但最初他还是向唐朝表示了接受这一安排。

641年，阿史那思摩终于定居在长城北面得定襄（今内蒙古呼和浩特）。与此同时，夷男听说唐太宗即将封禅泰山，认为唐军主力将随唐太宗东巡，便派儿子大度设开展对东突厥重大军事攻击，意图在唐提供援助以前，摧毁阿史那思摩的政权。

阿史那思摩撤回长城内，抵达朔州（今山西朔州），并向唐太宗紧急求援。

于是，唐太宗派出大将李勣、张俭、李大亮、张士贵和李袭誉率军攻打薛延陀。