唐朝初年，由于国家刚刚建立，又进行了多年的统一战争，国力还不够强大，所以，北方的突厥还常进军内地，甚至直逼京师，使唐统治者感到不安。武德九年(626年)八月，唐太宗刚刚即位，突厥就兵临渭河便桥，大有进攻长安之势。由于唐太宗软硬兼施，迫其退兵，才使长安转危为安。

突厥所扶持的傀儡梁师都，还盘据陕北地区，不时向唐发动进攻。突厥还视梁师都所据地盘为自己所有。贞观二年(628年)四月，受突厥统治的契丹首领摩会率部降唐。突厥颉利可汗向唐提出要以梁师都交换契丹。

太宗对突厥使臣断然说道：“契丹与突厥异类，今来归附，何故索之!师都中国之人，盗我土地，暴我百姓，突厥受而庇之，我兴兵致讨，辄来救之，彼如鱼游釜中，何患不为我有!借使不得，亦终不以降附之民易之也。”尽管唐太宗敢于严词拒绝突厥干涉契丹与唐发展关系，但也说明突厥与唐还是处在分庭抗礼的敌对状态。唐太宗很快平定梁师都，既是统一全国的最后一步，也是拔除突厥在内地的据点。

唐太宗为了削弱突厥的力量，还采取了分化瓦解政策。贞观二年(628年)，被突厥统治的其他各族纷纷反抗突厥，共推薛延陀人夷男为可汗，夷男恐自己难受众望而不敢当。唐太宗抓紧这个有利时机，派遣游击将军乔师望间道册封夷男为真诛毗伽可汗，夷男欣喜万分，遂遣使入贡。贞观三年(629年)八月，夷男遣其弟统特勒到长安入贡，唐太宗赐以宝刀及宝鞭，并对其弟说：“卿所部有大罪者斩之，小罪者鞭之。”山夷男受宠，和唐朝的关系更为密切。

贞观三年(629年)十一月，唐太宗遣李靖、李世积分道出击突厥。贞观四年(630年)正月，颉利可汗的亲信康苏密以隋炀帝萧皇后与其孙杨政道降唐。萧皇后与杨政道是宇文化及被窦建德消灭以后，由隋义成公主(隋嫁到突厥去的宗室女)派人迎到突厥去的。突厥把他们当做政治资本，常与唐朝为敌。这时，突厥把他们送给唐朝，说明突厥已经没有能力再和唐朝进行对抗了。二月，唐军彻底打败突厥，杀义成公主，俘颉利可汗。

随着唐朝国力的不断强大与突厥力量的日益衰落，周边其他各族与唐朝的关系也逐步有所改善。一些依靠突厥支持而存在的割据势力也改变态度，归附唐朝。刘武周失败以后，苑君璋又统其余众，继续与唐为敌。贞观元年(627年)五月，苑君璋看到突厥内部矛盾重重，靠山不稳，遂率众降唐。贞观三年(628年)四月，被突厥统治的奚、溜等数十部背离突厥降唐。不久，契丹酋长也率其部落降唐。十二月，薛延陀遣使到长安入贡。贞观三年(629年)九月，突厥三千骑降唐，拔野古、仆骨、同罗、奚等酋长也相继归唐。十二月，突厥突利可汗入朝长安，唐太宗高兴地对侍臣说：“往者太上皇以百姓之故，称臣于突厥，朕常痛心。今单于稽颡，庶几可雪前耻。”贞观三年，户部奏称：“中国人自塞外归及四夷前后附者，男女一百二十余万口。”显然，这是周边各族与唐朝关系和谐的象征。

贞观四年(630年)三月，各族首领到长安，请求唐太宗为“天可汗”。突厥等一些民族的首领称“可汗”，共尊唐太宗为“天可汗”，是各族首领视唐太宗为天下共主。唐太宗颇感突然，他说：“我为大唐天子，又下行可汗事乎了”唐朝群臣与各族首领都高呼“万岁”，表示拥护。自此以后，唐太宗“以玺书赐西域、北荒之君长，皆称‘皇帝天可汗’。”各族首领有死亡者，唐太宗就下诏立“其后嗣。临统四夷，自此始也”。唐太宗对各民族的首领自称“皇帝天可汗”，说明他既保持了中原地区最高统治者的权威，也尊重了周边各族的习惯。

贞观二十一年(647年)正月，北方各族首领向唐太宗奏称：“臣等既为唐民，往来天至尊所，如诣父母，请回纥以南、突厥以北开一道，谓之参天可汗道，置六十八驿，各有马及酒肉以供过使，岁贡貂皮以充租赋，仍请能属文人，使为表疏。”唐太宗同意了这一要求。各族首领要求开辟参天可汗道，正反映了他们希望能够更方便地到达长安，与唐有更多交往的要求。