任瑰他沒有理會副使的擔憂，張公謹等人也沒有辜負他的期望，在他們的堅守之下，叛軍並沒有攻入虞城，無奈撤軍走了；
這是他在大唐境內初次嶄露頭角，後來經過尉遲敬德等人的推薦，被李世民招入秦王府邸；
李世民和太子李建成與李元吉的關係日漸緊張，他向張公瑾詢問自保之策
張公瑾給出的對策，讓李世民非常的滿意；
所以在秦王府，他漸漸的得到重用，進入了秦王的核心權力內部；
在玄武門之變前夕，李世民猶豫不決，他想要通過占卜來測測這件事情的吉凶；
恰好，此時，張公瑾撞見了主公要占卜吉凶的現場；
他走上前將占卜所用的龜殼扔在地上，記載中他勸誡道“占卜都是為了決定疑難之事，現在事情並無疑難，已成定定局”。
張公瑾的意思是現在已經沒有占卜的必要，若是占卜的結果不好；
難道還草率的就不行事了嗎？
如此看來，占卜並沒有什麼好處，相反若是不好還會平白無故的給人壓力，何必呢？
李世民被他說服了，覺得非常的有道理，於是放棄了這個莫名其妙的想法；
玄武門之變後，李建成和李元吉身死，其黨羽想要為他們二人報仇，和秦王李世民拚個你死我活；
張公瑾非常的厲害，一人關上大門，太子和齊王的屬下馮立等人被關在大門之外，最終殘餘勢力潰散；
之後，李世民太子之位穩固，張公謹因功勞升為左武侯將軍，被封定遠郡公。
公元627年，張公瑾出任代州都督，他上書朝廷認為可以屯田，得到李世民的讚許；
此後，張公瑾經常性的針對時事政治發表自己的看法，都得到二鳳陛下的采納，
他的政治敏銳力和大局觀都是非常的快人一步，十分的優異；
公元629年，也就是貞觀三年張公瑾又上書朝廷，認為此時是討伐東突厥的最好時機；他例舉了六大理由
第一，東突厥可汗非常的殘暴，而且喜歡奢華，親小人遠賢臣；
第二，突利、拓設、欲穀設都得罪過頡利可汗，肯定會很支持，不反抗哪有什麼容身之所；
第三，塞北地區剛剛經曆過霜凍乾旱，這等天災使得東突厥他們正是十分缺少糧食的時候；
第四點，頡利可汗他對本族人不怎麼親密，倒是十分的信重外族人，而且胡人反複無常，根本就沒有什麼忠心可言，隻要大唐的軍隊一到，他們絕對會生內亂；
第五點，薛延陀等部落皆已叛逃，部落實力大打折扣；
第六點，漢人早年都到北方逃避戰亂，現在幾乎已經緩過來，他們近來活動頻繁，武裝自己，占據險要之地；
大唐的軍隊若是出擊，他們內部也一定響應；
張公瑾的這六大原因不僅成功的說服了朝中大臣還把二鳳陛下也說動了；
他任命兵部尚書李靖為行軍主管，而張公瑾為副主管一起去討伐東突厥；