起初，张说主持集贤院事务，曾经向玄宗推荐张九龄，认为张九龄可以进集贤院任学士，他的才学胜任皇帝的顾问。张说去世后，玄宗想起张说的话，召张九龄进京，任命他为秘书少监、集贤院学士、副知院事（副院长），又提拔为中书侍郎。中书侍郎是中书省的副长官，地位仅次于中书令，已经是副宰相了。其时张九龄多次向玄宗发表意见，陈述自己的政治见解，很多被玄宗采纳。但张九龄不愿意炫耀自己，从不向别人自夸，那些取得良好效果的举措，别人都以为出于玄宗的圣断，实际上出于张九龄的建议。 正当张九龄政治事业如日中天时，他的母亲病故，他需丁忧还乡。古时候官员因父母去世而离职守丧，称为“丁忧”，根据礼制要求，一般以二十七个月为期。但玄宗觉得朝廷里离不了张九龄，没有等到期满，就召他返京任职。开元二十一年（733年）十二月，任命他为中书侍郎、同中书门下平章事。那时在官名后加一个“同中书门下平章事”，此人就列名宰相。第二年正月，玄宗至东都，张九龄从韶州赶到洛阳，见到玄宗，他又提出让他尽自己的孝心，还乡丁忧，等期满再返朝任职，但玄宗没有答应。这一年又提拔他为中书令，兼修国史。兼修国史，对当宰相的人来说，是一项很光荣的工作。 人的性格中有一种潜在的难以改变的方面，我们通常称之为本性，而且大家都知道“江山易改，本性难移”。张九龄属于急切性格的人，对自己要求甚高，对别人的期望值也不低；他感觉敏锐，有先见之明，而对私人关系间的微妙复杂却表现迟钝；他太过于正直，太过于投入，对待人生全力以赴；他有胆量，又具有出类拔萃的活动能力，但由于抱着正直、主观的态度与对方交往，偶尔会尝到苦头，人际关系紧张。这决定了他与日益走向腐化的玄宗，和口蜜腹剑的李林甫不可能有长久的默契与合作。 当他与玄宗意见不和时，他没有像李林甫那样随声附和，而是据理力争。唐朝东北地区的奚、契丹，时叛时和，成为朝廷东北边患。张守珪任幽州节度使，多次击破奚、契丹的侵犯，玄宗对张守珪很赏识，想提拔他任宰相。张九龄劝玄宗说：“宰相是代天子治理天下的重要职务，不是用来奖赏战功的官职。”玄宗说：“只给他宰相的称号，并不让他实际担任宰相，可以吗？”张九龄说：“不可以。孔子说过，官称和权力是不能借给别人的，因为它是君王的工具，具有严肃性。而且张守珪不过是打败了契丹，陛下就任命他为宰相；如果他把奚、契丹和突厥都消灭了，陛下用什么官职奖赏他呢？”玄宗只好打消了起初的念头。 如前所述，担任张守珪手下平卢讨击使的安禄山讨击奚、契丹时，由于恃勇轻进，打了大败仗，即潢水之败。张守珪、唐玄宗都爱惜安禄山的将才，不忍心杀他。张九龄却坚持依法处斩。结果玄宗不仅赦免了安禄山，还引起玄宗对张九龄的老大不高兴。据说张九龄认为：“臣观其貌有反相，不杀必为后患。”所谓据其相貌而预言将来必反，可能是后世传说附加之辞。我们认为张九龄之所以坚持要杀安禄山，恐怕主要是从抑制边功的动机出发，这与他反对任命张守珪为宰相是一致的。唐玄宗好大喜功，这一点与张九龄相反，在这方面张九龄没有去讨好玄宗，当然引起玄宗不高兴。 值得推敲的是，安禄山萌发觊觎天下之心是天宝初年，在十多年前张九龄怎么在他还没有产生叛变野心时，就预知他会“乱天下”呢？这并不是不能解释。按照历史唯物主义的观点，存在决定意识，先有了可能出现天下大乱的社会环境和客观条件，然后才有人产生发动叛乱谋反的野心。虽然当时包括安禄山在内的所有人或许都尚无叛乱之心，张九龄却注意到了产生天下大乱的环境和条件出现了萌芽，这是他的敏锐高明之处。 在中央政权的安危方面，与唐玄宗目光一直盯着皇室内部不同，张九龄感受到的是来自边境地区的威胁。朝廷宠厚边将，边将拥有重兵，军事格局外重内轻，一旦发生边将举兵向阙，中原就无相应的军事力量抗衡。一位有识之士对这种形势产生某种敏感或隐忧，应该属于正常现象和顺理成章的。因此当他看到安禄山这样一位出身胡族的将军因为战功甚至可以免除死罪时，可能一种不祥的念头和预感便产生了。如果这样一位没有忠君爱国之心的人手握重兵时，他可能会做的事情是什么？一种令人心悸的念头便在他脑海里掠过。 但张九龄政治上的这种敏感不仅没有引起玄宗的警惕，反而引起了玄宗的反感，关键就是他正道直行，对人际关系的微妙处不加留意。避免唐帝国严重动乱的第一个机会，便这样轻易错过了。 与张九龄同朝为相的李林甫，与张九龄正好相反，他“柔佞多狡数”，靠逢迎巴结爬上高位。当他担任吏部侍郎时，就注意结交宫中的宦官和妃嫔，通过他（她）们了解玄宗的活动。玄宗的一举一动和思想、心理，都被他掌握，因此每次?玄宗讲话，都能说到玄宗心里，很快就讨得了玄宗的欢心。当时玄宗最宠幸的是武惠妃，武惠妃生寿王李瑁，所有的儿子中，玄宗最疼爱的就是寿王。李林甫通过宦官告诉武惠妃，愿意尽力保护寿王；武惠妃很感激他，在玄宗跟前说他的好话，因此他被提拔为黄门侍郎，即门下省的副长官，地位仅次于侍中，相当于副宰相了。开元二十二年（734年）五月，又与裴耀卿、张九龄等同为宰相。与裴耀卿、张九龄相比，李林甫特别善于迎合玄宗，赢取玄宗的欢心。