这两个人都看李林甫的眼色行事，李林甫想陷害谁，他们就对谁下手；李林甫想处人什么罪，他们就罗织罪名，通过严刑逼供，使人屈打成招。于是上下串通，没有人能逃脱这两个人的手心，当时人们称他们“罗钳吉网”，意思是只要想拿你说事，这一位像钳子非夹住你不可，而另一位就像一张大网非网住你不可。 对于那些有可能威胁到自己宰相地位的人，李林甫必欲除之而后快，甚至自己的亲戚朋友也不放过。在他的观念中，官场上只有利害关系，没有亲情可言。韦坚的妻子是李林甫的舅舅姜皎的女儿，所以当韦坚受到皇上倚重时，李林甫亲近他，巴结他，讨好他。近年来韦坚因为在漕运方面成绩突出，受到玄宗的赏识，有入相之心，又和李适之关系亲密，李林甫便讨厌他了。于是在他的授意下，朝廷又罢免了韦坚江淮租庸使等使职，任命他为刑部尚书，而让杨慎矜接替他。提升为尚书，好像安排了他一个美官，实际上却夺了他的实权，使他失去了继续取得更大成绩的机会，同时也就丧失了入相的机会。 跟李林甫这样的人相处，必须要小心谨慎。李适之就是一个教训，他为人随便，不够慎重，李林甫设了一个圈套，他就轻易上当了。天宝五载（746年）正月，李林甫对李适之说：“华山有金矿，开矿采金可以增加国家财富，皇上还不知道这件事。”李适之见玄宗奏事时便建议在华山开矿。玄宗问李林甫，李林甫说：“我早就知道，但华山是陛下本命和王气所在，开凿不吉利，所以从来不敢提议在华山开矿。”玄宗写过《华岳碑》，其中说过：“予小子之生也，岁景戌，月仲秋，膺少皞之盛德，协太华之本命，故常寤寐灵岳，肸向神交。”李林甫知道玄宗迷信卜卦者的话，认为华山乃自己的本命所在，所以让李适之发生这样的失误。玄宗则认为李林甫爱护自己，看不起李适之虑事不周，对李适之说：“从今以后，有事上奏，应该先跟林甫商量商量，不要太随便了。”从此李适之对朝廷的事没有什么发言权了。 李适之失宠，韦坚失权，两个人惺惺相惜，更加亲近，李林甫更加讨厌他们。当初立太子李亨，不是李林甫的主张，李林甫担心将来会成为自己的祸害，因此常有动摇东宫的意图。况且韦坚是太子妃的哥哥。皇甫惟明曾担任忠王友，友是太子东宫和亲王府中的一种官职，他领兵与吐蕃作战获胜，入朝汇报战况，把战利品献给朝廷。在长安，他看到李林甫专权，愤激不平，见到玄宗时，劝玄宗除掉李林甫。李林甫探知此事，派杨慎矜暗中监视皇甫惟明的行踪。 正月十五夜，太子出游，与大舅哥韦坚相约见面；韦坚又与皇甫惟明到景龙观道士房里见面。本来这是很正常的一件事。在唐长安城，平日实行宵禁，由金吾卫士兵巡逻。因为上元节这天不宵禁，所以上至皇亲国戚，下至平民百姓，都夜游京城，观灯看焰火。这种情况从唐中宗时就是如此，当时有一个诗人叫苏味道，有一首《正月十五夜》的诗，其中便说：“金吾不禁夜，夜漏莫相催。”——今晚不搞宵禁，时间太宝贵了，计时的漏壶你滴得慢一点吧，好让我们多玩会儿。大家都难得有这样一个机会，不容易见面的朋友都利用这个夜晚聚一聚，那皇甫惟明又是从边境地区刚打过仗，回到长安，好不容易见一面，这不是很正常的事吗？可是杨慎矜揭发了这件事，他认为韦坚是皇亲，不应该和边将接近。 这怎么能算一种罪名呢？唐朝的法律上也没有规定，皇亲国戚，就不能跟边帅见面，见面就是犯罪。但李林甫上奏，说韦坚与皇甫惟明结谋，想共立太子即位。这一下就了不得了，是要把皇上赶下台，那就是谋反，十恶不赦的大罪。于是韦坚、皇甫惟明被关进大狱，李林甫派杨慎矜与御史中丞王、京兆府法曹吉温一起审讯此案。这几个人都是李林甫的爪牙，很快结案，罪名成立。韦坚被贬为缙云太守，皇甫惟明贬为播州刺史。另外又下了一道制书，告诫百官不要重蹈韦坚和皇甫惟明的覆辙。这算是轻饶了韦坚等人。 韦坚被贬官后，左相李适之想到这一次韦坚差一点儿掉了脑袋，而且自己平时与韦坚要好，感到非常害怕，要求担任散职。朝廷便罢免了李适之宰相职务，任命他为太子少保——一个无职无权的高官。李适之的儿子、卫尉卿李霅曾摆下丰盛宴席召请客人，客人们因为害怕李林甫，竟然没有一个人敢去赴宴。 门下侍郎、崇文馆大学士陈希烈是宋州人，因为讲《老子》、《庄子》而入朝做官，他专门用神仙符瑞以取媚于玄宗。李林甫看到玄宗喜欢陈希烈，而陈希烈善于奉迎，容易控制，所以举荐他为宰相。凡政事决策都出于李林甫的主意，陈希烈只是唯唯诺诺，满口应承，一点儿也没有自己的主张。过去的惯例是宰相议事，午后六刻才出政事堂。李林甫上奏，说现在天下太平无事，巳时便可回家，也就是午饭前就可以下班了。李林甫却没有真正下班，军国大事都在自己家里决定，负责整理、传递文书的官吏称为主书，他们抱着李林甫已经作出决定的文书到陈希烈家里，陈希烈只要负责签上自己的名字，就万事大吉了。