可是台湾则早有人指责他是威权的护法。如《亡国之祸尽在司法！》（卢建荣、张友骅作，新高地文化事业有限公司，副标题: 难道余英时许倬云不能讨论？）《余英时与台湾学术贵族制四十年》（卢建荣，新高地文化）等批评他的专著即是。原在中央研究院史语所任职的卢建荣，炮火尤其猛烈。其批评，用他自己的概括，主要论点是：
威严台湾时期(蒋经国当政之时)海内外共仰的余英时大师，一旦揭开其风华绝代的外表，所呈现的内里一样精采非凡：
一、 娶国民党校园特务大档头的女儿为妻。
二、 攀附海外院士头头为其博士生并获学位，最后荣膺“少年院士”纪录保持人。
三、 夤缘美国汉学界皇帝，并附和其中国观，故尔得入哈佛教书。
四、 台风天翻越管制中的北宜公路赶着去给独裁者蒋经国摸头。
五、 凡有反对他的人，就师法独裁者伎俩，令彼辈前赴他驻锡的福华饭店受他招安。
六、 表面自由主义，骨子里彻头彻尾专制、独裁、警备总部那一套。
七、 破坏国家抡才制度，紊乱学术社群人伦秩序。
余大师择徒不精、课徒不严还是小事。台湾文科的有心人士皆知奔赴余门乃现代登龙术，凡入其门者等于买了院士俱乐部的入门券，就等着当院士。余英时对摧毁台湾垂直社会流动，与有大功焉。君不见已有王汎森、黄进兴当了院士，之后排班候选院士者计有陈弱水、林富士，以及李建民。
攀附海外院士头头为其博士生并获学位，指他与杨联升的关系；夤缘美国汉学界皇帝，并附和其中国观，指他与费正清的关系。针对这两点，余英时新近出版的《余英时回忆录》中对其哈佛生涯有详细的描述，其实就是委婉自辩，希望能洗刷台湾一些人长久的质疑。不过，洗不洗得清，见仁见智。
娶国民党校园特务大档头的女儿为妻，则是指陈雪屏。陈雪屏历任燕京大学教授、系主任、北大训导长，国民党中央青年部长，教育部政务次长、代部长等职。到台湾后，1949年出任台湾省教育厅长、考选部长、行政院秘书长、行政院研考会主委、国建会副主委、主委、国策顾问，总统府资政。着有《谣言的心理》（商务印书馆，1939年，是我国在这领域最早的一本）等书。
其子女也很厉害。儿子陈棠为台湾土地银行董事长，女陈淑平，女婿就是余英时。
由于陈雪屏一直位高权重，故在共产党前后公布两批战犯名单中，陈雪屏位居第54位，比胡适还靠前一位。
而在知识人圈子中，陈的形象也较特殊。所以1948年底，陈寅恪曾对弟子邓广铭说：“前许多天，陈雪屏曾专机来接我。他是国民党的官僚，坐的是国民党的飞机，我绝不跟他走！现在跟胡先生（指胡适）一起走，我心安理得。”
陈雪屏在台湾政界教育界之地位如此，余英时之所以能在台湾风生水起，不难理解。卢建荣批评余英时靠裙带关系走红，应该也非空穴来风。
而最可玩味的，是他们翁婿相得，情感融洽，有共同的艺文爱好。这种契合，实更胜于余氏跟钱穆、杨联陞的关系。余的学问路数，事实上也更近于陈雪屏，善于“测人心术”，论朱熹、方以智、戴震、章学诚、陈寅恪等无不如此。这是心理学家老岳父的本领，钱穆、杨联陞，焉有此技？