不足，自然被直秀等人看轻，后面的幕政争斗发展也坐实了这种看法。
安政二年（1855年）八月，老中松平乘全、松平忠优被罢免，但当年十月，新任的老中堀田正笃依然是齐昭的死对头。
不久，江户大地震爆发，阿部侍从正弘将老中首座让与堀田。之后堀田带人处处于齐昭等人针锋相对。
尤其是与西洋诸国的交涉中，崛田一系大占上风，开国通商的基调已经形成——安政三年（1856年）十月，取消海防挂，新设置外国贸易挂，显示幕府已经下定了开国的决心。
安政三年（1856年）十一月公方样家定与岛津家的公主笃姬缘结。因为岛津家主齐彬是齐昭一系的人马，就此扳回一局。
迟迟拿不到幕政大权的齐昭一系，于安政四年（1857年）五月上疏切谏，“溜直诸藩德川氏设大老、老中二职，大老时有废置，老中常执政权，又撰诸亲藩轮值议政，日溜直”。
之后，有多名幕臣上书要求公方样立嗣。
幕政争斗就此白热化，集中在公方样世子和幕府大老两个人选上——“大老”是幕府非常设役职，位在老中之上，是公方样之下万人之上的位置。
齐昭一系支持的人选是世子一桥庆喜、大老松平松平庆永，而崛田等人支持纪州藩主庆福出任西丸样，同时对大老的设置十分抵制。
同年六月，胜手方老中阿部正弘病危。少了原本居中调和诸方的阿部，齐昭一系和崛田等人的争斗更加失去了控制。
当月，在笃姬入主大奥后由正笃更名为正睦的老中首席崛田正睦，取消了齐昭监督海军建设的差事，从此齐昭被隔离于幕政之外。
七月，在英佛联军与中华的亚罗号战争不断扩大之下，幕府废除外国贸易挂，设立外国奉行役职，开始准备与米人特使哈里斯进行通商交涉。
十二月，在齐昭一系的激烈反对下，《扶桑米人通商约定》草约完成。
安政五年元月，首席老中兼外国事务总裁堀田正睦、勘定奉行兼外国奉行川路圣谟，两人启程前往京都，向小朝廷申请约定的敕许。
在这之前，齐昭、堀田正睦两派人马早就派人到京都活动，除了约定事宜外，还包括了西丸样人选的敕许——将军世子的人选本是德川家的内政，过往只是走个过场，幕府报备朝廷就会立即颁旨同意。但如今在齐昭一系的支持下，京都小朝廷居然有可能就此发表意见，真是活久见！