很快黄明远就顾不得义成公主的事情了，因为朝廷之中，爆发了一件大事，天子下令，罢免宰相苏威，诛杀高颎、贺若弼、宇文弼等人。

杨广北上之时，便下诏征发男丁一百余万人修筑长城，西起榆林，东至紫河（即今内蒙古南部、山西西北长城外的浑河）。尚书左仆射苏威劝阻，杨广不听。这条路修筑了二十天便完工，死伤无数。

这便是高颎等人要被诛杀的直接原因。

因为高颎的主动投诚，杨广在登基之后，还是很优待高颎的，不仅任命其为太子太师，与杨雄、杨弘等人并列，还恢复了其爵位齐国公。

不过高颎似乎还沉浸在杨坚的时代，对杨广的性格并不完全了解，因此对于杨广的作为，屡屡劝谏。

杨广征召全国周、齐、梁、陈等朝乐家子弟为乐户，从六品以下到庶人，有擅长音乐的，全向太常寺报到，高颎对此对不以为然，认为这是乱政，劝杨广废止，但杨广不听。

此时的高颎似乎因为年老和离开政治中心，已经丧失了政治警惕性，因此他之后对太常丞李懿说道：“北周天元帝因为好乐而亡国，殷鉴并不远，怎么可以再重复呢？”

而这两年，杨广的种种作为，也越来越让高颎不满，因此高颎竟然和安德王杨雄说道：“近来朝廷太无纲纪了。”

这一次杨广召见启民可汗，黄明远、长孙晟皆对杨广对胡人厚赏不满，但也没有说话，但高颎却认为杨广此举不妥，对启民可汗的待遇过厚。他又对太府丞何稠说道：“这个胡虏很清楚中国的虚实，山川的险易，恐怕会成为后患。”

不仅如此，高颎还和杨谅的旧部礼部尚书宇文弼走得迫近。须知祸从口出，从高颎管不住嘴开始，他的下场已经注定。

宇文弼也不知是不是知道杨广对其虎视眈眈，却与高颎私下里说道：“周天元帝的奢侈，以今天的情况与之比较，也不算太过分吧？”后来又说“修长城的工程，幸而不是急迫的任务。”

如此种种，早有人上报给了杨广。

七月二十五日，杨广下令，捉拿高颎和宇文弼，满朝皆惊。