郭逵谢过即行，与赵卨一同前往。这时交趾发出布告，传到京城，声称：“中国行新法，扰民生，因此特地出兵，来救济百姓”等话。王安石见了自然愤怒，因此亲自写文，极力驳斥。王安石下令郭逵，要他传檄给占城、占腊二国，夹击交趾。
郭逵此时已率军走到潭州，当即依令传檄，并派遣裨将去攻打钦、廉两州。他和赵卨向西进发，到了富良江，就接到了钦廉捷报，两州已经收复。郭逵乘势进兵，到了江边。他远远看见敌舰纷纷来到，帆樯像树林一样成列，舰中满载着兵甲，来势非常锐利，倒不禁疑虑起来。
郭逵于是和赵卨商议道：“南蛮狡悍，鼓足勇气前来，急切间难以和他们争锋，看来我军是不能迅速渡过去了。应如何设法，方可破敌？”郭卨答道：“不如先造好攻战的用具，毁坏敌军战船。我们再出奇兵攻击，如此说，我就不担心不能取胜。”郭逵欣然说道：“就照此办理！请你督促各部施行便是。”
赵卨唯唯应承而出，当即派遣将吏，上山砍伐树木木，制成工具，运到江边，用石发机，抛击出来的石头如雨。交趾的战船对此毫无预防，突然遭到打击，顿时帆折樯断，七颠八倒。赵卨早已准备好大竹筏，挑选出精锐士卒一万多人，登上木筏，发动急攻。
交趾军队正在考虑船破了，如何修补的事情。可是还没有来得及修补，宋军的战船赶到，宋军将士于是挥刀乱砍乱剁。霎时间交趾军队的各船大乱，纷纷溃散。交趾太子李洪真，还想带兵截杀。于是他亲自登上船楼，指挥左右作战。不料一箭飞来， 正中要害，这位交趾太子当即毙命。交趾军队没了主帅，越来越乱。大家逃命要紧，除了一些倒霉的蛮兵，被宋军杀死或被溺死，其余都奔回交州去 。
宋军夺得了战船几十艘，斩杀了一千多首级，各自回报，献功陈绩。赵卨大喜，一一记录，转达郭逵。郭逵于是上奏告捷，又和赵卨商议道：“我军此次大获全胜，贼人应该已经丧胆。我们正好乘势进攻。只是我军远来，触犯了烟瘴，非死即病。昨日我已经派吏查核，我军本来有八万人，现在已经死亡过万，有一半也是病疫，这却如何是好？”
赵卨说道：“既然如此，不如暂时不渡富良江，就在江北安营扎寨，借此示威。如果李乾德肯来谢罪，我等就得休便休了！”郭逵点头说道：“我也上这般想的。”于是他停兵不渡，分兵攻占了广源州、门州、思浪州、苏茂州及桄榔县。李乾德大为震惧，于是遣使上表，到郭逵的营门纳款投降。
郭逵、赵卨于是便与来使议和，班师还朝，群臣相率称贺。赵顼谕改广源州为顺州，赦免了李乾德罪，又追剧沈起、刘彝两人开衅边疆的罪状，安置于随、秀二州。不久，李乾德遣使进贡，并归还所掠的兵民。宋朝因为李乾德悔罪投诚，于是把顺州赐回给他，
接着又还他二州六县。
交趾事情了结，王安石也被罢相。原来吕惠卿出任陈州之后，王雱气愤难消，总想对付这个小人。但是此事被吕惠卿得知，于是上奏称王安石假传圣旨，欺君罔上，以及王雱陷害他的情况。赵顼于是拿给王安石看，王安石自然为儿子辩解。
王安石回家之后，急忙询问王雱。王雱也没有抵赖，还说必须把吕惠卿弄死，才能泄心头之恨。顿时父子争执不休，大吵一场。王雱因此郁郁成疾，突然得病，很快丧命。王安石悲痛欲绝，多次请求解职。
御史中丞邓绾担心王安石一离开，自己必然会失势，于是力请慰留王安石，在京师赏赐府邸给他。赵顼心滋中不悦，转问王安石。王安石看出赵顼的心意，当即奏道：“邓绾为国司直，却替宰臣请求恩赐，大伤国体，应当问罪远斥。”赵顼于是责备邓绾论事荐人，不守本分，降他为虢州知州。
王安石继续申请辞职，赵顼见他去意已决，也就答应了。赵顼让王安石以使相的身份，出任江宁府通判，接着又改为集禧观使。王安石退住金陵，往往写“福建子”三字。福建子是指吕惠卿，有时也直说吕惠卿误我。
吕惠卿再攻击王安石，呈上王安石的私书，有无都要让皇上知道，里面还有不要让齐年知等语。赵顼得知齐年二字，是指冯京，冯京与王安石同年。自从赵顼看到此书，这才认为冯京是贤人，于是召他知枢密院事。又因为王安石的女婿吴充，素来中立，不依附王安石，特擢升为同平章事。
吴充于是请求乞召回司马光、吕公著、韩维，并举荐孙觉、李常、程颢等数十人。赵顼于是召吕公著知枢密院事，又任命程颢判武学。吕公著字晦叔，是吕夷简的第三个儿子。
吕公著从小好学，以至废寝忘食。父亲吕夷简对他器重惊异，说道：“他今后必定能为王公辅臣。”后来因恩荫，补任奉礼郎，进士及第，召试馆职，没有赴任。不久他外出通判颍州，与知颍州欧阳修结为讲学之友。后来欧阳修出使契丹，辽国皇帝询问宋朝有学问“德行之士，欧阳修首先以吕公著回答。
宋仁宗奖许他淡于名利，赐给他五品官服。寿星观营造真宗神御殿，吕公著说道：“先帝已经有三神御殿，但不停地建立，岂不是祭祀没有丰厚父庙之义。”进官知制诰，他三次上疏辞谢。改任天章阁待制兼侍读。
宋英宗亲政，加吕公著为龙图阁直学士。当时正议论追崇英宗生父濮王赵允让，有人建议称呼濮王为皇伯考，吕公著说道：“这是真宗称呼太祖的，怎能施于濮王。”等到下诏称亲，而且分赐讳号，吕公著又说道：“称亲则有两个父亲的嫌疑，濮王讳可以避于陛下面前，不应与七庙同讳。”吕诲等人因此事被调离朝廷，吕公著说道：“陛下即皇位以来，纳谏之风没彰扬，多次贬退谏官，何以风示天下？”英宗没
有听从。吕公著便请求补外任，英宗说道：“学士为朕所器重，怎能离开朝廷？”吕公著一直请求，被外放为知蔡州。
赵顼即位，召吕公著为翰林学士、知通进银台司。当时司马光因论事被解除御史中丞之职，回到经幄。吕公著封还诏命说道：“司马光因举职赐罢，这是让有言事职责的人不能尽其言。”诏令以告示形式直接交付阁门。吕公著说道：“制命不由门下省，那么封驳的职责，因臣而废弃。望陛下治臣之罪，以正纪纲。”赵顼说道：“之所以流放司马光的原因，是依赖他劝学而已，不是因为言事的缘故。”吕公著一直请求，最后被赵顼解除了知通进银台司之职。
吕公著知开封府时，开封发生地震。吕公著上疏说道：“过去人君遇到天灾，有的恐惧以致福，有的简诬以致祸。陛下以至诚待臣下，那么臣下思虑尽诚以回报，上下至诚而变异不消失的，从来没有。做人君主的只有除去偏听独任的弊端，而不被先入之语所蒙蔽，那么就不会被邪说所乱。颜渊问为邦国之道，孔子答以疏远奸佞之人为戒。大概奸佞之人惟恐不顺合君意，那么其势必容易亲近，正直的人惟恐不符合大义，那么其势必容易疏远。只有首先格王端正此事，没有事正而世不治理的。”
礼官遵用唐代旧例，请赵顼五月临御大庆殿接受朝拜，并上尊号。吕公著说道：“陛下正在超越汉、唐，追复三代，何必在阴盛的日子，为不符合礼义的朝会，接受无益的虚名？”赵顼采纳了他的意见。
王安石颁行青苗法的时候，吕公著极力反对，说道：“自古以来，有作为的君主，没有失去人心却能图治，也没有能胁之以威、胜之以辩，却能得人心的。过去所谓的那些贤能之人，都认为青苗法是不对的，但发议论的人把这一切诋毁为流俗浮论，难道过去都是贤能，而现在就都是不肖吗？”
王安石听了，非常愤慨。赵顼让他荐举吕惠卿为御史，吕公著说道：“吕惠卿固然有才，但奸邪不可任用。”赵顼把这话告诉了王安石，王安石更加愤慨，于是诬陷吕公著恶语中伤，赵顼于四月初八贬吕公著为颍州知州。
彗星出现的时候，赵顼下诏求取直言。吕公著上疏说道：“陛下临朝希望治理国家，时日已经很久，但左右前后，没有人敢直言。致使陛下有想治理天下的雄心，但没有实现，这是任事大臣们辜负了陛下。大概士人的邪恶正直、贤能不肖，已素定了。现在则不是这样，前不久所荐举，认为是天下最贤能的人；但后来被贬逐，认为是天下最不肖的。其于人才既然反复无常，那么于政事也违背常理不加审慎了。古代为政，不被百姓所信服的有之，像子产治理郑国，一年后，人们怨恨。三年后，人们歌颂。陛下垂衣拱手希望成功，已经七年，但是众人的陈述，与以前相比也没有什么不同，陛下难道没有察觉吗？”