王琳毫不客气的激烈言辞非但没有让王顗觉得奇怪，反而有种见怪不怪的意思，显然他早便料到会是这样，毕竟，王琳与卢潜二人不合乃是由来已久，人所共知的事情。
王琳与卢潜，一个拱手将淮南奉送给北齐，如今又得了朝廷授予的“自专”之权，一时风头无两，手握重兵，身负众望；一个在淮南十数年，任总军民，大树风绩，南朝上下都忌惮不已：“卢潜犹在寿阳，闻其何当还北，此虏不死，方为国患。“同样影响力很大……正常历史轨迹上，南朝也是等卢潜回邺城担任五兵尚书之后，才动身北伐。照理来说，这两人强强联合才对。
但显然这二人都没做好准备，主要是心态没扭转过来，当了十几年的死对头，忽然要他们联合共事，即便是以王琳如今的豁达心境，也难以做到。
王琳与卢潜不合的矛盾点在于两个方面：其一，主次问题，讲道理，淮南是王琳献的，各地方大族也是王琳摆平的，王琳本该是淮南说一不二的人物。可朝廷是怎么做的？先把地方治权给剥了，然后又空降了一个“北齐版王思政”下来，让他们二人“共事”。
一山不容二虎，这是亘古不变的道理。
朝廷空降卢潜下来是什么意思大家心里都很清楚，王琳一样清楚，但王琳没有办法，都混到投奔北朝了，还想就凭着淮南割据咋地？
于是只能捏着鼻子认了，反正淮南还是他的地盘，他手里照样捏着兵权呢，想来卢潜一个北人，想在淮南占住脚跟必定不会是轻松的事情……他显然又低估了卢潜，这就导致了王琳的地位一步步受到挑战，在政争上面慢慢被拖入到了一个被动的局面。
北齐刚刚占领淮南的时候，对江北诸郡并不重视，认为这不过是意外得来的边鄙之地，一众勋臣更是视淮南为异己之地，在高洋许诺的“十年不加赋”期满的时候，北齐勋贵就开始对淮南进行了报复性的征税，不但赋税徭役日益繁重，还禁止百姓渔猎，百姓怨声载道。
不单单是剥削百姓，一些奸臣猾吏还把目光瞄向了淮南的大族、富户，胡作非为，比如将鲜卑胡商欠下的债务强行摊派到地方豪强的头上，令州郡强行收缴……北地征收过来的战马，也强买强卖给豪强们，刚收到钱马上又不认账了，借口国家有战事，要将马匹都收回去。
可以说，豪强和百姓都得罪光了，卢潜不一样，卢潜任扬州道行台左丞之后，严惩此类现象，平衡各方势力，保护百姓利益，史载：“辑谐内外，甚得边俗之和。”
这一枝独秀换来的是淮南各豪强的善意以及鼎力支持……如果单单只是如此，当然无法撼动王琳的地位，但卢潜又不是一个只会治政的书呆子……扬州与陈地毗邻，陈朝将领王奉国、周令珍先后入寇，都被卢潜打败，这样亮眼的表现，道一声文武全才不为过。
王琳开始感受到了危机感，两相对比，卢潜是北齐皇帝看重的大臣，而王琳只是一个南来降臣，忠心方面要圈起来打一个大大问号的那种。
邺城朝廷更加相信谁，可想而知。
于是为了保住自己地位，王琳开始有意无意的让人挑衅卢潜的地位，好给邺城朝廷一种“卢潜德不配位，赶紧换人吧”的暗示……高演也很鸡贼，一开始就没给王琳机会，鼓噪声势大力支持卢潜，将他扶上正位，而王琳则给扣几个大帽子，让他回来述职，从此王琳就坐上了冷板凳，退居二线。
当然，王琳现在好歹堂堂郡王，又是京畿大都督，领着五兵尚书之衔，根本看不起当年争的那点蝇头小利，但除此之外，他与卢潜还有一桩恩怨：
王琳降齐之后，一心要鼓动北齐伐陈，但跟许多北齐大臣一样，卢潜贯彻的是重西北而轻东南的国策，南伐之事因此受阻，无期限拖延下来……后来王琳被皇帝赏识，话语权重了之后，也多此向皇帝提议南下伐陈，又是这个卢潜上疏制止！
王