连北地的青年们也都争相传说他的事迹。为了借助谢榛的名气发展诗社，王、李二人邀请这位大诗人入社，谢榛因为欠他们人情，于是答应了。结果在之后的几年里，刑部诗社迅速发展壮大，不久，改名‘后七子社’，欲接李梦阳等‘前七子’大旗的野心昭然若揭。
但当七子社发展起来后，王世贞们却与谢榛发生了矛盾，最后把他在‘七子社’中除名。王世贞甚至公然评说谢氏的诗‘丑俗稚钝，一字不通’，却偏要‘高自称许’，骂他‘何不以溺自照’，就是俗语中骂人的话：何不撒泡尿照照自己的嘴脸。
在谢榛看来，双方交恶的原因，是因为自己曾经对诸子的诗作都做过直率的批评，而诸子不肯接受，也不能接受。但实际上，这主要还是因为李攀龙、王世贞头角渐露，声望日高，他们几个人又都是进士出身，怎能容忍身为布衣的谢榛成为诗社领袖呢？
这件事引起了许多人的不满，其中最激烈的，就是文坛另一位大腕——徐渭，他深深为谢榛打抱不平，并因此对王世贞等人身为不齿，继而全面否定他们的文学成就。因为徐渭的名气太大，文章又太犀利，王世贞等人的名声当然损害，若非仗着人多势众，真要被他骂下文坛了。所以此番仇人见面分外眼红，王世贞当然不会给徐渭好气。
“轻薄？”见王世贞跳出来，徐渭冷冷一笑道，“作文贵乎真实不欺、诙谐有致。不知在下破题错在哪里？”
王世贞寻思半晌，竟挑不出毛病来，只得沉着脸说道：“这样作文太煞风景，我有一联请对。”徐渭怎会怕他，笑道：“领教。”
“说起来这上联倒是偶得，年前工部都水清吏司走了水，五成兵马司派员参与重修。”王世贞道：“就有了这么个上联‘水部火灾，持金吾大兴土木’，竟没人能对上来，文长高才，必然难不住你。”这做对子五行俱全，是难得的绝对，在座的无不是此中高手，不禁兴味盎然，连李春芳、沈默、张居正几个，也皱起眉头挽首思忖，心说这个上联着实难为人。
“难是不难，”谁知徐渭马上就有了，朝王世贞呲牙笑笑道：“北人相南，治中君什么东西。”对的确实巧妙，众人又复大笑，王世贞却黑了脸，因为他现在的官职，正是顺天府治中……
“我又想起个笑话。”徐渭起身对笑得前仰后合的徐阶道：“师相，有个笑话儿，您可要听？”
徐阶虽觉徐渭过于狂放，但今日是吃酒，倒觉得有趣，笑得气不匀道：“不许再骂人！”
“不骂不骂。”徐渭便