在《西游记》中，孙悟空一共返回花果山 三次。具体情节如下：

第一次：

孙悟空因三打白骨精，被唐僧误会并赶走。后来，唐僧和沙僧在宝象国遇到黄袍怪，八戒去花果山请回孙悟空，才解了围。

第二次：

在真假美猴王的故事中，孙悟空因打死几个强盗，被唐僧批评并赶走。六耳猕猴变成悟空的模样，导致师徒之间产生误会。最后，如来佛祖识破六耳猕猴，悟空回到花果山将其打死，然后继续跟随唐僧取经。

第三次：

孙悟空在取经路上因打强盗被唐僧赶走，沙僧去花果山找孙悟空，最终遇到真正的孙悟空。这次返回后，孙悟空继续保护唐僧西天取经。

综上所述，孙悟空在《西游记》中三次返回花果山，每次都是因为与唐僧的误会或受到不公正的对待，但最终都回到了取经团队中，继续保护唐僧西行。