Brexit, EU og splid blant fienden