离婚时已对抚养权进行了认定，后期一般不会随意变更。但如果一方或者双方的情况发生较大变化，是可以提出变更子女抚养权的要求。变更子女抚养权一般先由双方协商确定，如协议不成，可通过诉讼请求人民法院判决变更。

有下列情形之一的，人民法院应予支持：

1、与子女共同生活的一方因患严重疾病或因伤残无力继续抚养子女的;

2、与子女共同生活的一方不尽抚养义务或有虐待子女行为，或其与子女共同生活对子女身心健康确有不利影响的;

3、八周岁以上未成年子女，愿随另一方生活，该方又有抚养能力的;

4、有其他正当理由需要变更的。

需要注意的是，法院在判决孩子抚养关系的时候，是以子女利益最大化为原则，从有利于子女身心健康、保障子女合法权益角度出发。如何保障孩子在一个健康、稳定的环境生活，是法官会考虑的一个点。

像你这样的情况，1）男方有家暴史；2）.孩子一直跟着你生活，如果仅仅因为男方不负抚养费，就要求变更抚养关系，未必会得到法院的支持。

另外，从情感角度来看，不知道您孩子几岁，但您突然要求变更抚养权的行为，会不会对他们造成心理影响？觉得自己像皮球一样被踢来踢去，或者是否会想“妈妈为什么不要我”，这都是需要您去综合考量的。毕竟孩子不是其他财务，可以任意分配。

所以如果只是不满男方不负抚养费的行为，其实不必非要变更抚养权，您可以以孩子的名义到法院起诉，要求对方付抚养费，对方拒不履行的话，还可以向法院申请强制执行。

一、协议变更。已离婚的双方当事人可以私下达成变更抚养权的协议。

二、诉讼变更。如果对抚养权变更协商不一致产生争执的，可以直接向法院提起变更抚养权之诉。

父母一方要求变更子女抚养关系的，具有如下情形通常会得到人民法院支持：

（一）与子女共同生活的一方因患严重疾病或者因伤残无力继续抚养子女；

（二）与子女共同生活的一方不尽抚养义务或有虐待子女行为，或者其与子女共同生活对子女身心健康确有不利影响；

（三）已满八周岁的子女，愿随另一方生活，该方又有抚养能力；

（四）有其他正当理由需要变更。

如果只是因为男方不支付抚养费而要求变更抚养权，可能难以得到法院支持。您可以尝试和男方协商变更抚养权，或者请求男方按照离婚协议的约定支付抚养费。

如果男方拒不支付抚养费，由于你们当初是协议离婚的，所以，可以以离婚协议为证据向人民法院提起民事诉讼，要求判令对方按离婚协议约定支付抚养费，对方仍不支付的，可向法院申请强制执行。