（一）被害者的沉默
对于家庭暴力的直接受害者来说，他们出于“家丑不可外扬”的伦理观念，在双方关系尚未恶化到无法挽救的地步时总会选择原谅或忍气吞声，他们不会选择报警或寻求社会帮助。北京林业大学性与性别研究所和中国反家庭暴力网络/北京帆葆联合开展的研究表明，在女性寻求家人帮助之后，只有24.8%的人获得了家人的支持，有30.8%的人的家人态度模糊，而44.4%的人并没有获得家人的支持，并且家人出于观念问题让她们别出声，要么直接责怪受害人。
老人或孩子自身反抗能力弱，他们更多的是不敢反抗或者是无力求助。而大多数女性受害者经常对施暴配偶抱有一种能够改正的幻想或者是产生一种无助感，认为自己永远逃脱不了对方的控制，而选择独自忍受。很多人会把受害者沉默的原因归因于文化水平不高，不具有法律意识。但内蒙古女记者、四川广安区副区长被家暴致死等此类案件却显示出女性的身份地位越高，其越耻于向公众表明自己正在遭受家暴。
虽然大多数有记录的家暴案件是男性虐待女性或儿童，但男性也可能是家暴的受害者。据统计，全美有29%的女性和10%的男性承认曾遭受家暴。根据民间非营利组织同语于2015年发布的《亲密关系中的暴力调查报告》显示，男性自认为遭受的来自亲密关系的暴力发生率为66.1%，比女性的64.2%还要高，其中尤其是心理暴力方面。社会往往默认柔弱的女性总是受害的一方，因此常常忽略了对男性的帮助。再加上社会对男人“相比女人更加身强力壮”的刻板印象，让男人羞于承认自己被女人打了。仿佛被女人打是一件很伤男子自尊的事情，这种“羞愧”使得男性被家暴之后更少向外界展露。
正是被害者这种沉默纵容行为，使得家暴变为一种社会难发现、难控制的隐秘而公开的违法犯罪行为。并且这种行为更是助长了施暴者的嚣张气焰，使得双方逐渐陷入犯罪的深渊。
（二）刑法介入不及时
我国反家暴立法工作起步晚，于2016年才正式颁布反家暴法。反家暴法中的家暴强制报告、公安告诫、人身安全保护令等一系列制度使得家庭暴力的惩治与保护在制度层面走出了“家务事”范畴，但这也与我国刑法中的“告诉才处理”自诉制度相矛盾。家暴案件与刑法相衔接的罪名包括但不限于虐待罪、侮辱诽谤罪、非法拘禁罪。这些犯罪大多属于“告诉才处理”，这就决定了在法律上家暴案更多的是需要依靠受害者提起自诉解决，只有在虐待致被害人重伤或死亡、侮辱诽谤严重危害社会秩序和国家利益时，刑法才会主动介入。但实际上，当事人往往会迫于暴力、胁迫或亲情、伦理的压力，难以通过自诉追究加害人刑事责任。因此这种情况对刑法积极、主动介入需求更大。这种自诉限定，不仅体现了公权力不愿意直接介入家暴的陈旧司法观念，实践上也造成一些虐待行为不能被追究刑责的困境。
（三）惩治维权难
1.救济手段无力。家暴行为催化受害者犯罪的重要因素是寻求的救济手段无效。这也是目前我国反家暴工作面临的一大难题。首先是村委会和居委会这些基层组织没有惩罚处置的权力，所以更多的是担任着“调解者”的角色，正是因为没有强制力，故对施暴人不会产生太大的威慑效果。同时这种“轻拿轻放”的方式也会使施暴者更加放纵自己的违法行为，加大施暴力度对受害者进行报复。
2.举证难度大。目前在法律层面上，家暴行为举证责任分配原则仍然是“谁主张，谁举证”。离婚案件中，一方当事人如果提出主张认为自己曾遭受配偶家暴，就应当提供证据证明该事实是真实的，以得到法律的支持。所以受害方不仅要向法院提交出警记录、家庭暴力告诫书、病历或者伤情鉴定书等可以证明自己曾遭受家暴行为，而且该家暴行为实施主体为其配偶。同时还需证明该伤害行为在日常生活中的非偶然性。这样，当形成一个完整证据链，证明其主张方能成立。