女方不退彩礼钱的，媒人没有责任。媒人只是提供一个机会，对男女双方之间的婚姻关系没有影响，男女双方因彩礼钱发生纠纷的，可以去人民提起民事诉讼，请求人民进行判决，人民审理后，发现确实存在法定情形的，应当让女方退还彩礼钱，判决书生效后，女方还未退还的，可以采取强制措施，强制女方退还彩礼。
【本文关联的相关法律依据】
《最高人民关于适用〈中华人民共和国民法典〉婚姻家庭编的解释(一)》
第五条 当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民应当予以支持：
（一）双方未办理结婚登记手续；
（二）双方办理结婚登记手续但确未共同生活；
（三）婚前给付并导致给付人生活困难。
