具体双方协商解决。协商不成,到法院诉讼解决。有原物的,应当退还原物;原物毁损或丢失的,可以双方协商折价予以退还。视情况而定。三金属于彩礼，男女双方没有登记结婚的，可以要求对方退还。
如果男方要退婚的话，彩礼三金是需要退还的，虽然给女方彩礼属于赠与行为，但该赠与行为是以结婚为前提的，所以如果双方没有办理结婚登记的话，则需要返还彩礼。根据相关法律规定，
因此，男方要退婚，则双方是处于未登记结婚的状态，男方给与的三金彩礼就需要退回。协商不成,到法院诉讼解决。
回答涉及到的法律依据：
《最高人民法院关于适用＜中华人民共和国民法典＞婚姻家庭编的解释（一）》
第五条
当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：
（一）双方未办理结婚登记手续；
（二）双方办理结婚登记手续但确未共同生活；
（三）婚前给付并导致给付人生活困难。
适用前款第二项、第三项的规定，应当以双方离婚为条件。
因篇幅问题不能全部显示，请点此查看更多更全内容