遇到无法进行更换的供应商该如何处理

我公司有种特殊材料，只有1家小型企业可以加工，且供应商老板和我公司老总关系很亲密，但产品老是出现不良，每次都挑选使用，供应商看到不良,他也承认,但下次送货还是如此,不付钱不可以，要降价也不可以,更换也没的换,就算对他进行处罚，送来后还是老样子，于是让他改善,结果说一句: 那你来我们公司看看,就这么几个人，如何改善制程吧.说的没错,我们有义务帮助供应商改善,但如此说法的供应商该如何处理呢?