工厂稽核时碰到的难题，好工厂，烂工厂？？

去两家工厂稽核他们的质量体系，按照我们公司规定的一张表去稽核，大部分都是稽核他们是否有体系文件，生产记录等等文件化的东西。
A 工厂，规模庞大，质量体系完善，但一直以来给我公司供货的质量不稳定。但是人家体系完善，要的资料都有，我只好给了个高分；
B工厂，规模很小，没有任何体系，几乎没有什么纪录。跟我公司合作时间不长，提供的几批货质量不错。但根据质量体系要求没办法我只好给了低分；

老板看到我的稽核报告以后，尽然对我说，你怎么搞的，A工厂的产品这么烂你却打高分；B工厂的产品这么好，你却打低分；我反驳道，我是根据我们质量体系文件要求去稽核的，不能直接反应到产品质量。人家员工的责任心，执行力方面我们的稽核表里根本没有体现。可是老板根本不理会，真郁闷！
不知道，大家有没有碰到类似的情况？ 怎么处理的？谢谢！