即将接管质理工作的担忧

重返至目前这家企业6个多月时间了，也经历过数个客户审核 ，基本情况通过。我负责的工作主要是体系方面，除了日常的体系运行情况检查、6S检查外，工作内容较少。
前两天老板悄悄对我说，问我能不能担任质量部的工作？背景：质量部现在是她的弟弟负责，从我5月份至今，质量状况频发，这6个月来，他弟弟平均每个月有10多天的时间在外处理客诉，平时工作的状态也是每天电话多多，很少顾得上车间现场。咱们公司共105人（质量部配置检验1人，实验室检测人员1人。质量经理1人）做EVA板材这块的，产品主要是由捡板工人做100%常规检验。从配置上来说，人是少了点。现场巡视这块做得比较差。
最近质量经理出差回来了，老板当着我的面狠狠的批评了他，问他现场质量是否有在控制？为什么客诉这么多？打包前产品是否有进行每托抽检确认？还说，以后你就只管客户投诉那块，内部质量交给小孙。也就是我。当时我就说，我觉得自已的强项在资料这一块，和对应外部客户。但是老板执意让我负责内部质量，体系工作也是我负责。还说了以后规划体系交给他弟妹，目前由我来负责质量部，包括体系（我之前是属于管理部）。让我以后重点抓车间质量，见到违规行为罚款。本来我是觉得挺有信心的，但是老板特意把“罚款”这事和“要求每季度进行质量考评”这事提出来说，我有点不寒而栗。考评就关系到谁有奖，谁没有奖。而且和一群没素质的人！并且我以前在别的公司里一直是做质量工程师这一块，而且都是大公司。在这样的小公司，人员配备不齐，内部工人都是老板七大姑八大姨的，内部质量该怎么管才好？大家教教我。
我此时心情比较复杂，我在想是不是老板想让我走人？因为这个公司里包括办公人员都是老板亲戚，我是外来的，且是继前年辞职后，今年因客户审核问题太多，被老板请过来的。工资较之前相比，多2K。办公人员的工资我是最高的。所以，有了一些担忧。本身做体系我是游刃有余的，但是接管质量部，专门对应内部质量，心里多少有点.....本身对产品质量不是很懂，再要去处理那么多复杂的人际关系...觉得有点像在重蹈覆辙了。因为之前就是给工人做季度考核，我是公平公正公开的，采取车间主管意见，综合产能、质量、工作态度给予的评比，到最后这个亲戚找我，那个亲戚来闹的，总之没拿到奖金的亲戚都会闹。弄得我后来没心情做了，就放弃走人了。此时，心情又有当初时的同感！大家帮我指点指点，我该不该接这个烫手活？该如何开展工作？以什么心态再去面对？