假设检验的一个问题

当我遇到显著性水平取0.05要拒绝原假设，而取0.025或更小的显著性水平就不能拒绝原假设的情况下我应该怎么办，能否取更小的显著性水平来使我们接受原假设。困惑不已，总觉得假设检验受主观影响太大，很难客观的得到结论。还有单边假设的选择，有的说是没有证明的应该取否定，有的说应该是不能轻易否定的。唉，头都大了。哪位高手给指点一下。谢谢