断りたい時はシンプルに「今回はお断りします」で済ませるようにしたら肩の荷が降りました。
みんなが言うように、用事があるとか言うと「どんな用事なの？」は聞かれるので、余計な事は言いません。

断る相手にも寄るのでしょうが、わざわざ嘘をつく必要はありません。
あえて言うなら誘われた事自体は嬉しいとか（もちろん、これも嘘なら言いません）気持ちを伝える事が大切。
もっともらしい嘘より本心からの気持ちを伝えた方が最終的には悪い印象になりません。
（ただし良い印象にもなりません。分相応、身の丈に合った評価に落ち着きます）