把自己老婆的好友给上了，这个关系是否继续保持

我上的是我老婆的一个好朋友，其本人一直有不好的生活作风，在我未结婚时，他就勾引过我，最郁闷的是，我老婆还经常和我谈，她做爱怎样怎样，结果再最近，终于两个人发生了关系，现在有时候想找她做，但是又怕找她做。很尴尬，老婆现在还经常和我谈她的私事。她和我一样的想法，现在我有时候找她出来，她没完全拒绝，但是也不怎么愿意。你们说我该如何做