Усложняются отношения с отчимом после визитов к отцу

Сыну почти 4 года, с его родным отцом мы не живём, но он его иногда забирает к себе. Я второй раз замужем, отношения у мужа с сыном хорошие, они вместе играют, занимаются, он его называет папой, но после того как его забирает родной отец, ребенок начинает говорить всякие неприятные слова отчиму: «ты чужой», «я тебя не люблю», «уходи» и т.п. На контакт начинает идти только через 1-2 дня. Бывший муж говорит, что никак сына не настраивает против. Как быть в такой ситуации?