罷免案投票在即，不論是罷團還是立委，都把握時間最後衝刺，但罷免立委賴士葆的民團「文山退葆」，3號在路口宣傳罷免時，志工遭一名日籍男子當街揮拳，雖然只有打到看板，但罷團表示，女志工還是受到很大的驚嚇，這名日籍男子事後則向警方表示，他只有打到看板，也有跟對方道歉，但罷團表示，不接受道歉，預計下週要按鈴申告，賴士葆則說，自己掃街時也曾遭攻擊，強調都有呼籲支持者不要有衝動行為。

身穿西裝的男子，與罷團志工，當街吵了起來，「文山退葆」罷團志工VS.日籍男子說：「因為我不喜歡綠共，(問題是我們不是綠共啊)，(我們不是綠共啊)，那為什麼還要罷免藍委呀，你們就是綠共吧，(罷免賴士葆就是綠共，不是啊)。」

男子不斷以「政敵」「綠共」，稱呼罷團志工，雙方你一言我一語誰也不讓誰，爭執起因，就是因為罷團指控這名男子，對志工揮拳，「文山退葆」發起人林老師說：「他衝過來他就對我們其中一位舉牌女志工揮拳，是直接打在牌子上面，但問題是我們女志工牌子是拿在胸口，這樣一打就往後退，快要跌倒了。」

事發地點就在文山區興隆路二段上，3日晚間，罷免立委賴士葆的民團「文山退葆」，當時在路口宣傳罷免，卻被一名日籍男子揮拳攻擊，「文山退葆」發起人林老師說：「這次是我們第一次遇到等於是，動手暴力攻擊，第一次遇到的，我們之前這種語言攻擊，我們都是提告的，那這個暴力攻擊，是肯定不會，肯定不會跟他和解，也不會接受他的道歉。」

隨著罷免投票時間將近，罷團透露近期志工，頻頻遇上不理性的民眾，讓他們心生恐懼，喊話賴士葆應該約束支持者行為，立委(國)賴士葆說：「也有罷團的要攻擊我啊，我就跟他說這個『上帝愛你』，對我的支持者，只要有機會我都告訴他們，各位這個，請你們不要有任何衝動的行為。」}

文山第二分局興隆派出所長陳建中說：「表達不同立場，因肢體動作過大，推打到罷免團體宣傳看板。」經警方確認後，當事女志工沒有受傷，但罷團表示不願接受對方道歉，預計下週將按鈴申告。