炳哥和李香琴（琴姐）的緋聞傳足數十年，他們自粵語片時代已合作，合演電影又經常結伴登台，合作無間。炳哥於1970年代經營廣告公司，同期李香琴成立「李氏影業」，炳哥之後也自組「譚氏影業」，兩人先後合作製作了多部賣座電影《大鄉里與掃街添》和《大鄉里威風八面》等。到了他們入了無綫工作仍不停合作，1998年更合辦《譚炳文‧李香琴繽紛友情三十載》演唱會。雖然緋聞傳足多年，但他們一直表示是好友關係。琴姐在一次訪談中曾說跟炳哥合作多年，一定會有感情、有感覺，這樣在合作上才能交流，但否認拍拖。炳哥2018年出席活動時表示與琴姐已數年沒見，當時他還慨嘆琴姐已經「唔係好認得人」！