1939年初,日本將幾個佔領的區域劃成傀儡政府,這包含了1937年12月,華北成立的冀東防共自治政府、1938年3月在華中成立的中華民國維新政府、德穆楚克棟魯普(簡稱德王)蒙古自治邦則在1941年獲得汪偽政權的承認。日本起初對這種狀況感到滿意,並沒有要在中國成立另一個國民政府。在蔣中正將首都遷往重慶並拒絕與日本人談判時,打破了日本人對蔣的預料,他們認為攻佔南京之後,就可以強迫蔣無條件的答應所有的條件。於是日本人開始物色新國民政府的人物,這個人也必須在政治上與蔣匹敵。
最後,日本人的眼光放到了汪兆銘身上,在1930年代,汪兆銘、胡漢民、蔣中正分別在政、黨、軍三面領頭國民黨,直到寧漢分裂為止。汪是一位在中國有名望的革命家,他曾經企圖刺殺載灃,失敗後在社會普遍同情下逃過死刑,然後成為國民黨創黨者之一的孫中山徒弟。並透過其岳父陳耕基投資革命事業獲得黨內地位。
雖然與蔣中正的政治鬥爭失敗,汪兆銘在當時的作法如今也受到多方揣測,比較中立的說法是,他試圖組織起反對蔣政權的地方指揮官、軍閥來籌建反蔣聯盟,並利用這股政治力量來和日本人談和,最後共同反共。汪出走重慶之後,整個1939年都和日本代表談判(這段期間短暫的統治日佔廣東),最終在年底達成協議。
1940年3月30日,所謂的汪精衛國民政府在南京正式成立。汪偽政權吸收了蒙疆聯合自治政府、中華民國臨時政府(前身是冀東防共自治政府)、中華民國維新政府(首都在南京,但管轄蘇、浙、皖三省)。雖然王克敏的中華民國臨時政府在某種方面上繼續他的獨立,總體而言,汪偽政權的影響力只有在首都南京以及靠近日本佔領區的附近地區。汪宣稱他是國民政府派來南京和談的,這個新政府是國民黨政府的延續,是合法政府。並且堅持保留所有中國民國的標誌、旗幟、徽章,以及孫中山的三民主義路線。
這個南京國民政府一開始就與日本人的關係很差,因為汪堅持他的政權是真正的國民政府,並且複製所有國民黨的標誌,這導致日本在政權旗幟上的政治問題。汪堅稱蔣中正綁架了國民政府並使用這面國旗,使日本人對於其傀儡政權使用他們試圖擊敗的政權旗幟非常困擾。對此日本人以在戰場上雙方如果使用相同旗幟會誤擊,而且日軍可能會誤判導致攻擊友軍。所以日本主張南京國民政府應該使用五色旗,但是被汪視為是一種恥辱。
南京國民政府的國旗加了一面黃色三角旗,貫穿國旗全長,上面寫著和平反共,後來加上建國。日本人說這樣就能夠和重慶政權區分開來,同時宣布國家的反共性質。汪精衛和他的官員很討厭這面黃色三角旗,稱他為豬尾巴,沒有日本官員在場時,黃色旗幟經常被移除。國旗問題一直被爭論到1943年為止,最後日本人放棄汪偽政權使用,所以不再懸掛。