Litván-zsidó családba született Roman Kacew néven, a francia hivatalos papírokon pedig Kacewgari-ként szerepelt a családneve. Nevét a második világháborúban változtatta Romain Garyra, miután a megszállt Franciaországból Angliába menekült. Apja, Arieh-Leib Kacew, 1925-ben elhagyta a családját és újra nősült - ezután Garyt csak édesanyja, Mina Owczinska nevelte. Tizennégy éves korában a dél-francia Nizzába költöztek. Könyveiben és későbbi interjúi során Gary számos változatban beszélt apjáról, szüleiről, azok munkájáról és gyerekkoráról.
Gary először Aix-en-Provence-ban majd Párizsban végezte tanulmányait. Pilótaképzését a Francia Légierő kötelékében szerezte Salon-de-Provence-ban és a Bourges melletti Avord légitámaszponton. Franciaország náci megszállását követően Angliába menekült, ahol Charles de Gaulle tábornok szabad francia haderejében teljesített szolgálatot, így került észak-afrikai és európai bevetésekre. Pilótaként több mint 25 bevetésen vett részt, 65 órányi repült idővel. A háborúban tanúsított helytállásáért számos kitüntetésben részesült.
A háború után Gary a francia diplomáciai testületben szolgált, első regényét 1945-ben adták ki. Ezt termékeny írói pályafutása során még több mint harminc további regény, esszé és emlékirat követte, amelyek egy részét Émile Ajar álnéven írta. Az egyik regényét Fosco Sinibaldi, egy másikat Shatan Bogat álnéven írta.
1952-ben kinevezik New Yorkba, az ENSZ francia küldöttségének élére. 1956-tól Los Angeles-i francia főkonzul.
Romai Gary az egyetlen író, akinek a Goncourt-díjat kétszer is odaítélték - ezt a francia irodalmi kitüntetést egy író csak egyszer kaphatja meg. Garyt 1956-ban a Les racines du ciel-ért tüntették ki, majd 1975-ben ismét; ezúttal az Émile Ajar álnéven publikált Előttem az élet-ért (La vie devant soi). A Goncourt-akadémia az álnév mögötti író személyét nem ismerve ítélte meg a díjat. Egy ideig Paul Pavlowitch, Gary unokaöccse tetszelgett az író szerepében. Gary a Vie et mort d'Émile Ajar, halála után posztumusz kiadású regényében leplezte le az igazságot.
Gary első feleségét, Lesley Blanch angol újságírót, a Vogue magazin szerkesztőjét és a The Wilder Shores of Love íróját 1944-ben vette el, és 1961-ben vált el tőle. 1962 és 1970 között Jean Seberg amerikai színésznő volt a felesége, közös fiuk Alexandre Diego Gary.
Gary írta A leghosszabb nap forgatókönyvét, valamint írta és rendezte az 1971-es Kill!-t, amelyben az akkor már elvált felesége, Seberg is szerepelt.
Seberg 1979-es öngyilkosságát követően Gary depressziós lett, és 1980. december 2-án golyót röpített a fejébe[2], bár a búcsúlevelében hangsúlyozta, hogy öngyilkosságának semmi köze nincsen Sebergéhez.
Úgy emeltem le néhány éve otthon a polcról, hogy semmit sem tudtam erről a könyvről, sem az írójáról, de vékony, kis formátumú könyvként ideálisnak tűnt aznapi utazásomhoz... Azóta már vagy háromszor elolvastam ismét, és az egyik kedvenc könyvem lett. Lendületes, érdekes, a figyelmet minden sorával fenntartó regény, számomra az a "letenni iszonyatosan nehéz" fajta. Csak ajánlani tudom. :-)