נולד ב-14 במרץ 1918 בסבסטופול, חצי האי קרים שבאוקראינה. בילדותו עבר עם משפחתו לווילנה שבליטא, שם למד בגימנסיה העברית 'תרבות' והחל לקחת חלק בפעילות ציונית וסוציאליסטית במסגרת תנועת הנוער 'השומר הצעיר'. במהרה הפך לאחד ממנהיגי התנועה בווילנה וסביבותיה. אביו חלה ונפטר עוד בנעוריו. לפני פרוץ המלחמה החל ללמוד בסמינר למורים בווילנה. בשנת 1939, עם פרוץ המלחמה, החל בפעילות לקליטת הפליטים היהודים שנמלטו מפולין הכבושה לווילנה. במקביל, משנת 1940, למד אמנות פלסטית באקדמיה לאמנויות שליד אוניברסיטת וילנה. במהלך לימודיו באוניברסיטה החל לפרסם שירים.

ב-24 ביוני 1941 נכבשה וילנה בידי הגרמנים ואבא קובנר נאלץ להפסיק את לימודיו ולרדת למחתרת. בתחילה הסתתר ביחד עם חברים נוספים מה'שומר הצעיר' במנזר האחיות הדומיניקניות ליד וילנה. לאחר ששב לגטו והתברר לו שמחצית הקהילה היהודית הושמדה, הגה את רעיון ההתנגדות ונרתם להקמת כוח יהודי לוחם. בליל ה-31 בדצמבר 1941 באספת התנועות החלוציות בווילנה קרא כרוז שחיבר ואשר הפך לאחד מסימלי ההתנגדות היהודית בזמן המלחמה. בכרוז נאמר:

'...היטלר זומם להשמיד את כל יהודי אירופה. על יהודי ליטא הוטל להיות הראשונים בתור.
אל נלך כצאן לטבח!
נכון, חלשים אנו וחסרי-מגן, אולם התשובה היחידה לאויב היא התנגדות!
אחים! מוטב ליפול כלוחמים בני-חורין מלחיות בחסד מרצחים.
להתגונן! עד הנשימה האחרונה.' 

ב-21 בינואר 1942 נוסד בווילנה 'ארגון הפרטיזנים המאוחד' (פ.פ.או.), שהורכב מחברי תנועות הנוער השונות מכל הזרמים. יצחק ויטנברג התמנה למפקד הארגון ואבא קובנר לאחד משני סגניו. מטרתו של הארגון היתה לארגן התנגדות חמושה כאשר הגטו יעמוד בסכנת חיסול, להפיץ את רעיון המרד ולהביא לידיעת העולם מידע על השמדת היהודים. חברי הארגון עסקו בהשגת נשק באמצעות גניבה מהגרמנים או רכישה מהאוכלוסיה הלא יהודית ויצרו קשרים עם הפרטיזנים ביערות הסמוכים. ביולי 1943 נתפס ויטנברג על ידי הגרמנים וקובנר התמנה למחליפו. כל אותה תקופה המשיך קובנר לכתוב, ושיר שלו, שהוברח אל מחוץ לגטו, אף פורסם באותה עת בעיתון 'הארץ', תחת שמו המחתרתי, 'אורי'.

בספטמבר 1943 התארגנו הנאצים לפינוי הסופי של גטו וילנה. תושבי הגטו לא תמכו בפעילות המחתרת ולכן לא היו סיכויים רבים להצלחת התקוממות בתוך הגטו. חברי הארגון החליטו לברוח מן הגטו אל יערות נארוץ ורודניקי הסמוכים לווילנה, ושם להילחם כפרטיזנים. מאחר שהגטו היה מוקף בכוחות נאציים, הם נמלטו דרך תעלות הביוב אל היערות. בתחילה הם הקימו יחידות של פרטיזנים יהודים במסגרת תנועת הפרטיזנים הסובייטית. מטה הפרטיזנים הסובייטי שלל קיום יחידות נפרדות של יהודים, ולכן  מאוחר יותר נטמעו הקבוצות היהודיות בתוך קבוצות הפרטיזנים הכלליות ביערות. אבא קובנר הצטרף לפלוגת פרטיזנים ליטאים בהנהגת יורגיס זימאנאס, והשתתף בפעולות כגון: פיצוץ רכבות גרמניות, הברחת יהודים ממחנות עבודה והרס של תשתיות. ביוני 1944 התקרב הצבא הסובייטי לווילנה, ורוב הפרטיזנים, ביניהם קובנר, יצאו מן היערות והשתתפו בשחרור העיר ב-13 ביולי 1944.

לאחר המלחמה היה אבא קובנר מפעילי 'הבריחה', הארגון שעסק בהברחת ניצולי שואה ופליטים יהודים אל נמלי אירופה, משם המשיכו כמעפילים לארץ ישראל. כמו כן הקים את 'חטיבת שרידי מזרח אירופה', התארגנות על-מפלגתית של זרמים ציוניים שונים. ביולי 1945 הגיע לבסיס של הבריגדה היהודית בטרוויזו שבאיטליה ונאם בפני החיילים על השמדת יהודי אירופה, ההתנגדות הפרטיזנית והצורך בנקמה בגרמנים. בהיותו באיטליה החליט קובנר להוציא לפועל את תוכנית הנקמה והקים עם חברים מהפרטיזנים את קבוצת 'הנקם' אשר תכננה לבצע הרעלות המוניות של אוכלוסיה גרמנית ושבויים גרמנים. בשלהי 1945 הגיע קובנר לארץ ישראל כדי להשיג ציוד למשימה וקיבל רעל ומסמכים מזוייפים של חייל בריגדה. בדרכו חזרה לאירופה נעצר בידי הבריטים בשל השימוש במסמכים מזוייפים, לאחר שהספיק להשליך את הרעל לים.

לאחר כמה חדשי מאסר במצרים ובירושלים השתחרר אבא קובנר והצטרף עם אשתו ושותפתו למחתרת וללחימה ויטקה קמפנר, ועם קבוצת פרטיזנים, לקיבוץ עין החורש. הוא התגורר בקיבוץ עד יומו האחרון ומילא תפקידים שונים בקיבוץ ובתנועת 'הקיבוץ הארצי'. לדברי בנו, הצייר מיכאל קובנר: 'לצד 'העניין הגדול', היתה לו תפיסה שכל בעל תפקיד ובכל מקום עבודה, צריך לשרת את החברים. לכן היה לא רק מזכיר ומרכז ועדת תרבות, אלא גם הגיש בחדר האוכל והיה חצרן שצבע, ותיקן רשתות וברזים. עין החורש היתה ביתו, וחברי הקיבוץ היו עבורו כמו משפחה מורחבת.'

במלחמת העצמאות התגייס אבא קובנר לחטיבת 'גבעתי' בתפקיד קצין התרבות של החטיבה ואתה עשה את דרך הקרבות הארוכה והקשה עד תום המלחמה. הוא התפרסם באותה תקופה ב'דפים הקרביים' שכתב ואשר נועדו לעסוק בענייני השעה ולהעלות את מורל החיילים. לאחר כיבוש קיבוץ ניצנים בידי הצבא המצרי פירסם 'דף קרבי', שבו גינה את כניעתם של מגיני ניצנים במילים הבאות: 'נפילת ניצנים - כשלון הוא. כשלון חמור... טוב ליפול בחפירת הבית מלהיכנע לפולש הרצחני. להיכנע - כל עוד חי הגוף והכדור האחרון נושם במחסנית- חרפה היא! לצאת לשבי הפולש - חרפה ומוות!'. דברים אלה עוררו פולמוס וגרמו לפגיעה קשה בחברי קיבוץ ניצנים.

במאי 1961 העיד מטעם התביעה במשפט אייכמן, ועדותו הותירה רושם עז. בשנת 1963 נחנך בגבעת חביבה  'מורשת - בית עדות על-שם מרדכי אנילביץ'', אשר נוסד על ידי קבוצת לוחמים-פרטיזנים בראשות אבא קובנר. בשנת 1968 נחנך בקיבוץ יד מרדכי מוזיאון 'משואה לתקומה'. קובנר  הוא הראשון שהגה את רעיון ההנצחה באמצעות חיבור נושא השואה לנושא התקומה וישם אותו בתצוגות במוזיאון זה. בשנת 1972 הצטרף קובנר לצוות ההקמה של בית התפוצות על שם נחום גולדמן בתל־אביב והיה אחראי על עיצוב התכנים.

במהלך השנים, במקביל לעיסוקיו האחרים, עסק אבא קובנר בכתיבה ספרותית והוא נחשב לאחד המשוררים העבריים החשובים של דור השואה והתקומה. עוד בתקופת לימודיו באוניברסיטה בווילנה החל לכתוב ולפרסם שירים ביידיש ושירים קצרים בעברית. בתקופה שבה היה במאסר במצרים, החל בכתיבת הפואמות הארוכות שלו, שלימים הפכו לתרומתו העיקרית לשירה העברית של תקופתו ולגולת הכותרת של יצירתו.

הפואמה הראשונה שלו, 'עד לא אור' (1947), מספרת את סיפורו של הגטו הנצור לפני ההשמדה. הפואמה השניה שלו, ''פרידה מהדרום' (1949), מספרת את קורות חטיבת 'גבעתי' והמלחמה בבנגב במהלך מלחמת העצמאות. יש המחשיבים את היצירה הזו לטובה מבין יצירותיו.

בשנות ה-50 חיבר אבא קובנר את יצירת הפרוזה היחידה שלו, הטרילוגיה 'פנים אל פנים', אשר ממנה התפרסמו רק שני חלקים: 'שעת האפס' (1953) ו'הצומת' (1955). יצירה זו, העוסקת בדרכה של חטיבת 'גבעתי' במלחמת העצמאות זכתה להצלחה מסחרית והיא נחשבת על ידי מבקרים רבים כאחת היצירות החשובות ביותר שנכתבו על מלחמת העצמאות.

באפריל 1955 יצא אבא קובנר לשליחות של מספר חודשים מטעם התנועה בדרום-אמריקה. המסע כלל הרצאות ומפגשים עם חניכי תנועת הנוער' השומר הצעיר' ועם ארגוני שמאל יהודיים אחרים הקרובים למפ"ם. בשנת 1961 בתפרסמה הפואמה שלו 'אדמת החול', שבה תיאר את הרשמים החזקים מביקורו בברזיל הפאגאנית במסגרת אותה שליחות.

בשנות ה-60 וה-70 פרסם אבא קובנר גם את שירתו הלירית, שמרביתה כונסה בשני הספרים 'מכל האהבות' (1965), ו'תצפיות' (1977). לאחר מכן מיעט בכתיבת שירה לירית וחזר לכתיבת הפואמות הגדולות. חלק מיצירותיו, 'אחותי קטנה' , 'חופה במדבר',  ושירים נוספים  תורגמו לאנגלית. כל שיריו של אבא קובנר כונסו בחמישה כרכים על ידי דן מירון ויצאו לאור בהוצאת 'מוסד ביאליק' בשנים 1997-1996.

במהלך השנים פירסם אבא קובנר גם קבצי נאומים ומאמרים: 'על הגשר הצר, מבחר מנאומיו ודבריו שבעל פה' (1981) ו'לעכב את הקריעה, מבחר מסות ומאמרים' (1998). הוא ערך או השתתף בעריכה של הספרים הבאים: 'ציירים בקיבוץ' (יחד עם פסל פרידברג, 1961), 'אין פרפרים פה : ציורים ושירים של ילדי גיטו טרזינשטדט 1942־1944' (יחד עם חנה וולקוב, 1963), 'רקויאם לטרזינשטדט' מאת יוסף בור (1965), 'ילדות באה באש : ספורים, שירים וציורים מחוויותיהם של ילדים במלחמת ששת הימים' (יחד עם ברטה חזן, 1968), 'מבית - מכל ארץ : 52 צלמים צילמו'  (יחד עם שרגא וייל ודב אמיתי, 1971) ו'אנתולוגיה לשירי־עם ביידיש' (יחד עם אהרן וינקובצקי וסיני לייכטר, 1983־2004). הוא תירגם מיידיש את שירו הידוע של אברהם סוצקבר 'אחי התאום' וכן שניים משיריה של המשוררת מרים אולינובר.

אבא קובנר זכה בפרס שלונסקי על הרומן 'פנים אל פנים' (1961), בפרס ברנר על הפואמה 'אחותי קטנה' (1968), בפרס ישראל לספרות יפה  (1970) ובפרס ביאליק לספרות יפה (1978). הוא כיהן כיו"ר אגודת הסופרים העבריים.

על יצירתו של אבא קובנר נכתבו מאמרים רבים, ביקורות ומסות, על ידי מבקרים וחוקרים רבים, ביניהם:  דן מירון, הלל ברזל, גרשון שקד, ראובן שהם, אלי שביד, צביה גינור בן-יוסף, נתן זך, משה שמיר, זיוה שמיר, אליעזרה איג,  חנה יעוז, יעקב בסר, שלום לוריא, צבי ניימן. המבקר אריאל הירשפלד כתב על יצירתו של קובנר את הדברים הבאים :

'שירת אבא קובנר היא מן הפלאים המוזרים של היצירתיות האנושית; היא, שחובלה בתוך ההשמדה הנאצית, הפכה לשירה מקורית ונועזת ביותר. היא הלכה בדרכי המודרניזם למחוזות רחוקים יותר מכל שירה עברית אחרת, מעבר למופשט ולמקוטע והמסוכסך. היא התרחשה במקומות הנשלטים בידי קריעה ומחיקה. גם בשעתה ברור היה לקוראיה שזוהי שירה גדולה. כוח עצום עבר מבעד לרצפים המוזרים האלה, ה'פואמות' של קובנר, העשויים גזרים-גזרים, כשרידים של איזו תמונה ענקית שנערמו, ולא יוכלו עוד להיות תמונה. ולאמיתו של דבר - כמעט רק כוח עבר ממנה אל קוראיה, ולא דברים או רעיונות...'

  ב-25 בספטמבר 1987 נפטר אבא קובנר בקיבוץ עין החורש.