נולד בשנת 1910 בראשון לציון, כשנה לאחר עלית הוריו מתימן. אחיו הוא אברהם טביב, לימים מפעילי מפא"י וחבר כנסת. גדל בשכונת 'שיבת ציון' של עולי תימן. בגיל 5 החל ללמוד בחדר תימני ובגיל 13 עבר לבית הספר העממי 'חביב' במושבה במטרה לרכוש השכלה כללית. למד שם חודשים אחדים ובתקופה זאת החל  לקרוא ספרים כלליים ולכתוב שירים. לאחר זמן קצר נאלץ לעזוב את הלימודים כדי לסייע בפרנסת המשפחה. עבד בחקלאות, בניין, שמירה וסוורות. שימש כמדריך בתנועת 'הנוער העובד' והקים סניף של התנועה בשכונת מגוריו. אחרי כן היה מרכז סניף התנועה בכרם התימנים בתל אביב.

בשנת 1934 התחתן ונדד בין מקומות עבודה בתל אביב, בגליל ובראשון לציון (בית החרושת ללבנים 'סיליקט'). בשנת 1938 מתוך אידיאלים של חלוציות ציונית-סוציאליסטית הצטרף עם משפחתו לקיבוץ נען. באותה שנה החל לפרסם משיריו בעיתונים 'דבר', 'על המשמר ' ועוד. לאחר שנה עזב את הקיבוץ ועבד כשומר בשדות השרון.

במלחמת העולם השניה, שירת במשך שלוש שנים בצבא הבריטי. אחרי כן חזר לראשון לציון והחל לעסוק בפעילות ציבורית במושבה ומחוצה לה. במהלך השנים היה פעיל בלשכת העבודה, במועצת הפועלים ובמפא"י. היה חבר במועצת העיר ובהנהלת אקו"ם. עבד במוסדות ההסתדרות הכללית, היה חבר בוועד הפועל של ההסתדרות וריכז את המחלקה הערבית של ההסתדרות. במקביל לעבודה הציבורית עסק בכתיבה ובפעילויות ספרותיות.

במלחמת העצמאות שירת בצה"ל בתפקיד קצין תרבות של חטיבה שמונה, ערך את ביטאון החטיבה 'שריון ופשיטה' ופרסם בו מפרי עטו. בשנת 1948 יצא לאור ספרו הראשון, 'כעשב השדה', רומאן חניכה ראשון שגיבורו הוא צבר תימני. לראשונה הוצגו לקורא הישראלי סיפורי ילדות תימנית בארץ ישראל של המושבות, שכללו ביקורת נוקבת על יחסם המתנשא והנצלני של איכרי המושבה כלפי בני העדה התימנית. הספר נכתב בשפה יחודית המשלבת את לשון ספרות הקודש התימנית, לשון המשנה והלשון הישראלית המודרנית. הספר עורר הדים רבים ובשנת 1950 זכה בפרס רופין‏ לספרות מטעם עירית חיפה.

בשנות ה-50 המוקדמות ערך את כתב העת 'שלוחות יוצאי תימן' של המחלקה ליוצאי תימן במפא"י, ופרסם בו מיצירותיו בשירה ובפרוזה. בתחילת 1953 החל לערוך את הירחון 'מבואות: ספרות, אמנות, ביקורת, חברה', חיבר את המאמרים הראשיים ותרם יצירות משלו בשירה ובפרוזה. באותה שנה הוציא לאור את הספר 'דרך של עפר', קובץ שירים וסיפורים קצרים, הנחשב למיטב יצירתו. ארבעה מחמשת סיפורי הקובץ עסקו בחייהם של בני העדה התימנית, על אורותיהם וצלליהם. הספר נתקבל בשעתו באהדה על ידי טובי המבקרים וזכה בפרס אוסישקין. הסיפור 'כינורו של יוסי', העוסק בנושא השכול, נלמד שנים רבות במערכת החינוך ואף היה למחזה.

בשנת 1957 יצא לאור רומן נוסף, 'כערער בערבה' אשר זכה בפרס אהרונוביץ'. במהלך השנים פרסם טביב שירים, חלקם הולחנו במנגינות תימניות מסורתיות. הוא כתב שירים למנגינות של מלחינים כגון פאול בן חיים, וחיבר את התמליל לאורטוריה 'תיקון חצות' שהלחין מרדכי סתר. בשנות ה-60 יזם טביב הקמתו של 'מפגש', כתב עת לענייני ספרות, אמנות ומחשבה בשפות העברית והערבית במטרה להביא להגביר את השיתוף והכבוד ההדדי בין יהודים לערבים. טביב הוציא לאור וערך את ארבע החוברות של כתב עת זה.

בשנת 1968 פרסם מרדכי טביב את קובץ סיפוריו האחרון, 'מסע לארץ הגדולה', שהיה קינה זועמת על ישראל שלאחר הקמת המדינה: על החלום שהתרסק אל מציאות וולגרית וקטנונית, ועל הצינה והזרות השוררת כלפי העולים וביניהם. הספר לא עורר ענין רב בקרב המבקרים והקהל,  וטביב לא פרסם ספרים נוספים.

ב-20 בינואר  1979 נפטר מרדכי טביב בראשון לציון. בשנת 2000 יצאה בהוצאת 'הקיבוץ המאוחד' מהדורה חדשה וכוללת של סיפוריו.