אחת המסורות העתיקות ביותר בעלת כמות פיוטים גדולה במיוחד היא מסורת תימן. כתיבת פיוטים בתימן החלה ככל הנראה מזמן הגלות, אך העתיקים ביותר קיימים על הכתב מראשית ימי הביניים. מסורת פיוטי תימן מכילה כ-3500 פיוטים שנכתבו בידי כ-150 משוררים מתימן.
המקורות שהשפיעו על פיוטי תימן מורכבים משירת פייטניה הקדומים של ארץ ישראל, פיוטים מתקופת הגאונים, שהגיעו מבבל, וכן פיוטיהם של משוררי ספרד בתור הזהב.
הפיוטים שולבו בתחילה בתוך סידורי התפילה במסגרת מיוחדת שנקראה "שירים ותושבחות". כך הצליחו להגיע לידינו פיוטים עתיקים מאוד כמו אלו שמכונים "נצ'ר רחמים", כלומר סדר הרחמים, ובו פיוטי הסליחות ששימשו את יהודי תימן ושהגיעו אליהם מגאוני בבל. בין השאר ניתן למצוא ב"נצ'ר רחמים" את פיוטי הרַחְמָנוֹת, כמו "רַחְמָנָא, אִדְכַּר לַן קְיָמֵיהּ דְּאַבְרָהָם רְחִימָא – בְּדִיל וַיַּעֲבוֹר". כך גם פיוטי ה"מָרַנוֹת" שבסליחות השתמרו מימי הגאונים – "מָרַנָא דְּבִשְׁמַיָּא, לָךְ מִתְחַנְּנִין אַנַּן כְּעַבְדָא דְּמִתְחַנַּן לְמָרֵיהּ".
פיוטי תימן מכונסים יחדיו בספר שירים הנקרא "דיוואן". צורתו לרוב ארוכה וצרה, לשם נוחות הנשיאה, ובעבר כל אדם היה כותב בדיוואן שלו את השירים שחפץ בהם, אך בכולם ניתן למצוא את מגוון סוגי הפיוט בתימן: שירי חתונות, שבתות וחגים, חתונות, ברית מילה, פיוטי געגוע לארץ ישראל, לציון ולירושלים.
את השירה התימנית מתחילים בדרך כלל בפיוטי "נְשִׁידּ" (ברבים נִשְׁוַדּ). אלו פיוטים קצרים ופשוטים בעלי נעימה שליווה, תמיד יהיה בהם חרוז אחד ומשקל קבוע. הם לא נועדו לריקודים ונהגו לשיר אותם בשבתות. הנשיד יכול גם לשמש כשיר פתיחה בחתונות. סוג אחר של שירים הוא זה המכונה בפשטות "שירה" והוא כולל את שירי האיזור הידועים משירת ספרד, שירים ארוכים שחריזתם ומשקליהם מורכבים, הריקודים בשירה מתגברים בשורות הקצרות והקצביות. ה"זַפֵהּ" הוא סוג נוסף של שירים שייוחדו לחתונות, ולמעשה בליווי שירים אלו הובילו את הכלה לבית החתן. השיר קצר ומדבר על שבחי החתן וברכות לראשו. את השירה נהוג לחתום בשירים הקרויים "הַלֵל" – זוהי ברכה קצרה שנפתחת במילה "הללויה" ומסתיימת בפסוק מהתורה. השיר מדבר בשבחו של בעל השמחה.
השירה התימנית סבבה סביב ה"ג'עלה", מעין התכנסות משפחתית. בשבתות ובחגים לא התחילו מייד בסעודה, אלא הגישו תקרובות שונות, בירכו עליהן וטעמו מעט ואז הזקנים התחילו בשירה. בג'עלה ניתן ביטוי חזק לנימוסים ולכיבוד המבוגרים. מלבד הובלת השירה על ידי המכובדים מלמדים את הצעירים נימוסי אכילה ונימוסי שיחה. תוך כדי הג'עלה, שרו שירים מתוך הדיוואן. השירים בשבת היו שלווים, ללא מחיאות כפיים או תיפוף. במוצאי שבת נהגו לשיר פיוטים קצביים כמו "לנר ולבשמים"
ראשוני המשוררים הידועים בשמם הם מהמאה ה-11. אחד המפורסמים בהם הוא ר' דניאל פיומי, שהיה דודו של ר' עמרם פיומי, אליו מיען הרמב"ם את איגרת תימן. בדורו פעל גם המשורר סעיד בן מרחב שהשאיר לנו שמונה מרנות בסידורים התימניים. במאה ה-16 נודע ר' יחיא זכריה אלדהארי. משורר זה ערך מסעות בעולם והגיע גם לארץ ישראל, שם הוא נפגש עם ר' יוסף קארו בצפת. את רשמיו הוא הנציח בשירים בצורת מקאמות בספר המוסר.
גדול משוררי תימן הוא ללא ספק ר' שלם שבזי משתא. הוא נולד בשנת 1619 וכאשר עבר לעיר שבז דבק בו הכינוי "שבזי". בימיו של ר' שלם שבזי עברו היהודים טלטלות רבות, שכן האימפריה העותמאנית כבשה חלקים ניכרים מתימן. הטורקים התעללו ביהודי תימן ואף דרשו מהם לעבור על דתם. בימי בגרותו הצליחו התימנים לגרש את הטורקים מתימן, אך רדיפות היהודים נמשכו והוטלו עליהם גזירות קשות כגון חטיפת ילדים יהודים והמרת דתם בכפייה, "גזירת העטרות" – איסור לחבוש מצנפות (בשנת 1667). שבזי מתייחס לגזירה האחרונה בשירו המפורסם "איומה בהר המור": מְהַתֵּל עֲלֵי דָתִי, וּבוֹזֶה לְתוֹרָתִי וְהֵסִיר עֲטָרָתִי. אחת הצרות הגדולות ביותר שניחתו על יהודי תימן היא "גלות מַוְזַע" בשנת 1679 – המוסלמים נתנו ליהודים אפשרות להמיר את דתם או לצאת מתימן. בסופו של דבר החליט השליט להגלות את היהודים לאיזור מדברי וצחיח. היהודים נעו בשיירות לעבר מחוז מוזע כשרבים מתוכם מתו בייסורי צמא, רעב, מגיפות וחום. שבזי התפרנס כאורג, אך הבין ועסק בחוכמות רבות כמו אסטרונומיה, אסטרולוגיה, פרשנות התורה, שירה ופיוט ושלט היטב בעברית, ערבית וארמית. למרות חכמתו, הוא חי חיי דוחק ועל כך הוא כותב בשיריו: "שוכן בלא דירה רוחה וקיר…", ובשיר המפורסם: "אם ננעלו דלתי נדיבים – דלתי מרום לא ננעלו". משיריו נותרו לנו כ-800 שירים.