چکیده ...................................................................................................................................................................................................... 1
مقدمه ....................................................................................................................................................................................................... 2
فصل اول: اصول کلی در ایجاد حالت در گفتار و شناسایی حالت گفتار ..................................................... 7
1 - ایجاد و بازشناسی حالت در گفتار ............................................................................................................................. 7
-1- روابط صوتی حالت در گفتار انسانی ......................................................................................................................... 8 1
-2- ایجاد گفتار حالتدار کارتونی ...................................................................................................................................... 10 1
1-2- - هدف ................................................................................................................................................................................. 10 1
-2-2- تحقیقات موجود ......................................................................................................................................................... 11 1
3-2- - الگوریتم ساده و کامل .......................................................................................................................................... 12
-4-2- ارزیابی با نمونههای انسانی ................................................................................................................................... 16 1
-5-2- تغییر مستمر سن صدا و میزان حالت .......................................................................................................... 19 1
-3- ارزیابی سن و کنترل میزان حالت ........................................................................................................................ 20 1
-4- بازشناسی حالت در گفتار انسانی ........................................................................................................................... 20 1
-1-4- هدف .................................................................................................................................................................................... 20 1
-2-4- تحقیقهای موجود ...................................................................................................................................................... 21 1
-3-4- پایگاه داده ...................................................................................................................................................................... 22 1
-4-4- استفاده از تکنیک های استخراج داده ها ................................................................................................. 23 1
-5-4- انتخاب ویژگی .......................................................................................................................................................... 26 1
-6-4- زمانیکه تعداد نمونههای خیلی کمی فراهم باشد .................................................................................. 31 1
-7-4- آموزش ربات در حالت واقعی .............................................................................................................................. 33 1
-5- نتیجه گیری ......................................................................................................................................................................... 34 1
فصل دوم: روشهای شناسایی حالت گفتار و برخی کاربردها در این زمینه ........................................... 36
3- و درخت تصمیم گیری در س یستم ها ی NN، SVM ، -1 مقایسه الگوریتمهای شبکه عصبی
پاسخگویی صوتی متقابل ......................................................................................................................................................... 36
-1- بازشناسی حالت ................................................................................................................................................................. 37 1
-2- بانک اطلاعاتی .................................................................................................................................................................... 38 1
-3- استخراج ویژگیها ............................................................................................................................................................... 39 1
39 ...................................................................................................................... (F 1-3- - ویژگیهای فرکانس پایه ( 0 1
2-3- - ویژگیهای انرژی ................................................................................................................................................... 39 1
3-3- - ویژگیهای طول زمان شنیداری ................................................................................................................ 40 1
-4- گروهبندی و نتایج ..................................................................................................................................................... 41 1
-1-4- بازشناسی خیلی خشمگین و عادی ............................................................................................................... 41 1
-2-4- بازشناسی عصبانیت شدید و کم در برابر غم / عادی ........................................................................ 43 1
-3-4- بازشناسی شادی, عادی/غم, عصبانیت شدید ........................................................................................ 45 1
-4-4- کدام حالت ها از لحاظ نوای گفتار به یکدیگر نزدیک اند؟ .............................................................. 45 1
5-4- -بازشناسی همه 15 حالت ..................................................................................................................................... 47 1
-5- نتیجه گیری ........................................................................................................................................................................ 47 1
ها برای بازشناسی حالت در گفتار روزمره ............................................................................ 49 GMM -2
-1-2 موضوع ................................................................................................................................................................................. 50
1-1-2 - موضوع فراهم کننده صدا .................................................................................................................................... 50
51 ............................................................................................................................................................ ISL -2-1-2 مجموعه های جلسات
-2-2 ویژگی ها ........................................................................................................................................................................ 52
52 ................................................................................................................................................... mel -1-2-2 ضرایب کپسترال فرکانس
پایین ............................................................................................................................................................... 53 MFCC -2-2-2
-3-2-2 فرکانس گام و مشتق آن ...................................................................................................................................... 53
-3-2 طبقه بندی کننده ها .................................................................................................................................................. 53
1-3-2 - ترکیب طبقه بندی کننده ها ........................................................................................................................ 54
-4-2 آزمایشات ............................................................................................................................................................................ 54
-5-2 نتایج ............................................................................................................................................................................................. 55
-1-5-2 نتایج فراهم کننده صدا ......................................................................................................................................... 55
57 ............................................................................................................ ISL (meeting corpus) -2-5-2 نتایج گروه انجمنی
-6-2 بحث ........................................................................................................................................................................................ 58
-7-2 جمع بندی ........................................................................................................................................................................... 58
و شبکه های عصبی ................................................ 60 K-NN 3 - شناسایی و تشخیص حالت گفتار با استفاده از
1- تحقیق آزمایشگاهی ........................................................................................................................................................... 60 3
1-1-3 - مجموعه داده های حالتدار ( گفتار های حالتدار ) ........................................................................... 61
2-1-3 - عملکرد افراد .................................................................................................................................................................. 61
-2- توسعه ........................................................................................................................................................................................ 65 3
1-2-3 - استخراج ویژگیها ...................................................................................................................................................... 65
-2-2-3 اجرای کامپیوتری ...................................................................................................................................................... 66
-4 بازشناسی حالت با استفاده از آنالیز تفکیک کننده درجه دوم ، خطی و ماشین بردارپشتیبان
گوسی و مدل مارکوف مخفی و مقایسه آنها با یکدیگر ............................................................................................ 68
-1-4 بازشناسی حالت .................................................................................................................................................................. 69
-1-1- استخراج ویژگی ........................................................................................................................................................... 69 4
-2-1- انتخاب ویژگی .............................................................................................................................................................. 71 4
-3-1- طبقه بندی .................................................................................................................................................................... 71 4
72 ......................................................................................................... SusAs -2-4 نتایج آزمایشگاهی استفاده از پایگاه داده
-1-2- نتایج گزینش ویژگی منحصر به فرد ............................................................................................................ 72 4
2-2- - نتایج گزینش ویژگی گروه ................................................................................................................................ 74 4
3-2- - نتایج طبقه بندی حالت گفتار .................................................................................................................... 74 4
76 ...................................................................................................... ALBO -3-4 نتایج آزمایشگاهی استفاده از پایگاه داده
76 ............................................................................................................ (Pair-wise) -1-3- نتایج دسته بندی جفتهای مشابه 4
78 ........................................................................................ HMM و GSVM 2-3- - دسته بندی چند کلاسه با استفاده از 4
-4-4 بحث ....................................................................................................................................................................................... 79
-5-4 نتیجه ......................................................................................................................................................................................... 79
81 ........................................ (KNN) -5 بازشناسی حالت گفتار با استفاده از رای اکثریت کارشناسان زیرفضا
-1-5 استخراج ویژگی ها ....................................................................................................................................................... 82
-1- ویژگی های استخراج شده پایه .................................................................................................................... 83 1-5
-2- جستجو برای یافتن ویژگی های بهینه ..................................................................................................... 83 1-5
-2-5 عملکرد پایه .......................................................................................................................................................................... 84
3-5 - بهینه سازی استاندارد فاصله .................................................................................................................................. 86
-4-5 انتخاب ویژگی .................................................................................................................................................................... 87
-5-5 رای اکثریت کارشناسان .............................................................................................................................................. 88
-6-5 بحث ........................................................................................................................................................................................... 90
-7-5 جمع بندی ......................................................................................................................................................................... 90
-6 بازشناسی حالات گفتار چندزبانه با استفاده از آنالیز مؤلفه های اصلی ............................................... 92
-1-6 مرور بر آزمایش بازشناسی حالات .................................................................................................................... 92
-1-1- مؤلفه های اساسی آزمایش بازشناسی حالات........................................................................................... 92 6
2-1- - مجموعه گفتار مورد استفاده برای آنالیز و بازشناسی .................................................................. 93 6
-3-1- استخراج و آنالیز ویژگیهای نوای گفتار ..................................................................................................... 93 6
-2-6 تفکیک پذیری حالات احساسی ................................................................................................................................ 94
-3-6 بازشناسی حالت گفتار چند زبانه ............................................................................................................................ 96
-1-3- آنالیزمولفه های اصلی .............................................................................................................................................. 96 6
2-3- -آزمایش ها و نتایج ..................................................................................................................................................... 97 6
-4-6 نتایج ........................................................................................................................................................................................ 98
-7 بازشناسی حالت از سیگنالهای بالقوه زیستی چند مدلی با استفاده از شبکه ها ی عصب ی و
99 ................................................................................................................................................................................................ SVM
-1- جمع آوری داده های حالت دار................................................................................................................... 100 7
-1- تجهیزات آزمایشی ............................................................................................................................................... 100 1-7
-2- آزمایشات فیزیولوژیکی ....................................................................................................................................... 102 1-7
-3- استخراج ویژگی ................................................................................................................................................... 103 1-7
-2- دسته کننده الگو ........................................................................................................................................................... 104 7
-1- شبکه های عصبی چند لایه ........................................................................................................................... 104 2-7
-2- ماشین بردار پشتیبانی ........................................................................................................................................ 105 2-7
-3- آزمایشات بازشناسی حالت .................................................................................................................................... 106 7
-4- نتیجه گیری .................................................................................................................................................................... 111 7
-8 بازشناسی حالت گفتار با استفاده از مدل مارکوف مخفی .................................................................... 112
112 ....................................................................................................................... (RAW) -1-8 استخراج پوشهای ویژگی های خام
ها..................................................................................................................................... 113 GMM 2-8 - آمار عمومی با استفاده از
1-2- - ویژگی وابسته به فرکانس گام ................................................................................................................. 114 8
-2-2- ویژگی های وابسته به انرژی .......................................................................................................................... 114 8
-3-2- پردازش ویژگی های حاصل ............................................................................................................................ 115 8
در بازشناسی ........................................................................................................................................... 115 CHMM -3-8 استفاده از
4-8 - مجموعه گفتار ......................................................................................................................................................... 116
-5-8 نتایج بازشناسی ........................................................................................................................................................... 116
-1- آمار عمومی .............................................................................................................................................................. 117 5- 8
-2- ویژگی های لحظه ای ...................................................................................................................................... 117 5- 8
-3- قضاوت بشری ......................................................................................................................................................... 119 5- 8
-6-8 بحث ................................................................................................................................................................................... 119
-9 بازشناسی حالت گفتار با استفاده از شبکه عصبی ..................................................................................... 120
-1-9 طراحی سیستم ................................................................................................................................................................. 121
1-1-9 - حالت گفتار ............................................................................................................................................................. 121
-2-1-9 مستقل از گوینده و مفهوم ........................................................................................................................... 122
-3-1-9 مراحل پردازش .................................................................................................................................................... 122
4-1-9 - ویژگی گفتار .......................................................................................................................................................... 123
-5-1-9 معماری شبکه عصبی ......................................................................................................................................... 125
2-9 - آزمایش بازشناسی حالت........................................................................................................................................... 126
-1-2-9 پایگاه داده گفتار .................................................................................................................................................... 126
-2-2-9 روش های آموزش و آزمایش............................................................................................................................. 127
-3-2-9 نتایج و بحث .............................................................................................................................................................. 128
3-9 - نتیجه گیری ..................................................................................................................................................................... 131
-10 مقایسه بین مدل فازی و شبکه عصبی در بازشناسی حالت گفتار با استفاده از الگوریتم آنالیز
133 ......................................................................................................................................................................................... LPC
-1-10 طرحی از بازشناسی کننده حالات ............................................................................................................... 134
-1-1- استخراج پارامتر حالت .................................................................................................................................... 135 10
-2-1- بازشناسی حالات ................................................................................................................................................ 135 10
2-10 - آزمایش ..................................................................................................................................................................... 139
-1-2- شناسایی تعداد نمونه آموزشی .................................................................................................................. 139 10
2-2- - شناسایی ویژگی حالات ............................................................................................................................. 139 10
-3-10 نتیجه گیری و بحث و گفتگو ............................................................................................................................ 141
4-10 - نتیجه گیری و کارهای آینده ........................................................................................................................ 144
-11 بازشناسی حالت گفتار با استفاده از تغییرات حالت چهره ............................................................... 144
فصل سوم: جمع بندی .............................................................................................................................................................. 145
منابع لاتین ................................................................................................................................................................................... 146
بررسی چندین روش بازشناسی حالت گفتار
