وب لاگ امیرحسین اسعدی

آنچه یادگرفتم، خواندم و دیدم رو اینجا به اشتراک می‌گذارم
I share what I learned, read and saw

طبقه بندی موضوعی
آخرین نظرات
  • ۸ خرداد ۰۲، ۱۵:۲۲ - احمد صداقت زاده
    عالی

۲ مطلب با کلمه‌ی کلیدی «پردازش گفتار» ثبت شده است

من این مقاله رو با دقت بیشتری خوندم چون میخواستم بیشتر راجع به مولفه‌ها، در آزمایش‌های پردازش گفتار آشنا بشم.

این مقاله (+) توسط یک تیم ژاپنی نوشته شده، و حرف اصلیش اینه که آهای ملت، تافل آیلتس رو بگذارین کنار، داده‌های EEG شما میتونه نشون بده زبان تون در چه سطحی هست. ادعای جالبی هست و بنظر هم دور نیست که به همچینین تکنولوژی ای  برسیم. توی این پست با جزئیات کارشون کاری ندارم و فقط میخوام گزارش مطالعه خودم رو از قسمت Discussion مقاله با شما به اشتراک بگذارم.

مثل اکثر بحث ها اول با اینکه کلا در آزمایشمون چیکار کردیم شروع شده و نتایجی که دیده رو گفته. بعد به طور خاص راجع به سه مولفه N1، P2 و N400 صحبت کرده. در نهایت هم از محدودیت‌های کارشون گفته و نتیجه گیری کرده. من در این مطالعه تمرکزم بر روی سه مولفه بود. ابر کلمات متن‌های مرتبط رو رسم کردم و کلمه های پر تکرار رو براتون می‌نویسم.

Native, Attention, Listening, Amplitudes, N1, Proficiency, L2, Speech, N400, P2, and Latency.

پیش نوشت اول: قبل از اینکه از جزئیات مولفه‌ها بگم، یادآوری میکنم که پیش نیاز ادامه متن آشنایی مقدماتی با ERP، و مولفه‌هاش هست. نام گذاری مولفه‌ها به این صورت هست که زمان و مثبت یا منفی بودنش رو گزارش میدیم. مثلا N1 یعنی مولفه‌ای که در ۱۰۰ میلی ثانیه رخ میده و منفی هست یا P2 یعنی در  ۲۰۰ میلی ثانیه رخ میده و مثبت هست. N400 یعنی ۴۰۰ میلی ثانیه رخ میده و منفی هست.

پیش نوشت دوم: میشه کلمات رو به دو دسته open class words که شامل  nouns, verbs and adjectives هستن و close class word  که شامل pronouns and conjunctions هستن تقسیم کرد.

پیش نوشت سوم: میشه گفت ما دو نوع توجه داریم، توجه بالا به پایین (میتونید بالا رو مغز و پایین رو چشم فرض کنید) که توی اون مغز دستور میده به فلان جا توجه کن، و توجه پایین به بالا که محرک خواصی از طریق چشم توجه مغز رو به خودش جلب میکنه.

مولفه N1

  • اینها در آزمایش شون بین زمان رخ دادن پیک N1 و نمره تسک شنیداری شون رابطه پیدا کردن
  • ارتفاع مولفه شنیداری با میزان توجه ما به یک صدا فرق میکنه. مثلا اگه تو یک مهمونی بخوایم بفهمیم هوشنگ به صدای هایده گوش میده یا شهرام کافیه میزان ارتفاع N1 رو برای هایده و شهرام حساب کنیم و مثلا می‌بینیم برای هایده بیشتره با اینکه هوشنگ روش به سمت شهرامه و به ظاهر داره سر تکون میده. اما فعالانه حواسش به حرفای هایده هست و به حرف‌های شهرام گوش نمیده.
  • نقش توجه انتخابی در یادگیری زبان دوم یا همون L2 قبلا بررسی شده.
  • نشون داده شده که افراد به کلمات open class words بیشتر از close class words توجه میکنند.
  • تو یک مطالعه با داده چشمی، شرکت کننده‌هایی که به موارد آزمون توجه داشتن عملکرد بهتری داشتن
  • افرادی که L2 بهتری داشتن، کنترل شناختی بهتری هم داشتن
  • مطالعات بالا نشون میده توجه بیشتر یعنی یادگرفتن بیشتر
  • یکی از زمان‌های مهم برای درک گفتار توسط مغز شروع کلمه هست
  • پیشنهاد دادن که N1 با توجه بیشتر کمک میکنه بتونیم جمله رو به اجزای کوچیکترش بشکونیم، حتی اگر جمله با کلمات بی معنی درست شده باشه
  • با توجه به اینکه N1 میتونه شاخصی از تقسیم بندی گفتار باشه، پس اینکه ما هم دیدم آدم هایی که نمره بهتری دارن N1 براشون زود تر رخ داده به نظر منطقی هست

مولفه P2

  • برای ما دامنه و تاخیر P2 با نمرات آزمون شنیداری همبستگی منفی داشتن
  • P2هم مثل N1 با توجه تغییر میکنه
  • برخلاف N1 با افزایش توجه دامنه P2 کاهش پیدا میکنه
  • دامنه P2 در طول به خواب رفتن افزایش پیدا میکنه
  • پس اینکه ما دیدم P2 برای افرادی قوی کوچک شده طبیعی هست
  • حفظ توجه و اطلاعات زمینه‌ای میتونه به توجه بالا به پایین کمک کنه
  • وقتی در کنار صوت تصویر هم داشتیم و این تصویر کمک میکرده کلمات رو بهتر پیش بینی کنیم باعث میشده N1P2 زود تر رخ بدن و ارتفاع P2 کمتر بشه
  • پس بر اساس این نتایج افراد قوی تر سعی میکنن خودشون زمینه های دیگه رو هم فراهم کنن تا بهتر یاد بگیرن

 

 

مولفه N400

  • ما دیدیم تاخیر مولفه N400 با نمره شنیداری رابطه منفی داره، به عبارت دیگه هرچی آدم L2ش قوی تر باشه N400ش زود تر رخ میده
  • مطالعات زیادی در EEG نشون دادن N400 نشان دهنده پردازش معنایی هست
  • بنظر ما چون دیدیم که N1 و P2 هم با مهارت شنیداری رابطه داره، احتمالا پردازش سطح پایین مثل درک آواها و تقسیم بندی گفتار زود تر رخ بده سبب میشه پردازش سطح بالاتر مثل معنای کلمه هم زود تر درک بشه
  • نتایج  ما با آزمایش قبلی مون میخونه، اونجا به سه گروه، انگلیسی زبان، ژاپنی‌ای که انگلیسی خوب بلده، و ژاپنی‌ای که انگلیسی خوب بلد نیست متن رو به صورت کلمه به کلمه نشون دادیم. و اونجا هم دیدیم هرچی زبان انگلیسی طرف قوی تر باشه N400ش زود تر رخ میده.
  • ما دیدیم دامنه N400 هم با نمره زبان رابطه داره  هرچی زبان قوی تر دامنه بیشتر، که البته با مطالعات قبلی ناسازگار بود
  • دیده شده افرادی که زبان شون اسپانیایی هست، هرکی N400ش کوچیک تره(دامنه) زبان L2ش قوی تره، و گفته شده که احتمالا کسی که زبانش قوی نیست باید تلاش بیشتری بکنه تا معنای کلمات رو ترکیب کنه و جمله رو بفهمه.  البته این آزمایش به صورت ERP  و در حالی که کلمه ها روی مانیتور نوشته شدن انجام شده
  • شاید دلیل نتیجه متفاوت ما نوع متفاوت آزمایش ما باشه، ما داده رو به صورت پیوسته گرفتیم و  یک فایل صوتی دادیم
  • مطالعات مختلف نشون داده N400 رو میشه به روش‌های مختلف ایجاد کرد، یعنی چه شما کلمات رو نشون بدی چه عکسشو بگذاری چه فایل صوتی شو پخش کنی همه اینا میتونه N400 ایجاد کنه
  • در N400 ما دو داستان داریم: اول کلمه از رو لانگ ترم مموری مون بیاریم، دو معنای کلمه رو با کلمه های اطرافش ترکیب کنیم و جمله رو بفهمیم.

پردازش گفتار در مغز

صحبت کردن ما آدم‌ها با هم دیگه و زبان مون یک ویژگی خاصی هست که ما رو از بقیه گونه‌های جانوری متمایز میکنه. تا حالا فکر کردین چطوری صحبت هم دیگه رو میفهمیم؟ شاید خیلی سریع بگین خوب با گوشمون دیگه! باید بگم گوش وظیفه‌ش این هست که صدا رو بگیره و بقیه داستان که خوب حالا این صدا صدای کی بود؟ از کجا اومد؟ چی گفت؟ معنیش چی بود؟ این سوال ها رو قراره مغز جواب بده.

گفتار یک سیگنال ذاتا پویا، غیر تکراری و طولانی هست. در نتیجه نمیشه اونو مثل مطالعات قبلی به وسیله پتانسیل وابسته به رخ داد یا Event Related Potential - ERP بررسی کرد. اخیرا مطلعات گفتار در حوزه علوم اعصاب از روشی استفاده میکنن به نام تابع پاسخ زمانی یا Temporal Response Function - TRF. این روش به ما اجازه میده بر خلاف ERP که محرک مون باید کوتاه و قطعه قطعه باشه، حالا محرک پیوسته و طولانی مدت هست و میخواهیم اثر اون رو روی مغز ببینیم. ما ووردی و خروجی رو داریم. ورودی مثلا صدای اطراف هست و خروجی سیگنال مغزی. میخوایم با تابعی که ورودی رو به خروجی میده یعنی مغز بیشتر آشنا بشیم. میشه از دو طرف به سوال نگاه کنیم یا ما ورودی رو داریم و خروجی رو میخوایم پیش بینی کنیم که به این روش میگن رمز گزاری و یا خروجی رو داریم و میخوایم ورودی رو ببینیم چطور بوده که بهش میگیم رمزگشایی. در این نوشته قرار نیست از ریاضیات و اینکه دقیقا چطور میتونیم TRF رو حساب کنیم صحبت کنم، قرار دید کلی داشته باشیم و با کلمات و مفاهیم این حوزه آشنا بشیم.

نورون‌های شنوایی وقتی یک صدایی رو میشنون فعالیت قبلی شون رو رها میکنند و صدایی که از گوش‌ها داره میاد رو ردیابی میکنن، دنبال میکنن و یا به عبارتی هم فاز میشن با سیگنال ورودی و ما به این میگیم ردیابی عصبی یا Neural tracking. فرض کنید رفتین یک کنسرت یا روضه تا وقتی که خواننده نخونه صدایی واضح و یکدستی از شرکت کننده ها شنیده نمیشه و فقط یکسری زمزمه میشنویم، یکی تند تر میخونه یک آروم تر یکی اشتباه میخونه یکی هم شعر رو یادش نیست و فقط داره ریتمش رو ضمضمه میکنه یکی هم کلا داره یک شعر دیگه میخونه. برای درک دقیق تر میخوام یک مثال بزنم. احتمالا اون کلیپی که وایرال شد که میگفت تا قدسو پس نگیریم، آروم نمیگگیریم رو دیدین حالا به تکرار حرف گونیده وقتی که گوینده اشتباه میگه دقت کنید من همچنین حالتی منظورمه. اما برگردیم به مثال کنسرت وقتی خواننده شروع میکنه به خوندن میبینیم تماشاچی ها حالا یک صدا و واضح میخونن ترانه رو انگار دارن خواننده رو ردیابی میکنن. شبیه به همین اتفاق هم در مغز هنگام شنیدن صدا میفته و بهش میگیم ردیابی عصبی.

اگر به TRF نگاه کنیم میبینیم مثل ERP ها شامل یکسری مولفه هست که میگه فعالیت‌های عصبی قشر مغز وقتی که به یک صدا گوش میده چطوری هست. مثلا میبینم یک مولفه حدود 100 میلی ثانیه داریم یا یک مولفه حدود 400 میلی ثانیه. یک ویژگی ساده و مختصر خوبی که میشه از صدا گرفت پوش صدا هست. حالا همین صدا میتونه گفتار باشه مثل کتاب صوتی و حالا ما جمله‌ها کلمات واج ها رو هم داریم. این سیگنال اطلاعات بیشتری رو توی خودش ذخیره کرده. مثلا میتونیم یک سیگنال درست کنیم از زمان شروع هر واج و بعد ببینم مغز واج ها رو چطور پردازش میکنه. یا مثلا یک سیگنال از اینکه هر کلمه چقدر نابه. جالبه بدونید با همین دیتاستی که دارین میشه حتی پاسخ‌های ساقه مغز رو هم حساب کرد کاری که در تسک‌های ERP نیاز به هزاران بار تکرار یک محرک هست.

امید داریم که این دست مطالعات به تشخیص بیمار‌ی‌ها کمک کنن و بتونیم با نحوه پردازش صدا در مغز بیشتر آشنا بشیم.

برای مطالعه بیشتر به این مقاله مراجعه کنید.