تحلیل آینده هوش مصنوعی بر اساس سنّت‌های الهی

    نشست علمی در مرکز تحقیقات کامپیوتری علوم اسلامی (نور) به مناسبت هفته پژوهش – آذر 1403 هـ ش

یکشنبه, 26 اسفند 1403 ساعت 09:10
    نویسنده: به کوشش: هیأت تحریریه فصلنامه ره آورد نور
این مورد را ارزیابی کنید
(1 رای)

اشاره

به مناسبت هفته پژوهش، نشست علمی «تحلیل آینده هوش مصنوعی بر اساس سنّت‌های الهی» در تاریخ 24 آذر 1403 در مرکز تحقیقات کامپیوتری علوم اسلامی، در شهر مقدّس قم برگزار گردید.

در این جلسه، ابتداء جناب حجّت‌الاسلام والمسلمین قاسم ترخان، با بیان این نکته که سنّت‌های الهی، همان قوانین ثابت خداوند برای مدیریت مردم و عالم هست، سنّت‌ها را به دو دسته «مطلق» و «مشروط» تقسیم کرد و در ادامه، ضمن اشاره به تعریف هوش مصنوعی، درباره آینده هوش مصنوعی، امکان تحقّق دوره تَکینگی را مطرح نمود و با طرح چهار سناریو احتمالی برای آینده، ضمن بررسی و ارزیابی آنها، پیشنهاد سناریوی تکاملی را مطرح ساخت. بر اساس حرکت تکاملی، جامعه و تاریخ به سوی تکامل در حرکت است.

سپس، حجّت‌الاسلام والمسلمین بهروز لک، به‌عنوان ناقد اوّل، ضمن بیان آیاتی از قرآن کریم و نمونه‌هایی از سنّت‌های قطعی خداوند، برخی از سناریوهای مطرح‌شده را مردود شمرد. در ادامه نیز جناب حجّت‌الاسلام والمسلمین دکتر بهرامی به‌عنوان ناقد دوم، با بیان نکاتی پیرامون هوش مصنوعی و رویکرد حوزه علمیه به آن و نیز جهت‌گیری مرکز تحقیقات کامپیوتری علوم اسلامی در این زمینه، انتقاداتی به برخی از مسائل مطرح‌شده در نشست را ابراز داشت. در ادامه، مشروح مباحث مطرح‌شده در این نشست علمی از نظر می‌گذرد.

کلیدواژگان: هوش مصنوعی، سنّت‌های الهی، آینده‌پژوهی هوش مصنوعی، هوش مصنوعی قوی، هوش مصنوعی ضعیف.

سنّت‌های الهی

در این نشست علمی، ابتداء جناب حجّت‌الاسلام ترخان به ارائه و تبیین موضوع جلسه پرداخت و گفت:

«موضوعی که برای بحث در این جلسه انتخاب شد، تحلیل سناریوهای آینده‌پژوهی نسبت به هوش مصنوعی است. البته این کرسی بر اساس یک مقاله‌ای بود که قبلاً توسط ارائه‌کننده و دبیر جلسه در این باره نوشته شده است.

معمولاً در بحث آیندهپژوهی وقتی از منظر این علم به بحث هوش مصنوعی و آینده آن توجّه میشود، بحث سنّت‌های الهی خیلی جایگاهی ندارد؛ امّا به نظرم میآید که اینجا، یک مسئله اساسی وجود دارد که ما باید به آن توجّه کنیم؛ یعنی اصلاً تحلیل و در واقع، سناریویی که می‌خواهیم پیشنهاد بدهیم، بدون لحاظ این بحث قرآنی و بحث کلامی، اصلاً نمیتواند بحث دقیقی باشد. ابتداء یک مقدّمه عرض می‌کنم. در این مقدّمه، چند نکته را روشن می‌کنم.

ما می‌خواهیم این بحث را از منظر سنّت‌های الهی پیگیری کنیم. اصلاً سنّت‌های الهی چیست؟ مقصود از سنّت‌های الهی، آن قوانینی است که خداوند بر مبنای آنها، عالم را تدبیر می‌کند. این قوانین می‌تواند قوانین طبیعی باشد؛ ولی در اینجا مراد ما قوانین طبیعی نیست. قرآن واژه «سنّت» را در قوانین طبیعی به کار نبرده است؛ بلکه در قوانین اجتماعی به کار برده است. این سنّت‌ها، یعنی قوانینی که خدا با آن قوانین جوامع بشری را مدیریت می‌کند. این قوانین، خودش چند گونه هست؛ برخی از آنها مطلق است؛ یعنی اصلاً وابسته به اراده انسان نیست و ما چه بخواهیم و چه نخواهیم، خدا این قانون را اجرا میکند؛ مثلاً سنّت ابتلاء مطلق و سنّت آزمایش، از این قبیل است.

یک دسته از سنن هم سنّت‌های مشروط هستند؛ یعنی بسته به اراده انسان‌هاست. اگر انسان اراده کند، این سنّت اجراء میشود؛ مثل سنّت نصر؛ اگر انسان فلان کار را بکند، خدا یاری می‌کند.

یک دسته سنّت‌های دیگر، سنن مطلقی است که رقابت‌پذیرند؛ یعنی خدا یک قانونی دارد که ما چه بخواهیم و چه نخواهیم، آن را اجرای می‌کند؛ امّا اراده انسان هم در آن نقش دارد. این نقش اراده انسان چیست؟ انسان می‌تواند به تحقّق آن سرعت ببخشد یا نه؟ یا تحقّق آن را به تأخیر بیندازد؟ مثل سنّت استخلاف صالحان و وراثت زمین، اینها جزو سنن تمدّنی و اجتماعی است. اینکه در نهایت، زمین و حاکمیتش از آنِ صالحان است، چه انسان‌ها بخواهند یا نخواهند، محقّق می‌شود. امّا چگونه میشود؟ انسان در آن نقش دارد و خداوند با اراده انسان، این را محقّق می‌کند.»

انواع فرضیه‌ها برای آینده هوش مصنوعی و سنّت‌های الهی

«در این جلسه، بناست که آینده هوش مصنوعی را بیان کنیم. ابتدا تعریف آن را بیان می‌نمایی. هوش مصنوعی، فنّاوری و دانش نوینی است جهت ساخت ماشین‌های هوشمند که توانایی استدلال، منطق و تصمیمگیری را دارند. حال ممکن است، برخی تعریف دیگری را پیشنهاد کنند که مهم نیست. آنچه مهم است، آن تقسیمی است که از هوش مصنوعی ارائه شده است. ما الآن در مرحله هوش مصنوعی ضعیف هستیم؛ حتّی به مرحله متوسط هم نرسیدیم. هوش مصنوعی قوی که محقّق شود، ممکن است از انسان هم پیشی بگیرد و کارهایی را می‌تواند انجام دهد که انسان هم نمی‌تواند انجام بدهد.

به فرض اینکه یک چنین چیزی اتّفاق بیفتد و ما به آن مرحله برسیم، این سؤال اساسی مطرح می‌شود که اگر ما به این دوره وارد شویم، آن وقت این چیزهایی که ما در منابع دینی خود داریم، تکلیفش چه میشود؟ در اینجا غیر از اینکه باید جواب این سؤال را از منظر آیات و روایات و سنّت‌های الهی بدهیم، باید گفت که این دغدغه، در بین دانشمندان غربی وجود داشته و نسبت به آن، سناریوهای مختلفی را مطرح کرده‌اند. ما این سناریوهای مختلف را طبقه‌بندی کردیم. همه این سناریوها، در قالب چهار نوع کلان قابل دسته‌بندی است:

  1. سناریوی آرمانی: البته این خودش، دارای زیرمجموعه‌های مختلفی است. این سناریو می‌گوید: بهترین حالت ممکن، اتّفاق می‌افتد.
  2. سناریوی بدترین حالت ممکن (نگران‌کننده): آینده هوش مصنوعی به اینجا میرسد که به جهت مشکلاتی که پیش می‌آید، بشر نابود میشود.
  3. سناریوی اعتدالی: یعنی بدون تغییر یا رفتار همراه با احتیاط.
  4. سناریوی جامع: یعنی درعینحال که به مزایای هوش مصنوعی نظر داریم، به آسیب‌های آن هم توجّه شود.

بر اساس سنّت‌های الهی، برخی از این سناریوها، از اساس منتفی است؛ یعنی نباید اینها را در تحلیل آورد؛ مثلاً سناریوی نگران‌کننده، سناریویی است که میگوید بشر با هوش مصنوعی، به جایی می‌رسد که هوش مصنوعی فراتر از انسان میشود و از کنترل خارج میشود؛ یعنی می‌شود خدا یا خدای‌گونه. این نظریه میگوید هوش مصنوعی، باعث انقراض و نابودی بشریت خواهد شد.

ما بر اساس سنّت‌های الهی، این دسته از سناریوها را رد می‌کنیم. به چه دلیل؟ باید دید که بر اساس کدام‌یک از سنّت‌های الهی به این موضوع بنگریم؟ بر اساس سنن مشروط، ممکن هست هوش مصنوعی باعث بشود که بشریت آسیب ببیند و خطرات زیادی هم از این ناحیه بر بشریت تحمیل بشود؛ امّا نمی‌تواند به جایی برسد که اراده را از انسان بگیرد.

از منظر سنّت‌های الهی که مطلق و رقابت‌پذیر هست، مثل سنّت استخلاف و یا سنّت وراثت زمین، بشریت با هوش مصنوعی نمی‌تواند به جایی برسد که جلوی جریان این سنّت را بگیرد. البته در شرایط فعلی، هوش مصنوعی، خسارت‌های زیادی به بشریت زده است. در جریان جنگ غزه و لبنان، دشمن با کمک هوش مصنوعی، خسارت‌هایی زده است؛ امّا به هیچ وجه نمی‌توان جلوی جریان اصل این سنّت را گرفت؛ یعنی نمی‌شود به جایی برسد که بشر برایش هیچ امکانی وجود نداشته باشد که حاکمیت جهان را بر عهده بگیرد، یا استخلاف صالحان را ببیند. البته ممکن است بتواند تأخیر بیندازید یا کاری کند که زودتر اتّفاق بیفتد؛ امّا بالأخره این سنّت اجراء می‌شود.

جمع‌بندی اینکه شما به هریک از این سناریوها که قائل باشید، به سنّت‌های الهی لطمه‌ای وارد نمی‌کند. فقط آن دسته از سناریوها با سنّت‌های الهی در تعارض قرار می‌گیرد که بدترین حالت ممکن را مطرح می‌کند.

ما به نظرمان آمد که یک سناریویی را مطرح کنیم به نام «سناریوی تکاملی». یک مسئله مهم، فلسفه تاریخ هست که می‌گوید آیا حرکت جهان به سمت تکامل هست؟ یا نیست؟ اگر پاسخ این را بدهید، آنگاه زمینه آماده می‌شود برای این دیدگاه جدید.

بنده معتقدم که حرکت جهان و حرکت جوامع، حرکت تکاملی است. اُفت‌وخیزهایی هست؛ امّا خداوند یک حرکت واحدی طراحی کرده که استخلاف صالحان محقّق بشود. در بحث فلسفه تاریخ، بر اساس مبانی انسان‌شناختی، انسان را فطرت‌مند می‌دانیم. جهان اجتماعی هم به سوی یک نقطه مطلوب می‌رود.»

تأثیر هوش مصنوعی در جهان مادّی

ناقد اوّل این نشست علمی، جناب حجّت‌الاسلام والمسلمین بهروز لک بود. ایشان با استناد به آیاتی از قرآن کریم، نقش اراده الهی و قطعیت سنّت‌های خداوند را تبیین کرد و اظهار داشت:

«بنده کار آینده‌پژوهی انجام می‌دهم و ده - پانزده سالی هست که در این حوزه ورود کرده‌ام. الآن هم سردبیر فصلنامه علمی - پژوهشی آینده‌پژوهی انقلاب اسلامی در دانشگاه امام حسین (ع) هستم.

این موضوع، بسیار مناسب و ارزشمند است. خداوند در قرآن در آیه ۳۳ و 34 سوره الرحمن می‌فرماید:

«یَا مَعْشَرَ الْجِنِّ وَالْإِنْسِ إِنِ اسْتَطَعْتُمْ أَنْ تَنْفُذُوا مِنْ أَقْطَارِ السَّمَاوَاتِ وَالْأَرْضِ فَانْفُذُوا لَا تَنْفُذُونَ إِلَّا بِسُلْطَانٍ فَبِأَيِّ آلاءِ رَبِّكُما تُکَذِّبانِ». آنچه اراده الهی است، این است که جهان، حقّ است؛ «الْحقّ مِنْ رَبِّكَ فَلَا تَکُونَنَّ مِنَ الْمُمْتَرِينَ» (بقره: 147). همچنین، خداوند هرآنچه آفریده، برای آن اندازه‌ای هم قرار داده است؛ «إِنَّ اللَّهَ بَالِغُ أَمْرِهِ قَدْ جَعَلَ اللَّهُ لِکلّ شَیْءٍ قَدْرًا» (طلاق: 3).

خدای متعال، جهان را رها نکرده و یا از دست نداده است تا برخی بگویند در آینده هوش مصنوعی چنان می‌کند یا نمی‌کند. شاید غربی‌هایی که در این زمینه ورود کرده‌اند، غرور این چنینی آنها را بگیرد و ادعاهایی بکنند؛ امّا قرآن می‌فرماید: «وَ نَذَرُهُمْ فی طُغْيانِهِمْ یَعْمَهُون.» بالأخره آینده چنین است. ما وقتی از آینده پدیده‌ای مثل هوش مصنوعی سخن می‌گوییم، باید ببینیم از کدام پارادایم به این مسئله ورود می‌کنیم. من فکر می‌کنم در غرب دو پارادایم هنوز به نوعی زنده است؛ اوّل، پارادایم انسانمحور مدرن که مشابه آن را ما در کارهای آقای فوکویاما دیدیم. آقای فوکایاما به لحاظ محتوایی، آینده جهان را پایان تاریخ می‌داند. البته اصطلاح و استعاره پایان تاریخ، استعاره هگلی هست. پایان در اینجا به معنای اوج تکامل است؛ نه به معنای پایان تاریخی و زمانی.

اوج تکامل، همان طور که هگل هم در فلسفه تاریخ خودش استفاده کرده، پِرفَکشِن یا کمالی است که به شکل لیبرال حاصل می‌شود. حالا اگر از منظر مدرن به این قضیه ورود پیدا شود، آنچنان است که هوش مصنوعی با نظم خاصّ علمیای که دارد، این چنین رخ خواهد داد.

امّا پارادایم اخیری که به‌نوعی در غرب هنوز زنده است و این را می‌تواند تحلیل کند، پارادایم پسامدرن‌هاست. پسامدرنیته، شاید بیشتر با هوش مصنوعی سروکار داشته باشد. پسامدرنیته، مبتنی بر آرای فردریش نیچه است که معتقد است، حقیقت ذاتی وجود ندارد؛ حقیقت‌ها، همانند حباب‌ها و جعل‌هایی است که صورت می‌گیرد. چون هیچ حقیقت ذاتی وجود ندارد، هیچ معیار صدق و کذبی هم وجود ندارد و هر گفتمانی برای خودش، یک معیار صدق درونی دارد. پس، در نتیجه نمی‌شود اصلاً قضاوت کرد. تکثراتی که امروزه ما در قرن بیست و یکم داریم و فضای مجازی و یک مصداق آن هم هوش مصنوعی است، شاید به این سمت برود که جهان‌های خاصّی را بتواند اصلاً ابداع و ایجاد کند که متفاوت باشد. دوستانی که بحث ژان ژاکتری را دنبال می‌کنند، می‌دانند که دریدا اصطلاح دیفرنس را به دیفرانس تبدیل کرد. تفاوت با «ت» (دونقطه) را، به تفاوت با «ط» (دسته‌دار) ما ترجمه می‌کنیم. خیال نکن با نظمی که تو قبلاً می‌دانستی، تفاوت می‌خواهد ایجاد بشود. خب، چه خواهد شد؟ آیا هوش مصنوعی آن‌چنان تکاملی خواهد یافت؟ که حالا اشاره‌ای فرمودند به مراحل آن، که انسان را در چنبره خودش بگیرد، انسان اسیر هوش مصنوعی بشود. آیه شریفه ۳۳ سوره الرحمن را که قرائت کردیم، نشان می‌دهد که خدای متعال چنین اراده‌ای ندارد. در سه جای قرآن کریم از اطفای نور حقّ سخن رفته است؛ ازجمله در آیه 8 سوره صف آمده: «یُرِيدُونَ لِیُطْفِئُوا نُورَ اللَّهِ بِأَفْوَاهِهِمْ وَاللَّهُ مُتِمُّ نُورِهِ وَلَوْ کَرِهَ الْکَافِرُونَ.»»

هوش مصنوعی و عالم فراتر از مادّه!

«نکته دیگری که راجع به هوش مصنوعی هست، این است که آیا هوش مصنوعی از عالم مادّی فراتر می‌رود یا نمی‌رود؟ آیا هوش مصنوعی صرفاً دوباره کنار هم چیدن داده‌های بشری هست که به دست آمده است و یا اینکه فرض کنید یک چیزهایی هم از اینجا خلق می‌کند؟ آیا بشر از طریق هوش مصنوعی، از دایره جهان مادّی که قرآن می‌فرماید: «یَعْلَمُونَ ظَاهِرًا مِنَ الْحَيَاةِ الدُّنْيَا وَهُمْ عَنِ الْآخِرَةِ هُمْ غَافِلُونَ» (روم: 7)، می‌تواند به عالم مجردات ورود پیدا کند؟ خب، عالم مجردات، دو حیث دارد؛ یکی، آن چیزی است که ما در علوم بشری خودمان به دست آوردیم. یک بار این است که واقع عالم، مجردات باشد. اینکه امام صادق(ع) می‌فرماید: علم اگر بیست‌وهفت قسم باشد، کلّ تجلّی علم قبل از ظهور، دو قسم بیشتر نخواهد بود، یعنی نشان می‌دهد که عظمت کهکشانی علم، چقدر زیاد هست که دو قسمت آن تا حالا جلوه نکرده است. فرض کن ما که الآن خیلی ادعا می‌کنیم در اوج تاریخ داریم قرار می‌گیریم، همه آن، بیشتر از دو قسم کلّ علم نیست؛ امّا عالم بعد از ظهور یا عالم تکاملیافته مادّی و معنوی، چگونه خواهد شد؟

نکته دیگر اینکه جهان ما، جهان محدودی است که در آن قرار گرفته‌ایم؛ امّا آیا جهان‌های موازیِ ما هم وجود دارند یا ندارند؟ بر این اساس، آینده چگونه خواهد شد؟ آیا قیامتی که ما معتقدیم، آیا فقط برای ماست، یا قیامت مطلقی هست؟ اخیراً آقای محسن میرباقری، یک بحث جالبی را مطرح می‌کرد که برای من جذّاب بود. ایشان می‌فرمود: معاد، برای نشئه انسانی است. آیا نشئه جن‌ها را هم شامل می‌شود یا نمی‌شود؟ آیا معاد مطلق داریم؟ البته معاد مطلق، عقلاً باطل است؛ چون خدا را یتناهی می‌کند. خداوند، لایتناهی است و «کلّ یوم هو فی شأن»؛ چه جهان‌های موازی داشته باشیم چه جهان‌های متفاوت و گوناگون داشته باشیم. بههرحال، آیا آنها به چنین درجه از تَکِینِگی که اینجا محلّ بحث بود، رسیده بودند یا نه؟

الآن محلّ بحث ما در این عالم مادّی، علمی به نام هوش مصنوعی چه سرانجامی پیدا خواهد کرد؟ خب، جناب استاد ترخان که خودشان مشرب کلامی و رویکرد فلسفی - کلامی را دنبال می‌کنند، به نظرم جای خوبی را ورود کردند و واقعاً ما باید این بحث را برای نسل امروز حلّ کنیم.

آنچه ما می‌فهمیم، این است که حق، پیروز است. البته تقسیم‌بندی که آیتالله مصباح داشتند، با تقسیمبندی آقای ترخان فرق دارد. ایشان سنّت مطلق را نزاع حقّ و باطل، و سرانجام پیروزی حقّ می‌گیرند و بقیه سنّت‌ها را سنّت‌های مشروط می‌دانند؛ امّا به هر حال، جهان، حقّ است و چیزی خارج از حقّ نیست؛ «لَا تَنْفُذُونَ إِلَّا بِسُلْطَانٍ.» خدا حکومت صالحان را خواسته است؛ «وَ نُریدُ أَنْ نَمُنَّ عَلَى الَّذينَ اسْتُضْعِفُوا فِی الْأَرْضِ وَ نَجْعَلَهُمْ أَئِمَّةً وَ نَجْعَلَهُمُ الْوارِثين‏» (قصص: 5). هرچقدر هوش مصنوعی و علم روز رشد کند، نمی‌تواند بر سنّت‌های الهی غالب شود؛ «وَمَكَروا وَمَكَرَ اللَّهُ وَاللَّهُ خَيرُ الماكِرينَ» (آل‌عمران: 54).»

راه‌های مطالعه آینده

«نکته آخر من، بحث آینده‌پژوهی است. آینده‌پژوهی، غیر از آیندهاندیشی است. ما چهار راه برای مطالعه آینده داریم:

راه اوّل، علوم غریبه است که نمی‌شود آن را انکار کرد.

راه دوم، فلسفه تاریخ تحلیل عقلی، تِئولوژی و فرجام‌شناسی تاریخ است.

راه سوم، آیندهاندیشی از نگاه ادیان مخبر صادق است؛ مثلاً امام صادق (ع) می‌فرماید «کأنی أری؛ گویا می‌بینم که مثلاً چنین می‌شود.» به‌هرحال، این هم برای قرآن و حدیث ماست که به آن، آیندهاندیشی می‌گوییم.

امّا آینده‌پژوهی، دانشی است که مبتنی بر شواهد و قراین تجربی می‌باشد و البته مبتنی بر مبانی خودش، می‌خواهد آینده را مطالعه کند. ببینید چند گزینه برای مطالعه آینده‌پژوهانه وجود دارد. این را به این جهت عرض کردم که دوستانی که می‌خواهند این موضوع را از منظر آینده‌پژوهی دنبال کنند، ما از آن استقبال می‌کنیم.

چند حالت برای مطالعه آینده‌پژوهانه وجود دارد:

یکی، مطالعه اکتشافی آینده. این حالت، خودش سه رویکرد اصلی دارد:

یکم، کشف آینده چه خواهد شد؟

دوم، تصویرپردازی آینده چگونه می‌تواند باشد؟

سوم، تجویز آینده چگونه باید باشد و ما باید به کجا برسیم؟

این سه رویکرد، هرکدام روش‌هایی دارند. الآن تحلیل سناریویی، یکی از ابزارهای سناریوهای آینده است. البته برای روش سناریوی، ما یک کتاب داریم که می‌گوید دویست روش برای تحلیل سناریویی وجود دارد. این کتاب، موجود است و توسط مؤسّسه صنایع دفاعی وزارت علوم چاپ شده است. پس، خود سناریو دویست روش دارد؛ یکی از آنها، تحلیل روندی است که روند یک شیء را از گذشته تا حال شناسایی کنیم و برون‌یابی روند انجام بدهیم. بعد از آن، روش تحلیل تأثیر بر روند شماست. این هم، یک الگوی بعدی است. الگوی دیگری که می‌شود در اینجا استخدام کرد، پیشران‌های آینده است. حدّاقل اینجا، ما یک الگویی در تصویرپردازی هم داریم که شبیهسازی هست؛ اینکه آینده چگونه می‌تواند باشد؟ شاید یکی از گزینه‌هایی که در آینده هوش مصنوعی بتوانیم به استخدام در بیاوریم، همین شبیهسازی آینده است؛ یعنی تصویرپردازی‌ها. فیلم‌های علمی - تخیلی، بر اساس همین الگوی تصویرپردازی آینده شکل گرفته است.

امّا گزینه دیگری هم داریم و آن، تجویزهای آینده است. ما برای آینده هوش مصنوعی، به‌هرحال چه باید بکنیم؟ کاری که شاید امروزه در کشور ما جا دارد روی آن مطالعه شود، همین آینده‌پژوهی تجویزی است. ما باید نقشه راه داشته باشیم. در اینجا، رودمپ ویژنینگ و امثال اینها شکل می‌گیرد که فکر می‌کنم جناب آقای دکتر بهرامی و همکاران محترمشان بتوانند در این زمینه برای حوزه علمیه یا حتّی کشور کاری انجام بدهند. اینجاست که آینده‌پژوهی تجویزی شکل می‌گیرد.»

رویکرد مرکز تحقیقات کامپیوتری به هوش مصنوعی

ناقد دوم این نشست علمی، جناب حجّت‌الاسلام والمسلمین بهرامی بودند. ایشان مطالب خود را در چند نکته کلّی پیرامون هوش مصنوعی و حوزه علمیه بیان کردند و بعد نکاتی در نقد بیانات ارائه‌شده در جلسه مطرح کردند که در ادامه، از نظر می‌گذرد.

«نکته اوّل اینکه در خصوص مواجهه با فنّاوری‌ها و وظیفه حوزویان در رویارویی با آن، دو رویکرد افراطی و تفریطی را شاهد هستیم. در یک رویکرد، صرفاً به مباحث نظری و فلسفی و کلّیات علاقه نشان داده می‌شود و حتّی از ما می‌خواهند که به بعضی از اینها، تا تکلیف نظری‌شان روشن نشده، ورود پیدا نکنیم؛ یعنی بعضی وقت‌ها خدمت برخی از بزرگواران رسیدیم که به ما گفتند: شما که این هوش مصنوعی را دارید در بحث علوم اسلامی وارد می‌کنید، اینها چالش‌ساز است. اوّل باید تکلیف این مسأله و چارچوب آن مشخّص شود، بعد واردش بشوید.

امّا بر اساس رویکرد دوم، برای این مباحث تعبیرهایی مثل شبه علم و امثال آن، به کار می‌برند و خیلی تأکید می‌کنند که باید به سراغ علم رفت و از آن استفاده کرد. نباید وقت خود را به این نوع مباحث نظری معطوف کنیم. ما پیش از این، خدمت یکی از اساتید فنّی دانشگاه بودیم. شروع بحث ایشان این‌گونه بود که چه طیفی از علوم انسانی مبنای شکل‌گیری هوش مصنوعی به معنای امروزی آن است؟ و اینکه غفلت از این محتوا هم اتّفاق جالبی نیست.

مرکز تحقیقات کامپیوتری علوم اسلامی، وظیفه معیّنی در حوزه به‌کارگیری این ابزارها داشته و دارد و کار خودش را دارد دنبال می‌کند؛ ولی مدّتی هست که تلاش کرده به حوزه نظری هم ورود پیدا کند. سال گذشته، پژوهشکده علوم اسلامی و انسانی دیجیتال در مرکز ثبت شد. این پژوهشکده، در حوزه علمیه مجوز گرفت و سلسله‌نشست‌هایی که یکی دو سال هست در مرکز نور برگزار می‌شود، در همین راستاست. مجلّه‌ای هم که تقریباً شماره اوّل آن آماده شده، با همین عنوان به‌زودی منتشر خواهد شد. در این مجلّه، تلاش داریم در کنار مباحث عملی، به یک نسبتی به مباحث نظری هم ورود پیدا کنیم؛ ولی به نظرم وظیفه اصلی، محدود به این مرکز نیست و مراکز و بزرگان دیگر، باید به‌خصوص در حوزه نظری ورود پیدا کنند.

موضوع بعدی، بحث هوش مصنوعی است. در حال حاضر، مقوله هوش مصنوعی، جریان غالب است و به نوبه خود، تحوّل شگرفی به شمار می‌رود. آینده هم اتّفاقات بزرگی در این زمینه خواهد افتاد؛ ولی شاید سیر تاریخی فنّاوری‌ها، از یک جهتی، در بحث آینده‌پژوهی این هشدار را هم به ما بدهد که نیمنگاهی به این هم داشته باشیم که هوش مصنوعی، به معنای فعلی، الزاماً آخرین چیزی نیست که اتّفاق خواهد افتاد. روزی که فنّاوری کامپیوتر آمد، ما همه چیز را روی آن جلو بردیم و روزی هم که فضای شبکه‌ای و اینترنت آمد، شاید آن را آخرین فنّاوری می‌دانستیم. جامعه اطّلاعاتی و بحث‌هایی از این قبیل، در یک دوره‌ای مطرح شد و فکر می‌کردیم که آن، نهایت بحث است. بحث اینترنت اشیا، بلاک‌چین و یا متاورس، فنّاوری‌هایی هستند که بعضی از آنها کنار رفتند و برخی از آنها نیز بستر توسعه یک فنّاوری جدیدی شدند. گاهی دیگر از آن فنّاوری قدیمی، اصلاً اسمی به میان نمیآید؛ هرچند زیرساخت فنّاوری جدید قرار گرفته باشند.

اگر ما اینترنت یا فضای شبکه‌ای را نداشتیم، هوش مصنوعی امروز این توان و قدرت را نداشت و این اتّفاقات را نمی‌توانست رقم بزند و خیلی از اتّفاقات دیگر. در آینده نیز طبیعتاً پس از چند سالی، این هوش مصنوعی جای خودش را به یک عنوان یا فضای جدید خواهد داد و پایان تاریخ، به هرکدام از دو معنا که بگیریم، هوش مصنوعی نیست.»

هوش مصنوعی قوی یا ضعیف

«نکته بعد اینکه در تعاریف مرتبط با هوش مصنوعی، به نظرم یک کمی باید این تعریف دقیق‌تر شود؛ آن وقت در تصمیمگیری و محاسبات ما، ممکن هست تأثیر قابل توجّهی بگذارد. یکی، بحث هوش مصنوعی قوی است. خب، تعابیر مختلفی از هوش مصنوعی قوی وجود دارد؛ اینکه مثل انسان باشد، فراتر از انسان باشد و تعاریف دیگر. هوش مصنوعی که امروز هم هست، خیلی از چیزهای آن، مثل انسان هست یا فراتر از انسان هست و ممکن است یک ابعادی نداشته باشد.

مطابق برخی از تعریف‌ها، نقطه کانونی بحث هوش مصنوعی قوی، آگاهی و اراده است؛ اینکه آیا هوش مصنوعی می‌تواند آگاهی و اراده داشته باشد، یا نمی‌تواند؟ در انگلیسی، از تعبیر قوی با عنوان هوش مصنوعی جنرال یا عمومی یاد می‌کنند و تعابیری از این قبیل. حدّاقل میشود ما خودمان این تعریف را مبنا قرار بدهیم و بعد ببینیم که هوش مصنوعی قوی داریم یا نه؟ چنان‌که بعضی‌ها ادعا می‌کنند، همین الآن هم هوش مصنوعی قوی داریم و آن چیزی که داریم، خیلی از ویژگی‌های فرا انسانی را با خودش دارد.

تعبیر بعدی که به نظرم در این بحث یک مقدار دقیق‌تر بیان شود، بحث تَکِینِگی است. مقصود ما از اینکه به تَکِینِگی می‌رسیم یا نه، چه چیزی هست؟ تَکینِگی ظاهراً از فضای قوانین فیزیک به فضای هوش مصنوعی و فنّاوری آمده و در فضای فیزیک و این بحث‌ها، حالا مطالعه اجمالی که من داشتم، تَکینِگی، یعنی شرایطی که در سیاهچاله‌ها و در یک شرایط خاصّی، قوانین فیزیک آن معنای خودش را از دست می‌دهد؛ یعنی می‌رسد به یک مرحله‌ای که آن‌قدر دگرگون میشود که می‌گویید دیگر این فیزیک در آن سیاهچاله پاسخگو نیست و اتّفاقی آنجا می‌افتد که تمام قواعد به هم می‌خورد. تکینگی در فضای هوش مصنوعی نیز ظاهراً یک غایتی را تصوّر می‌کند و می‌گوید هوش مصنوعی، به یک جایی برسد که دیگر این جهان انسانی و روابط و قواعدی که ما داریم، همه اینها آن‌قدر به هم بخورد که اصلاً معنای خودش را به صورت کامل از دست می‌دهد و یک مرحله خاصّی است یا حدّاقل باید بگوییم که شاید بهتر باشد تعریف معیّنی را از تکینگی داشته باشیم و بعد بیاییم ببینیم که آیا آن، قابل تحقّق هست یا نیست.»

فرضیه‌های پیش روی سنن الهی و هوش مصنوعی

«بحث سنن الهی را اساتید محترم فرمودند موضوع مهمی است. اگر خداوند در قرآن بهکرّات به موضوع سنن الهی اشاره کرده، برای این است که بتوانیم بر اساس آن، نگاه به آینده داشته باشیم. مناسبات خودمان را تنظیم کنیم و طبیعتاً تخلف‌ناپذیر هست.

در خصوص سنن الهی فرمودند که این سنن، بر دو نوع قطعی و مشروط است. سنن الهی، تحقّقش مشروط به شرایطی هست. من از سخنرانی آقای دکتر بهمنی که در این باره داشتند، این نکته را استفاده می‌کنم که سنن اوّلاً، آن چیزی که بیان می‌شود، علّت تامه نیست؛ یعنی اینکه اگر ایمان و تقوا باشد، «لَفَتَحنا عَلَيهِم بَرَكاتٍ مِنَ السَّماءِ وَالأَرضِ» (اعراف: 96). یک جایی هم تحقّق پیدا می‌کند و آن برکات هم ممکن هست نازل نشود؛ چون علّت‌های دیگری ممکن هست در اینجا دخیل باشد. ثانیاً، مقدار و زمان معیّنی ندارد؛ یعنی می‌گوید: «إن تنصر الله ینصرکم» (محمد: 7)؛ ولی چه کیفیتی؟ چه مقداری از نصرت؟ در چه زمانی پاسخ آن تحقّق پیدا خواهد کرد؟ بنا بر اراده الهی و شرایطی که وجود دارد، اینها ممکن است منعطف باشد. می‌دانیم که مسیر مقاومت ما، قطعاً به پیروزی منتهی خواهد شد. بنا بر سنّت الهی، دیر و زود دارد، امّا واقع‌شدنی است.

در اینجا یک پیشنهادی دارم. وقتی بحث سنن قطعی را به رقابت‌پذیر و غیررقابت‌پذیر تقسیم کردید، پیشنهادم این است که اگر تعبیر رقابت‌پذیری را عوض کنید، بهتر است. اگر بگوییم رقابت‌پذیر، گویا ما با آن اعلانکننده سنّت داریم رقابت می‌کنیم؛ به نحوی که بخواهیم آن سنّت را به تأخیر بیندازیم؛ درحالی‌که این اجازه‌ای که به ما داده شده که به تأخیر بیندازیم، بخشی از همان سنّت است؛ یعنی می‌شود گفت سنّت‌ها همه آنها مشروط هستند. حالا بعضی وقت‌ها در زمان و کیفیت تحقّق آنها، شرط وجود دارد و بعضی وقت‌ها آن شرط، ممکن است در اصل باشد. سنّت استدراج، ممکن است یک جایی اتّفاق بیفتد و ممکن هم هست جایی اتّفاق نیفتد؛ ولی پیروزی حقّ بر باطل، قطعاً اتّفاق خواهد افتاد؛ امّا شرایطی دارد که باید دید آن شرایط، چه زمانی تحقّق پیدا می‌کند.

در خصوص رابطه بین هوش مصنوعی و سنن الهی، حدّاقل دو فرض قابل مطرح‌کردن است. یک فرض را آقای بهمنی دنبال کرده بودند. من حالا قبلاً هم این سخنرانی را دیده بودم که گزارش از یک مقاله هست؛ ولی حالا به این بهانه مجدد مراجعه کردم. آنجا بحث این بود که با مدل‌سازی هوش مصنوعی با استفاده از سنن الهی، آینده را پیشبینی کنیم. این موضوع را مطرح کرده بودند که تقریباً برآیند آن، یک طوری منتفی بودن این قضیه است. البته ما با آن هم خیلی موافق نیستیم؛ ولی از آن بحث می‌گذریم.

دومین نگاهی که می‌شود داشت، همین مطلبی است که در این مقاله آمده که پیشبینی آینده هوش مصنوعی بر اساس سنن الهی است. یکی - دو نکته به ذهنم می‌رسد که شاید بشود به آن ارزیابی‌ها و دسته‌بندی‌ها و حالت‌هایی که وجود دارد، اضافه کرد. یک نکته اینکه در آن فضا، تا حدّ زیادی در این مقاله با یک جامعه‌ای که با یک هوش مصنوعی مواجه است، طرف هستیم. در جامعه انسانی وقتی با هوش مصنوعی مواجه می‌شویم، قرار است چه اتّفاقی بیفتد؟ خوش‌بینانه‌ترین حالت این است که مثلاً استفاده خوبی از آن کنیم؛ آن هم کاملاً به ما خدمت بدهد و اوضاع خیلی خوب باشد؛ بدبینانهترین حالت این است که هوش مصنوعی، مستقلّ بشود و مقابل ما بایستد. حالت میانه هم این است که یک فوایدی داشته باشد؛ ولی به نظرم، یک هوش مصنوعی نداریم و یک جامعه مواجه با هوش مصنوعی نداریم. حالا چون به‌خصوص از زاویه سنن الهی داریم می‌پردازیم، جامعه صالحان را داریم که دارند به هوش مصنوعی می‌پردازند و جامعه فاسقانی را داریم که به هوش مصنوعی می‌پردازند. یک هوش مصنوعی داریم که ممکن است غلبه پیدا کند و به یک مرحله‌ای برسد و هوش مصنوعی دیگری ممکن است در مقابل او بایستد.

در همه سناریوها - نمی‌دانم آن را چه سنّتی بتوان نام‌گذاری کرد - شاید یکی از سنّت‌های الهی در این آیه تجلّی کرده باشد که: «وَلَوْلَا دَفْعُ اللَّهِ النَّاسَ بَعْضَهُمْ بِبَعْضٍ لَفَسَدَتِ الْأَرْضُ» (بقره: 251)؛ یعنی اینکه بنا هست همیشه این جنگ بین حقّ و باطل تداوم داشته باشد. شما تا به آخرالزمان نرسید، غلبه یک جنبه بر جنبه دیگر را نخواهید داشت. یک روز برای شما و روز دیگری علیه شماست؛ «تِلکَ الأَیّامُ نُداوِلُها بَینَ النّاسِ» (آل‌عمران: 140). این جنگ بین جبهه حقّ و باطل، ادامه دارد و طبیعتاً هوش مصنوعی هم ابزاری است که در دست هر دو گروه است و می‌تواند کمک کند. شیطان هم بر اساس آیات قرآن، دستش باز است. ما هم مأمور به مبارزه با شیطان هستیم و این جنگ، ادامه دارد. در همه سناریوها، بهخصوص از این جهت که داریم بحث سنن الهی را مدّ نظر قرار می‌دهیم، طبق فرمایش آیتالله مصباح مهمّ‌ترین سنّت و قطعی‌ترین سنّت، غلبه حقّ بر باطل است. در جنگی که در تمام این مدّت ادامه خواهد داشت، به نظرم هوش مصنوعی را باید در این فضای جنگی بیاییم تحلیل کنیم و مورد آینده‌پژوهی قرار دهیم.

نکته دوم در این تبیین‌های چهارگانه‌ای که وجود داشت، به نظرم در هر کدام از اینها یک مقدار بیشتر باید از سنن الهی برای تعیین محدوده‌ها استفاده کنیم؛ ولی فکر نمی‌کنم راحت بتوانیم آن را نفی کنیم؛ یعنی مثلاً در نگاه خوش‌بینانه سنّتی - اینکه هوش مصنوعی به‌زودی باعث غلبه قطعی حقّ بر باطل می‌شود - به نظر می‌رسد با آن «تلک الأیام» جور در نمی‌آید. ما خوشبینانه صرف نداریم؛ ولی اینکه آینده بشریت، از نظر هوش مصنوعی اوضاع خیلی خوبی را پیدا کند، به نظرم منتفی نیست؛ چنانکه نگاه بدبینانه به موضوع، یعنی اینکه بگوییم که به آن تَکینِگی می‌رسد و به مرحله‌ای می‌رسد که سنّت‌های الهی دیگر قابلیت اجرا پیدا نمی‌کند، منتفی است؛ ولی اینکه این روزگار، انسانیت را سیاه کند، مثل خیلی از علومی که چنین بلایی را بر سر ما آورده، این نیز دور از ذهن نیست؛ برای مثال، امروزه یکی از بارزترین مصادیق هوش مصنوعی، اتّفاقی است که داخل غزه در حال انجام است. با استفاده از زیرساخت‌هایی که در داخل اروپا و آمریکا تحقّق یافته، الآن هوش مصنوعی با آن زیرساختها و برنامه‌ها تصمیم می‌گیرد که کجا مردم را هدف قرار بدهد یا ندهد. این اتّفاقات، دارد می‌افتد و چندان دور از ذهن نیست.

نکته پایانی که نتیجه درستی است، اینکه آنچه تحقّق پیدا خواهد کرد، وعده الهی و جریان سنن الهی است و هوش مصنوعی، مانع اجرای آن نخواهد شد؛ ولی مانع از اینکه ما این چند سناریو را هم مفروض بگیریم، نخواهد شد. ممکن است یک کف و سقفی را از دایره بحث ما خارج بکند؛ ولی اینکه آینده‌ای خوشبینانه پیش روی ما باشد یا آینده بدبینانه‌ای فرا روی ما باشد و یا یک فضای متعادلی پیش روی ما قرار بگیرد، همه این سناریوها به نظرم قابل تصوّر است.»

جمع‌بندی نشست

در پایان این جلسه، حجّت‌الاسلام والمسلمین ترخان مطالبی را در پاسخ به سخنان ناقدان مطرح کرد و گفت:

«برای فرمایش جناب آقای دکتر بهروز لک که من پاسخی ندارم؛ چون در واقع، ایشان با عرایض بنده همسو بود و فضای بحث را توسعه داد و فرمود تحلیل آینده هوش مصنوعی، صرفاً بر اساس سناریوهایی که اینجا ما مطرح کردیم، قابل ارائه نیست؛ بلکه راه‌های مختلف دیگری هم وجود دارد. من هم موافق هستم؛ می‌تواند یک پروژه کلانی تصویر بشود و پژوهشگران روی این موضوع کار کنند. از این جهت، از ایشان تشکّر می‌کنم. ایشان یک نقشه خیلی کامل و کلانی را ارائه نمود و در واقع، برای پژوهشگرانی که در این حوزه می‌خواهند کار کنند، نقشه خوبی هست.

البته درباره فرمایش ایشان درباره عالم مجردات، باید گفت که بله، این مهم هست. من نخواستم اینجا داوری کنم؛ یعنی موضوع را به‌عنوان یک پیشفرض مطرح کردم که ما در عالم مادّه هستیم و با این وصف، آیا اساساً هوش مصنوعی و یا اصلاً بشریت می‌تواند یک کاری کند که این هوش مصنوعی تبدیل شود به اینکه به خودآگاهی برسد و اراده پیدا بکند؟

بحث خودآگاهی، یکی از موضوعات مهم این بحث است و چالش جدی هست و بنده الآن بنا نیست اینجا تکلیف این مقوله را روشن کنم. همین الآن هم در این حوزه پژوهشگرانی که کار می‌کنند، یکی دو نظر جدی در این باره دارند. برخی معتقدند بر اساس مبانی ملاصدرا و حکمت متعالیه، انسان جسمانیة الحدوث و روحانیة البقاست و امکان تولید چنین چیزی، دور از ذهن نیست؛ یعنی می‌شود همین ماشین، به درجه‌ای از پیچیدگی برسد و روح در آن دمیده بشود. نمی‌گویم این، دیدگاه من است؛ امّا قائل دارد. البته عدّه‌ای هم جلوی این دیدگاه ایستادند و گفتند اساساً چنین چیزی، حتّی بر اساس حکمت متعالیه و مبانی ملاصدرا و بحث جسمانیة الحدوث و روحانیة البقاء، امکان تولید ندارد، روح دمیده نمی‌شود و ماشین به خودآگاهی نمی‌رسد.

امّا در مورد اینکه هوش قوی چه چیزی هست؟ آیا هوش مصنوعی قوی، همان هوش عمومی هست؟ در این موضوع، اختلاف وجود دارد. بنده فقط به تعاریف مختلفی که وجود دارد، اشاره کردم و اینکه آیا آینده بشر به اینجا می‌رسد یا نمی‌رسد؟ این، خودش معرکه آراست. توصیه می‌کنم کتاب زندگی سه ممیز صفر را ببینید. البته بنده بحث را بر اساس این کتاب پیش نبردم؛ بلکه کتاب‌های دیگر و دیدگاه‌های مختلفی را مطرح کردم و یک طبقه‌بندی ارائه نمودم.

فرمایش جناب آقای دکتر بهرامی که فرمودند: ای کاش مثلاً تعبیر دقیق‌تری می‌آوردیم و بحث رقابتپذیر را حذف می‌کردیم، شاید باعث تولید شائبه‌ای شود. بهتر است، بحث علّت تامّه و علّت ناقصه را مطرح کنیم. جای این بحث، الآن در این جلسه نیست؛ امّا من باز می‌خواهم عذرخواهی کنم از محضر شما سروران عزیزم؛ تقریباً در کتاب سنّت‌های الهی و پیشرفت، چیزی حدود پانصد و خورده‌ای صفحه مطلب نوشتم. یکی از مباحث اساسیای که به آن پرداختم، همین بحث است که آیا سنن الهی، همه‌اش اقتضایی هست؟ بحث شرایطی که می‌فرمایید دائرمدار شرایط هست، به این نتیجه نرسیدم و تلقّی بنده از آیات قرآن و روایات این است که ما دو نوع سنن داریم. یکی از اینها، سنن الهی تامه است. آن بحث آقای دکتر بهمنی، ناظر بود به اینکه آیا می‌توانیم در واقع می‌توانیم به وسیله هوش مصنوعی، آینده را پیشبینی بکنیم؟ طبیعتاً آنجا ایشان در واقع بحث علّت تامه را مطرح کردند که ما باید به آن علّت تامه برسیم. وقتی تمام علّت تامه یک واقعه را کشف کردیم، آن وقت است که هوش مصنوعی می‌تواند آینده را پیش‌بینی کند. همان جا هم باز جای بحث وجود دارد که بعضی معتقدند نیازی به این نیست که شما همه علّت تامه را کشف کنید و یا اینکه علّت اقتضائی به چه میزان تأثیر دارد؟ کدام علّت تامه است و کدام‌یک علّت ناقصه است؟ و یا چه چیزی و به چه مقدار به آن ضمیمه بشود تا برسد؟ این موضوع مربوط می‌شود به بحث نظام سنّت‌ها؛ یعنی ما باید برسیم به اینجا که از طریق هوش مصنوعی، آینده را پیشبینی نماییم؛ امّا بحث من این نیست. همان طوری که به‌درستی فرمودید: تصویری که بنده از بحث دارم، این است که سنّت‌های الهی وقتی می‌خواهند بر اساس علل فرامادّی و معنوی جریان پیدا کنند، آن علل موجب می‌شود که آن سنّت اجراء شود. این علل، می‌تواند علل ناقصه باشد و می‌تواند علّت تامه باشد. حالا تفسیر این بحث در جای خودش هست.

در سنّت‌های مطلق، اراده نقش دارد؛ آن هم برای اجرای قانون تکوینی الهی، نه قانون تشریعی؛ یعنی حواسمان باشد، سنن می‌تواند تشریعی هم باشد؛ امّا سنن تشریعی اینجا اصلاً محلّ بحث ما نیست. یک وقت، مجراست؛ یک وقت هم، نه؛ این اراده شرط هست. این تفاوت ارادههاست. گاهی، شرط است که آن سنّت مشروط میشود و گاهی نه؛ یعنی اراده شرط اصل تحقّق نیست؛ امّا آن مشروط در اصل تحقّق هست. پس، بنده سه نوع اراده را تصویر کردم و بر اساس این تقسیم نمودم و آن وقت نسبت‌سنجی کردم. اینها مبانیای است که بنده پذیرفتم و تقسیماتی است که در جای خودش توضیح دادیم.

جناب آقای دکتر بهرامی، بحث جامعه صالحان و جامعه فاسقان را مطرح کرد که هوش مصنوعی در رقابت بین حقّ و باطل، بهعنوان ابزار می‌تواند عمل کند تا تصویری را ارائه نماید؛ امّا بنده بحث را در یک سطح بالاتری مطرح کردم؛ یعنی هوش مصنوعی را از حدّ ابزار بالاتر بردم؛ همیشه این طور نیست که ما احساس کنیم، هوش مصنوعی ابزار است. من عرضم این بود که چون خیلی از دیدگاه‌ها این هست که از حدّ ابزار خارج می‌شود؛ دیگر ابزاری نیست که در جامعه صالحان یا فاسقان استفاده شود؛ بلکه بعضی از سناریوها، آینده‌ای را تصویر می‌کند که اساساً هوش مصنوعی را از حدّ ابزار خارج می‌کند و در جایگاه بالاتر، حاکم بر انسان‌ها قرار می‌دهد.

من سناریوهای مختلفی را که در این حوزه مطرح بود و خیلی هم جدی است، مطرح کردم. بنده در واقع، موافق این سناریوها نیستم که آیا سؤال اساسی این است که آیا هوش مصنوعی به این درجه خواهد رسید، بلکه عرض بنده این است که این سناریوها هست. شما چه بخواهید یا نخواهید، اینها در جامعه علمی وجود دارد و طرف‌دار هم دارد و دارند درباره آنها حرف می‌زنند.»

اطلاعات تکميلي

  • تاریخ انتشار نسخه چاپی: یکشنبه, 26 اسفند 1403
  • صفحه در فصلنامه: صفحه 2
  • شماره فصلنامه: فصلنامه شماره 89
بازدید 40 بار
شما اينجا هستيد:خانه