[نوشتار پیش رو، ترجمه مقاله تفکر ساراسویک(2) در موضوع «ربط» است که با اندکی ویرایش ارائه می شود.]
کلیدواژگان: ربط، علم اطلاعات، بازیابی اطلاعات، جست و جو.
مقدمه
هر حوزه برخی ایده های اصلی یا ایده هایی را دارد. بازیابی اطلاعات مرتبط و نه هر نوع اطلاعاتی، ایده و مفهوم اصلی علم اطلاعات است. بازیابی اطلاعات(IR) که شاخه اصلی علم اطلاعات است، درباره اطلاعات مرتبط است. بنابراین، ربط برای علم اطلاعات، ضروری است.
در اغلب مفاهیم اساسی، ربط به طور مستقیم به خوبی درک می شود و هیچ کس آن را به کسی در جهان توضیح نمی دهد؛ یعنی نقطه قوت آن است. سامانه ها معطوف به بازیابی اطلاعات مربوط به کاربران هستند؛ از جمله موتورهای جست و جو و انواع برنامه های کاربردی جست و جو در رسانه های اجتماعی به خوبی در سطح جهان پذیرفته شده است. پس، تفاوت در فرهنگ ها، جوامع و آداب ورسوم، مهم نیست. با وجود این، ربط، مفهوم انسانی است؛ نه فنی؛ یعنی نقطه ضعف آن است. همانند همه مفاهیم انسانی، ربط نابسامان است. ربط، تغییرهای زیادی را در بر می گیرد که کنترل آن سخت است. ربط، همیشه تکرار می شود. همچنین، ربط، بافتار را در بر می گیرد. همه الگوریتم های جست و جو در تمام سامانه های جهان برای نزدیک شدن به درجات مختلف از موفقیت و مفهوم انسانی از ربط تلاش می کنند؛ یعنی آن چیزی که همه آنها درباره آن هستند و اینکه چرا آنها وجود دارند.
هدف این مقاله، ارائه چشم انداز تاریخی و جدید در مورد دو سؤال مهم است:
- چرا ربط به یک مفهوم اصلی در علم اطلاعات تبدیل شد؟
- در این دوره و زمانه با توسعه عظیم در فناوری اطلاعات، چرا ربط هنوز مفهوم اصلی باقی مانده است؟
پرسش اوّل، به گستره علم اطلاعات نمی پردازد. به نظر می رسد، به آن مربوط نیست؛ زیرا ربط به عنوان مفهوم اصلی، فقط به عنوان یک مفهوم فرضی در نظر گرفته می شود. همان طور که گفته شد، ربط به طور کلی درک می شود. بنابراین، هیچ سند تاریخی مستقیم به آن نمی پردازد و بحث از اینجا اقتباس می شود. کاربردهای مشابه برای پرسش دوم. در کل پیشرفت های فناوری اطلاعات و به طور خاص فناوری جست و جو اطلاعات، اصلاً در ربط منعکس نمی شود. ربط است، آنچه هدف گذاری شده است؛ حتی بدون گفتن. همچنین، فکر می کنم به طور کلی درک شده است.
منابع اصلی
ربط، موضوع برخی بررسی های اصلی و مشخص بود که بیشتر اوقات ظاهر می شود. در میان آنها بررسی های شمبر(3)، ایسنبرگ(4) و نیلان(5) (1990)، شمبر(1994)، مایزارو(6) (1997)، بورلاند(7) (2003)، اینگورسن(8) و یرولین(9) (2005)، یورلند(10) (2010)، و هوانگ(11) و سورگل(12) (2013) هستند. همه این بررسی ها در میان موارد دیگر، ماهیت تاریخی اطلاعات را در بر می گیرند. با وجود این، هیچ یک از این بررسی ها به پرسش های ذکر شده در بالا پاسخ نمی دهند.
کار بنده در مورد ربط، در این مقاله های جامع ارائه شده است: ساراسویک(1975)، (a2007)، (b2007) و (2008). بخش های زیادی از این مقاله را مقاله ساراسویک(2012) تشکیل می دهد که با جزئیات بیشتر به پرسش اوّل می پردازد و اصلاً به پرسش دوم نمی پردازد.
چرا ربط به مفهوم اصلی علم اطلاعات تبدیل شد؟
علم اطلاعات بعد از جنگ جهانی دوم همراه با برخی حوزه های دیگر که موفقیت های علمی و فناورانه را دنبال می کردند، به وجود آمد. در مقاله خیلی مؤثر که در پایان جنگ پدیدار شد، ونور بوش(13) (1890 ـ 1974)، دانشمند، مخترع و اساسا رئیس دستاورد علمی ایالات متحده آمریکا در طول جنگ، مشکل بحرانی را تعریف و یک راه حل را پیشنهاد کرد (Bush, 1945). بوش، مشکل را به صورت کار عظیم ایجاد ذخیره سازی دانش سرگردان کننده دسترس پذیر تعریف کرد و راه حلّی فناورانه را پیشنهاد کرد؛ به عبارت دیگر، بوش، مشکل انفجار اطلاعات را مورد توجه قرار داد. هنوز مشکل با ما نه فقط در علم و فناوری، همان طور حوزه مورد علاقه بوش در آن زمان، بلکه در همه حوزه های تلاش انسانی است.
بوش، ماشینی را به نام «ممکس»(14) پیشنهاد کرد که قابلیت پیوند اطلاعات و تکرار فرآیندهای ذهنی مصنوعی را دارد؛ در حالی که ممکس هرگز ایجاد نشد و ایجاد ممکس یک هدف باقی ماند. ایده بوش با بسط رایانه ها و فناوری ها در سده هایی که به واقعیت جهانی و خیلی موفق منتهی شد، ادامه یافت. به مردم و به طور عمده آژانس های بورسیه دهنده توجه کردند. [همچنین، بوش در راه اندازی بنیاد ملی علوم(NSF)ا(15) ایالات متحده مؤثر بود. قانون ایجاد بنیاد ملی علوم در سال 1950 در میان موارد دیگر و تأمین بودجه پژوهش در پیشرفت اطلاعات علمی و فنی اجباری شد.] همه تلاش های دنبال شده تا به امروز، در یک چیز مشترک هستند: تأکید بر حمایت از تحقیق، توسعه و برنامه های کاربردی که با «راه حلّ فناورانه» برای انواع مشکلات و مسائل مربوط به اطلاعات سر و کار داشتند؛ یعنی بازیابی اطلاعات را در بر می گیرد.
بازیابی اطلاعات
اصطلاح «بازیابی اطلاعات» (IR)، توسط ریاضیدان و فیزیکدان کلوین ان. موئرز(16) (1919 ـ 1994) پیشگام علم کامپیوتر و بازیابی اطلاعات ابداع شد:
«بازیابی اطلاعات، نامی برای فرآیند یا روشی است که از آن طریق کاربر احتمالی اطلاعات قادر است نیاز اطلاعاتی اش را در یک سیاهه واقعی از استنادها به اسناد ذخیره سازی شامل اطلاعات مفید برای او بیان کند... بازیابی اطلاعات، جنبه های نظری توصیف اطلاعات و جزئیات آن برای جست و جو و همچنین، سامانه ها، تکنیک یا ماشین هایی را که برای انجام فعالیت استفاده می شود، شامل می گردد» (Mooers, 1951).
موئرز، اصطلاح «ربط» را استفاده نمی کرد؛ اما این مفهوم به مفید بودن و بافتار نیاز اطلاعاتی اشاره می کند. در طول دهه های بعد، بازیابی اطلاعات به طور چشمگیری نسبت به دوران موئرز تغییر یافت؛ اما ایده اصلی که فرمول بندی شده، هنوز معتبر است. جست و جو اضافه شد و به آن ربط غیرمنتظره پیوست.
همان طور، روش های جست و جوی هنس پیتر لون(17) (1896 ـ 1964) دانشمند کامپیوتر در آی. بی. ام، مخترع، پیشگام اصلی در این حوزه و رئیس سازمان دکومانتاسیون آمریکا تا زمان مرگش بود. وی ابتدا جست و جو را با استفاده از دیاگرام های ون توصیف کرد(Luhn 1953). به علاوه، مورتیمر توب(18) (1910 ـ 1965)، کارآفرین در این حوزه با دکترای فلسفه، مخترع نمایه سازی همارا، ابتدا جست و جو را برحسب منطق بولی توصیف می کند (Taube & Wachtel, 1953). زمانی که آنها ابتدا در فرمول بندی جستجو تلاش کردند، نه لون و نه توب، به ربط توسط نام اشاره نکردند؛ بلکه آنها از طریق جست و جو به آن اشاره کردند.
به طور خلاصه، ارتباط مفهوم دربارگی [موضوعیت] و مفهوم ربط است: رده بندی های کتاب شناسی، سرعنوان های موضوعی، زبان های نمایه سازی برای سازماندهی اطلاعات یا رکوردهای اطلاعات برای مدتی طولانی استفاده می شوند. برخی طرح ها و اعمال به سده های قبل بر می گردد و همه مبتنی بر مفهوم دربارگی هستند. انتخاب کد رده بندی پیش فرض، سرعنوان موضوعی یا واژه نمایه به این اشاره می کند که کدام سند یا بخش متعلق به آن یا درباره آن است. آنها بدیهی می پندارند؛ اما اصلاً به جست و جو اشاره نمی کنند و جست و جو را بدیهی می پندارند؛ به عبارت دیگر، همه با درون دادها و برون دادها به عنوان یک پیش فرض سر و کار داشتند. هیچ تلاشی برای تعریف جست و جوی طرح رده بندی یا سرعنوان موضوعی به صورت رسمی یا به طور عملی صورت نگرفت.
در پیشنهاد یک تعریف رسمی از دربارگی، مارون(19) (1977) تفاوت دقیقی را بین دربارگی و ربط ایجاد کرد. دربارگی، مفهوم بنیادی درباره سازمان دهی اطلاعات است؛ درحالی که ربط، مفهوم بنیادی درباره جست و جو و بازیابی اطلاعات است. اگر چه مرتبط هستند، ولی دو فرآیند خیلی متفاوت هستند. دربارگی، مربوط به موضوع و در یک مفهوم گسترده تر، شناخت شناسی است؛ در حالی که ربط درباره مشکل در دسترس و در یک مفهوم گسترده تر، درباره بافتار و واقع بینی [عمل گرایی(20)] است.
بنابراین، در ابتدای این بخش، پرسش این گونه پاسخ داده می شود:
ربط، به عنوان یک مفهوم اصلی در علم اطلاعات به دلیل مسائل نظری و عملی گسترده و تعهد به جست و جو و نه برای سازمان دهی اطلاعات پدیدار شد.
به نو به خود، جستجو با استفاده از فناوری اطلاعات مدرن انجام شد. افراد، فناوری جست و جو را برای یافتن اطلاعات مرتبط به مشکل در دسترسشان و بافتار استفاده می کنند؛ یعنی سامانه های مبتنی بر انواع الگوریتم ها، ارائه راه و روش های سازمان دهی و جست و جوی اطلاعات که تلاشی برای ارائه احتمال بیشتر یافتن اطلاعات مرتبط توسط مردم است. جالب اینکه سازمان دهی اطلاعات بدون توسل به ابزار خاص، مانند طبقه بندی یا اصطلاح نامه انجام می گیرد. سازمان دهی اطلاعات توسط الگوریتم های رایانه ای انجام می شود که روی استفاده از الگوهای موجود در داده های خام تمرکز می کند؛ برای مثال، همایندی کلمه، تعداد، لینک ها، رتبه پیج ها و مانند آن، همه را در راستای جست و جو نشان می دهد. به طور سنّتی، کتابداری روی سازمان دهی اطلاعات و در نتیجه روی دربارگی تمرکز می کند؛ درحالی که علم اطلاعات روی جست و جو و در نتیجه روی ربط تمرکز می کند. ربط، رابطه و تفاوت آنها را توصیف می کند.
ربط و آزمون
همان طورکه بیان شد، با تأکید زیاد روی جست و جوی ربط به علم اطلاعات اعلام نشده در آغاز دهه 1950 نقش داشتند؛ نتیجه مورد نظر برای بازیابی، اطلاعات مرتبط بود. در یک دوره کوتاه در اوایل دهه 1950 سامانه ها و طرح های بازیابی اطلاعات متناقض متعدد پیشنهاد شد. همان طور ادعاها و مخالف های تشدید آزمون برای یک راه حل حمایت شد. جای تعجب نیست، اگر بیشتر توسعه دهندگان بازیابی اطلاعات، دانشمندان و مهندسان بودند؛ کسانی که آزمایش برای آنها بخشی اجباری توسعه است. ما خیلی درباره ربط آموختیم که در آن سال ها با آزمون سامانه ها و تکنیک های بازیابی اطلاعات، ارتباط دارد.
ربط، خود را به خط مقدم مسائل در حوزه سَبک فوق العاده معرفی کرد؛ زیرا اوّلین آزمون، بازیابی اطلاعات تا امروز است. شرایط دارای ارزش تکرار هستند. آنها یک درس پایدار را ارائه می دهند. در اواسط دهه 1950 تلاش برای آزمون عملکرد دو سامانه بازیابی اطلاعات متناقض توسط گروه های جداگانه توسعه یافت؛ یکی توسط آژانس خدمات اطلاعات فنی ارتش(21) (ASTIA) با استفاده از سرعنوان های موضوعی و از سوی دیگر، توسط مورتیمر تاوب و شرکت او به نام مؤسسه دکومانتاسیون با استفاده از تک واژه ها(22) (کلمات کلیدی جست و جو شده در روش منطق بولی) (Gull, 1956) توسعه یافت. این مطالعه، یک مثال کلاسیک از قانون پیامدهای ناخواسته است. نه فقط نشان می دهد که استنباط های ربط به طور قابل توجهی میان گروه های قضاوت، متفاوت است بلکه همچنین، سهواً طیف وسیعی از مسائل را پوشش نمی دهد که ارزیابی بازیابی اطلاعات در این روزها با آن مبارزه می کند. نتایج، دارای ارزش یادآوری هستند. در آزمون، هر گروه 98 درخواست را با استفاده از 15،000 سند مشابه و نمایه سازی شده به طور جداگانه به منظور ارزیابی عملکرد مبتنی بر ربط اسناد بازیابی شده جست و جو می کنند. با این حال، هر گروه به طور جداگانه، از نظر ربط قضاوت می شود. پس، عملکرد سامانه قضاوت نمی شود؛ اما قضاوت ربطشان بحث انگیز است. گروه اوّل نشان داد که 2200 سند مرتبط با 98 درخواست بود؛ درحالی که گروه دوم نشان داد که 1998 سند مرتبط بودند. هم پوشانی زیادی بین گروه ها وجود ندارد. گروه اوّل 1640 سند مرتبط را که در گروه دوم نیست، قضاوت کرد و گروه دوم 980 سند مرتبط را که در گروه اوّل نیست، قضاوت کرد. شما می فهمید که آن به کجا ختم خواهد شد. سپس، آنها توافق کردند که هر یک از اسناد مرتبط دیگر را مرتبط در نظر بگیرند و دوباره قضاوت ها را مقایسه کنند. هر گروه را بیشتر به عنوان مرتبط پذیرفتند؛ اما در پایان آنها هنوز مخالف هستند. نرخ موافقتشان حتی پس از مذاکرات صلح، 30/9 درصد بود. هرگز ارزیابی بازیابی اطلاعات اوّل ادامه نیافت. آن را از بین بردند؛ به دلیل ارزیابی های ربط. علاوه بر این، به نظر می رسد که نرخ توافق انسانی روی ارزیابی ربط در واقع، حدود آن عدد (30/9 درصد) معلّق می ماند.
سنجه های عملکرد
در اواسط دهه 1950، آلن کنت(23) و جیمز دبلیو پری(24) (1907 ـ1971)، شیمیدان و پیشگام در علم اطلاعات، مجموعه مقالاتی را درباره فناوری های بازیابی اطلاعات نوشتند. در یکی از مقاله ها، آنها سنجه هایی را برای ارزیابی عملکرد سامانه های بازیابی اطلاعات پیشنهاد کردند. آن سنجه ها، «دقت» و «ربط» بودند. بعد از آن، به دلیل سردرگمی، «جامعیت» نام گذاری شد (kent et al., 1955). این اوّلین شناسایی کامل از ربط به عنوان مفهوم بنیادی بازیابی بود؛ ربط معیاری برای این سنجه ها بود. سنجه دقت و جامعیت، از یک طرف احتمال توافق بین اینکه کدام سامانه به عنوان مرتبط بازیابی شده/یا بازیابی نشده (ربط سامانه ها) و از طرف دیگر، کدام کاربر به عنوان مرتبط ارزیابی شده (ربط کاربر) است؛ که در آن، ربط کاربر، استاندارد ایده آل برای سنجش است. ربط، به معیاری اساسی برای اندازه گیری اثربخشی بازیابی اطلاعات تبدیل شد و باقی ماند. تاکنون ربط به اینجا مربوط است.
امروزه آزمون بازیابی اطلاعات را دنبال می کند. دقت و جامعیت، سنجه های اثربخشی استاندارد، با برخی تغییرات در موضوع باقی مانده اند؛ درسی که باید از اوّلین آزمون بیاموزید؛ هر چند امروز به سختی شخصی از منبع آن آگاهی دارد. آزمون، یک قضاوت انفرادی یا بعضی اوقات گروهی از توافق عمومی را در بر می گیرد که یک شاخص ایده آل از ربط اسناد (منابع اطلاعاتی) است؛ بدون توجه به اینکه کدام سامانه یا الگوریتم سامانه ارزیابی می شود.
ربط و فناوری اطلاعات
در این دوره و زمانه از پیشرفت های عظیم در فناوری اطلاعات، چرا ربط هنوز به عنوان مفهوم اصلی باقی مانده است؟
افراد، همیشه اطلاعات مرتبط را برای انواع نیازهای اطلاعاتی جست و جو و بررسی می کنند. با این حال، فناوری اطلاعات، ربط در دسترس را به ارمغان می آورد.
معمولاً پذیرفته شده است که فناوری اطلاعات «توسعه، تعمیر و نگهداری، استفاده از سامانه های کامپیوتری، نرم افزار و شبکه های پردازش و توزیع داده ها» را در بر می گیرد. واژه نامه برخط مریام وبستر: اوّلین بار با کاربرد اصطلاح «فناوری اطلاعات» در سال 1978 آشنا شدند.
از دیدگاه انسانی، فناوری اطلاعات به استفاده از این فناوری به عنوان ابزاری برای وظایف مختلف مانند ذخیره سازی و دستکاری متن و داده، انجام محاسبات و ارتباطات اشاره می کند. جنبه های ارتباطات فناوری اطلاعات، به مهم ترین بخش ربط تبدیل شده است. در واقع، آن واقعاً برعکس است. ربط، دلیل اصلی آن است که چرا فناوری اطلاعات در ارتباطات استفاده می شود. البته، هدف ممکن است ارتباط عدم ربط، اطلاعات نادرست، تبلیغات و مانند آن، هنوز مسئله اصلی همراه با مفهوم ربط است.
فناوری اطلاعات در همه جا، فراگیر و در سراسر جهان است؛ حتی اگر تکه بزرگی از انسانیت، هیچ ارتباطی با آن نداشته باشد.
پیشرفت های جدید در فناوری اطلاعات، تغییرات خیلی بزرگی را به ارمغان آورد. موتورهای جستجو، رسانه های اجتماعی و بسیاری از منابع اطلاعاتی جدید پدید آمده و جهان در حال تغییر است. متون مهم، عمومی و علمی با این تحولات سر و کار دارند. هر حوزه ای که شما نام آن را می دانید، تغییر کرده است؛ سلامت، دولت، کسب و کار، علوم، حرفه، چاپ و نشر و ارتباطات تغییر کرده است. سیاست ها و خط مشی ها، نهفته هستند. انقلاب ها کمک کننده هستند؛ ولی به همین اندازه ظلم وجود دارد.
همچنین، تغییر قابل توجه دیگری وجود دارد. مردم با استفاده از این فناوری های اطلاعات جدید، به طور قابل توجهی توسعه یافته اند. مردم با استفاده از سامانه های بازیابی اطلاعات اصلی (ذکر شده در بخش تاریخ) به دانشمندان، متخصصان، مدیران، مقامات رسمی و مانند آن محدود بودند؛ اما مردم با استفاده از سامانه های جدید مبتنی بر فناوری اطلاعات (انواع رسانه های اجتماعی، موتورهای جست و جو و منابع اطلاعاتی دیجیتالی) در حال حاضر، برای هر کس و همه در دسترس است. نه تنها کسانی که وابسته یا متصل به اقتصاد دانش هستند، بلکه همچنین، هر شخصی صرف نظر از اینکه چه چیزی باشد، به فناوری دسترسی دارد. دسترسی، به یک راه حل تبدیل شد.
انواع رسانه های اجتماعی، موتورهای جست و جو و منابع اطلاعاتی دیجیتالی...، قابلیت جست و جو (از جمله مرور) را دارند. به نو به خود، جست و جوی همه انواع اطلاعات به طور گسترده ای در سراسر جهان توسط افراد مختلف و برای همه نوع مشکلی استفاده می شود. با وجود اینکه عموم مردم جست و جو می کنند، با این حال، هنوز جست و جو مبتنی بر ربط است. جست و جوی مردم به منظور یافتن چیزی که برای آنها در آن لحظه مرتبط است، در یک بافتار ارائه شده است و ربط هنوز یک مفهوم بنیادی مرتبط به جست و جو و بازیابی اطلاعات است.
بنابراین، سؤال آغاز این بخش، این گونه می تواند پاسخ داده شود که:
در برنامه های کاربردی جدید فناوری اطلاعات، به دلیل تعهدات گسترده به جست و جو و سازماندهی اطلاعات، ربط، به عنوان یک مفهوم بنیادی علم اطلاعات باقی ماند.
جمع بندی
فناوری اطلاعات، سامانه های اطلاعات و بازیابی اطلاعات در روش هایی که ما حتی نمی توانیم تصور کنیم، نه تنها در دراز مدت، بلکه حتی در کوتاه مدت تغییر خواهد کرد. آنها با سرعت زیاد در حال تغییر هستند. با این حال، صرف نظر از اینکه چه چیزی باشد، ربط در اینجا باقی ماند. ربط، بی انتهاست و نگرانی ها در مورد ربط همیشه به موقع خواهد بود.
پی نوشت ها:
1. Relevance.
2. Tefko Saracevic.
3. Schamber.
4. Eisenberg.
5. Nilan.
6. Mizzaro.
7. Borlund.
8. Ingwersen.
9. Järvelin.
10. Hjørland.
11. Huang.
12. Soergel.
13. Vannevar Bush.
14. Memex.
15. National Science Foundation.
16. Calvin N. Mooers.
17. Hans Peter Luhn.
18. Mortimer Taube.
19. Maron.
20. pragmatism.
21. Armed Services Technical Information Agency.
22. Uniterm.
23. Allen Kent.
24. James W. Perry.
منابع:
1. Borlund, P. (2003). The Concept Of Relevance in IR. Journal of the American Society for Information Science and Technology, 54(10), 913-925.2. Bush, V. (1945) As We May Think. Atlantic Monthly, 176(11), 101-108. Retrieved 23 January 2015 from http://www.theatlantic.com/doc/194507/bush.
3. Gull, C.D. (1956). Seven Years of Work on the Organization of Materials in Special Library. American Documentation, 7(4), 320-329.
4. Ingwersen, P. & Järvelin, K. (2005). The Turn: Integration Of Information Seeking And Retrieval In Context. New York: Springer.
5. Hjørland, B. (2010). The Foundation Of The Concept Of Relevance. Journal of the American Society for Information Science and Technology, 61(2), 217-237.
6. Huang, X. & Soergel, D. (2013). Relevance: An Improved Framework for Explicating the Notion. Journal of the American Society for Information Science and Technology, 64(1), 18–35.
7. Kent, A., Berry, M., Leuhrs, F.U. & Perry, J.W. (1955). Machine Literature Searching VIII. Operational Criteria for Designing Information Retrieval Systems. American Documentation, 6(2), 93-101.
8. Luhn, H.P. (1953). A New Method of Recording and Searching Information. American Documentation, 4(1), 14–16.
9. Maron, M.E. (1977). On Indexing, Retrieval and the Meaning of About. Journal of the American Society for Information Science, 28(1), 38-43.
10. Mizzaro, S. (1997). Relevance: The Whole History. Journal of the American Society for Information Science, 48(9), 810-832.
11. Saracevic, T. (1975). Relevance: A Review of and a Framework for the Thinking on the Notion Of Information Science. Journal of American Society for Information Science, 26(6), 321-343.
12. Saracevic, T. (2007a). Relevance: A Review of the Literature and a Framework for Thinking on the Notion in Information Science. Part II: Nature and Manifestations of Relevance. Journal of the American Society for Information Science and Technology, 58(3), 1915-1933.
13. Saracevic, T. (2007b). Relevance: A Review of the Literature and a Framework for Thinking on the Notion in Information Science. Part III: Behavior and Effects of Relevance. Journal of the American Society for Information Science and Technology, 58(13), 2126-2144.
14. Saracevic, T. (2008). Effects of Inconsistent Relevance Judgments on Information Retrieval Test Results: A Historical Perspective. Library Trends, 56(4), 763-783.
15. Saracevic T. (2012) Research on Relevance in Information Science: A Historical Perspective. In: Carbo, T. & Bellardo Hahn, T. Eds. International Perspectives on the History of Information Science and Technology. Proceedings of the ASIS&T 2012 Pre-Conference on the History of Information Science and Technology. pp. 49-60.
16. Schamber, L., Eisenberg, M.B., & Nilan, M.S. (1990) A Re-Examination of Relevance: Toward a Dynamic, Situational Definition. Information Processing & Management, 26(6), 755-776.
17. Schamber, L. (1994). Relevance and Information Behavior. Annual Review of Information Science and Technology. 29, 3-48.
18. Taube, M. & Wachtel, I.S. (1953). The Logical Structure of Coordinate Indexing. American Documentation, 4(2), 67–68.