موتورهای جستجو چگونه کار می‌کنند؟

برای ورود به دنیای دیجیتال، مدیریت و طراحی سایت و یادگیری سئو برای بهینه سازی سایت، لازم است تا با نحوه کار موتورهای جستجو آشنا شوید. یادگیری اینکه موتورهای جستجو چگونه کار می‌کنند و از چه الگوریتم‌هایی برای کار خود استفاده می‌کنند، درک بهتری از سئو به شما خواهد داد. موتورهای جستجو با خزیدن در صدها میلیون صفحه با استفاده از خزنده‌های وب، کار می‌کنند. این خزنده‌های وب معمولاً ربات موتورهای جستجو نامیده می‌شوند. به بیان ساده، اصل کار موتورهای جستجو بر پایه خزیدن و فهرست بندی است. در ادامه همراه ما باشید تا به طور دقیق به این مسئله بپردازیم که موتورهای جستجو چگونه کار می‌کنند؟

 

وظیفه موتور جستجو چیست؟

موتورهای جستجو این امکان را به کاربران می‌دهند تا با استفاده از کلمات کلیدی، مطالب را جستجو کنند. هنگامی که یک کاربر یک کوئری (عبارت سرچ شده) را در موتور جستجو وارد می‌کند، یک صفحه نتایج (SERP) بازگردانده می‌شود. موتور جستجو صفحات پیدا شده از سایت‌ها را به ترتیب و براساس رتبه بندی خاص نمایش می‌دهد. موتورهای جستجو اغلب الگوریتم‌های خود را برای بهبود تجربه کاربر تغییر می‌دهند تا با کیفیت‌ترین صفحات در ابتدا ظاهر شوند. برخی از معروف‌ترین موتورهای جستجوی جهان عبارتند از گوگل، یاهو، بینگ و اسک.

از میان صدها موتور جستجو که در جهان وجود دارد، گوگل سهم بیشتری از کاربران (72.48 درصد) را به خود اختصاص داده است. طی سال‌های اخیر گوگل 71 درصد از دسکتاپ و ۹۵ درصد از جستجوهای موبایل را به خود اختصاص داده است که درصد بسیار بالایی است. دلیل بالا بودن این عدد در موبایل، سیستم عامل اندروید در گوشی‌های هوشمند است که در این سیستم عامل، گوگل به عنوان موتور جستجوی پیش فرض تعریف شده است. این کمپانی توانسته رتبه الکسا را از آن خود کند که به طور میانگین ماهیانه 1.6 میلیارد کاربر از آن استفاده می‌کنند. با درنظر گرفتن این آمار به اهمیت سئو سایت برای کسب رتبه بالا در گوگل پی می‌بریم.

 

نحوه کار موتور جستجو

هنگامی که یک عبارت جستجو توسط کاربر وارد موتور جستجو می‌شود، همه صفحاتی که با آن عبارت مرتبط هستند از پایگاه داده استخراج شده و طبق الگوریتم رتبه بندی سلسله مراتبی، صفحات مربوطه در مجموعه‌ای از نتایج نشان داده می‌شوند. الگوریتم‌های مورد استفاده برای رتبه بندی مرتبط‌ترین نتایج، در هر موتور جستجو متفاوت است. به عنوان مثال، صفحه‌ای که در جستجوی Google رتبه بالایی دارد، ممکن است برای همان پرس و جو در بینگ رتبه بالایی نداشته باشد.

علاوه بر عبارت جستجو، موتورهای جستجو از سایر داده‌های مرتبط برای بازگرداندن نتایج استفاده می‌کنند، از جمله:

• مکان: برخی از عبارت‌های جستجو وابسته به مکان هستند، به عنوان مثال ” کافه‌های مشهد”
• زبان: در صورت تشخیص، موتورهای جستجو نتایج را به زبان کاربر باز می‌گردانند.

• سابقه جستجو قبلی: موتورهای جستجو نتایج متفاوتی را برای یک عبارت بسته به آنچه کاربر قبلاً جستجو کرده نشان می‌دهند.
• دستگاه: ممکن است مجموعه‌ای متفاوت از نتایج براساس دستگاهی که عبارت از آن جستجو شده است، بازگردانده شود.

هدف الگوریتم موتور جستجو ارائه مجموعه‌ای از نتایج جستجوی با کیفیت بالا است که پرسش کاربر را در اسرع وقت برآورده کند.

 

موتورهای جستجو چگونه کار می‌کنند؟

یک “موتور جستجو” از چندین مکانیسم به هم پیوسته تشکیل شده که برای شناسایی قطعات محتوای وب (تصاویر، فیلم ها، صفحات وب سایت) بر اساس کلماتی که در نوار جستجو تایپ می‌کنید، کار می‌کند. موتورهای جستجو از سه مکانیزم اساسی زیر استفاده می‌کنند:

خزیدن (Crawling): ربات‌هایی وجود دارد که پیوسته وب را برای صفحات جدید مرور می‌کنند. خزنده‌ها اطلاعات مورد نیاز برای فهرست بندی صحیح یک صفحه را جمع آوری و از پیوندها برای پرش به سایر صفحات و فهرست بندی آنها نیز استفاده می‌کنند.

فهرست کردن (جستجو index): ثبت تمام صفحات وب آنلاین، به گونه‌ای که امکان ارتباط بین کلمات کلیدی و محتوای صفحه را فراهم می‌کند. موتورهای جستجو همچنین روش‌هایی برای درجه بندی کیفیت محتوا در نمایه‌های خود دارند.

رتبه بندی (Ranking): نتایج جستجو بر اساس عوامل متعددی رتبه بندی می‌شوند. این عوامل ممکن است شامل تراکم کلمات کلیدی، سرعت سایت و پیوندها باشد. براساس الگوریتم‌های مشخص، محاسباتی انجام می‌شود که کیفیت صفحات وب را درجه بندی می‌کند و میزان ارتباط آن صفحه با یک عبارت جستجو را مشخص می‌کند.

موتورهای جستجو سعی می کنند مفیدترین نتایج را برای هر کاربر ارائه دهند تا تعداد زیادی از کاربران دوباره بازگردند. این امر تجارت را منطقی می‌کند، زیرا اکثر موتورهای جستجو از طریق تبلیغات درآمد کسب می‌کنند. به عنوان مثال، در سال 2018 گوگل 116 میلیارد دلار درآمد چشمگیر داشته است.

 

 

نحوه خزیدن، فهرست بندی و رتبه بندی محتوا توسط موتورهای جستجو

موتورهای جستجو از بیرون ساده به نظر می‌رسند. شما یک کلمه کلیدی را تایپ می‌کنید و لیستی از صفحات مربوطه را دریافت می‌کنید اما این مبادله آسان و فریبنده به تعداد زیادی محاسبات سنگین در پشت صحنه نیاز دارد. کار سخت قبل از اینکه جستجو کنید، شروع می‌شود. موتورهای جستجو به طور شبانه روزی کار می‌کنند، اطلاعات را از وب سایت‌های جهان جمع آوری می‌کنند و این اطلاعات را سازماندهی می‌کنند، بنابراین یافتن مطالب برای شما آسان است. با فرایند سه مرحله‌ای زیر نتیجه دلخواه شما نمایش داده می‌شود:

 

خزیدن (Crawling)

موتورهای جستجو به خزنده‌ها – اسکریپت‌های خودکار – هنگام جستجوی وب برای اطلاعات تکیه می‌کنند. خزنده‌ها با لیستی از وب سایت‌ها شروع به کار می‌کنند. الگوریتم‌ها – مجموعه ای از قوانین محاسباتی – به طور خودکار تصمیم می‌گیرند که کدام یک از این سایت‌ها را جستجو کنند.

خزنده‌ها به طور سیستماتیک از هر سایتی در لیست دیدن می‌کنند و پیوندهایی را از طریق برچسب‌هایی مانند HREF و SRC دنبال می‌کنند تا به صفحات داخلی یا خارجی بروند. با گذشت زمان، خزنده‌ها نقشه ای گسترده از صفحات به هم پیوسته ایجاد می‌کنند.

• نکته‌ای برای سئوکاران

اطمینان حاصل کنید که سایت شما به راحتی برای خزنده‌ها قابل دسترسی است. اگر ربات‌ها نتوانند در سایت بخزند، نمی‌توانند آن را فهرست بندی کنند و این بدان معناست که سایت شما در نتایج جستجو ظاهر نمی‌شود. با پیاده سازی موارد زیر می‌توانید دسترسی خزنده را تضمین کنید:

1. سلسله مراتب منطقی سایت

معماری منطقی سایت را تعریف کنید که از دامنه به دسته و از دسته به زیر گروه‌ها جریان می‌یابد. این کار به خزنده‌ها اجازه می‌دهد سریع‌تر در سایت شما حرکت کنند.

1. لینک داخلی

در هر صفحه از لینک داخلی استفاده کنید. خزنده‌ها برای جابجایی بین صفحات نیاز به پیوند دارند. صفحات بدون پیوند قابل خزیدن نیستند و بنابراین اسکن (index) نمی‌شوند.

1. نقشه سایت XML

لیستی از تمام صفحات وب سایت خود، از جمله پست‌های وبلاگ تهیه کنید. این فهرست به عنوان یک دستورالعمل برای خزنده‌ها عمل می‌کند و به آن‌ها می‌گوید کدام صفحات را باید اسکن کرد. افزونه‌ها و ابزارهایی مانند Yoast و Google XML Sitemaps وجود دارد که هنگام انتشار محتوای جدید، نقشه سایت شما را ایجاد و به روز می‌کند.

 

فهرست بندی (Indexing)

در این قسمت موتورهای جستجو هر محتوایی را که در پروسه crawling پیدا کرده‌اند را ذخیره و سازماندهی می‌کنند. پس از یافتن یک صفحه، یک ربات آن را به همان روشی که مرورگر شما انجام می‌دهد، ارائه می‌کند. این بدان معناست که ربات باید آنچه را مشاهده می‌کنید، از جمله تصاویر، فیلم‌ها یا سایر انواع محتوای صفحه پویا ببیند.

ربات این محتوا را در دسته بندی‌هایی از جمله تصاویر، CSS و HTML ، متن و کلمات کلیدی و … سازماندهی می‌کند. این فرایند به خزنده اجازه می‌دهد تا آنچه را که در صفحه وجود دارد “درک” کند، یک پیش نیاز ضروری برای تصمیم گیری در مورد اینکه کدام کلیدواژه‌ها در صفحه مربوط هستند.

موتورهای جستجو سپس این اطلاعات را در یک پایگاه داده بزرگ با یک فهرست برای هر کلمه‌ای که در هر صفحه وب نمایه شده است، ذخیره می‌کنند. فهرست گوگل (فهرست کافئین) حدود 100،000،000 گیگابایت فضا را با چندین مزرعه سرور اشغال می‌کند!

• نکته دیگری برای سئوکاران

اطمینان حاصل کنید که خزنده‌ها سایت شما را آنطور که می‌خواهید “ببینند”. کنترل کنید که کدام قسمت از سایت را اجازه می‌دهید تا فهرست بندی کنند.

1. URL Inspection Tool

اگر می‌خواهید بدانید خزنده‌ها هنگام ورود به سایت شما چه می‌بینند، از ابزار بازرسی URL استفاده کنید. می‌توانید از این ابزار برای پیدا کردن دلیل عدم نمایه سازی صفحات توسط خزنده‌ها یا درخواست خزیدن آن توسط Google استفاده کنید.

https://support.google.com/webmasters/answer/9012289?hl=en

2- Robots.txt

زمانی که شما نمی‌خواهید خزنده‌ها همه صفحات سایت شما را در SERP نشان دهند، این فایل استفاده می‌شود. به عنوان مثال، صفحات نویسنده را می‌توان از فهرست حذف کرد. از یک فایل robots.txt برای کنترل دسترسی استفاده کنید و به ربات‌ها بگویید کدام صفحات را می‌توانند ایندکس کنند.

مسدود کردن خزنده‌ها از برخی مناطق کاری روزانه سایت شما بر رتبه بندی جستجو تأثیر نمی‌گذارد. در عوض به خزنده‌ها کمک می‌کند تا بودجه خزیدن را روی مهمترین صفحات سایتتان متمرکز کنند.

 

رتبه بندی (Ranking)

در مرحله آخر عملکرد موتور جستجو ، این موتور، اطلاعات فهرست بندی شده را مرتب کرده و نتایج مناسب برای هر پرس و جو را نشان می‌دهند. آنها این کار را با الگوریتم‌های جستجو انجام می‌دهند، قواعدی که تجزیه و تحلیل می‌کند که جستجوگر به دنبال چه چیزی است. الگوریتم‌ها از عوامل متعددی برای تعیین کیفیت صفحات فهرست خود استفاده می‌کنند.

گوگل نیز از مجموعه‌ای کامل از الگوریتم‌ها برای رتبه بندی نتایج مرتبط استفاده می‌کند. بسیاری از عوامل رتبه بندی مورد استفاده در این الگوریتم‌ها محبوبیت عمومی یک قطعه از محتوا و حتی تجربه کیفی کاربران را هنگام ورود به صفحه تجزیه و تحلیل می‌کنند. این عوامل عبارتند از:

• کیفیت بک لینک‌ها
• موبایل فرندلی یا سازگاری با موبایل
• تازه بودن و اپدیت مرتب محتوا
• سرعت صفحات

برای اطمینان از اینکه الگوریتم‌ها وظایف خود را به درستی انجام می‌دهند، گوگل از شاخص‌های کیفیت جستجوی انسانی برای آزمایش و اصلاح الگوریتم استفاده می‌کند. این یکی از معدود مواردی است که انسان‌ها و نه برنامه‌ها در نحوه عملکرد موتورهای جستجو نقش دارند.

 

 

موتور جستجوی گوگل چگونه کار می‌کند؟

اکنون ما از فرآیند سه مرحله‌ای استفاده می‌کنیم که موتورهای جستجو برای بازگرداندن نتایج مربوطه استفاده می‌کنند. خزیدن، فهرست کردن و رتبه بندی به موتورهای جستجو اجازه می دهد تا اطلاعات را بیابند و سازماندهی کنند. اما چگونه این به آنها کمک می‌کند تا به جستجوی شما پاسخ دهند؟ بیایید از لحظه‌ای که یک عبارت را در نوار جستجوی گوگل تایپ می‌کنید، بررسی کنیم.

1. گام اول: تجزیه و تحلیل

برای بازگرداندن نتایج مرتبط، موتورهای جستجو باید “هدف” جستجو در پشت یک عبارت را “درک” کنند. آن‌ها از مدل‌های پیچیده زبانی برای انجام این کار استفاده می‌کنند، و درخواست شما را به کلمات کلیدی تقسیم می‌کنند و معنی را تجزیه می‌کنند.

به عنوان مثال سیستم مترادف گوگل به موتور جستجو اجازه می‌دهد گروه کلمات هم معنا را درک کند. بنابراین وقتی “لباس‌های تیره” را تایپ می‌کنید، گوگل لباس‌های سیاه و قهوه‌ای را نشان می‌دهد؛ چراکه می‌داند که تیرگی اغلب مترادف با رنگ سیاه است. یا مثلا عبارت “خرید” به موتورهای جستجوگر سیگنال می‌دهد که باید صفحات محصول را برای مطابقت با هدف یک جستجوگر بالا بیاورد.

1. گام دوم: تطابق صفحات با کوئری وارد شده

هنگامی که گوگل متوجه شد چه نوع نتیجه‌ای را می‌خواهید ببینید، باید صفحات منطبق را پیدا کند. مجموعه‌ای از عوامل به موتور جستجو کمک می‌کند تا بهترین صفحات را تعیین کند از جمله:

• عنوان صفحه و ارتباط معنایی محتوا
• کیفیت و به روز بودن سایت
• محبوبیت صفحه و …

 

1. گام سوم: اعمال عوامل محلی

تعدادی از عوامل فردی در نمایش نتایج نقش دارند مثلا ممکن است نتایج متفاوتی را برای عبارت “بهترین پیتزافروشی” نسبت به دوستی که در یک منطقه دیگر زندگی می‌کند، مشاهده کنید. گوگل نتایج را براساس مکانی که هستید و تاریخچه جستجو به شما نمایش می‌دهد.