سافت گذر دانشنامه نرم افزار - دانلود رایگان نرم افزار

همه دسته بندی ها

منو
جستجو
اطلاعیه های مهم سایت اطلاعیه های مهم سایت
💐 میلاد زینت پدر حضرت زینب سلام الله علیها مبارک باد 💐
 
 
  1. جهت رفع مشکل باز شدن سایت به دلیل بلاک توسط  نود 32 این ویدیو یا این ویدیو(ورژن 9 به بالا) یا راهنمای تصویری را مشاهده کنید
  2. اکانت های بروزرسانی نود32 با قیمت های مناسب به صورت یک ، سه ، شش و دوازده ماهه از اینجا قابل خرید می باشد.

نرم افزار های پرکاربرد

ثبت نام | ورود

اخبار آموزشی

چگونه اطلاعات ویکی پدیا را استخراج و تحلیل کنیم؟

ویکی‌پدیا بزرگ‌ترین دانشنامه‌ی مردمی دنیا است که همگی با آن آشنا هستیم. در این مقاله، به آموزش ابزار Mixnode و نحوه‌ی استخراج و تحلیل مقالات ویکی‌پدیا می‌پردازیم.
چگونه اطلاعات ویکی پدیا را استخراج و تحلیل کنیم؟
غنای اطلاعات ویکی‌پدیا بر هیچ‌کس پوشیده نیست. از دریای اطلاعات این وبسایت می‌توان برای تحقیق‌های تجاری و غیرتجاری و تقریبا در هر زمینه‌ای بهره برد. شرکت‌ها، محققان، دانشمندان داده و حتی افراد صرفا کنجکاو، همه‌وهمه درزمره‌ی افرادی قرار می‌گیرند که سعی می‌کنند داده‌های ویکی‌پدیا را استخراج و تحلیل کنند.

ویکی‌پدیا به‌مثابه‌ی گنجینه‌ای است که از مجموعه‌ای از صدهامیلیون صفحه‌ی وب و میلیون‌ها مقاله‌ی وزین چندزبانه تشکیل شده‌ است. این امر ویکی‌پدیا را به بهشت خزندگان وب (Web Crawler) تبدیل کرده‌ است. با جست‌وجویی ساده در گیت‌هاب، متوجه می‌شوید بیش از سیصد خزنده‌ی وب و پروژه‌های مشابه برای استخراج داده از ویکی‌پدیا وجود دارد.

وب‌کراولینگ، تنها راه موجود برای استخراج و تحلیل داده‌های ویکی‌پدیا نیست. برای مثال، ویکی‌مدیا اجازه‌ی استخراج داده‌ها در فرمت‌های متنوعی را می‌دهد. همچنین، API ویکی‌مدیا نه‌تنها برای دریافت اطلاعات، بلکه برای ایجاد بات‌ها و تعامل با مقالات به‌طور برنامه‌نویسی‌شده استفاده می‌شود.

در آموزش زیر، روی ابزار Mixnode تمرکز می‌کنیم که استخراج و تحلیل داده‌ها از ویکی‌پدیا با استفاده از کوئری‌های SQL را فراهم می‌آورد. برای استفاده از این ابزار باید با SQL آشنا باشید.

Mixnode چگونه کار می‌کند؟
Mixnode اجازه می‌دهد با وب مانند پایگاه داده برخورد کنید. با استفاده از Mixnode می‌توانید کوئری بنویسید و آن را روی وب اجرا کنید. با اجرای کوئری مدنظر Mixnode به‌طور خودکار صفحات لازم برای پاسخ به کوئری را پیدا می‌کند.

مثال‌های زیر نحوه‌ی کارکرد Mixnode و استخراج و تحلیل داده‌‌ها را شفاف‌تر می‌کند.

مثال ۱: به‌دست‌آوردن آدرس تمامی صفحات ویکی‌پدیا
select 
    url
from 
    pages
where 
    url_domain = 'wikipedia.org' 
متغیر url نمایانگر آدرس صفحه است
pages جدولی است که هر ردیف آن مطابق با صفحه‌ی منحصربه‌فرد در وب است
با url_domain = 'wikipedia.org' مطمئن می‌شویم که فقط صفحات ویکی‌پدیا و ساب‌دامین‌های آن (مانند en.wikipedia.org) مدنظر قرار می‌گیرند. اگر بخواهید فقط در ویکی‌پدیای فارسی جست‌وجو کنید، کافی است عبارت fa.wikipedia.org را جایگزین کنید.
مثال ۲: به‌دست‌آوردن آدرس و عنوان تمامی مقالات ویکی‌پدیا
select 
    url, 
    css_text_first(content, 'h1#firstHeading') as title
from 
    pages
where 
    url_domain = 'wikipedia.org' 
    and
    url like '%/wiki/%'
css_text_first(content, 'h1#firstHeading') عنوان مقاله‌ی ویکی‌پدیا را خروجی می‌دهد. با نگاهی به سورس HTML مقالات ویکی‌پدیا، پی می‌بریم h1#firstHeading مسیر CSS برای عنوان مقاله است. css_text_first نیز تابعی است که اجازه‌ی استخراج اولین مورد از انتخابگر CSS را می‌دهد. content در اینجا سورس کامل HTML صفحه است.

ازآنجایی‌که قصد داریم عناوین مقالات را به‌دست آوریم و می‌دانیم در آدرس مقالات ویکی‌پدیا از /wiki/ استفاده می‌شود، از url like '%/wiki/%' استفاده می‌کنیم تا مطمئن شویم نتایجمان فقط به مقالات مربوط‌ می‌شود.
مثال ۳: به‌دست‌آوردن عناوین تمامی مقالات شامل زیررشته‌ی Elon Musk
select 
    url, 
    css_text_first(content, 'h1#firstHeading') as title
from 
    pages
where 
    url_domain = 'wikipedia.org' 
    and
    url like '%/wiki/%'
    and
    contains(content, 'Elon Musk')
contains() تابعی است که اجازه‌ی بررسی وجود یک زیررشته در یک رشته را می‌دهد. با استفاده از contains(content, 'elon musk') مطمئن می‌شویم که در نتایجمان عبارت Elon Musk موجود است.
مثال ۴: مرتب‌سازی مقالات ویکی‌پدیا براساس تعداد ارجاعات
select 
    url, 
    css_text_first(content, 'h1#firstHeading') as title,
    cardinality(css_text(content, 'ol.references li')) as reference_count
from 
    pages
where 
    url_domain = 'wikipedia.org' 
    and
    url like '%/wiki/%'
order by reference_count desc
بررسی کد منبع یک مقاله‌ی ویکی‌پدیا نشان می‌دهد تمامی ارجاعات و منابع با انتخابگر ol.references قابل‌دسترسی است. css_text(content, 'ol.references li') متن تمامی منابع مقاله را به ما می‌دهد و ازآنجایی‌که فقط به تعداد نیاز داریم، پس از تابع cardinality() استفاده می‌کنیم که اندازه‌ی یک آرایه را برمی‌گرداند. desc در خط آخر مقالات را به‌صورت نزولی برایمان مرتب می‌کند. برای مرتب‌سازی به‌صورت صعودی از asc استفاده کنید.
مثال ۵: مرتب‌سازی مقالات ویکی‌پدیا براساس طول مقاله
select
    url,
    css_text_first(content, 'h1#firstHeading') as title,
    cardinality(words(css_text_first(content, '#content'))) as article_length
from 
    pages
where 
    url_domain = 'wikipedia.org' 
    and
    url like '%/wiki/%'
order by article_length desc
words() آرایه‌ای شامل تمامی کلمات یک متن را برمی‌گرداند. استفاده از cardinality(words(css_text_first(content, '#content'))) as article_length، تعداد کلمات یک مقاله را به ما می‌دهد.
مثال ۶: اندازه‌ی میانگین یک مقاله‌ی ویکی‌پدیا
select
    avg(cardinality(words(css_text_first(content, '#content')))) as average_article_length
from 
    pages
where 
    url_domain = 'wikipedia.org' 
    and
    url like '%/wiki/%'
تابع avg() میانگین داده‌های ورودی‌اش را برمی‌گرداند که در اینجا، تعداد کلمات تمامی مقالات ویکی‌پدیاست.
مثال ۷: مرتب‌سازی مقالات ویکی‌پدیا براساس بحث‌های آن
select
    url,
    remove_left(css_text_first(content, 'h1#firstHeading'), 'Talk:') as title,
    cardinality(words(css_text_first(content, '#content'))) as discussion_length
from 
    pages
where 
    url_domain = 'wikipedia.org' 
    and
    url like '%/wiki/Talk:%'
order by discussion_length desc
مباحث درباره‌ی یک مطلب در آدرسی مشابه /wiki/Talk: قرار دارند؛ به‌همین‌دلیل از این عبارت استفاده می‌کنیم.
مثال ۸: پیداکردن تمامی مقالات ویکی‌پدیا که لینکی به zoomit.ir دارند
select
    url,
    css_text_first(content, 'h1#firstHeading') as title
from 
    pages
where 
    url_domain = 'wikipedia.org' 
    and
    url like '%/wiki/%'
    and
    contains_any(content, array['href="https://www.zoomit.ir', 'href="http://www.zoomit.ir', 'href="https://zoomit.ir', 'href="http://zoomit.ir'])

نظرتان را ثبت کنید کد خبر: 43666 گروه خبری: اخبار آموزشی منبع خبر: زومیت تاریخ خبر: 1397/09/19 تعداد مشاهده: 2249
اخبار مرتبط با این خبر
نظر های کاربران
سرور آپدیت نود 32
پیشنهاد سافت گذر
BLAZ3D 2.2 for Android

BLAZ3D 2.2 for Android

بازی گوی غلطان

Cities in Motion 2

Cities in Motion 2

شهر های متحرک 2

Fragmented

Fragmented

اکشن شوتر

J4T Multitrack Recorder 4.8.08 for Android +2.3

J4T Multitrack Recorder 4.8.08 for Android +2.3

نرم افزار ضبط چهار کاناله صدا

MailEnable Enterprise Premium 10.25

MailEnable Enterprise Premium 10.25

مدیریت ایمیل‌

سخنرانی حجت الاسلام ظهیری با موضوع نقش انتخاب در شقاوت و سعادت

سخنرانی حجت الاسلام ظهیری با موضوع نقش انتخاب در شقاوت و سعادت

سخنرانی نقش انتخاب در شقاوت و سعادت ظهیری

سخنرانی محمد باقر فرزانه با موضوع شرایط و آثار زیارت

سخنرانی محمد باقر فرزانه با موضوع شرایط و آثار زیارت

سخنرانی شرایط و آثار زیارت با محمد باقر فرزانه

تلاوت مجلسی استاد محمد احمد بسیونی سوره مبارکه نصر

تلاوت مجلسی استاد محمد احمد بسیونی سوره مبارکه نصر

تلاوت محمد احمد بسیونی سوره نصر

Aero's Quest

Aero's Quest

سفر مرگبار اِیرو

ShareX 17.1.0

ShareX 17.1.0

گرفتن عکس و فیلم از صفحه کامپیوتر

فعالساز ( کرک ) محصولات Microsoft ویندوز و آفیس (21 شهریور 1404)

فعالساز ( کرک ) محصولات Microsoft ویندوز و آفیس (21 شهریور 1404)

فعالساز ویندوز و آفیس

نگرش های یادگرفتن زبان انگلیسی که موسسات و دانشگاه ها به شما نمی گویند

نگرش های یادگرفتن زبان انگلیسی که موسسات و دانشگاه ها به شما نمی گویند

نگرش های یادگرفتن زبان انگلیسی

DivX Mobile Premium 1.0.0 release (39) for Android +4.2

DivX Mobile Premium 1.0.0 release (39) for Android +4.2

پخش فیلمهای دایویکس ( DivX ) در موبایل

The Golf Club

The Golf Club

شبیه‌ساز گلف

Arma Tactics

Arma Tactics

تاکتیک‌های نظامی

تلگرام فارسی (غیر رسمی) نسخه 3.10.3 برای اندروید 2.3+

تلگرام فارسی (غیر رسمی) نسخه 3.10.3 برای اندروید 2.3+

تلگرام فارسی

آلبوم بهترین آهنگ‌های رشید طاها خواننده مشهور الجزایری-فرانسوی

آلبوم بهترین آهنگ‌های رشید طاها خواننده مشهور الجزایری-فرانسوی

آهنگ های رشید طاها

Surgeon Simulator - Anniversary Edition Content

Surgeon Simulator - Anniversary Edition Content

شبیه ساز جراحی

Next Lock Screen 3.11.5 for Android +4.1

Next Lock Screen 3.11.5 for Android +4.1

قفل صفحه نمایش مایکروسافت

Anode

Anode

قطب مثبت

Mushroom Wars 2 + Update v2.4.0

Mushroom Wars 2 + Update v2.4.0

اکشن و استراتژیک

آموزش محاسبات شبکه ای

آموزش محاسبات شبکه ای

آموزش Grid Computing

UEFA Euro 2016 France

UEFA Euro 2016 France

یورو 2016

Cross Court Tennis 2 1.22 for Android

Cross Court Tennis 2 1.22 for Android

جدیدترین نسخه از بازی تنیس مخصوص آندروید

HoPiKo

HoPiKo

هاپیکو

WeChat 8.0.11 for Android +5.0

WeChat 8.0.11 for Android +5.0

نرم افزار محبوب و معروف وی چت

اندرزهای مقام معظم رهبری

اندرزهای مقام معظم رهبری

سخنان امام خامنه ای

Crimsonland 1.9.9

Crimsonland 1.9.9

کریمسو لند

الگوریتم و فلوچارت

الگوریتم و فلوچارت

کتاب الکترونیکی الگوریتم و فلوچارت

Modern CSV 2.1

Modern CSV 2.1

ویرایشگر فایل های سی اس وی

Ancient Space

Ancient Space

فضای باستانی

Adobe Photoshop CS6 13.0 / 13.1.2 Extended Final + Portable

Adobe Photoshop CS6 13.0 / 13.1.2 Extended Final + Portable

نسخه نهایی فتوشاپ CS6

HDD Regenerator 2024 20.24.0.0 / 2011

HDD Regenerator 2024 20.24.0.0 / 2011

قویترین و تنها برنامه برای از بین بردن عملی بدسکتور هارد

سخنرانی حجت الاسلام رفیعی درباره امام علی

سخنرانی حجت الاسلام رفیعی درباره امام علی

امام علی از زبان حجت الاسلام رفیعی

Translate Voice Pro 388.0 for Android +4.4

Translate Voice Pro 388.0 for Android +4.4

مترجم صوتی

I Gladiator 1.13.1.23383 for Android +2.3

I Gladiator 1.13.1.23383 for Android +2.3

بازی گلادیاتور

تلاوت مجلسی استاد کریم منصوری سوره مبارکه ضحی و انشراح

تلاوت مجلسی استاد کریم منصوری سوره مبارکه ضحی و انشراح

تلاوت کریم منصوری سوره ضحی و انشراح

Adobe Acrobat Reader DC 2025.001.20672

Adobe Acrobat Reader DC 2025.001.20672

ادوب اکروبات ریدر

Microsoft Exchange Server 2019 CU12 Build 15.02.1118.007 + Enterprise MSDN / Skype for Business Server

Microsoft Exchange Server 2019 CU12 Build 15.02.1118.007 + Enterprise MSDN / Skype for Business Server

مایکروسافت اکسچمج سرور 2019 ایترپرایز

Persepolis Download Manager 5.2.0.0

Persepolis Download Manager 5.2.0.0

پرسپولیس دانلود منیجر

خبرنامه

با عضویت در خبرنامه، زودتر از همه باخبر باش!