سافت گذر دانشنامه نرم افزار - دانلود رایگان نرم افزار

همه دسته بندی ها

منو
جستجو
اطلاعیه های مهم سایت اطلاعیه های مهم سایت
💐 میلاد زینت پدر حضرت زینب سلام الله علیها مبارک باد 💐
 
 
  1. سافت گذر جهت آپدیت بخش نرم افزار نیاز به همکار حرفه ای دارد. ارسال درخواست به بخش ارتباط با ما / سردبیری
  2. جهت رفع مشکل باز شدن سایت به دلیل بلاک توسط  نود 32 این ویدیو یا این ویدیو(ورژن 9 به بالا) یا راهنمای تصویری را مشاهده کنید
  3. اکانت های بروزرسانی نود32 با قیمت های مناسب به صورت یک ، سه ، شش و دوازده ماهه از اینجا قابل خرید می باشد.

نرم افزار های پرکاربرد

ثبت نام | ورود

اخبار آموزشی

چگونه اطلاعات ویکی پدیا را استخراج و تحلیل کنیم؟

ویکی‌پدیا بزرگ‌ترین دانشنامه‌ی مردمی دنیا است که همگی با آن آشنا هستیم. در این مقاله، به آموزش ابزار Mixnode و نحوه‌ی استخراج و تحلیل مقالات ویکی‌پدیا می‌پردازیم.
چگونه اطلاعات ویکی پدیا را استخراج و تحلیل کنیم؟
غنای اطلاعات ویکی‌پدیا بر هیچ‌کس پوشیده نیست. از دریای اطلاعات این وبسایت می‌توان برای تحقیق‌های تجاری و غیرتجاری و تقریبا در هر زمینه‌ای بهره برد. شرکت‌ها، محققان، دانشمندان داده و حتی افراد صرفا کنجکاو، همه‌وهمه درزمره‌ی افرادی قرار می‌گیرند که سعی می‌کنند داده‌های ویکی‌پدیا را استخراج و تحلیل کنند.

ویکی‌پدیا به‌مثابه‌ی گنجینه‌ای است که از مجموعه‌ای از صدهامیلیون صفحه‌ی وب و میلیون‌ها مقاله‌ی وزین چندزبانه تشکیل شده‌ است. این امر ویکی‌پدیا را به بهشت خزندگان وب (Web Crawler) تبدیل کرده‌ است. با جست‌وجویی ساده در گیت‌هاب، متوجه می‌شوید بیش از سیصد خزنده‌ی وب و پروژه‌های مشابه برای استخراج داده از ویکی‌پدیا وجود دارد.

وب‌کراولینگ، تنها راه موجود برای استخراج و تحلیل داده‌های ویکی‌پدیا نیست. برای مثال، ویکی‌مدیا اجازه‌ی استخراج داده‌ها در فرمت‌های متنوعی را می‌دهد. همچنین، API ویکی‌مدیا نه‌تنها برای دریافت اطلاعات، بلکه برای ایجاد بات‌ها و تعامل با مقالات به‌طور برنامه‌نویسی‌شده استفاده می‌شود.

در آموزش زیر، روی ابزار Mixnode تمرکز می‌کنیم که استخراج و تحلیل داده‌ها از ویکی‌پدیا با استفاده از کوئری‌های SQL را فراهم می‌آورد. برای استفاده از این ابزار باید با SQL آشنا باشید.

Mixnode چگونه کار می‌کند؟
Mixnode اجازه می‌دهد با وب مانند پایگاه داده برخورد کنید. با استفاده از Mixnode می‌توانید کوئری بنویسید و آن را روی وب اجرا کنید. با اجرای کوئری مدنظر Mixnode به‌طور خودکار صفحات لازم برای پاسخ به کوئری را پیدا می‌کند.

مثال‌های زیر نحوه‌ی کارکرد Mixnode و استخراج و تحلیل داده‌‌ها را شفاف‌تر می‌کند.

مثال ۱: به‌دست‌آوردن آدرس تمامی صفحات ویکی‌پدیا
select 
    url
from 
    pages
where 
    url_domain = 'wikipedia.org' 
متغیر url نمایانگر آدرس صفحه است
pages جدولی است که هر ردیف آن مطابق با صفحه‌ی منحصربه‌فرد در وب است
با url_domain = 'wikipedia.org' مطمئن می‌شویم که فقط صفحات ویکی‌پدیا و ساب‌دامین‌های آن (مانند en.wikipedia.org) مدنظر قرار می‌گیرند. اگر بخواهید فقط در ویکی‌پدیای فارسی جست‌وجو کنید، کافی است عبارت fa.wikipedia.org را جایگزین کنید.
مثال ۲: به‌دست‌آوردن آدرس و عنوان تمامی مقالات ویکی‌پدیا
select 
    url, 
    css_text_first(content, 'h1#firstHeading') as title
from 
    pages
where 
    url_domain = 'wikipedia.org' 
    and
    url like '%/wiki/%'
css_text_first(content, 'h1#firstHeading') عنوان مقاله‌ی ویکی‌پدیا را خروجی می‌دهد. با نگاهی به سورس HTML مقالات ویکی‌پدیا، پی می‌بریم h1#firstHeading مسیر CSS برای عنوان مقاله است. css_text_first نیز تابعی است که اجازه‌ی استخراج اولین مورد از انتخابگر CSS را می‌دهد. content در اینجا سورس کامل HTML صفحه است.

ازآنجایی‌که قصد داریم عناوین مقالات را به‌دست آوریم و می‌دانیم در آدرس مقالات ویکی‌پدیا از /wiki/ استفاده می‌شود، از url like '%/wiki/%' استفاده می‌کنیم تا مطمئن شویم نتایجمان فقط به مقالات مربوط‌ می‌شود.
مثال ۳: به‌دست‌آوردن عناوین تمامی مقالات شامل زیررشته‌ی Elon Musk
select 
    url, 
    css_text_first(content, 'h1#firstHeading') as title
from 
    pages
where 
    url_domain = 'wikipedia.org' 
    and
    url like '%/wiki/%'
    and
    contains(content, 'Elon Musk')
contains() تابعی است که اجازه‌ی بررسی وجود یک زیررشته در یک رشته را می‌دهد. با استفاده از contains(content, 'elon musk') مطمئن می‌شویم که در نتایجمان عبارت Elon Musk موجود است.
مثال ۴: مرتب‌سازی مقالات ویکی‌پدیا براساس تعداد ارجاعات
select 
    url, 
    css_text_first(content, 'h1#firstHeading') as title,
    cardinality(css_text(content, 'ol.references li')) as reference_count
from 
    pages
where 
    url_domain = 'wikipedia.org' 
    and
    url like '%/wiki/%'
order by reference_count desc
بررسی کد منبع یک مقاله‌ی ویکی‌پدیا نشان می‌دهد تمامی ارجاعات و منابع با انتخابگر ol.references قابل‌دسترسی است. css_text(content, 'ol.references li') متن تمامی منابع مقاله را به ما می‌دهد و ازآنجایی‌که فقط به تعداد نیاز داریم، پس از تابع cardinality() استفاده می‌کنیم که اندازه‌ی یک آرایه را برمی‌گرداند. desc در خط آخر مقالات را به‌صورت نزولی برایمان مرتب می‌کند. برای مرتب‌سازی به‌صورت صعودی از asc استفاده کنید.
مثال ۵: مرتب‌سازی مقالات ویکی‌پدیا براساس طول مقاله
select
    url,
    css_text_first(content, 'h1#firstHeading') as title,
    cardinality(words(css_text_first(content, '#content'))) as article_length
from 
    pages
where 
    url_domain = 'wikipedia.org' 
    and
    url like '%/wiki/%'
order by article_length desc
words() آرایه‌ای شامل تمامی کلمات یک متن را برمی‌گرداند. استفاده از cardinality(words(css_text_first(content, '#content'))) as article_length، تعداد کلمات یک مقاله را به ما می‌دهد.
مثال ۶: اندازه‌ی میانگین یک مقاله‌ی ویکی‌پدیا
select
    avg(cardinality(words(css_text_first(content, '#content')))) as average_article_length
from 
    pages
where 
    url_domain = 'wikipedia.org' 
    and
    url like '%/wiki/%'
تابع avg() میانگین داده‌های ورودی‌اش را برمی‌گرداند که در اینجا، تعداد کلمات تمامی مقالات ویکی‌پدیاست.
مثال ۷: مرتب‌سازی مقالات ویکی‌پدیا براساس بحث‌های آن
select
    url,
    remove_left(css_text_first(content, 'h1#firstHeading'), 'Talk:') as title,
    cardinality(words(css_text_first(content, '#content'))) as discussion_length
from 
    pages
where 
    url_domain = 'wikipedia.org' 
    and
    url like '%/wiki/Talk:%'
order by discussion_length desc
مباحث درباره‌ی یک مطلب در آدرسی مشابه /wiki/Talk: قرار دارند؛ به‌همین‌دلیل از این عبارت استفاده می‌کنیم.
مثال ۸: پیداکردن تمامی مقالات ویکی‌پدیا که لینکی به zoomit.ir دارند
select
    url,
    css_text_first(content, 'h1#firstHeading') as title
from 
    pages
where 
    url_domain = 'wikipedia.org' 
    and
    url like '%/wiki/%'
    and
    contains_any(content, array['href="https://www.zoomit.ir', 'href="http://www.zoomit.ir', 'href="https://zoomit.ir', 'href="http://zoomit.ir'])

نظرتان را ثبت کنید کد خبر: 43666 گروه خبری: اخبار آموزشی منبع خبر: زومیت تاریخ خبر: 1397/09/19 تعداد مشاهده: 2223
اخبار مرتبط با این خبر
نظر های کاربران
سرور آپدیت نود 32
پیشنهاد سافت گذر
آموزش زبان انگلیسی با تصاویر

آموزش زبان انگلیسی با تصاویر

راهنمای تصویری دستور زبان و نگارش انگلیسی

AutoDWG DWG DXF Converter 2024 4.6

AutoDWG DWG DXF Converter 2024 4.6

تبدیل فایل‌های DWG به فایل‌های پی‌دی‌اف

Rockwell Automation Arena 14.0

Rockwell Automation Arena 14.0

بهترین نرم افزار شبیه سازی و مدل سازی

آموزش اصطلاحات کامپیوتری

آموزش اصطلاحات کامپیوتری

آشنایی با کلمات و اصطلاحات کامپیوتر به زبان فارسی

Network Signal Strength Premium 26.0.7 for Android +4.1

Network Signal Strength Premium 26.0.7 for Android +4.1

برنامه ای قدرتمند برای سنجش دقیق قدرت سیگنال های شبکه

آموزش برنامه نویسی Microsoft.NET Framework

آموزش برنامه نویسی Microsoft.NET Framework

آموزش مایکروسافت دات نت فریم ورک

تلاوت مجلسی استاد عبدالباسط سوره مبارکه نصر

تلاوت مجلسی استاد عبدالباسط سوره مبارکه نصر

تلاوت عبدالباسط سوره نصر

Yoga Guide for Beginners: 101 Poses and Sequences for Strength, Flexibility and Mindfulness

Yoga Guide for Beginners: 101 Poses and Sequences for Strength, Flexibility and Mindfulness

راهنمای یوگا برای مبتدیان: 101 نمایش و توالی برای قدرت ، انعطاف پذیری و ذهن آگاهی

mIRC 7.79

mIRC 7.79

چت در ویندوز

OpenShot Video Editor 3.3.0

OpenShot Video Editor 3.3.0

ویرایش ویدئو

K-Lite Codec Tweak Tool 6.7.5

K-Lite Codec Tweak Tool 6.7.5

مجموعه کدک پخش فیلم و صدا

واژه‌های مشتق شده

واژه‌های مشتق شده

ریشه‌ کلمات فارسی

Advanced Renamer 4.13 Commercial Final

Advanced Renamer 4.13 Commercial Final

تغییر نام دسته ای فایل ها

Barcode Scanner 4.7.8 for Android +4.0

Barcode Scanner 4.7.8 for Android +4.0

بارکد خوان

دورهٔ آموزش ویدئویی نود.جی‌اس (Node.js) به زبان فارسی

دورهٔ آموزش ویدئویی نود.جی‌اس (Node.js) به زبان فارسی

آموزش نود جی اس

Kings of Kung Fu

Kings of Kung Fu

پادشاهان کونگ فو

VLC Media Player 3.0.21 Win/Mac/Linux + Portable

VLC Media Player 3.0.21 Win/Mac/Linux + Portable

پلیر وی ال سی

فونت فارسی کامل‌ ترین مجموعه‌ + پک 2000 تایی

فونت فارسی کامل‌ ترین مجموعه‌ + پک 2000 تایی

مجموعه‌ فونت فارسی

حکایات کوتاه اسلامی

حکایات کوتاه اسلامی

حکایات مردان پرهیزگار

Learning Adobe Illustrator

Learning Adobe Illustrator

آموزش آدوب ایلستریتور

Google Gemini 1.0.776555963 For Android +10.0

Google Gemini 1.0.776555963 For Android +10.0

هوش مصنوعی گوگل جمینی

Puffle Launch 1.3 for Android

Puffle Launch 1.3 for Android

هدایت گلوله

Endless Space Disharmony + Update 1.1.1

Endless Space Disharmony + Update 1.1.1

فضای بی پایان

Seasons after Fall

Seasons after Fall

فصل های بعد از پاییز

مستند «فروشنده ۳ - رازهای مرد در سایه» قسمت اول

مستند «فروشنده ۳ - رازهای مرد در سایه» قسمت اول

فروشنده

Automatic Email Processor 3.8.8

Automatic Email Processor 3.8.8

مدیریت ایمیل

Firefighters 2014

Firefighters 2014

شبیه‌ساز آتش‌نشانی 2014

Paper Racing 1.7.7 for Android

Paper Racing 1.7.7 for Android

ماشین سواری کاغذی

Bullzip PDF Printer Expert 12.2.0.2905

Bullzip PDF Printer Expert 12.2.0.2905

مبدل پی دی اف بول زیپ پی دی اف پرینت

ارتباط موثر و رفتار با کودک در شرایط مختلف به صورت کامل

ارتباط موثر و رفتار با کودک در شرایط مختلف به صورت کامل

ارتباط موثر و رفتار با کودک

aerofly RC 7 Ultimate Edition

aerofly RC 7 Ultimate Edition

شبیه‌ساز پرواز aerofly RC 7 نسخه‌ی نهایی

سخنرانی حجت الاسلام پناهیان با موضوع بهترین راه دوری از حسادت

سخنرانی حجت الاسلام پناهیان با موضوع بهترین راه دوری از حسادت

سخنرانی بهترین راه دوری از حسادت پناهیان

سخنرانی حجت الاسلام ناصر رفیعی با موضوع امام حسن عسگری(علیه السلام)، ویژه ی ولادت

سخنرانی حجت الاسلام ناصر رفیعی با موضوع امام حسن عسگری(علیه السلام)، ویژه ی ولادت

سخنرانی امام حسن عسگری(علیه السلام) با ناصر رفیعی

Seasons

Seasons

مستند حیات وحش

Smart App Lock 6.5.8 for Android +2.0

Smart App Lock 6.5.8 for Android +2.0

رمز گذاری بر روی برنامه ها

قوی باش

قوی باش

درباره سلامت، شادمانی و خوشبختی سخن بگو

EViews 10.0 Build 04.06.2018 x86/x64

EViews 10.0 Build 04.06.2018 x86/x64

ایویو تحلیل و تخمین سیستم ها

Imgur: Awesome Images & GIFs 6.3.12.0 for Android +5.0

Imgur: Awesome Images & GIFs 6.3.12.0 for Android +5.0

ایمگور

Glimmer Full 2.0.32 for Android +4.1

Glimmer Full 2.0.32 for Android +4.1

گلیمر

Kitaro - Matsuri

Kitaro - Matsuri

آهنگ از کیتارو

خبرنامه

با عضویت در خبرنامه، زودتر از همه باخبر باش!