آمار پارامتری
آمار پارامتری
آمار پارامتری به مجموعه روشهای آماریای گفته میشود که مدلای پارامتری برای پدیدهٔ احتمالی مورد مطالعه فرض میشود و همهٔ استنتاجهای آماری از آن پس بر اساس آن مدل انجام میشود.
به عنوان مثال فرض میشود که توزیع نمرههای یک امتحان از توزیع نرمال پیروی میکند. در نتیجه برای مشخصشدن توزیع احتمال، کافی است میانگین و واریانس توزیع را از روی دادههای تجربی (نمرههای دانشآموزان) به دست بیاوریم. حال برای پاسخگفتن به سوالهایی چون «درصد دانشآموزانی که نمرهای بین ۱۰ تا ۱۵ آوردهاند» از تابع توزیع به دست آمده استفاده میکنیم (البته بدیهی است که روشهای سادهتری نیز برای چنین کاری وجود دارد).
نقطهٔ ضعف این شیوهٔ تحلیل آماری این است که در صورتی که مدل فرضشده با واقعیت تطبیق نداشته باشد، نتیجهگیریها صحیح نخواهد بود.
آماره
آماره در آمار به عددی گویند که یک توزیع نمونهبرداری را خلاصهسازی یا توصیف میکند.
تابع U=g(X۱, X۲, …, Xn) از نمونهٔ تصادفی X۱, X۲, …, Xn را که در آن پارامتر مجهولی وجود نداشته باشد یک آماره میگویند. در این تعریف U یک متغیر تصادفی است که توزیع آن ممکن است به پارامتر بستگی نداشته باشد؛ اما تنها آمارههایی برای برآورد کردن مفید هستند که توزیعشان به پارامتر مجهول بستگی داشته باشد و اطلاعاتی در مورد این پارامتر به ما بدهند.
آنتروپی آماری
انتروپی آماری یک کمیت ترمودینامیکی است که در شیمیفیزیک کاربردهای فراوان دارد.
استنباط آماری
چنانچه به جای مطالعه کل اعضای جامعه، بخشی از آن با استفاده از فنون نمونهگیری انتخاب شده، و مورد مطالعه قرار گیرد و بخواهیم نتایج حاصل از آن را به کل جامعه تعمیم دهیم از روشهایی استفاده میشود که موضوع آمار استنباطی (Inferential statistics) است. آن چه که مهم است این است که در گذر از آمار توصیفی به آمار استنباطی یا به عبارت دیگر از نمونه به جامعه بحث و نقش احتمال شروع میشود. در واقع احتمال، پل رابط بین آمار توصیفی و استنباطی به حساب میآید.
توزیع جامعه
توزیع جامعه یا توزیع جمعیت (به انگلیسی: Population distribution) در آمار به توزیع تمام مشاهدات امکان پذیر را گویند.
چولگی
در آمار و نظریه احتمالات چولگی نشان دهنده میزان عدم تقارن توزیع احتمالی است. اگر دادهها نسبت به میانگین متقارن باشند، چولگی برابر صفر خواهد بود.
تعریف
چولگی برابر با گشتاور سوم نرمال شده است. چولگی در حقیقت معیاری از وجود یا عدم تقارن تابع توزیع می باشد. برای یک توزیع کاملاً متقارن چولگی صفر و برای یک توزیع نامتقارن با کشیدگی به سمت مقادیر بالاتر چولگی مثبت و برای توزیع نامتقارن با کشیدگی به سمت مقادیر کوچکتر مقدار چولگی منفی است.
دادهکاوی
داده کاوی، پایگاهها و مجموعههای حجیم دادهها را در پی کشف واستخراج دانش، مورد تحلیل و کند و کاوهای ماشینی (و نیمهماشینی) قرار میدهد. این گونه مطالعات و کاوشها را به واقع میتوان همان امتداد و استمرار دانش کهن و همه جا گیر آمار دانست. تفاوت عمده در مقیاس، وسعت و گوناگونی زمینهها و کاربردها، و نیز ابعاد و اندازههای دادههای امروزین است که شیوههای ماشینی مربوط به یادگیری، مدلسازی، و آموزش را طلب مینماید.
در سال 1960 آماردانان اصطلاح "Data Fishing" یا "Data Dredging"به معنای "صید داده" را جهت کشف هر گونه ارتباط در حجم بسیار بزرگی از داده ها بدون در نظر گرفتن هیچگونه پیش فرضی بکار بردند. بعد از سی سال و با انباشته شدن داده ها در پایگاه های داده یا Database اصطلاح "Data Mining" یا داده کاوی در حدود سال 1990 رواج بیشتری یافت. اصطلاحات دیگری نظیر "Data Archaeology"یا "Information Harvesting" یا "Information Discovery" یا"Knowledge Extraction" نیز بکار رفته اند.
اصطلاح Data Mining همان طور که از ترجمه آن به معنی داده کاوی مشخص میشود به مفهوم استخراج اطلاعات نهان و یا الگوها وروابط مشخص در حجم زیادی از دادهها در یک یا چند بانک اطلاعاتی بزرگ است.
مقدمه
بسیاری از شرکتها و موسسات دارای حجم انبوهی از اطلاعات هستند. تکنیکهای دادهکاوی به طور تاریخی به گونهای گسترش یافتهاند که به سادگی میتوان آنها را بر ابزارهای نرمافزاری و ... امروزی تطبیق داده و از اطلاعات جمع آوری شده بهترین بهره را برد.
در صورتی که سیستمهای Data Mining بر روی سکوهای Client/Server قوی نصب شده باشد و دسترسی به بانکهای اطلاعاتی بزرگ فراهم باشد، میتوان به سوالاتی از قبیل :کدامیک از مشتریان ممکن است خریدار کدامیک از محصولات آینده شرکت باشند، چرا، در کدام مقطع زمانی و بسیاری از موارد مشابه پاسخ داد.
ویژگیها
یکی از ویژگیهای کلیدی در بسیاری از ابتکارات مربوط به تامین امنیت ملی، داده کاوی است. داده کاوی که به عنوان ابزاری برای کشف جرایم، ارزیابی میزان ریسک و فروش محصولات به کار میرود، در بر گیرنده ابزارهای تجزیه و تحلیل اطلاعات به منظور کشف الگوهای معتبر و ناشناخته در بین انبوهی از داده هاست. داده کاوی غالباً در زمینه تامین امنیت ملی به منزله ابزاری برای شناسایی فعالیتهای افراد خرابکار شامل جابه جایی پول و ارتباطات بین آنها و همچنین شناسایی و ردگیری خود آنها با برسی سوابق مربوط به مهاجرت و مسافرت هاست. داده کاوی پیشرفت قابل ملاحظهای را در نوع ابزارهای تحلیل موجود نشان میدهد اما محدودیتهایی نیز دارد. یکی از این محدودیتها این است که با وجود اینکه به آشکارسازی الگوها و روابط کمک میکند اما اطلاعاتی را در باره ارزش یا میزان اهمیت آنها به دست نمیدهد. دومین محدودیت آن این است که با وجود توانایی شناسایی روابط بین رفتارها و یا متغیرها لزوماً قادر به کشف روابط علت و معلولی نیست. موفقیت داده کاوی در گرو بهره گیری از کارشناسان فنی و تحلیل گران کار آزمودهای است که از توانایی کافی برای طبقه بندی تحلیلها و تغییر آنها برخوردار هستند. بهره برداری از داده کاوی در دو بخش دولتی و خصوصی رو به گسترش است. صنایعی چون بانکداری، بیمه، بهداشت و بازار یابی آنرا عموماً برای کاهش هزینهها، ارتقاء کیفی پژوهشها و بالاتر بردن میزان فروش به کار میبرند. کاربرد اصلی داده کاوی در بخش دولتی به عنوان ابزاری برای تشخیص جرایم بودهاست اما امروزه دامنه بهره برداری از آن گسترش روزافزونی یافته و سنجش و بهینه سازی برنامهها را نیز در بر میگیرد. بررسی برخی از برنامههای کاربردی مربوط به داده کاوی که برای تامین امنیت ملی به کار میروند، نشان دهنده رشد قابل ملاحظهای در رابطه با کمیت و دامنه دادههایی است که باید تجزیه و تحلیل شوند. تواناییهای فنی در داده کاوی از اهمیت ویژهای برخوردار اند اما عوامل دیگری نیز مانند چگونگی پیاده سازی و نظارت ممکن است نتیجه کار را تحت تأثیر قرار دهند. یکی از این عوامل کیفیت داده هاست که بر میزان دقت و کامل بودن آن دلالت دارد. عامل دوم میزان سازگاری نرمافزار داده کاوی با بانکهای اطلاعاتی است که از سوی شرکتهای متفاوتی عرضه میشوند عامل سومی که باید به آن اشاره کرد به بیراهه رفتن داده کاوی و بهره برداری از دادهها به منظوری است که در ابتدا با این نیت گرد آوری نشدهاند. حفظ حریم خصوصی افراد عامل دیگری است که باید به آن توجه داشت. اصولاً به پرسشهای زیر در زمینه داده کاوی باید پاسخ داده شود:
سازمانهای دولتی تا چه حدی مجاز به بهره برداری از دادهها هستند؟
آیا از دادهها در چارچوبی غیر متعارف بهره برداری میشود؟
کدام قوانین حفظ حریم خصوصی ممکن است به داده کاوی مربوط شوند؟
کاوش در دادهها بخشی بزرگ از سامانههای هوشمند است. سامانههای هوشمند زیر شاخهایست بزرگ و پرکاربرد از زمینه علمی جدید و پهناور یادگیری ماشینی که خود زمینهایست در هوش مصنوعی.
فرایند گروه گروه کردن مجموعهای از اشیاء فیزیکی یا مجرد به صورت طبقههایی از اشیاء مشابه هم را خوشهبندی مینامیم.
با توجه به اندازههای گوناگون (و در اغلب کاربردها بسیار بزرگ و پیچیده) مجموعههای دادهها مقیاسپذیری الگوریتمهای به کار رفته معیاری مهم در مفاهیم مربوط به کاوش در دادهها است.
کاوشهای ماشینی در متون حالتی خاص از زمینهٔ عمومیتر کاوش در دادهها بوده، و به آن دسته از کاوشها اطلاق میشود که در آنها دادههای مورد مطالعه از جنس متون نوشته شده به زبانهای طبیعی انسانی باشد.
چیستی
داده کاوی به بهره گیری از ابزارهای تجزیه و تحلیل دادهها به منظور کشف الگوها و روابط معتبری که تا کنون ناشناخته بودهاند اطلاق میشود. این ابزارها ممکن است مدلهای آماری، الگوریتمهای ریاضی و روشهای یاد گیرنده (Machine Laming Method) باشند که کار این خود را به صورت خودکار و بر اساس تجربهای که از طریق شبکههای عصبی (Neural Networks) یا درختهای تصمیم گیری (Decision Trees) به دست میآورند بهبود میبخشد. داده کاوی منحصر به گردآوری و مدیریت دادهها نبوده و تجزیه و تحلیل اطلاعات و پیش بینی را نیز شامل میشود برنامههای کاربردی که با بررسی فایلهای متن یا چند رسانهای به کاوش دادهها می پردازند پارامترهای گوناگونی را در نظر میگیرد که عبارت اند از:
قواعد انجمنی (Association): الگوهایی که بر اساس آن یک رویداد به دیگری مربوط میشود مثلاً خرید قلم به خرید کاغذ.
ترتیب (Sequence): الگویی که به تجزیه و تحلیل توالی رویدادها پرداخته و مشخص میکند کدام رویداد، رویدادهای دیگری را در پی دارد مثلاً تولد یک نوزاد و خرید پوشک.
پیش بینی(Prediction): در پیش بینی هدف پیش بینی یک متغیر پیوسته می باشد. مانند پیش بینی نرخ ارز یا هزینه های درمانی.
رده بندی یا طبقه بندی (Classification): فرآیندی برای پیدا کردن مدلی است که رده های موجود در دادهها را تعریف می نماید و متمایز می کند، با این هدف که بتوان از این مدل برای پیش بینی رده رکوردهایی که برچسب رده آنها(متغیر هدف) ناشناخته می باشد، استفاده نمود. در حقیقت در رده بندی بر خلاف پیش بینی، هدف پیش بینی مقدار یک متغیر گسسته است. روش های مورد استفاده در پیش بینی و رده بندی عموما یکسان هستند.
خوشه بندی(Clustering): گروه بندی مجموعه ای از اعضاء، رکوردها یا اشیاء به نحوی که اعضای موجود در یک خوشه بیشترین شباهت را به یکدیگر و کمترین شباهت را به اعضای خوشه های دیگر داشته باشند.
مصورسازی (visualization): مصورسازی داده ها یکی از قدرتمندترین و جذابترین روش های اکتشاف در داده ها می باشد.
برنامههای کاربردی که در زمینه تجزیه و تحلیل اطلاعات به کار میروند از امکاناتی چون پرس و جوی ساخت یافته (Structured query) که در بسیاری از بانکهای اطلاعاتی یافت میشود و از ابزارهای تجزیه و تحلیل آماری برخوردارند اما برنامههای مربوط به داده کاوی در عین برخورداری از این قابلیتها از نظر نوع با آنها تفاوت دارند. بسیاری از ابزارهای ساده برای تجزیه و تحلیل دادهها روشی بر پایه راستی آزمایی (verifiction)را به کار میبرند که در آن فرضیهای بسط داده شده آنگاه دادهها برای تایید یا رد آن بررسی میشوند. به طور مثال ممکن است این نظریه مطرح شود که فردی که یک چکش خریده حتماً یک بسته میخ هم خواهد خرید. کارایی این روش به میزان خلاقیت کاربر برای ارایه فرضیههای متنوع و همچنین ساختار برنامه بکار رفته بستگی دارد. در مقابل در داده کاوی روشهایی برای کشف روابط بکار برده میشوند و به کمک الگوریتمهایی روابط چند بعدی بین دادهها تشخیص داده شده و آنهایی که یکتا (unique) یا رایج هستند شناسایی میشوند. به طور مثال در یک فروشگاه سختافزار ممکن است بین خرید ابزار توسط مشتریان با تملک خانه شخصی یا نوع خودرو، سن، شغل، میزان درآمد یا فاصله محل اقامت آنها با فروشگاه رابطهای برقرار شود.
در نتیجه قابلیتهای پیچیدهاش برای موفقیت در تمرین داده کاوی دو مقدمه مهم است یکی فرمول واضحی از مشکل که قابل حل باشد و دیگری دسترسی به داده متناسب. بعضی از ناظران داده کاوی را مرحلهای در روند کشف دانش در پایگاه دادهها میدانند (KDD). مراحل دیگری در روند KDD به صورت تساعدی شامل، پاکسازی داده، انتخاب داده انتقال داده، داده کاوی، الگوی ارزیابی، و عرضه دانش میباشد. بسیاری از پیشرفتها در تکنولوژی و فرایندهای تجاری بر رشد علاقهمندی به داده کاوی در بخشهای خصوصی و عمومی سهمی داشتهاند. بعضی از این تغییرات شامل:
رشد شبکههای کامپیوتری که در ارتباط برقرار کردن پایگاهها داده مورد استفاده قرار میگیرند.
توسعه افزایش تکنیکهایی بر پایه جستجو مثل شبکههای عصبی و الگوریتمهای پیشرفته.
گسترش مدل محاسبه کلاینت سروری که به کاربران اجازه دسترسی به منابع دادههای متمرکز شده را از روی دسک تاپ میدهد.
و افزایش توانایی به تلفیق داده از منابع غیر متناجس به یک منبع قابل جستجو میباشد.
علاوه بر پیشرفت ابزارهای مدیریت داده، افزایش قابلیت دسترسی به داده و کاهش نرخ نگهداری داده نقش ایفا میکند. در طول چند سال گذشته افزایش سریع جمع آوری و نگه داری حجم اطلاعات وجود داشتهاست. با پیشنهادهای برخی از ناظران مبنی بر آنکه کمیت دادههای دنیا به طور تخمینی هر ساله دوبرابر میگردد. در همین زمان هزینه ذخیره سازی دادهها بطور قابل توجهی از دلار برای هر مگابایت به پنی برای مگابایت کاهش پیدا کردهاست. مطابقا قدرت محاسبهها در هر ۱۸ – ۲۴ ماه به دوبرابر ارتقاء پیدا کردهاست این در حالی است که هزینه قدرت محاسبه رو به کاهش است. داده کاو به طور معمول در دو حوزه خصوصی و عمومی افزایش پیدا کردهاست. سازمانها داده کاوی را به عنوان ابزاری برای بازدید اطلاعات مشتریان کاهش تقلب و اتلاف و کمک به تحقیقات پزشکی استفاده میکنند. با اینهمه ازدیاد داده کاوی به طبع بعضی از پیاده سازی و پیامد اشتباه را هم دارد.اینها شامل نگرانیهایی در مورد کیفیت دادهای که تحلیل میگردد، توانایی کار گروهی پایگاههای داده و نرمافزارها بین ارگانها و تخطیهای بالقوه به حریم شخصی میباشد.همچنین ملاحظاتی در مورد محدودیتهایی در داده کاوی در ارگانها که کارشان تاثیر بر امنیت دارد، نادیده گرفته میشود.
محدودیتهای داده کاوی
در حالیکه محصولات داده کاوی ابزارهای قدرتمندی میباشند، اما در نوع کاربردی کافی نیستند.برای کسب موفقیت، داده کاوی نیازمند تحلیل گران حرفهای و متخصصان ماهری میباشد که بتوانند ترکیب خروجی بوجود آمده را تحلیل و تفسیر نمایند.در نتیجه محدودیتهای داده کاوی مربوط به داده اولیه یا افراد است تا اینکه مربوط به تکنولوژی باشد.
اگرچه داده کاوی به الگوهای مشخص و روابط آنها کمک میکند، اما برای کاربر اهمیت و ارزش این الگوها را بیان نمیکند.تصمیماتی از این قبیل بر عهده خود کاربر است.برای نمونه در ارزیابی صحت داده کاوی، برنامه کاربردی در تشخیص مظنونان تروریست طراحی شده که ممکن است این مدل به کمک اطلاعات موجود در مورد تروریستهای شناخته شده، آزمایش شود.با اینهمه در حالیکه ممکن است اطلاعات شخص بطور معین دوباره تصدیق گردد، که این مورد به این منظور نیست که برنامه مظنونی را که رفتارش به طور خاص از مدل اصلی منحرف شده را تشخیص بدهد.
تشخیص رابطه بین رفتارها و یا متغیرها یکی دیگر از محدودیتهای داده کاوی میباشد که لزوماًروابط اتفاقی را تشخیص نمیدهد.برای مثال برنامههای کاربردی ممکن است الگوهای رفتاری را مشخص کند، مثل تمایل به خرید بلیط هواپیما درست قبل از حرکت که این موضوع به مشخصات درآمد، سطح تحصیلی و استفاده از اینترنت بستگی دارد.در حقیقت رفتارهای شخصی شامل شغل(نیاز به سفر در زمانی محدود)وضع خانوادگی(نیاز به مراقبت پزشکی برای مریض)یا تفریح (سود بردن از تخفیف دقایق پایانی برای دیدن مکانهای جدید) ممکن است بر روی متغیرهای اضافه تاثیر بگذارد.
ابزارهای داده کاوی
معروفترین ابزارهای دادهکاوی به ترتیب پرطرفدار بودن
Clementine که نسخه ۱۳ ان با نام SPSS Modeler نامیده میشود.
رپیدماینر
نرمافزار وکا
نرمافزار
برنامه های کاربردی و نرمافزار های داده کاوی متن-باز رایگان
Carrot2: پلتفرمی برای خوشه بندی متن و نتایج جستجو
Chemicalize.org: یک کاوشگر ساختمان شیمیایی و موتور جستجوی وب
ELKI: یک پروژه تحقیقاتی دانشگاهی با تحلیل خوشه ای پیشرفته و روش های تشخیص داده های خارج از محدوده که به زبان جاوا نوشته شده است.
GATE: یک پردازشگر زبان بومی و ابزار مهندسی زبان.
برنامه های کاربردی و نرمافزار های داده کاوی تجاری
Angoss KnowledgeSTUDIO: ابزار داده کاوی تولید شده توسط Angoss.
BIRT Analytics: ابزار داده کاوی بصری و تحلیل پیش بینی گر تولید شده توسط Actuate Corporation.
Clarabridge: راه حل تحلیلگر کلاس متن.
(E-NI(e-mining, e-monitor: ابزار داده کاوی مبتنی بر الگوهای موقتی.
IBM SPSS Modeler: نرمافزار داده کاوی تولید شده توسط IBM
Microsoft Analysis Services: نرمافزار داده کاوی تولید شده توسط مایکروسافت
Oracle Data Mining: نرمافزار داده کاوی تولید شده توسط اوراکل (کمیک)
بررسی اجمالی بازار نرمافزار های داده کاوی
تا کنون چندین محقق و سازمان بررسی هایی را بر روی ابزار های داده کاوی و راهنماییهایی برای داده کاو ها تهیه دیده اند. این بررسی ها بعضی از نقاط ضعف و قوت بسته های نرمافزاری را مشخص می کنند. همچنین خلاصه ای را از رفتار ها، اولویت ها و دید های داده کاوها تهیه کرده اند
درجه آزادی (آمار)
درجه آزادی یکی از مفاهیم بنیادین در آمار است. درک بسیاری از مفاهیم مطرح در آمار وابسته به درک مناسبی از این مفهوم است. بر اساس زمینهٔ کاربرد و شیوهٔ نگرش میتوان تعاریف مختلفی برای آن ارائه نمود که همه یک مفهومند:
در نظریهٔ برآورد:
تعداد مقادیری که یک آماره امکان تغییر دارد
تعداد مشاهدات مستقل منهای تعداد پارامترهای برآورد شده.
بطور معادل: تعداد مشاهدات مستقل منهای تعداد روابط معلوم میان مشاهدات
در نظریه آزمون:
بعد فضای مجهول (مدل کامل) منهای بعد فضای مفروض (مدل مقید)
در جبر خطی:
رتبهٔ یک فرم درجه دوم
بطور معادل: تعداد ابعاد یک زیر فضا که یک بردار میتواند آزادانه گردش کند (مربع طول بردار یک فرم درجه دوم است)
درک شهودی
مثال: یک عدد ثابت امکان تغییر ندارد پس درجه آزادی آن برابر صفر است.
یک نقطه در صفحه یک رابطه میان دو متغیر در فضای دو بعدی است. با این نقطه نمیتوان میزان همبستگی خطی دو متغیر را با برآورد خط رگرسیون تخمین زد. چون بینهایت خط از این نقطه گذراست. (تصویر مقابل) در این مثال درجه آزادی صفر است (تعداد مشاهدات مستقل - تعداد روابط معلوم میان مشاهدات = 0) اگر خطی را بعنوان خط رگرسیونی در نظر بگیریم، این مدل نه قابل رد و نه قابل قبول است. بنابراین تعداد نمونه های قابل استفاده برای این مدل صفر است.
برای رسم خط رگرسیون حداقل دو نقطه لازم است. با دو نقطه یک درجه آزادی وجود دارد. از دو نقطه فقط یک خط گذر میکند و این خط تنها برآورد ممکن است. با اینکه دقت برآورد 100 درصد است اما این دقت کاذب به علت کم بودن درجات آزادی و اطلاعات قابل استفاده است. نمونه های زیادی از تحقیقات با رسیدن به دقتی بالا تصور میکنند که مدل بدست آمده مناسب است . در حالی که درجات آزادی کم باعث این اشتباه شده است.
مثال: اگر دو مشاهده داشته باشیم، برای برآورد میانگین دو مشاهدهء مستقل داریم، اما برای برآورد واریانس تنها یک مشاهدهء مستقل وجود دارد. زیرا هر دو مشاهده دارای یک فاصله از میانگین هستند.
دیدگاه فلسفی
برای درک بهتر این مفهوم میتوان درجهء آزادی را یک معادل برای درجهء ابطال پذیری از دیدگاه فلاسفه ای مانند کارل پوپر دانست. اگر در مسئله ای درجات آزادی کم
باشد معادل است با اینکه ابطال پذیری آن مسئله کم است. یعنی با هر مشاهده ای تایید میشود و قابل ابطال نیست.
سازمان آماری
سازمان آماری سازمانی خدماتی است که وظیفهٔ تهیهٔ آمار را بر عهده دارد. دلیل وجود، رشد و مشارکت مشهود آنها در امور مربوط به دولت و جامعةخود، از توانایی آنها در تهیة اطلاعاتی برای حل مسائل مهم ریشه میگیرد. ولی اولویتها میتوانند سریعتر از توانایی سازمان برای تعدیل تلاش تولیدی خود تغییر کنند. به این دلیل، مهم است که مسئولان ارشد آن دارای شم قوی و روابطی باشند که بتوانند مشکلات جدی را شناسایی کرده و آنها را از آنچه ممکن است چیزی جز مسایل گذرا نباشند متمایز کنند.
شاخصهای پراکندگی
سنجشهای پراکندگی (به انگلیسی: Measures of Variability) به اعدادی گویند که پراکندگی مجموعهای از مشاهدات یا دادههای اندازه گیری شدهای را خلاصه و توصیف میکنند.
دامنه، واریانس، و انحراف معیار، هر سه نمونههایی از سنجشهای پراکندگی هستند.
ضریب تغییرات
در نظریه احتمال و آمار ضریب تغییرات (به انگلیسی: coefficient of variation، مخفف:CV) یک معیار بهنجار است که برای اندازهگیری توزیع دادههای آماری به کار میرود.
به عبارت دیگر ضریب تغییرات، میزان پراکندگی به ازای یک واحد از میانگین را بیان میکند. این مقدار زمانی تعریف شده است که میانگین صفر نباشد.
این مقدار بیبعد است به همین دلیل مناسب برای مقایسه دادههای آماری است که واحدهای مختلفی دارند.
ضریب تغییرات تنها قابل کاربرد برای مقیاسهای نسبی است و نمیتوان ار آن برای سنجش مقادیری که میتوانند مقدار منفی بگیرند استفاده کرد یا به بیان بهتر نمیتوان از آن برای سنجش مقادیر فاصلهای بهره برد. مثلاً اگر درجه حرارت را با مقیاس فارنهایت در نظر بگیریم برای آن نمیتوان از ضریب تغییر اسفاده کرد و باید از مقیاس کلوین که همیشه مقداری مثبت است استفاده کرد.
متغیر پنهان
متغیرهای پنهان(در مقابل متغیرهای مشاهده شده)در آمار، متغیرهای هستند که بصورت مسقیم قابل مشاهده نیستند اما از میان متغیرهای دیگر که قابل مشاهده هستند توسط یک الگوی ریاضی استنباط میشوند. آنها همچنین بعضی وقتها تحت عنوان متغیرهای پنهان، پارامترها ی مدل، متغیرهای فرضی یا ساختارهای فرضی شناخته میشوند.. استفاده متغیرهای پنهان در علوم اجتماعی متداول است، اقتصاد، پزشکی و تا حدی روبوتیک اما تعریف دقیق یک متغیر پنهان در این رشتهها کمی متفاوت است. مثالهای از متغیرهای پنهان در حوزه اقتصاد عبارتند از کیفیت زندگی، اطمینان کار، روحیه، خوشحالی و اصول محافظهکاری: اینها متغیرها هستند که مستقیماً نمیتوان آنها را سنجید. با این وجود یک مدل اقتصادی را میتوان از پیوند این متغیرهای پنهان با متغیرهای مشاهده شده (از قبیل تولید ناخالص داخلی) بدست آورد و مقادیر متغیرهای پنهان را از متغیرهای مشاهده شده محاسبه و استنباط نمود.
متغیر تصادفی
در آمار و احتمال متغیر تصادفی متغیری است که مقدار آن از اندازهگیری برخی از انواع فرآیندهای تصادفی بدست میآید. بطور رسمیتر، متغیر تصادفی تابعی است از فضای نمونه به اعداد حقیقی. بطور مستقیم متغیر تصادفی توصیف عددی خروجی یک آزمایش است (مثل برآمدهای ممکن از پرتاب دو تاس (۱و۱) و (۱و۲) و غیره).
متغیرهای تصادفی به دو نوع گسسته (متغیر تصادفی که ممکن است تعداد محدود یا توالی نامحدودی از مقادیر را بگیرد) و پیوسته (متغیری که ممکن است هر مقدار عددی در یک یا چند بازه را بگیرد) طبقهبندی میشوند. مقادیر ممکن یک متغیر تصادفی میتواند نشاندهندهٔ برآمدهای آزمایشی که هنوز انجام نشده یا مقادیر بالقوهٔ یک کمیت که مقدارهای موجود آن نامطمئن هستند (مثلا درنتیجه اطلاعات ناقص یا اندازهگیری نادقیق) باشد. یک متغیر تصادفی میتواند بعنوان یک کمیت که مقدارش ثابت نیست و مقادیر مختلفی را میتواند بگیرد در نظر گرفته شود و توزیع احتمال برای توصیف احتمال اتفاق افتادن آن مقادیر استفاده میشود.
متغیرهای تصادفی معمولاً با اعداد حقیقی مقداردهی میشوند؛ ولی میتوان انواع دلخواهی مانند مقدارهای بولی، اعداد مختلط، بردارها، ماتریسها، دنبالهها، درختها، مجموعهها، شکلها، منیوفیلدها، توابع و فرآیندها را درنظر گرفت. عبارت المان تصادفی همه این نوع مفاهیم را دربرمی گیرد.
متغیرهای تصادفی که با اعداد حقیقی مقداردهی میشوند، در علوم برای پیشبینی براساس دادههای بدست آمده از آزمایشهای علمی استفاده میشوند. علاوه بر کاربردهای علمی، متغیرهای تصادفی برای آنالیز بازیهای قمار و پدیدههای تصادفی بوجود آمدند. در چنین مواردی تابعی که خروجی را به یک عدد حقیقی مینگارد معمولا یک تابع همانی یا بطور مشابه یک تابع بدیهی است و بطور صریح توصیف نشده است. با این وجود در بسیاری از موارد بهتر است متغیر تصادفی را بصورت توابعی از سایر متغیرهای تصادفی درنظر بگیریم که دراینصورت تابع نگاشت استفاده شده در تعریف یک متغیر تصادفی مهم میشود. بعنوان مثال، رادیکال یک متغیر تصادفی با توزیع استاندارد (نرمال) خود یک متغیر تصادفی با توزیع کی دو است. شهود این مطلب بدین صورت است که تصور کنید اعداد تصادفی بسیاری با توزیع نرمال تولید کرده و از هرکدام رادیکال بگیریم و سپس هیستوگرام دادههای بدست آمده را بکشیم در اینصورت اگر دادهها به تعداد کافی باشند، نمودار هیستوگرام تابع چگالی توزیع کی دو را با یک درجه آزادی تقریب خواهد زد.
نامهای دیگر
در برخی از کتابهای قدیمیتر به جای «متغیر تصادفی»، اصطلاحهای «متغیر شانسی» و «متغیر استوکاستیکی» هم به کار رفته است.
انواع
متغیر تصادفی گسسته
متغیر تصادفی پیوسته
با توجه به وضع شمارایی فضای نمونهای S، متغیر میتواند گسسته یا پیوسته باشد. اگر S متناهی یا نامتناهی شمارا باشد متغیر تصادفی X گسسته و اگر ناشمارا باشد X پیوسته خواهد بود.
یک توزیع همچنین می تواند از نوع مختلط (mixed) باشد به این صورت که بخشی از آن مقادیر خاصی را بگیرد و بخش دیگر آن مقادیر روی یک بازه را بگیرد.
مقدار موثر
در ریاضیات، جذر متوسط مربع (به انگلیسی: root mean square یا quadratic mean) که با نام مقدار RMS و مقدار مؤثر (به انگلیسی: effective value) نیز شناخته میشود، معیاری آماری از اندازه کمیت متغیر است.
آمار پارامتری به مجموعه روشهای آماریای گفته میشود که مدلای پارامتری برای پدیدهٔ احتمالی مورد مطالعه فرض میشود و همهٔ استنتاجهای آماری از آن پس بر اساس آن مدل انجام میشود.
به عنوان مثال فرض میشود که توزیع نمرههای یک امتحان از توزیع نرمال پیروی میکند. در نتیجه برای مشخصشدن توزیع احتمال، کافی است میانگین و واریانس توزیع را از روی دادههای تجربی (نمرههای دانشآموزان) به دست بیاوریم. حال برای پاسخگفتن به سوالهایی چون «درصد دانشآموزانی که نمرهای بین ۱۰ تا ۱۵ آوردهاند» از تابع توزیع به دست آمده استفاده میکنیم (البته بدیهی است که روشهای سادهتری نیز برای چنین کاری وجود دارد).
نقطهٔ ضعف این شیوهٔ تحلیل آماری این است که در صورتی که مدل فرضشده با واقعیت تطبیق نداشته باشد، نتیجهگیریها صحیح نخواهد بود.
آماره
آماره در آمار به عددی گویند که یک توزیع نمونهبرداری را خلاصهسازی یا توصیف میکند.
تابع U=g(X۱, X۲, …, Xn) از نمونهٔ تصادفی X۱, X۲, …, Xn را که در آن پارامتر مجهولی وجود نداشته باشد یک آماره میگویند. در این تعریف U یک متغیر تصادفی است که توزیع آن ممکن است به پارامتر بستگی نداشته باشد؛ اما تنها آمارههایی برای برآورد کردن مفید هستند که توزیعشان به پارامتر مجهول بستگی داشته باشد و اطلاعاتی در مورد این پارامتر به ما بدهند.
آنتروپی آماری
انتروپی آماری یک کمیت ترمودینامیکی است که در شیمیفیزیک کاربردهای فراوان دارد.
استنباط آماری
چنانچه به جای مطالعه کل اعضای جامعه، بخشی از آن با استفاده از فنون نمونهگیری انتخاب شده، و مورد مطالعه قرار گیرد و بخواهیم نتایج حاصل از آن را به کل جامعه تعمیم دهیم از روشهایی استفاده میشود که موضوع آمار استنباطی (Inferential statistics) است. آن چه که مهم است این است که در گذر از آمار توصیفی به آمار استنباطی یا به عبارت دیگر از نمونه به جامعه بحث و نقش احتمال شروع میشود. در واقع احتمال، پل رابط بین آمار توصیفی و استنباطی به حساب میآید.
توزیع جامعه
توزیع جامعه یا توزیع جمعیت (به انگلیسی: Population distribution) در آمار به توزیع تمام مشاهدات امکان پذیر را گویند.
چولگی
در آمار و نظریه احتمالات چولگی نشان دهنده میزان عدم تقارن توزیع احتمالی است. اگر دادهها نسبت به میانگین متقارن باشند، چولگی برابر صفر خواهد بود.
تعریف
چولگی برابر با گشتاور سوم نرمال شده است. چولگی در حقیقت معیاری از وجود یا عدم تقارن تابع توزیع می باشد. برای یک توزیع کاملاً متقارن چولگی صفر و برای یک توزیع نامتقارن با کشیدگی به سمت مقادیر بالاتر چولگی مثبت و برای توزیع نامتقارن با کشیدگی به سمت مقادیر کوچکتر مقدار چولگی منفی است.
دادهکاوی
داده کاوی، پایگاهها و مجموعههای حجیم دادهها را در پی کشف واستخراج دانش، مورد تحلیل و کند و کاوهای ماشینی (و نیمهماشینی) قرار میدهد. این گونه مطالعات و کاوشها را به واقع میتوان همان امتداد و استمرار دانش کهن و همه جا گیر آمار دانست. تفاوت عمده در مقیاس، وسعت و گوناگونی زمینهها و کاربردها، و نیز ابعاد و اندازههای دادههای امروزین است که شیوههای ماشینی مربوط به یادگیری، مدلسازی، و آموزش را طلب مینماید.
در سال 1960 آماردانان اصطلاح "Data Fishing" یا "Data Dredging"به معنای "صید داده" را جهت کشف هر گونه ارتباط در حجم بسیار بزرگی از داده ها بدون در نظر گرفتن هیچگونه پیش فرضی بکار بردند. بعد از سی سال و با انباشته شدن داده ها در پایگاه های داده یا Database اصطلاح "Data Mining" یا داده کاوی در حدود سال 1990 رواج بیشتری یافت. اصطلاحات دیگری نظیر "Data Archaeology"یا "Information Harvesting" یا "Information Discovery" یا"Knowledge Extraction" نیز بکار رفته اند.
اصطلاح Data Mining همان طور که از ترجمه آن به معنی داده کاوی مشخص میشود به مفهوم استخراج اطلاعات نهان و یا الگوها وروابط مشخص در حجم زیادی از دادهها در یک یا چند بانک اطلاعاتی بزرگ است.
مقدمه
بسیاری از شرکتها و موسسات دارای حجم انبوهی از اطلاعات هستند. تکنیکهای دادهکاوی به طور تاریخی به گونهای گسترش یافتهاند که به سادگی میتوان آنها را بر ابزارهای نرمافزاری و ... امروزی تطبیق داده و از اطلاعات جمع آوری شده بهترین بهره را برد.
در صورتی که سیستمهای Data Mining بر روی سکوهای Client/Server قوی نصب شده باشد و دسترسی به بانکهای اطلاعاتی بزرگ فراهم باشد، میتوان به سوالاتی از قبیل :کدامیک از مشتریان ممکن است خریدار کدامیک از محصولات آینده شرکت باشند، چرا، در کدام مقطع زمانی و بسیاری از موارد مشابه پاسخ داد.
ویژگیها
یکی از ویژگیهای کلیدی در بسیاری از ابتکارات مربوط به تامین امنیت ملی، داده کاوی است. داده کاوی که به عنوان ابزاری برای کشف جرایم، ارزیابی میزان ریسک و فروش محصولات به کار میرود، در بر گیرنده ابزارهای تجزیه و تحلیل اطلاعات به منظور کشف الگوهای معتبر و ناشناخته در بین انبوهی از داده هاست. داده کاوی غالباً در زمینه تامین امنیت ملی به منزله ابزاری برای شناسایی فعالیتهای افراد خرابکار شامل جابه جایی پول و ارتباطات بین آنها و همچنین شناسایی و ردگیری خود آنها با برسی سوابق مربوط به مهاجرت و مسافرت هاست. داده کاوی پیشرفت قابل ملاحظهای را در نوع ابزارهای تحلیل موجود نشان میدهد اما محدودیتهایی نیز دارد. یکی از این محدودیتها این است که با وجود اینکه به آشکارسازی الگوها و روابط کمک میکند اما اطلاعاتی را در باره ارزش یا میزان اهمیت آنها به دست نمیدهد. دومین محدودیت آن این است که با وجود توانایی شناسایی روابط بین رفتارها و یا متغیرها لزوماً قادر به کشف روابط علت و معلولی نیست. موفقیت داده کاوی در گرو بهره گیری از کارشناسان فنی و تحلیل گران کار آزمودهای است که از توانایی کافی برای طبقه بندی تحلیلها و تغییر آنها برخوردار هستند. بهره برداری از داده کاوی در دو بخش دولتی و خصوصی رو به گسترش است. صنایعی چون بانکداری، بیمه، بهداشت و بازار یابی آنرا عموماً برای کاهش هزینهها، ارتقاء کیفی پژوهشها و بالاتر بردن میزان فروش به کار میبرند. کاربرد اصلی داده کاوی در بخش دولتی به عنوان ابزاری برای تشخیص جرایم بودهاست اما امروزه دامنه بهره برداری از آن گسترش روزافزونی یافته و سنجش و بهینه سازی برنامهها را نیز در بر میگیرد. بررسی برخی از برنامههای کاربردی مربوط به داده کاوی که برای تامین امنیت ملی به کار میروند، نشان دهنده رشد قابل ملاحظهای در رابطه با کمیت و دامنه دادههایی است که باید تجزیه و تحلیل شوند. تواناییهای فنی در داده کاوی از اهمیت ویژهای برخوردار اند اما عوامل دیگری نیز مانند چگونگی پیاده سازی و نظارت ممکن است نتیجه کار را تحت تأثیر قرار دهند. یکی از این عوامل کیفیت داده هاست که بر میزان دقت و کامل بودن آن دلالت دارد. عامل دوم میزان سازگاری نرمافزار داده کاوی با بانکهای اطلاعاتی است که از سوی شرکتهای متفاوتی عرضه میشوند عامل سومی که باید به آن اشاره کرد به بیراهه رفتن داده کاوی و بهره برداری از دادهها به منظوری است که در ابتدا با این نیت گرد آوری نشدهاند. حفظ حریم خصوصی افراد عامل دیگری است که باید به آن توجه داشت. اصولاً به پرسشهای زیر در زمینه داده کاوی باید پاسخ داده شود:
سازمانهای دولتی تا چه حدی مجاز به بهره برداری از دادهها هستند؟
آیا از دادهها در چارچوبی غیر متعارف بهره برداری میشود؟
کدام قوانین حفظ حریم خصوصی ممکن است به داده کاوی مربوط شوند؟
کاوش در دادهها بخشی بزرگ از سامانههای هوشمند است. سامانههای هوشمند زیر شاخهایست بزرگ و پرکاربرد از زمینه علمی جدید و پهناور یادگیری ماشینی که خود زمینهایست در هوش مصنوعی.
فرایند گروه گروه کردن مجموعهای از اشیاء فیزیکی یا مجرد به صورت طبقههایی از اشیاء مشابه هم را خوشهبندی مینامیم.
با توجه به اندازههای گوناگون (و در اغلب کاربردها بسیار بزرگ و پیچیده) مجموعههای دادهها مقیاسپذیری الگوریتمهای به کار رفته معیاری مهم در مفاهیم مربوط به کاوش در دادهها است.
کاوشهای ماشینی در متون حالتی خاص از زمینهٔ عمومیتر کاوش در دادهها بوده، و به آن دسته از کاوشها اطلاق میشود که در آنها دادههای مورد مطالعه از جنس متون نوشته شده به زبانهای طبیعی انسانی باشد.
چیستی
داده کاوی به بهره گیری از ابزارهای تجزیه و تحلیل دادهها به منظور کشف الگوها و روابط معتبری که تا کنون ناشناخته بودهاند اطلاق میشود. این ابزارها ممکن است مدلهای آماری، الگوریتمهای ریاضی و روشهای یاد گیرنده (Machine Laming Method) باشند که کار این خود را به صورت خودکار و بر اساس تجربهای که از طریق شبکههای عصبی (Neural Networks) یا درختهای تصمیم گیری (Decision Trees) به دست میآورند بهبود میبخشد. داده کاوی منحصر به گردآوری و مدیریت دادهها نبوده و تجزیه و تحلیل اطلاعات و پیش بینی را نیز شامل میشود برنامههای کاربردی که با بررسی فایلهای متن یا چند رسانهای به کاوش دادهها می پردازند پارامترهای گوناگونی را در نظر میگیرد که عبارت اند از:
قواعد انجمنی (Association): الگوهایی که بر اساس آن یک رویداد به دیگری مربوط میشود مثلاً خرید قلم به خرید کاغذ.
ترتیب (Sequence): الگویی که به تجزیه و تحلیل توالی رویدادها پرداخته و مشخص میکند کدام رویداد، رویدادهای دیگری را در پی دارد مثلاً تولد یک نوزاد و خرید پوشک.
پیش بینی(Prediction): در پیش بینی هدف پیش بینی یک متغیر پیوسته می باشد. مانند پیش بینی نرخ ارز یا هزینه های درمانی.
رده بندی یا طبقه بندی (Classification): فرآیندی برای پیدا کردن مدلی است که رده های موجود در دادهها را تعریف می نماید و متمایز می کند، با این هدف که بتوان از این مدل برای پیش بینی رده رکوردهایی که برچسب رده آنها(متغیر هدف) ناشناخته می باشد، استفاده نمود. در حقیقت در رده بندی بر خلاف پیش بینی، هدف پیش بینی مقدار یک متغیر گسسته است. روش های مورد استفاده در پیش بینی و رده بندی عموما یکسان هستند.
خوشه بندی(Clustering): گروه بندی مجموعه ای از اعضاء، رکوردها یا اشیاء به نحوی که اعضای موجود در یک خوشه بیشترین شباهت را به یکدیگر و کمترین شباهت را به اعضای خوشه های دیگر داشته باشند.
مصورسازی (visualization): مصورسازی داده ها یکی از قدرتمندترین و جذابترین روش های اکتشاف در داده ها می باشد.
برنامههای کاربردی که در زمینه تجزیه و تحلیل اطلاعات به کار میروند از امکاناتی چون پرس و جوی ساخت یافته (Structured query) که در بسیاری از بانکهای اطلاعاتی یافت میشود و از ابزارهای تجزیه و تحلیل آماری برخوردارند اما برنامههای مربوط به داده کاوی در عین برخورداری از این قابلیتها از نظر نوع با آنها تفاوت دارند. بسیاری از ابزارهای ساده برای تجزیه و تحلیل دادهها روشی بر پایه راستی آزمایی (verifiction)را به کار میبرند که در آن فرضیهای بسط داده شده آنگاه دادهها برای تایید یا رد آن بررسی میشوند. به طور مثال ممکن است این نظریه مطرح شود که فردی که یک چکش خریده حتماً یک بسته میخ هم خواهد خرید. کارایی این روش به میزان خلاقیت کاربر برای ارایه فرضیههای متنوع و همچنین ساختار برنامه بکار رفته بستگی دارد. در مقابل در داده کاوی روشهایی برای کشف روابط بکار برده میشوند و به کمک الگوریتمهایی روابط چند بعدی بین دادهها تشخیص داده شده و آنهایی که یکتا (unique) یا رایج هستند شناسایی میشوند. به طور مثال در یک فروشگاه سختافزار ممکن است بین خرید ابزار توسط مشتریان با تملک خانه شخصی یا نوع خودرو، سن، شغل، میزان درآمد یا فاصله محل اقامت آنها با فروشگاه رابطهای برقرار شود.
در نتیجه قابلیتهای پیچیدهاش برای موفقیت در تمرین داده کاوی دو مقدمه مهم است یکی فرمول واضحی از مشکل که قابل حل باشد و دیگری دسترسی به داده متناسب. بعضی از ناظران داده کاوی را مرحلهای در روند کشف دانش در پایگاه دادهها میدانند (KDD). مراحل دیگری در روند KDD به صورت تساعدی شامل، پاکسازی داده، انتخاب داده انتقال داده، داده کاوی، الگوی ارزیابی، و عرضه دانش میباشد. بسیاری از پیشرفتها در تکنولوژی و فرایندهای تجاری بر رشد علاقهمندی به داده کاوی در بخشهای خصوصی و عمومی سهمی داشتهاند. بعضی از این تغییرات شامل:
رشد شبکههای کامپیوتری که در ارتباط برقرار کردن پایگاهها داده مورد استفاده قرار میگیرند.
توسعه افزایش تکنیکهایی بر پایه جستجو مثل شبکههای عصبی و الگوریتمهای پیشرفته.
گسترش مدل محاسبه کلاینت سروری که به کاربران اجازه دسترسی به منابع دادههای متمرکز شده را از روی دسک تاپ میدهد.
و افزایش توانایی به تلفیق داده از منابع غیر متناجس به یک منبع قابل جستجو میباشد.
علاوه بر پیشرفت ابزارهای مدیریت داده، افزایش قابلیت دسترسی به داده و کاهش نرخ نگهداری داده نقش ایفا میکند. در طول چند سال گذشته افزایش سریع جمع آوری و نگه داری حجم اطلاعات وجود داشتهاست. با پیشنهادهای برخی از ناظران مبنی بر آنکه کمیت دادههای دنیا به طور تخمینی هر ساله دوبرابر میگردد. در همین زمان هزینه ذخیره سازی دادهها بطور قابل توجهی از دلار برای هر مگابایت به پنی برای مگابایت کاهش پیدا کردهاست. مطابقا قدرت محاسبهها در هر ۱۸ – ۲۴ ماه به دوبرابر ارتقاء پیدا کردهاست این در حالی است که هزینه قدرت محاسبه رو به کاهش است. داده کاو به طور معمول در دو حوزه خصوصی و عمومی افزایش پیدا کردهاست. سازمانها داده کاوی را به عنوان ابزاری برای بازدید اطلاعات مشتریان کاهش تقلب و اتلاف و کمک به تحقیقات پزشکی استفاده میکنند. با اینهمه ازدیاد داده کاوی به طبع بعضی از پیاده سازی و پیامد اشتباه را هم دارد.اینها شامل نگرانیهایی در مورد کیفیت دادهای که تحلیل میگردد، توانایی کار گروهی پایگاههای داده و نرمافزارها بین ارگانها و تخطیهای بالقوه به حریم شخصی میباشد.همچنین ملاحظاتی در مورد محدودیتهایی در داده کاوی در ارگانها که کارشان تاثیر بر امنیت دارد، نادیده گرفته میشود.
محدودیتهای داده کاوی
در حالیکه محصولات داده کاوی ابزارهای قدرتمندی میباشند، اما در نوع کاربردی کافی نیستند.برای کسب موفقیت، داده کاوی نیازمند تحلیل گران حرفهای و متخصصان ماهری میباشد که بتوانند ترکیب خروجی بوجود آمده را تحلیل و تفسیر نمایند.در نتیجه محدودیتهای داده کاوی مربوط به داده اولیه یا افراد است تا اینکه مربوط به تکنولوژی باشد.
اگرچه داده کاوی به الگوهای مشخص و روابط آنها کمک میکند، اما برای کاربر اهمیت و ارزش این الگوها را بیان نمیکند.تصمیماتی از این قبیل بر عهده خود کاربر است.برای نمونه در ارزیابی صحت داده کاوی، برنامه کاربردی در تشخیص مظنونان تروریست طراحی شده که ممکن است این مدل به کمک اطلاعات موجود در مورد تروریستهای شناخته شده، آزمایش شود.با اینهمه در حالیکه ممکن است اطلاعات شخص بطور معین دوباره تصدیق گردد، که این مورد به این منظور نیست که برنامه مظنونی را که رفتارش به طور خاص از مدل اصلی منحرف شده را تشخیص بدهد.
تشخیص رابطه بین رفتارها و یا متغیرها یکی دیگر از محدودیتهای داده کاوی میباشد که لزوماًروابط اتفاقی را تشخیص نمیدهد.برای مثال برنامههای کاربردی ممکن است الگوهای رفتاری را مشخص کند، مثل تمایل به خرید بلیط هواپیما درست قبل از حرکت که این موضوع به مشخصات درآمد، سطح تحصیلی و استفاده از اینترنت بستگی دارد.در حقیقت رفتارهای شخصی شامل شغل(نیاز به سفر در زمانی محدود)وضع خانوادگی(نیاز به مراقبت پزشکی برای مریض)یا تفریح (سود بردن از تخفیف دقایق پایانی برای دیدن مکانهای جدید) ممکن است بر روی متغیرهای اضافه تاثیر بگذارد.
ابزارهای داده کاوی
معروفترین ابزارهای دادهکاوی به ترتیب پرطرفدار بودن
Clementine که نسخه ۱۳ ان با نام SPSS Modeler نامیده میشود.
رپیدماینر
نرمافزار وکا
نرمافزار
برنامه های کاربردی و نرمافزار های داده کاوی متن-باز رایگان
Carrot2: پلتفرمی برای خوشه بندی متن و نتایج جستجو
Chemicalize.org: یک کاوشگر ساختمان شیمیایی و موتور جستجوی وب
ELKI: یک پروژه تحقیقاتی دانشگاهی با تحلیل خوشه ای پیشرفته و روش های تشخیص داده های خارج از محدوده که به زبان جاوا نوشته شده است.
GATE: یک پردازشگر زبان بومی و ابزار مهندسی زبان.
برنامه های کاربردی و نرمافزار های داده کاوی تجاری
Angoss KnowledgeSTUDIO: ابزار داده کاوی تولید شده توسط Angoss.
BIRT Analytics: ابزار داده کاوی بصری و تحلیل پیش بینی گر تولید شده توسط Actuate Corporation.
Clarabridge: راه حل تحلیلگر کلاس متن.
(E-NI(e-mining, e-monitor: ابزار داده کاوی مبتنی بر الگوهای موقتی.
IBM SPSS Modeler: نرمافزار داده کاوی تولید شده توسط IBM
Microsoft Analysis Services: نرمافزار داده کاوی تولید شده توسط مایکروسافت
Oracle Data Mining: نرمافزار داده کاوی تولید شده توسط اوراکل (کمیک)
بررسی اجمالی بازار نرمافزار های داده کاوی
تا کنون چندین محقق و سازمان بررسی هایی را بر روی ابزار های داده کاوی و راهنماییهایی برای داده کاو ها تهیه دیده اند. این بررسی ها بعضی از نقاط ضعف و قوت بسته های نرمافزاری را مشخص می کنند. همچنین خلاصه ای را از رفتار ها، اولویت ها و دید های داده کاوها تهیه کرده اند
درجه آزادی (آمار)
درجه آزادی یکی از مفاهیم بنیادین در آمار است. درک بسیاری از مفاهیم مطرح در آمار وابسته به درک مناسبی از این مفهوم است. بر اساس زمینهٔ کاربرد و شیوهٔ نگرش میتوان تعاریف مختلفی برای آن ارائه نمود که همه یک مفهومند:
در نظریهٔ برآورد:
تعداد مقادیری که یک آماره امکان تغییر دارد
تعداد مشاهدات مستقل منهای تعداد پارامترهای برآورد شده.
بطور معادل: تعداد مشاهدات مستقل منهای تعداد روابط معلوم میان مشاهدات
در نظریه آزمون:
بعد فضای مجهول (مدل کامل) منهای بعد فضای مفروض (مدل مقید)
در جبر خطی:
رتبهٔ یک فرم درجه دوم
بطور معادل: تعداد ابعاد یک زیر فضا که یک بردار میتواند آزادانه گردش کند (مربع طول بردار یک فرم درجه دوم است)
درک شهودی
مثال: یک عدد ثابت امکان تغییر ندارد پس درجه آزادی آن برابر صفر است.
یک نقطه در صفحه یک رابطه میان دو متغیر در فضای دو بعدی است. با این نقطه نمیتوان میزان همبستگی خطی دو متغیر را با برآورد خط رگرسیون تخمین زد. چون بینهایت خط از این نقطه گذراست. (تصویر مقابل) در این مثال درجه آزادی صفر است (تعداد مشاهدات مستقل - تعداد روابط معلوم میان مشاهدات = 0) اگر خطی را بعنوان خط رگرسیونی در نظر بگیریم، این مدل نه قابل رد و نه قابل قبول است. بنابراین تعداد نمونه های قابل استفاده برای این مدل صفر است.
برای رسم خط رگرسیون حداقل دو نقطه لازم است. با دو نقطه یک درجه آزادی وجود دارد. از دو نقطه فقط یک خط گذر میکند و این خط تنها برآورد ممکن است. با اینکه دقت برآورد 100 درصد است اما این دقت کاذب به علت کم بودن درجات آزادی و اطلاعات قابل استفاده است. نمونه های زیادی از تحقیقات با رسیدن به دقتی بالا تصور میکنند که مدل بدست آمده مناسب است . در حالی که درجات آزادی کم باعث این اشتباه شده است.
مثال: اگر دو مشاهده داشته باشیم، برای برآورد میانگین دو مشاهدهء مستقل داریم، اما برای برآورد واریانس تنها یک مشاهدهء مستقل وجود دارد. زیرا هر دو مشاهده دارای یک فاصله از میانگین هستند.
دیدگاه فلسفی
برای درک بهتر این مفهوم میتوان درجهء آزادی را یک معادل برای درجهء ابطال پذیری از دیدگاه فلاسفه ای مانند کارل پوپر دانست. اگر در مسئله ای درجات آزادی کم
باشد معادل است با اینکه ابطال پذیری آن مسئله کم است. یعنی با هر مشاهده ای تایید میشود و قابل ابطال نیست.
سازمان آماری
سازمان آماری سازمانی خدماتی است که وظیفهٔ تهیهٔ آمار را بر عهده دارد. دلیل وجود، رشد و مشارکت مشهود آنها در امور مربوط به دولت و جامعةخود، از توانایی آنها در تهیة اطلاعاتی برای حل مسائل مهم ریشه میگیرد. ولی اولویتها میتوانند سریعتر از توانایی سازمان برای تعدیل تلاش تولیدی خود تغییر کنند. به این دلیل، مهم است که مسئولان ارشد آن دارای شم قوی و روابطی باشند که بتوانند مشکلات جدی را شناسایی کرده و آنها را از آنچه ممکن است چیزی جز مسایل گذرا نباشند متمایز کنند.
شاخصهای پراکندگی
سنجشهای پراکندگی (به انگلیسی: Measures of Variability) به اعدادی گویند که پراکندگی مجموعهای از مشاهدات یا دادههای اندازه گیری شدهای را خلاصه و توصیف میکنند.
دامنه، واریانس، و انحراف معیار، هر سه نمونههایی از سنجشهای پراکندگی هستند.
ضریب تغییرات
در نظریه احتمال و آمار ضریب تغییرات (به انگلیسی: coefficient of variation، مخفف:CV) یک معیار بهنجار است که برای اندازهگیری توزیع دادههای آماری به کار میرود.
به عبارت دیگر ضریب تغییرات، میزان پراکندگی به ازای یک واحد از میانگین را بیان میکند. این مقدار زمانی تعریف شده است که میانگین صفر نباشد.
این مقدار بیبعد است به همین دلیل مناسب برای مقایسه دادههای آماری است که واحدهای مختلفی دارند.
ضریب تغییرات تنها قابل کاربرد برای مقیاسهای نسبی است و نمیتوان ار آن برای سنجش مقادیری که میتوانند مقدار منفی بگیرند استفاده کرد یا به بیان بهتر نمیتوان از آن برای سنجش مقادیر فاصلهای بهره برد. مثلاً اگر درجه حرارت را با مقیاس فارنهایت در نظر بگیریم برای آن نمیتوان از ضریب تغییر اسفاده کرد و باید از مقیاس کلوین که همیشه مقداری مثبت است استفاده کرد.
متغیر پنهان
متغیرهای پنهان(در مقابل متغیرهای مشاهده شده)در آمار، متغیرهای هستند که بصورت مسقیم قابل مشاهده نیستند اما از میان متغیرهای دیگر که قابل مشاهده هستند توسط یک الگوی ریاضی استنباط میشوند. آنها همچنین بعضی وقتها تحت عنوان متغیرهای پنهان، پارامترها ی مدل، متغیرهای فرضی یا ساختارهای فرضی شناخته میشوند.. استفاده متغیرهای پنهان در علوم اجتماعی متداول است، اقتصاد، پزشکی و تا حدی روبوتیک اما تعریف دقیق یک متغیر پنهان در این رشتهها کمی متفاوت است. مثالهای از متغیرهای پنهان در حوزه اقتصاد عبارتند از کیفیت زندگی، اطمینان کار، روحیه، خوشحالی و اصول محافظهکاری: اینها متغیرها هستند که مستقیماً نمیتوان آنها را سنجید. با این وجود یک مدل اقتصادی را میتوان از پیوند این متغیرهای پنهان با متغیرهای مشاهده شده (از قبیل تولید ناخالص داخلی) بدست آورد و مقادیر متغیرهای پنهان را از متغیرهای مشاهده شده محاسبه و استنباط نمود.
متغیر تصادفی
در آمار و احتمال متغیر تصادفی متغیری است که مقدار آن از اندازهگیری برخی از انواع فرآیندهای تصادفی بدست میآید. بطور رسمیتر، متغیر تصادفی تابعی است از فضای نمونه به اعداد حقیقی. بطور مستقیم متغیر تصادفی توصیف عددی خروجی یک آزمایش است (مثل برآمدهای ممکن از پرتاب دو تاس (۱و۱) و (۱و۲) و غیره).
متغیرهای تصادفی به دو نوع گسسته (متغیر تصادفی که ممکن است تعداد محدود یا توالی نامحدودی از مقادیر را بگیرد) و پیوسته (متغیری که ممکن است هر مقدار عددی در یک یا چند بازه را بگیرد) طبقهبندی میشوند. مقادیر ممکن یک متغیر تصادفی میتواند نشاندهندهٔ برآمدهای آزمایشی که هنوز انجام نشده یا مقادیر بالقوهٔ یک کمیت که مقدارهای موجود آن نامطمئن هستند (مثلا درنتیجه اطلاعات ناقص یا اندازهگیری نادقیق) باشد. یک متغیر تصادفی میتواند بعنوان یک کمیت که مقدارش ثابت نیست و مقادیر مختلفی را میتواند بگیرد در نظر گرفته شود و توزیع احتمال برای توصیف احتمال اتفاق افتادن آن مقادیر استفاده میشود.
متغیرهای تصادفی معمولاً با اعداد حقیقی مقداردهی میشوند؛ ولی میتوان انواع دلخواهی مانند مقدارهای بولی، اعداد مختلط، بردارها، ماتریسها، دنبالهها، درختها، مجموعهها، شکلها، منیوفیلدها، توابع و فرآیندها را درنظر گرفت. عبارت المان تصادفی همه این نوع مفاهیم را دربرمی گیرد.
متغیرهای تصادفی که با اعداد حقیقی مقداردهی میشوند، در علوم برای پیشبینی براساس دادههای بدست آمده از آزمایشهای علمی استفاده میشوند. علاوه بر کاربردهای علمی، متغیرهای تصادفی برای آنالیز بازیهای قمار و پدیدههای تصادفی بوجود آمدند. در چنین مواردی تابعی که خروجی را به یک عدد حقیقی مینگارد معمولا یک تابع همانی یا بطور مشابه یک تابع بدیهی است و بطور صریح توصیف نشده است. با این وجود در بسیاری از موارد بهتر است متغیر تصادفی را بصورت توابعی از سایر متغیرهای تصادفی درنظر بگیریم که دراینصورت تابع نگاشت استفاده شده در تعریف یک متغیر تصادفی مهم میشود. بعنوان مثال، رادیکال یک متغیر تصادفی با توزیع استاندارد (نرمال) خود یک متغیر تصادفی با توزیع کی دو است. شهود این مطلب بدین صورت است که تصور کنید اعداد تصادفی بسیاری با توزیع نرمال تولید کرده و از هرکدام رادیکال بگیریم و سپس هیستوگرام دادههای بدست آمده را بکشیم در اینصورت اگر دادهها به تعداد کافی باشند، نمودار هیستوگرام تابع چگالی توزیع کی دو را با یک درجه آزادی تقریب خواهد زد.
نامهای دیگر
در برخی از کتابهای قدیمیتر به جای «متغیر تصادفی»، اصطلاحهای «متغیر شانسی» و «متغیر استوکاستیکی» هم به کار رفته است.
انواع
متغیر تصادفی گسسته
متغیر تصادفی پیوسته
با توجه به وضع شمارایی فضای نمونهای S، متغیر میتواند گسسته یا پیوسته باشد. اگر S متناهی یا نامتناهی شمارا باشد متغیر تصادفی X گسسته و اگر ناشمارا باشد X پیوسته خواهد بود.
یک توزیع همچنین می تواند از نوع مختلط (mixed) باشد به این صورت که بخشی از آن مقادیر خاصی را بگیرد و بخش دیگر آن مقادیر روی یک بازه را بگیرد.
مقدار موثر
در ریاضیات، جذر متوسط مربع (به انگلیسی: root mean square یا quadratic mean) که با نام مقدار RMS و مقدار مؤثر (به انگلیسی: effective value) نیز شناخته میشود، معیاری آماری از اندازه کمیت متغیر است.
شبکه اجتماعی
شبکهٔ اجتماعی ساختاری اجتماعی است که از گره هایی(که عموماً فردی یا سازمانی هستند) تشکیل شدهاست که توسط یک یا چند نوع خاص از وابستگی به هم متصل اند، برای مثال: قیمتها، الهامات، ایدهها و تبادلات مالی، دوستها، خویشاوندی، تجارت، لینکهای وب، سرایت بیماریها (اپیدمولوژی) یا مسیرهای هواپیمایی. ساختارهای حاصل اغلب بسیار پیچیده هستند.
تحلیل شبکههای اجتماعی روابط اجتماعی را با اصطلاحات رأس و یال مینگرد. رأسها بازیگران فردی درون شبکهها هستند و یالها روابط میان این بازیگران هستند.انواع زیادی از یالها میتواند میان رأسها وجود داشته باشد. نتایج تحقیقات مختلف بیانگر آن است که می توان از ظرفیت شبکههای اجتماعی در بسیاری از سطوح فردی و اجتماعی به منظور شناسایی مسائل و تعیین راه حل آنها، برقراری روابط اجتماعی، اداره امور تشکیلاتی، سیاستگذاری و رهنمون سازی افراد در مسیر دستیابی به اهداف استفاده نمود. به عنوان مثال، نتایج مطالعات در حوزه سیاستگذاری گردشگری نشان می دهد شبکههای اجتماعی به واسطه تاثیرگذاری روی متغیرهای رفتاری بر جذب گردشگران خارجی به مقاصد گوناگون تاثیرگذار هستند و می توان از این شبکه ها به منظور شکلگیری اعتماد و کاهش ریسک تصمیمگیری کاربران در انتخاب یک مقصد خاص گردشگری بهره گرفت.
در سادهترین شکل یک شبکهٔ اجتماعی نگاشتی از تمام یالهای مربوط، میان رأسهای مورد مطالعهاست. شبکهٔ اجتماعی هم چنین میتواند برای تشخیص موقعیت اجتماعی هر یک از بازیگران مورد استفاده قرار گیرد. این مفاهیم غالباً در یک نمودار شبکهٔ اجتماعی نشان داده میشوند که درآن، نقطهها رأسها هستند و خطها نشانگر یالها.
در ایران علیرغم اینکه عضویت در شبکههای اجتماعی جرم تلقی نمیشود، ولی به موجب فیلترینگ آنها از جانب حکومت، حضور در این وبگاهها چون از طریق دور زدن فیلترینگ میسر است، مصداق عمل مجرمانه است.
آنالیز شبکههای اجتماعی
آنالیز شبکههای اجتماعی(مرتبط با نظریه شبکهها) به عنوان یک تکنیک کلیدی در جامعه شناسی، انسان شناسی، جغرافیا، روانشناسی اجتماعی، جامعه شناسی زبان، علوم ارتباطات، علوم اطلاعات، مطالعات سازمانی، اقتصاد و زیست شناسی مدرن همانند یک موضوع محبوب در زمینهٔ تفکر ومطالعه پدیدار شدهاست.
بالغ بر یک قرن است که مردم، شبکهٔ اجتماعی مجازی را برای اشارههای ضمنی به مجموعه روابط پیچیده میان افراد درسیستمهای اجتماعی در تمامی مقیاسها از روابط بین فردی گرفته تا بینالمللی مورد استفاده قرار میدهند. در سال ۱۹۴۵ J. A. Barnes برای نخستین بار از اصطلاح قاعده مند برای مشخص کردن الگوهایی از رشتهها استفاده کرد که مفاهیم را مشخص میکنند و به صورت رایج توسط عموم و دانشمندان علوم اجتماعی مورد استفاده قرار میگیرد : گروههای محدود (مانند: قبایل و خانوادهها) و طبقات اجتماعی(مانند: جنسیّت و قومیت). دانشورانی چون : S.D. Berkowitz, Stephen Borgatti, Ronald Burt, Linton Freeman, Mark Granovetter, Peter Marsden, Nicholas Mullins, Anatol Rapoport, Stanley Wasserman, Barry Wellman, and Harrison White کاربرد شبکههای اجتماعی را به تفصیل بیان کردهاند.
آنالیز شبکههای اجتماعی از طریق احکام نظری و روشها و تحقیقهای مربوط به آن از یک صنعت ضمنی به معبری تحلیلی برای پارادایمها تغییر یافتهاست. برهان های تحلیلی از کل گرفته تا جزء؛ از ساختار گرفته تا روابط و افراد، از اخلاق گرفته تا رفتار همگی شبکههای سراسری را مورد بررسی قرار میدهند که در آنها، همهٔ رشتهها شامل روابط ویژهای در میان جمعیت ِ تعریف شدهاند و یا شبکههای فردی را مورد بررسی قرار میدهند که شامل رشتهها یی است که افراد مشخصی آنها را دارند از قبیل انجمنهای خصوصی.
گرایشهای تحلیلی متعددی آنالیز شبکههای اجتماعی را تمیز میدهند: هیچ فرضی وجود ندارد که گروهها، بلوکهای بنا کنندهٔ اجتماع هستند :: این معبر برای مطالعهٔ سیستمهای اجتماعی با محدودیت کمتر باز است از اجتماعات غیر محلی گرفته تا لینکهای درون وبگاهها.
آنالیز شبکههای اجتماعی علاوه بر سروکارداشتن با اشخاص (افراد، سازمانها، ایالات) به عنوان واحدهای گسستهٔ تحلیل، برروی چگونگی ساختار رشتهها که اشخاص و روابط میان آنها را تحت تاثیر قرار میدهد نیز تمرکز میکند.
برخلاف تحلیلهایی که بر این فرض استوارند که هنجارهای اجتماعی تعیین کنندهٔ رفتارها هستند، آنالیز شبکههای اجتماعی به بررسی وسعت تاثیرگذاری ساختار و ترکیب رشتهها بر هنجارها میپردازد.
شکل یک شبکهٔ اجتماعی به تعیین میزان سودمندی شبکه برای افراد آن شبکه کمک میکند. به طور جزئی شبکههای محکم برای اعضایشان نسبت به شبکههایی که تعداد زیادی اتصالات ضعیف برای افراد خارج از شبکهٔ اصلی دارند، کمتر مفید واقع میشوند. بیشتر شبکههای باز با اتصالات اجتماعی و رشتههای ضعیف، شانس بیشتری برای دسترسی به ایدهها و دست آوردهای جدید نسبت به شبکههای بسته با رشتههای طویل فراهم میآورد. به بیان دیگر گروهی از دوستان که تنها دارای ارتباط با یکدیگر هستند، اطلاعات و دست آوردهای یکسانی را به اشتراک میگذارند. اما گروهی از افراد که دارای ارتباط با بخشهای اجتماعی دیگر هستند شانس بیشتری برای دسترسی به محدودهٔ وسیعتری از اطلاعات دارند. افراد برای دستیابی به موفقیت بهتر است که با شبکههای گوناگونی ارتباط داشته باشند تا اینکه ارتباطات زیادی درون یک شبکه داشته باشند. به طور مشابه افراد میتوانند تأثیرگذاری و ایفای نقش به عنوان واسطه در برقراری ارتباط بین دو شبکه که به هم متصل نیستند را تمرین کنند.(این کار پر کردن سوراخهای ساختاری نامیده میشود.)
آنالیز شبکههای اجتماعی چشم انداز متناوبی را ایجاد میکند که در آن خواص افراد نسبت به ارتباطات و رشتههای میان آنها در شبکه از اهمیت کمتری برخوردار است. این معبر ایجاد شدهاست تا برای توضیح بسیاری از پدیدههای جهان واقعی مفید واقع شود، اما مجال کمتری برای نمایندگیهای فردی باقی میگذارد تا توانمندیهای فردیشان روی موفقیت تأثیرگذار باشد زیرا بخش زیادی از این توانمندیها درون ساختار شبکه باقی میماند.
شبکههای اجتماعی برای بررسی چگونگی تأثیرات متقابل میان تشکیلات، توصیف بسیاری از اتصالات غیررسمی که مجریان را به یکدیگر متصل میکند، نیز مورد استفاده قرار گرفتهاست و در این زمینهها نیز به خوبی برقراری ارتباطات فردی میان کارمندان در سازمانهای مختلف عمل میکند. شبکههای اجتماعی نقش کلیدی در موفقیتهای تجاری و پیشرفتهای کاری ایفا میکنند. شبکهها راههایی را برای شرکتها فراهم میکند که اطلاعات جمع آوری کنند، از رقابت بپرهیزند و حتی برای تنظیم قیمتها و سیاستها با هم تبانی کنند.
آشنایی با شبکههای اجتماعی اینترنتی
فضای مجازی مجال شکلگیری اجتماعات جدید از کاربران را فراهم میکند. از زمان تونیس (Tonnies) و تلاش او برای تعریف دو گونه تجمع انسانی یعنی «اجتماع» در مقابل «جامعه» (گزلشافت و گمنشافت) به بعد همه متفکران علوم اجتماعی و فرهنگی «رو در رو بودن»، «محدودیت تعداد»، و «ابتناء بر روابط عاطفی و نه روابط عقلانی را از خصائص بنیانی»اجتماع" عنوان کردهاند.
هر چند روابط کاربران فضای مجازی رابطهای با واسطهاست و نه رو در رو، بسیاری از مطالعه کنندگان اینترنت تمایل دارند از اصطلاح «اجتماع» برای اشاره به جمع کاربران استفاده کنند.
در این میان تلاشهای متعددی در حال انجام است تا حوزه و دامنه معنایی کاربردهای جدید این اصطلاح را برای اشاره به تجمعات کاربران فضای مجازی، روشن سازد. ازجمله میتوان به تلاشهای خانم شلینی ونچرلی اشاره کرد.
نظرات ونچرلی در سایت USINFO ارائه شدهاست. او به شبکهها و سازمانهای رسمی که به سامان بخشیدن به روابط و مقررات ارتباطاتی در فضای مجازی اشتغال دارند میپردازد و در ادامه به موضوع اجتماعات کاربران و خصوصیتهای آنها اشاره میکند.
شبکههای اجتماعی برپایه اینترنت از قبیل facebook.com و myspace.com در بین جوانان آمریکایی محبوبیت به سزایی کسب کردهاند. این شبکههای اجتماعی درعین حال که فضاهایی هستند که درآنها افراد دوستان جدیدی پیدا میکنند و یا دوستان قدیمی خود را در جریان تغییرات زندگی شان قرار میدهند، مکانهایی برای تبادل نظر هستند که در آنها جوانان عقاید و نظرات خود را با هم به اشتراک میگذارند.
این قابلیت که یک جوان بتواند با امثال خود در کشورهای دیگر جهان ارتباط برقرار کند باعث میشود تا این شبکهها به مکانی تبدیل شوند که در آنها ایدههای جدید معرفی میشوند و مورد بحث قرار میگیرند.
شبکههای اجتماعی اینترنتی در دنیا
استفاده از خدمات شبکههای اجتماعی، روزبهروز محبوبیت بیشتری پیدا میکند. هماکنون سایتهای شبکههای اجتماعی، بعد از پرتالهای بزرگی مثل یاهو یا اماسان موتورهای جستجو مثل گوگل، تبدیل به پراستفادهترین خدمت اینترنتی شدهاند.
خیلی از نهادهای مختلف جهانی و اینترنتی با اهداف گوناگون که مهمترین آنها تجاری و تبلیغاتی است، دست بهراهاندازی شبکههای اجتماعی زده یا درصدد خرید سهام مهمترین شبکههای اجتماعی دنیا هستند؛ مثل رقابت اخیر گوگل و مایکروسافت برسر سایت مایاسپیس و فیسبوک.
در رقابت مایاسپیس، پرکاربرترین سایت شبکه اجتماعی دنیا گوگل و در رقابت برسر فیسبوک، مایکروسافت برندهشد. ضمن اینکه یاهو هم بعد از راهاندازی نهچندان موفق «۳۶۰درجه»، به دنبال راهاندازی یک شبکه اجتماعی دیگر بهاسم «مش» است.
ناسا هم برای جذب جوانان علاقهمند به موضوعات هوافضا، یک شبکه اجتماعی را بر پایه استانداردهای نسل آینده وب و تنظیمات سایت خود راه اندازی کرد.
این شبکه اجتماعی جدید که مای ناسا نام دارد، بخشهای بسیار پیشرفتهای دارد که کاربران میتوانند از طریق آنها تصاویر و تفکرات خود را درباره موضوعات فضایی با سایر کاربران بهاشتراک بگذارند. مای ناسا یک نمونه بسیار اصلی از شبکههای اجتماعی است و یک محیط مجازی را میسازد که در آن کاربران میتوانند تمام موضوعات و مقولات مورد نظر و شخصی خود را جمعآوری کنند.
کاربران میتوانند در این شبکه اجتماعی جدید برای خود وبلاگ درست کنند و از وبلاگهایی نظیر وبلاگ یکی از مدیران ناسا که روایت بسیار شگفتانگیزی را از ماموریتهای فضایی خود نقل کردهاست، استفاده کنند.
شبکههای اجتماعی، بهخصوص آنهایی که کاربردهای معمولی و غیرتجاری دارند، مکانهایی در دنیای مجازی هستند که مردم خود را بهطور خلاصه معرفی میکنند و امکان برقراری ارتباط بین خود و همفکرانشان را در زمینههای مختلف مورد علاقه فراهم میکنند. البته در بعضی از این موارد مثل مایناسا سمت و سوی اصلی این علایق (فضا) مشخص است.
به نظر میرسد شبکههای اجتماعی در اینترنت، در آینده بیش از این هم اهمیت پیدا میکند. این شبکهها هماکنون هم روزبهروز محبوبتر میشوند. با شبکههای اجتماعی، دیگر افراد برای پیداکردن همفکران خود در موارد گوناگون تنها نیستند؛ یک دوست آرژانتینی برای تحلیل بازیهای بوکاجونیورز، یک دوست سوئدی برای صحبت در مورد فناوری اطلاعات، یک دوست فرانسوی برای صحبت در مورد فیلمهای سینمای مستقل یا یک دوست مصری برای بحث در مورد مسائل خاورمیانه.
مسلماً در دنیای حقیقی هیچگاه افراد علاقهمند، موضوعات موردعلاقه خود را به این گستردگی نمییافتند. این دلیل و شاید دلایل مشابه این، سرویسهای شبکههای اجتماعی را به یکی از مهمترین ارکان اینترنت در دو، سه سال اخیر تبدیل کردهاست.
گسترش شبکههای اجتماعی اینترنتی در ایران
در یک ساله اخیر وب سایت های که با نام شبکه اجتماعی در ایران فعالیت می کنن به طور روز افزونی در حال افزایش است تب فیسبوکی در ایران اوج گرفته و شبکه های اجتماعی زیادی که تا حدودی هم شبه به فیس بوک است خیلی زیاد شده تا یکسال قبل وقتی در گوگل کلمه شبکه اجتماعی را جستجو می کردیم به سختی در 5 صفح اول جستجو اثری از شبکه های اجتماعی بود ولی امروز وقتی کلمه شبکه اجتماعی را جستجو می کنی بالغ بر 21,800,000 نتایج جستجو نشان می دهد که نشانگر روشد بسیار چشمگیر آن در ایران است.
شبکههای اجتماعی اینترنتی در ایران
حدود ۴ سال پیش بود که مفهوم شبکههای اجتماعی بهطور گسترده با حضور اورکات در میان کاربران ایرانی رواج پیدا کرد و در مدت کوتاهی آنقدر سریع رشد کرد که پس از برزیل و آمریکا، ایران سومین کشور حاضر در اورکات شد.
اما درهمان زمان شایعاتی هم رواج پیدا کرد که نسبت به عضویت در این انجمن هشدار دادند. میگفتند که گوگل (گرداننده اورکات) از این طریق به اطلاعات شخصی، علایق و نظرات و ارتباطات خصوصی افراد دست پیدا میکند و ممکن است این کار باعث ازبینرفتن امنیت شخصی افراد شود.
چندی پیش دادگاهی در برزیل، از گوگل تقاضای اجرای محدودیتهایی در سرویس اورکات کرد تا گروههای نژادپرستانه از اورکات حذف شوند. البته گوگل از اجرای این تقاضا سرباز زدهاست.
گوگل اعلام کرده چون سرورهای گوگل که مرتبط با اورکات هستند، در آمریکا قرار دارند، کلیه امور مربوط به آن مطابق قوانین آمریکا بوده و نمیتوان قوانین برزیل یا سایر دولتها را در آن دخیل کرد اما گروههای خاصی را که بر خلاف قوانین داخلی اورکات بودهاند، شناسایی و بستهاست.
هرچند که یاهو ۳۶۰ هنوز مورد استفاده قرارمیگیرد، اما کاربران ایرانی به سراغ سایتهای شبکههای اجتماعی کمتر معروف و حتی شبکههای اجتماعی ایرانی میروند.
با نگاهی به تعداد کاربران ۲۴ شبکه اجتماعی پرطرفدار دنیا (جدول)، به آسانی میشود میزان تاثیرگذاری این شبکهها را درک کرد. این شبکهها مجموعاً بیش از یک میلیارد کاربر دارند و اگرچه تعامل زیادی بین کاربران آنها هست، اما بههرحال رقم فوقالعادهای است.
شبکهٔ اجتماعی ساختاری اجتماعی است که از گره هایی(که عموماً فردی یا سازمانی هستند) تشکیل شدهاست که توسط یک یا چند نوع خاص از وابستگی به هم متصل اند، برای مثال: قیمتها، الهامات، ایدهها و تبادلات مالی، دوستها، خویشاوندی، تجارت، لینکهای وب، سرایت بیماریها (اپیدمولوژی) یا مسیرهای هواپیمایی. ساختارهای حاصل اغلب بسیار پیچیده هستند.
تحلیل شبکههای اجتماعی روابط اجتماعی را با اصطلاحات رأس و یال مینگرد. رأسها بازیگران فردی درون شبکهها هستند و یالها روابط میان این بازیگران هستند.انواع زیادی از یالها میتواند میان رأسها وجود داشته باشد. نتایج تحقیقات مختلف بیانگر آن است که می توان از ظرفیت شبکههای اجتماعی در بسیاری از سطوح فردی و اجتماعی به منظور شناسایی مسائل و تعیین راه حل آنها، برقراری روابط اجتماعی، اداره امور تشکیلاتی، سیاستگذاری و رهنمون سازی افراد در مسیر دستیابی به اهداف استفاده نمود. به عنوان مثال، نتایج مطالعات در حوزه سیاستگذاری گردشگری نشان می دهد شبکههای اجتماعی به واسطه تاثیرگذاری روی متغیرهای رفتاری بر جذب گردشگران خارجی به مقاصد گوناگون تاثیرگذار هستند و می توان از این شبکه ها به منظور شکلگیری اعتماد و کاهش ریسک تصمیمگیری کاربران در انتخاب یک مقصد خاص گردشگری بهره گرفت.
در سادهترین شکل یک شبکهٔ اجتماعی نگاشتی از تمام یالهای مربوط، میان رأسهای مورد مطالعهاست. شبکهٔ اجتماعی هم چنین میتواند برای تشخیص موقعیت اجتماعی هر یک از بازیگران مورد استفاده قرار گیرد. این مفاهیم غالباً در یک نمودار شبکهٔ اجتماعی نشان داده میشوند که درآن، نقطهها رأسها هستند و خطها نشانگر یالها.
در ایران علیرغم اینکه عضویت در شبکههای اجتماعی جرم تلقی نمیشود، ولی به موجب فیلترینگ آنها از جانب حکومت، حضور در این وبگاهها چون از طریق دور زدن فیلترینگ میسر است، مصداق عمل مجرمانه است.
آنالیز شبکههای اجتماعی
آنالیز شبکههای اجتماعی(مرتبط با نظریه شبکهها) به عنوان یک تکنیک کلیدی در جامعه شناسی، انسان شناسی، جغرافیا، روانشناسی اجتماعی، جامعه شناسی زبان، علوم ارتباطات، علوم اطلاعات، مطالعات سازمانی، اقتصاد و زیست شناسی مدرن همانند یک موضوع محبوب در زمینهٔ تفکر ومطالعه پدیدار شدهاست.
بالغ بر یک قرن است که مردم، شبکهٔ اجتماعی مجازی را برای اشارههای ضمنی به مجموعه روابط پیچیده میان افراد درسیستمهای اجتماعی در تمامی مقیاسها از روابط بین فردی گرفته تا بینالمللی مورد استفاده قرار میدهند. در سال ۱۹۴۵ J. A. Barnes برای نخستین بار از اصطلاح قاعده مند برای مشخص کردن الگوهایی از رشتهها استفاده کرد که مفاهیم را مشخص میکنند و به صورت رایج توسط عموم و دانشمندان علوم اجتماعی مورد استفاده قرار میگیرد : گروههای محدود (مانند: قبایل و خانوادهها) و طبقات اجتماعی(مانند: جنسیّت و قومیت). دانشورانی چون : S.D. Berkowitz, Stephen Borgatti, Ronald Burt, Linton Freeman, Mark Granovetter, Peter Marsden, Nicholas Mullins, Anatol Rapoport, Stanley Wasserman, Barry Wellman, and Harrison White کاربرد شبکههای اجتماعی را به تفصیل بیان کردهاند.
آنالیز شبکههای اجتماعی از طریق احکام نظری و روشها و تحقیقهای مربوط به آن از یک صنعت ضمنی به معبری تحلیلی برای پارادایمها تغییر یافتهاست. برهان های تحلیلی از کل گرفته تا جزء؛ از ساختار گرفته تا روابط و افراد، از اخلاق گرفته تا رفتار همگی شبکههای سراسری را مورد بررسی قرار میدهند که در آنها، همهٔ رشتهها شامل روابط ویژهای در میان جمعیت ِ تعریف شدهاند و یا شبکههای فردی را مورد بررسی قرار میدهند که شامل رشتهها یی است که افراد مشخصی آنها را دارند از قبیل انجمنهای خصوصی.
گرایشهای تحلیلی متعددی آنالیز شبکههای اجتماعی را تمیز میدهند: هیچ فرضی وجود ندارد که گروهها، بلوکهای بنا کنندهٔ اجتماع هستند :: این معبر برای مطالعهٔ سیستمهای اجتماعی با محدودیت کمتر باز است از اجتماعات غیر محلی گرفته تا لینکهای درون وبگاهها.
آنالیز شبکههای اجتماعی علاوه بر سروکارداشتن با اشخاص (افراد، سازمانها، ایالات) به عنوان واحدهای گسستهٔ تحلیل، برروی چگونگی ساختار رشتهها که اشخاص و روابط میان آنها را تحت تاثیر قرار میدهد نیز تمرکز میکند.
برخلاف تحلیلهایی که بر این فرض استوارند که هنجارهای اجتماعی تعیین کنندهٔ رفتارها هستند، آنالیز شبکههای اجتماعی به بررسی وسعت تاثیرگذاری ساختار و ترکیب رشتهها بر هنجارها میپردازد.
شکل یک شبکهٔ اجتماعی به تعیین میزان سودمندی شبکه برای افراد آن شبکه کمک میکند. به طور جزئی شبکههای محکم برای اعضایشان نسبت به شبکههایی که تعداد زیادی اتصالات ضعیف برای افراد خارج از شبکهٔ اصلی دارند، کمتر مفید واقع میشوند. بیشتر شبکههای باز با اتصالات اجتماعی و رشتههای ضعیف، شانس بیشتری برای دسترسی به ایدهها و دست آوردهای جدید نسبت به شبکههای بسته با رشتههای طویل فراهم میآورد. به بیان دیگر گروهی از دوستان که تنها دارای ارتباط با یکدیگر هستند، اطلاعات و دست آوردهای یکسانی را به اشتراک میگذارند. اما گروهی از افراد که دارای ارتباط با بخشهای اجتماعی دیگر هستند شانس بیشتری برای دسترسی به محدودهٔ وسیعتری از اطلاعات دارند. افراد برای دستیابی به موفقیت بهتر است که با شبکههای گوناگونی ارتباط داشته باشند تا اینکه ارتباطات زیادی درون یک شبکه داشته باشند. به طور مشابه افراد میتوانند تأثیرگذاری و ایفای نقش به عنوان واسطه در برقراری ارتباط بین دو شبکه که به هم متصل نیستند را تمرین کنند.(این کار پر کردن سوراخهای ساختاری نامیده میشود.)
آنالیز شبکههای اجتماعی چشم انداز متناوبی را ایجاد میکند که در آن خواص افراد نسبت به ارتباطات و رشتههای میان آنها در شبکه از اهمیت کمتری برخوردار است. این معبر ایجاد شدهاست تا برای توضیح بسیاری از پدیدههای جهان واقعی مفید واقع شود، اما مجال کمتری برای نمایندگیهای فردی باقی میگذارد تا توانمندیهای فردیشان روی موفقیت تأثیرگذار باشد زیرا بخش زیادی از این توانمندیها درون ساختار شبکه باقی میماند.
شبکههای اجتماعی برای بررسی چگونگی تأثیرات متقابل میان تشکیلات، توصیف بسیاری از اتصالات غیررسمی که مجریان را به یکدیگر متصل میکند، نیز مورد استفاده قرار گرفتهاست و در این زمینهها نیز به خوبی برقراری ارتباطات فردی میان کارمندان در سازمانهای مختلف عمل میکند. شبکههای اجتماعی نقش کلیدی در موفقیتهای تجاری و پیشرفتهای کاری ایفا میکنند. شبکهها راههایی را برای شرکتها فراهم میکند که اطلاعات جمع آوری کنند، از رقابت بپرهیزند و حتی برای تنظیم قیمتها و سیاستها با هم تبانی کنند.
آشنایی با شبکههای اجتماعی اینترنتی
فضای مجازی مجال شکلگیری اجتماعات جدید از کاربران را فراهم میکند. از زمان تونیس (Tonnies) و تلاش او برای تعریف دو گونه تجمع انسانی یعنی «اجتماع» در مقابل «جامعه» (گزلشافت و گمنشافت) به بعد همه متفکران علوم اجتماعی و فرهنگی «رو در رو بودن»، «محدودیت تعداد»، و «ابتناء بر روابط عاطفی و نه روابط عقلانی را از خصائص بنیانی»اجتماع" عنوان کردهاند.
هر چند روابط کاربران فضای مجازی رابطهای با واسطهاست و نه رو در رو، بسیاری از مطالعه کنندگان اینترنت تمایل دارند از اصطلاح «اجتماع» برای اشاره به جمع کاربران استفاده کنند.
در این میان تلاشهای متعددی در حال انجام است تا حوزه و دامنه معنایی کاربردهای جدید این اصطلاح را برای اشاره به تجمعات کاربران فضای مجازی، روشن سازد. ازجمله میتوان به تلاشهای خانم شلینی ونچرلی اشاره کرد.
نظرات ونچرلی در سایت USINFO ارائه شدهاست. او به شبکهها و سازمانهای رسمی که به سامان بخشیدن به روابط و مقررات ارتباطاتی در فضای مجازی اشتغال دارند میپردازد و در ادامه به موضوع اجتماعات کاربران و خصوصیتهای آنها اشاره میکند.
شبکههای اجتماعی برپایه اینترنت از قبیل facebook.com و myspace.com در بین جوانان آمریکایی محبوبیت به سزایی کسب کردهاند. این شبکههای اجتماعی درعین حال که فضاهایی هستند که درآنها افراد دوستان جدیدی پیدا میکنند و یا دوستان قدیمی خود را در جریان تغییرات زندگی شان قرار میدهند، مکانهایی برای تبادل نظر هستند که در آنها جوانان عقاید و نظرات خود را با هم به اشتراک میگذارند.
این قابلیت که یک جوان بتواند با امثال خود در کشورهای دیگر جهان ارتباط برقرار کند باعث میشود تا این شبکهها به مکانی تبدیل شوند که در آنها ایدههای جدید معرفی میشوند و مورد بحث قرار میگیرند.
شبکههای اجتماعی اینترنتی در دنیا
استفاده از خدمات شبکههای اجتماعی، روزبهروز محبوبیت بیشتری پیدا میکند. هماکنون سایتهای شبکههای اجتماعی، بعد از پرتالهای بزرگی مثل یاهو یا اماسان موتورهای جستجو مثل گوگل، تبدیل به پراستفادهترین خدمت اینترنتی شدهاند.
خیلی از نهادهای مختلف جهانی و اینترنتی با اهداف گوناگون که مهمترین آنها تجاری و تبلیغاتی است، دست بهراهاندازی شبکههای اجتماعی زده یا درصدد خرید سهام مهمترین شبکههای اجتماعی دنیا هستند؛ مثل رقابت اخیر گوگل و مایکروسافت برسر سایت مایاسپیس و فیسبوک.
در رقابت مایاسپیس، پرکاربرترین سایت شبکه اجتماعی دنیا گوگل و در رقابت برسر فیسبوک، مایکروسافت برندهشد. ضمن اینکه یاهو هم بعد از راهاندازی نهچندان موفق «۳۶۰درجه»، به دنبال راهاندازی یک شبکه اجتماعی دیگر بهاسم «مش» است.
ناسا هم برای جذب جوانان علاقهمند به موضوعات هوافضا، یک شبکه اجتماعی را بر پایه استانداردهای نسل آینده وب و تنظیمات سایت خود راه اندازی کرد.
این شبکه اجتماعی جدید که مای ناسا نام دارد، بخشهای بسیار پیشرفتهای دارد که کاربران میتوانند از طریق آنها تصاویر و تفکرات خود را درباره موضوعات فضایی با سایر کاربران بهاشتراک بگذارند. مای ناسا یک نمونه بسیار اصلی از شبکههای اجتماعی است و یک محیط مجازی را میسازد که در آن کاربران میتوانند تمام موضوعات و مقولات مورد نظر و شخصی خود را جمعآوری کنند.
کاربران میتوانند در این شبکه اجتماعی جدید برای خود وبلاگ درست کنند و از وبلاگهایی نظیر وبلاگ یکی از مدیران ناسا که روایت بسیار شگفتانگیزی را از ماموریتهای فضایی خود نقل کردهاست، استفاده کنند.
شبکههای اجتماعی، بهخصوص آنهایی که کاربردهای معمولی و غیرتجاری دارند، مکانهایی در دنیای مجازی هستند که مردم خود را بهطور خلاصه معرفی میکنند و امکان برقراری ارتباط بین خود و همفکرانشان را در زمینههای مختلف مورد علاقه فراهم میکنند. البته در بعضی از این موارد مثل مایناسا سمت و سوی اصلی این علایق (فضا) مشخص است.
به نظر میرسد شبکههای اجتماعی در اینترنت، در آینده بیش از این هم اهمیت پیدا میکند. این شبکهها هماکنون هم روزبهروز محبوبتر میشوند. با شبکههای اجتماعی، دیگر افراد برای پیداکردن همفکران خود در موارد گوناگون تنها نیستند؛ یک دوست آرژانتینی برای تحلیل بازیهای بوکاجونیورز، یک دوست سوئدی برای صحبت در مورد فناوری اطلاعات، یک دوست فرانسوی برای صحبت در مورد فیلمهای سینمای مستقل یا یک دوست مصری برای بحث در مورد مسائل خاورمیانه.
مسلماً در دنیای حقیقی هیچگاه افراد علاقهمند، موضوعات موردعلاقه خود را به این گستردگی نمییافتند. این دلیل و شاید دلایل مشابه این، سرویسهای شبکههای اجتماعی را به یکی از مهمترین ارکان اینترنت در دو، سه سال اخیر تبدیل کردهاست.
گسترش شبکههای اجتماعی اینترنتی در ایران
در یک ساله اخیر وب سایت های که با نام شبکه اجتماعی در ایران فعالیت می کنن به طور روز افزونی در حال افزایش است تب فیسبوکی در ایران اوج گرفته و شبکه های اجتماعی زیادی که تا حدودی هم شبه به فیس بوک است خیلی زیاد شده تا یکسال قبل وقتی در گوگل کلمه شبکه اجتماعی را جستجو می کردیم به سختی در 5 صفح اول جستجو اثری از شبکه های اجتماعی بود ولی امروز وقتی کلمه شبکه اجتماعی را جستجو می کنی بالغ بر 21,800,000 نتایج جستجو نشان می دهد که نشانگر روشد بسیار چشمگیر آن در ایران است.
شبکههای اجتماعی اینترنتی در ایران
حدود ۴ سال پیش بود که مفهوم شبکههای اجتماعی بهطور گسترده با حضور اورکات در میان کاربران ایرانی رواج پیدا کرد و در مدت کوتاهی آنقدر سریع رشد کرد که پس از برزیل و آمریکا، ایران سومین کشور حاضر در اورکات شد.
اما درهمان زمان شایعاتی هم رواج پیدا کرد که نسبت به عضویت در این انجمن هشدار دادند. میگفتند که گوگل (گرداننده اورکات) از این طریق به اطلاعات شخصی، علایق و نظرات و ارتباطات خصوصی افراد دست پیدا میکند و ممکن است این کار باعث ازبینرفتن امنیت شخصی افراد شود.
چندی پیش دادگاهی در برزیل، از گوگل تقاضای اجرای محدودیتهایی در سرویس اورکات کرد تا گروههای نژادپرستانه از اورکات حذف شوند. البته گوگل از اجرای این تقاضا سرباز زدهاست.
گوگل اعلام کرده چون سرورهای گوگل که مرتبط با اورکات هستند، در آمریکا قرار دارند، کلیه امور مربوط به آن مطابق قوانین آمریکا بوده و نمیتوان قوانین برزیل یا سایر دولتها را در آن دخیل کرد اما گروههای خاصی را که بر خلاف قوانین داخلی اورکات بودهاند، شناسایی و بستهاست.
هرچند که یاهو ۳۶۰ هنوز مورد استفاده قرارمیگیرد، اما کاربران ایرانی به سراغ سایتهای شبکههای اجتماعی کمتر معروف و حتی شبکههای اجتماعی ایرانی میروند.
با نگاهی به تعداد کاربران ۲۴ شبکه اجتماعی پرطرفدار دنیا (جدول)، به آسانی میشود میزان تاثیرگذاری این شبکهها را درک کرد. این شبکهها مجموعاً بیش از یک میلیارد کاربر دارند و اگرچه تعامل زیادی بین کاربران آنها هست، اما بههرحال رقم فوقالعادهای است.
ساعت : 4:39 am | نویسنده : admin
|
مطلب بعدی