خبرنامه

نظرسنجی

شما به چه نوع خدمات فناوری اطلاعات بیشتر نیاز دارید؟

داده های بزرگ

داده های بزرگ

Big Data

بزرگ‌داده یا داده‌های بزرگ‏ اصطلاحی است که به مجموعه ی داده‌هایی اطلاق می‌شود که مدیریت، کنترل و پردازش آنها فراتر از توانایی ابزارهای نرم‌افزاری در یک زمان قابل تحمل و مورد انتظار است. مقیاس بزرگ‌داده، به طور مداوم در حال رشد از محدوده ی چند ۱۰ترابایت به چندین پتابایت، در یک مجموعه ی داده واحد است. نـمونه‌هایی از بزرگ‌داده، گــزارش‌های وبی، سامانه‌های بازشناسی با امواج رادیویی، شبکه‌های حسگر، پردازش داده های فیزیک، بیوانفورماتیک، شبکه‌های اجتماعی، متون و اسناد اینترنتی، نمایه‌های جستجوهای اینترنتی، نجوم، مدارک پزشکی، آرشیو عکس، آرشیو ویدیو، پژوهش‌های زمین‌شناسی و تجارت در مقیاس بزرگ هستند.


در اواخر دهه ۱۹۹۰در میان دانشمندان واژه ای به نام داده های بزرگ رواج پیدا کرد. آنها نمی‌توانستند مقادیر رو به رشد داده‌های تولید شده به‌وسیله‌ فناوری دیجیتال را به مقدار بسیار زیادی ذخیره‌سازی و تحلیل کنند. داده‌هایی که از علومی همچون فیزیک ذرات، ژنتیک، هوا‌شناسی و حتی ستاره‌شناسی ایجاد شده بود. در سال ۲۰۰۵داده‌های بزرگ تبدیل به یک زمینه‌ پژوهشی در شرکت‌های بزرگی همچون گوگل، یاهو، آمازون و نتفلیکس شد؛ زیرا این شرکت‌ها مقادیر عظیمی از داده‌های مبتنی بر وب را در اختیار داشتند. اما با دو چالش روبه رو بودند یکی حجم عظیم داده‌ها و دیگری سرعت ایجاد شدن آن‌ها که ثبت و پردازش آن‌ها را دشوار می‌کرد.

افزون بر این‌ داده‌ها در ساختارهای متفاوت دریافت می‌شدند و مهم‌تر از آن نیازهای پردازشی غیرمنتظره و متغیری داشتند که توانایی راهکارهای سنتی مدیریت داده‌ها برای پرداختن به آن‌ها محدود بود.

به موازات این مسائل، رشد وسایلRFIDو تجهیزات مربوط به آن و همچنین معرفی نخستین گوشی‌های نیازمندی‌های افزون‌تری را نیز برای پردازش اطلاعات ورودی با سرعتی بیشتر ایجاد کرد. این روند‌ها منجر به معرفی چارچوب پردازش موازی جدیدی به نام Map Reduceدر سال ۲۰۰۴شد.

در سال ۲۰۰۸، آپاچییک سیستم پردازش موازی فایل‌های بزرگ به صورت دسته‌ای با استفاده از چارچوب Map Reduce و یک سیستم پرونده‌ای به عنوان مخزن داده‌ به نام Hadoop را ارائه داد.

به شکلی که این پروژه تا حدی مترادف داده‌های بزرگ دانسته شد. اما گستره‌ داده‌های بزرگ بسیار بیشتر از اینهاست. پروژه‌های بسیار متعدد دیگری هم پیرامون این پروژه تشکیل شد تا جنبه‌های مختلف مربوط به این امر را تحت پوشش قرار دهد. (اطلاعات بیشتر http://hadoop.apache.org)

با رشد سریع شبکه‌های اجتماعی مانند لینکدین، فیس‌بوک و تویی‌تر و رشد همزمان غول‌های اینترنتی همچون گوگل و آمازون در اواخر دهه‌ ۲۰۰۰، پایگاه داده‌ غیررابطه‌ای و روش‌های پردازش غیررابطه‌ای که اغلب با نام NoSQL  شناخته می‌شوند پدیدار شدند،Big Table از شرکت گوگل در سال ۲۰۰۶و Dynamo از شرکت آمازون در سال ۲۰۰۷پیشگام این رویکرد شدند.

در سال ۲۰۱۰رسانه‌های جمعی در اوج استفاده از این فناوری‌ها قرار گرفتند، حتی مجله‌ اکونومیست هم یک گزارش ویژه درباره‌ داده‌های بزرگ در فوریه سال۲۰۱۰ارائه کرد و فروشندگان و بازاریابان نرم‌افزار و سخت‌افزار نیز همه‌ محصولات و راهکارهای خود را با نام «داده‌های بزرگ» برچسب‌گذاری کردند. راهکارهایی که هم روش‌های رابطه‌ای را همزمان با سایر روش‌های سنتی پردازش دنبال می‌کردند. معمولاً گفته می شد که داده‌های سنتی کمتر از ده درصد داده‌هایی را که به‌وسیله‌ کسب‌وکار‌ها مورد مدیریت قرار می‌گیرند را تشکیل می‌دهد. اما کاوشی عمیق که در قالب مطالعه‌ گسترده‌ موسسه‌ IDC با عنوان «گسترش جهان دیجیتال» انجام گرفت نشان داد که این درصد در مجموع چیزی کمتر از یک درصد است. اگر چه بخش‌های آن به خاطر گستردگی در میان شرکت‌های مختلف مبتنی بر وب یا پراکنده متفاوت است.

نقش فناوری‌های رابطه‌ای سنتی در حال کاهش است. اما همچنان بیشتر از میزان استفاده از فناوری‌های NoSQL می‌باشد.

مهمترین ویژگی در داده های بزرگ حجم و میزان انتقال است و بزرگترین مسئله پیش رو مدیریت و کنترل پردازش داده هاست.

اگر داده‌های بزرگ مترادف با همه‌ داده‌ها باشد در این صورت باید تمام ویژگی‌های ساختاری، پردازشی، مسائل مربوط به حاکمیت داده‌ها و استفاده از آن‌ها را در بر بگیرد.

 

داده‌های بزرگ: پیدایش ارزش نظاممند کسب‌وکار

داده‌های بزرگ، با توجه به ساختارهای مختلفی که دارند، فرصت‌هایی را در زمینه‌ بهینه‌سازی فرآیندهای عملیاتی و ابداع فرآیندهای نوین و همچنین در علم تحلیل و هوش کسب‌وکار به وجود آورده است. این فرصت‌ها را می‌توان در قالب چهار گونه‌ گسترده از کارکردهای کسب‌وکار که به‌وسیله‌ داده‌های بزرگ توانمند شده‌اند دسته‌بندی کرد:

1)توسعه مدل کسب‌وکار

ایجاد درآمد و توسعه‌ مدل کسب‌وکار، به خصوص در صنعت خرده فروشی و کالاهای مصرفی که در آن یک تعامل گسترده‌ مستقیم بین‌سازمان‌ها و بازارهای مصرفی بزرگ وجود دارد، از طریق دسترسی به داده‌های بزرگ بسیار آسان می‌شود. بخش بازاریابی در شرکت‌های پیشرو از اطلاعات رسانه‌های اجتماعی هم از جهت محتوایی و هم از جهت رابطه‌ای استفاده می‌کنند و رویکرد خود را از نمونه‌گیری به سمت دربرگرفتن تمامی داده‌ها تغییر داده‌اند. آن‌ها شیوه‌ بخش‌بندی بازار خود را تغییر داده و از تحلیل درازمدت روندهای داده‌های تاریخی عدول کرده و روی به واکنش فوری به رخدادهای تازه آورده‌اند. پیش‌بینی رفتار مشتریان و نتایج اقدامات پیشنهادی اجازه‌ خلق شدن و آزمون شدن را به مدل‌های تازه‌ کسب‌وکار می‌دهد.

2)مدیریت قیمت‌ها به صورت فوری

با کمک داده‌های بزرگ امکان پایش رخداد‌ها به صورت همراه در گوشی‌های همراه فراهم شده و پی بردن به کلاهبرداری‌ها در داده‌های مربوطه به تراکنش‌های مالی آسان‌تر شده است و زمان کمتری نسبت به گذشته می‌برد. استفاده از فنون تحلیل داده‌های بزرگ و پی بردن به جریان داده‌ها پیش از ذخیره‌سازی آن‌ها به یک هنجار تبدیل شده و واکنش سریع به مشکلات خاص را پیش از اینکه اوج بگیرند و گسترش یابند فراهم می‌کند.

3)پیش‌بینی

شرکت‌های پیشرو با استفاده از فناوری‌های پردازش داده‌های بزرگ و با استفاده از سنسورهای پیشرفته در وسایلی همچون تامین برق و آب و تجهیزات ارتباطات از راه دور، از ‌اندازه‌گیری‌های کلی و کلان به سمت‌ اندازه‌گیری‌های خرد و دقیق رو آورده‌اند. این امر امکان پیش‌بینی روندهای خرد را فراهم می‌آورد و با افزایش مصرف باعث افزایش ارزش کسب شده به‌وسیله‌ این گونه شرکت‌ها می‌شود.

4)بازآفرینی فرآیندهای کسب‌وکار

داده‌های بزرگ از جهت استفاده‌ نوآورانه از داده‌های خلق شده به‌وسیله‌ حسگرهای دقیق، امکان بازآفرینی همه‌ صنایع را فراهم آورده است. مثلا در بیمه‌ خودرو‌ها می‌توان بیمه نامه‌هایی را بر مبنای رفتار واقعی مشتریان تنظیم کرد و نه بر اساس میانگین‌های آماری از مخاطرات و ریسک‌ها.

 

 

داده های بزرگ، مرزهایی جدید برای نوآوری، رقابت و تولید

سازمان‌هاي بزرگ هیچ‌گاه مانند اکنون داده‌هاي عظیمی نداشته‌اند (یا حداقل به فکر جمع‌آوری و استفاده از آن نبودند) و به همین دلیل، تعجبی ندارد که چرا ابزارهای ما در زمینه مدیریت ‌داده‌هاي ‌عظیم پیشرفت چندانی نکرده است. با این‌که استفاده از داده‌‌ها برای فهمیدن و بهبود ‌بخشیدن به تجارت، مفهوم چندان جدیدی نیست، اما همچنان امری است که در حال جلب توجه بیشتری به سمت خود بوده است و همچنان تلاش برای معرفی ابزارهای مختلف برای طراحی، ذخیره‌سازی و نگه‌داری از داده‌های بزرگ ادامه دارد.

داده هایی که از وبسایتهای اجتماعی، جستجوگرها و .... بدست می آیند، هرچه که باشند و با هر حجمی که به دست‌آیند، شرکت‌ها و تجارت‌هاي مختلف تنها با یک هدف به آن‌ها مي‌نگرند: چگونه مي‌توان ارزش تجاری این داده‌‌ها را به حداکثر رساند؟ با اين مقدمه ورود شما را به دنياي داده‌هاي عظيم (Big Data) خوش آمد گفته و دنيايی سرشار از پرسش‌های جديد،‌ مدل‌هاي جديد و فرصت‌هاي تازه را آرزومندیم.

 

تعریف داده‌هاي بزرگ


عبارت داده های بزرگ(Big Data)  برای اشاره به حجم‌ عظیمی از داده‌‌ها که توسط سازمان‌های بزرگی مانند گوگل یا ناسا ذخیره و تحلیل مي‌شوند مورد استفاده قرار مي‌گیرد. اما به تازگي، این عبارت بیشتر برای اشاره به مجموعه‌های داده‌اي بزرگی استفاده مي‌شود که به قدری بزرگ و حجیم هستند که با ابزارهای مدیریتی و پایگاه‌هاي داده سنتي و معمولي قابل مدیریت نیستند. مشکلات اصلي در کار با این نوع داده‌‌ها مربوط به برداشت و جمع‌آوری، ذخیره‌سازی، جست‌وجو، اشتراک‌گذاری، تحلیل و نمایش آن‌ها است. این مبحث، به این دلیل هر روز جذابیت و مقبولیت بیشتری پیدا مي‌کند که با استفاده از تحلیل حجم‌هاي بیشتری از داده‌ها، مي‌توان تحلیل‌هاي بهتر و پيشرفته‌تري را برای مقاصد مختلف، از جمله مقاصد تجاری، پزشکی‌ و امنیتی، انجام داد و نتایج مناسب‌تری را دریافت‌کرد.

بيشتر تحلیل‌های مورد نیاز در پردازش داده‌هاي عظیم، توسط دانشمندان در علومی مانند هواشناسی، ژنتیک، کانکتومیک (علوم مرتبط با نگاشت سیستم‌عصبی)، شبیه‌سازی‌هاي پیچیده فیزیک، تحقیقات زیست‌شناسی و محیطی، جست‌وجوی اینترنت، تحلیل‌هاي اقتصادی و مالی و تجاری مورد استفاده قرار مي‌گیرد.

حجم داده‌ های ذخیره‌شده در مجموعه‌هاي داده‌اي Big Data، عموماً به‌خاطر تولید و جمع‌آوری داده‌‌ها از مجموعه بزرگی از تجهیزات و ابزارهای مختلف مانند گوشی‌هاي موبایل، حسگرهای محیطی، رویدادنگارهای نرم‌افزارهای مختلف، دوربین‌ها، میکروفون‌ها، دستگاه‌هاي تشخیص RFID، شبکه‌هاي حسگر بی‌سیم وغيره با سرعت خیره‌کننده‌اي در حال افزایش است.

یکی از مهم‌ترین مسائل مرتبط با داده‌هاي عظیم، مشکل بودن کار با آن‌ها به وسیله پایگاه‌هاي داده‌اي رابطه‌اي و بسته‌هاي نرم‌افزاری تصویرنگاری داده‌‌ها و نرم‌افزارهای آماری رومیزی است. چراکه این داده‌ها، برای پردازش‌شدن در یک زمان معقول به نرم‌افزارهای به شدت موازی شده با قابلیت اجرا روی ده‌ها، صدها یا هزاران سرور نیاز دارند. البته مفهوم Big Data برای شرکت‌ها و سازمان‌های مختلف تعابیر متفاوتی دارد و هر کدام، بسته به کاربرد و نیازمندی‌هایی که دارند، در حجمی خاص و با شرایطی خاص به روش‌هاي جدیدی برای آسان‌کردن کار با این نوع داده‌‌ها روی مي‌آورند. از این‌رو است که Big Data برای بعضی سازمان‌ها، تنها صدها‌گیگابایت حجم دارد در حالی که برای برخی، ده‌ها و صدها ترابایت یا حتی مضاربي از اگزابایت و زتابایت از انواع داده‌‌هاي عظيم محسوب مي‌شوند.

يک تصوير‌نگاري از Big Data در ويکي‌پديا و عمليات مختلفي نظير ايجاد و به روز‌رساني مقالات که توسط IBM توليد شده است.

يک تصوير‌نگاري از Big Data در ويکي‌پديا و عمليات مختلفي نظير ايجاد و به روز‌رساني مقالات که توسط IBM توليد شده است.


یکی از بهترین تعابیری که در زمینه توصیف و تبیین Big Data و چالش‌هاي پیش روی آن به‌کار رفته است، ایده دوگ‌ليني (Doug Laney) در گزارش سال 2001 مؤسسه  META group بود که در آن عنوان شده است داده‌‌ها در سه بُعد مختلف در حال رشد هستند. این سه بعد عبارتند از حجم، سرعت و تنوع داده‌‌ها که روز به روز، نرخ رشد آن‌ها با سرعتی باور نکردنی افزایش مي‌یابد. به همین دلیل، توصیف Big Data تنها با حجم‌هاي عظیم و نحوه مدیریت آن‌ها کار درستی نیست و باید دیگر جنبه‌هاي این مفهوم مهم و کلیدی را نیز در نظر گرفت. بر این اساس، با توجه به افزایش روز افزون استفاده از تجهیزات تولید یا جمع‌آوری داده‌‌ها و همچنین روی آوردن تعداد بیشتری از شرکت‌ها و افراد به شکل‌های جدیدی از زندگی دیجیتالی، اهمیت مفهوم Big Data و نحوه برنامه‌ریزی و تعیین راهبردهاي مناسب برای بهره‌برداری صحیح از آن، دو چندان شده و نیاز به توسعه ابزارها و امکانات مناسب برای مدیریت بهتر آن‌ها بیش از پیش مشخص مي‌شود.

 

 

خدمات داده های بزرگ- Big Data آریا تدبیر عبارتند از:


مشاوره، نصب و راه اندازی سامانه های تخصصی جهت کنترل و مدیریت داده های بزرگ

 

ارائه پایگاه های داده مناسب جهت ذخیره سازی داده های بزرگ

 

مشاوره، طراحی و پیاده سازی سامانه های ذخیره سازی متمرکز و توزیع شده (سخت افزاری و نرم افزاری)

 

مشاوره، طراحی و آموزش سیستم های مبتنی بر Apache Hadoop

 

مشاوره، طراحی و راه اندازی پایگاه های داده NOSQL از جمله HBase و...

 

 

برای کسب اطلاعات بیشتر تماس بگیرید



Supermicro

HP

Cisco

Intel

GPU

نرم افزار

مشاوره، طراحی، نصب و راه اندازی

نرم افزارهای مهندسی و تخصصی

بیوانفورماتیک و نانو تکنولوژی

موازی سازی نرم افزارها

 

امنیت اطلاعات

امنیت شبکه

امنیت سیستم های توزیع شده

امن سازی سرویس های ویندوزی

امن سازی سرویس های لینوکسی

 نصب و راه اندازی فایروال/IDS

ویندوز سرور

مشاوره، طراحی، نصب و راه اندازی

سرویس های ويندوزی

دامین و اکتیودایرکتوری

پورتال Sharepoint

Exchange/ISA,...

لینوکس

مشاوره، طراحی، نصب و راه اندازی

خدمات سرویس های لینوکسی

وب سرور،DNS،DHCP

Squid،Syslog-ng

مانیتورینگ و...

سامانه های پردازش سریع

Back to Top