פוסטים

Hadoop Logo

מבוא ל-Big Data, ל-Hadoop ול-NoSQL

/2 תגובות/ב- , /מאת /זמן קריאה משוער: 1 דקה

בשבועות האחרונים אני משתתף בהעברת קורס Master DBA בג'ון ברייס. הקורס, למי שלא מכיר, בא להכשיר אנשים לתפקידי DBA.
הקורס בנוי מצד אחד מקורסים על בסיסי נתונים – כמו לימוד שפת SQL, תכנות ב-PL/SQL וניהול של בסיסי הנתונים ומצד שני השלמה של נושאים אחרים כמו Linux.
בחצי השני של הקורס התלמידים לומדים על Big Data, על Python (כשפת תכנות) ועל NoSQL. בסוף הקורס הם מבצעים פרויקט גדול שמשלב את מה שהם למדו.

אתמול העברתי נושא בתחום של Big Data, מבוא ל-Hadoop ו-מבוא בסיסי ל-NoSQL (כי יש להם עוד 8 שעורים בנושא).
המשך קריאה… →

מדען Big Data? הנה ההזדמנות שלך להתעשר…

/0 תגובות/ב- , /מאת /זמן קריאה משוער: 1 דקה

לאחרונה אני כותב המון על Big Data – הנושא מרתק אותי ואני באמת מאמין שהעולם הזה רק ילך ויתפתח עם הזמן. אם אתם זוכרים, אז כתבתי בעבר שחלק גדול מעולם ה-Big Data לא סובב סביב DBA-ים וניהול המידע אלא יותר סביב אלגוריתמים ופתרונות פיתוחיים לבעיות מורכבות. אחד התפקידים החדשים בעולם הזה הוא "מדען נתונים" – זה מעין תפקיד שנמצא בין DBA, מנתח מערכות, data miner ומפתח קוד שתפקידו לקחת את כמויות המידע האדירות ולראות איך אפשר לנצל אותם בארגון או בכלל.

מסתבר שאני לא לבד בדעה הזו ובשבוע שעבר שמתי לב שגם EMC חושבים כמוני והם מפרסמים המון דברים חדשים על ביג דאטה. הדבר האחרון ששמתי אליו לב והוא תחרות מעניינת שהם יצרו סביב ישום פתרונות לבעיות אמיתיות באמצעות אלגוריתמים ל-Big Data המיועדת למדעני מידע.

המשך קריאה… →

מיפוי עולם ה-Big Data

/2 תגובות/ב- , , , /מאת /זמן קריאה משוער: 1 דקה

הבעיה העיקרית עם באזוורד חדש כמו Big Data היא שמאוד קשה למפות מי החברות שנמצאות במרחב ובמה כל אחת מתעסקת. הדבר הופך להיות מורכב עוד יותר בעולם כמו Big Data בו לכל אחד יש מה להגיד והפתרונות הם רבים ומגוונים.

נתקלתי היום במשהו מעניין שפורסם ב-Forbes. תמונה המתארת את מיפוי עולם ה-Big Data שנעשה על ידי Dave Feinleib. מה שדייב ניסה לעשות זה למפות את החברות המסחריות והטכנולוגיות הקשורות לתוך מפה ברורה של עולם ה-Big Data. לפי דעתי הוא עשה עבודה יפה מאוד – אבל כדאי לשים לב שהוא לא הפריד בין פתרונות חומרה, פתרונות תשתית (ובכלל, כלי טעינה כמו ODI, DataStage ו-Informatica) ופתרונות אפליקטיביים (Front End). בנוסף, כדאי לשים לב שזו לא רשימה מלאה – חברה כמו Netezza (IBM) לדוגמה, לא מופיעה שם.

המשך קריאה… →

עולם ה- Big Data ופתרון ה- Hadoop – מאמר מתוך Oracle Newsletter

/5 תגובות/ב- , , /מאת /זמן קריאה משוער: 1 דקה

לאחרונה פורסם מאמר שכתבתי ל-Oracle Newsletter בנושא Big Data ו-Hadoop. המאמר התחלק לשני חלקים: החלק הראשון הוא תאור כללי של Big Data ו-Hadoop והחלק השני הוא תיאור הפתרון של אורקל לנושא.

מצורף המאמר להנאתכם:

עולם ה-Big Data ופתרון ה- Hadoop

כמויות המידע שנוצרות מדי יום הן בלתי נתפסות. לאור הדרישות שהולכות ומתגברות, אנחנו נתקלים בעולם חדש עם המון buzzwords. מבין כל המונחים החדשים אנחנו שומעים שוב ושוב על Big Data ו-Hadoop ונראה שהטכנולוגיות הללו ייקחו חלק חשוב בעתיד הנראה לעין.

הבעיה עם טכנולוגיות חדשות היא שלוקח זמן להבין את היכולות שלהן ולהפנים היכן הן יכולות לעזור לנו במציאות היומיומית שלנו. במאמר זה אנסה לתת מבוא לעולם ה- Big Data ו- Hadoop. המבוא יהיה כללי יחסית, אבל יתאר את העקרונות הבסיסיים ואת ההבדלים מהתפיסה הקלאסית של עולם בסיסי הנתונים של ימינו.

המשך קריאה… →