SQL Azure for DBAs and Data Engineers

שלום לכולם בסיסי נתונים מנוהלים (PAAS) הם הדבר האהוב עליי, ולכן כבר ב 2010 התחברתי ל Azure SQL DB. תן לספק הענן להיות אחראי על הכול, כולל גיבויים, כולל שחזורים, כולל שדרוג מערכות הפעלה וכדומה. מיקרוסופט נהנית מיתרון. המוצר המרכזי שלהם SQL Server בעולם בסיסי הנתונים עבר מתיחת פנים ראויה והוא מוצר יעיל, נמכר ויציב. מיקרוסופט הוסיפו גרסאות מנוהלות של MySQL, Postgress ועוד. אמזון החלה כבר ממזמן לספק בסיסי נתונים מנוהלים במוצר שנקרא RDS, החל מ MySQL, Oracle, postgres and SQL Server. כמובן גם גוגל נכנסת לתמונה והם מציעים 3 מוצרים של בסיס נתונים מנוהלים בענן שלהם הידוע בשמו GCP תחת הכותר: Cloud SQL. אם בפורטל של גוגל נכנסים ל SQL זה מה שרואים: 3 סוגים של בסיסי נתונים מוצעים למכירה:  במקרה שלנו נבחר כמובן SQL Server. לאחר הבחירה עולה מסך קונפיגורציות: בוחרים שם של מכונה ססמא מיקום של הדאטה סנטר הרלוונטי. ואז יש 6 תתי מסכים לשינויים והגדרות: סוג המכונה והסטורג' שימו לב אלו הגרסאות של ה SQL המוצעות. (בניגוד ל Azure SQL DB שספק הענ...

שלום לכולם היום אסקור בקצרה את ה tiers השונים לבחירת DB. במילה tiers מסתתרת משמעות רחבה מאד, טווח רחב מאד של אפשרויות ביצועים. בפוסט שפרסמתי בחודש מרץ ביצעתי השוואות ביצועים בין tiers שונים: http://www.sqlazure.co.il/2019/03/azure-sql-db-tiers-comparison.html והיום אציג טבלה ובה החומרה מתחת לפני השטח נכון להיום! כידוע יש 2 קבוצות שונות של שרתים שאפשר לבחור עבור Azure SQL DB DTU vCore כאשר באפשרות הראשונה אין אפשרות לבחור קומבינציה של רכיבים - פשוט  בוחרים:  Basic\Standard1..12\Premium1...15 שזה שוני שנובע מ Local SSD וכאשר באפשרות השנייה יש אפשרות לבחור בין סוגי CPU שונים Gen 4 / Gen 5 Gen 4 CPUs are based on   Intel   E5-2673 v3 (Haswell) 2.4 GHz processors Gen 5 CPUs are based on   Intel   E5-2673 v4 (Broadwell) 2.3 GHz processors שזה גם משפיע על כמות ה RAM והאם Busines critical \ General purpose שגם זה שוני שנובע מ Local SSD תחת vCore - יש אפשרות לבצע תשלום מראש לכמה שנים ובכך לחסוך המון כסף למי שמשתמש ב  vCore (ועל זה...

שלום לכולם והפעם נציג את האפשרות שבסיס הנתונים יהיה ב - Pause. ובכך העלות על ה Compute לא יתבצע אלא רק העלות על Storage. עד היום אם רציתם בסיס נתונים בעלות נמוכה וגם כשהוא לא פעיל היה אפשר לשים אותו או ב tier - basic or in Standard 0 שהעלות שלו היא הגונה 15 דולר לחודש על 250 ג'יגה. מיקרוסופט הציעו סוג חדש שכשהוא לא פעיל x שעות הוא נכנס למצב של pause ואז אין עלות אלא על storage. בחישוב מהיר שלי עולה כי אם בסיס הנתונים קטן מ 90 ג'יגה והוא לא פעיל רוב הזמן כדאי לעבור אליו. איך זה עובד? אם הוא מזהה 0 DTU במשך הזמן שהוגדר הוא קופא, בפניה הראשונה מקבלים שגיאה. ואז בפניה השנייה אחרי שממתינים כמה שניות בסיס הנתונים דלוק. התהליך פשוט: הולכים למסך קונפיגורציה בוחרים את Serveless מגדירים תוך כמה שעות ללא פעילות הוא ייכנס למצב pause. מגדירים מינימום cpu ומקסימים cpu. מגדירים כמה storage יוקצה. וזהו. מצורפים המסכים הבאים: מסך ההגדרה עצמו. מסך של בסיס נתונים פעיל מסך של בסיס נתונים שנעצר מסך של שגיאה מ SSMS בחיבור. ומסכים של המסך הראשי - בו יש גרף טיפה אחרת שמציג מידע...

sp_whoisactive is a very helpful monitoring sp used by almost ever SQL Server DBA. It was written by Adam Machanic.  It provide a lot of data showing what is running in your server and the resources being consumed. Adam & his great team have saved us many hours of work - Thank you Adam!!! I have been waiting for many years for this SP to be compatible with SQL Azure.  In previous versions when we tried running it on Azure SQL DB we got this error: " Msg 40515, Level 15, State 1, Procedure sp_WhoIsActive, Line 16 [Batch Start Line 7] Reference to database and/or server name in 'msdb.dbo.sysjobs' is not supported in this version of SQL Server." on (v10.76) In the SP it called MSDB and since we do not have MSDB in SQL Azure we got the error. Adam put his SP in GitHub https://github.com/amachanic/sp_whoisactive  , and I found out this the version was upgraded to v11.33. And now it runs on SQL Azure. And finally I can see everything in...

שלום רב וגם היום על ניהול עלויות. לאחרונה מיקרוסופט שיחררו מסך שבוא אפשר סוף סוף להבין על מה התשלום וליצור התרעות תקציב וכדומה. להלן הדרך להגיע עליו ומה האפשרויות השונות במסכים. יש להקליק ולהגיע למסך הזה. במסך זה יהיו רשימת ה Subscriptions ונגיע לרצוי לנו. לאחר הלחיצה על האנלזיה נגיע למסך כזה שבו יש פילטרים וחיתוכים גם דרך הגרפים עצמם וגם פילטרים למעלה: לאחר מכן אפשר לשחק בסוגי החיתוכים למשל רוצים חיתוך יומי ולא מצטבר: לאחר מכן נגיע למסך לחיתוך לפי סוג או לפי ה meter name, יש אפשרויות רבות אבל זה הדוח שאני הכי אוהב מראה ברמת ריסורס כמה אני חייב ומה העלות המדוייקת בקיצור עכשיו אפשר להבין יותר טוב על מה משלמים ולמחוק או לעצור דברים שלא בשימוש. יש גם אפשרות להגדיר תקציב והתרעות. זו ניראות חשובה !  

שלום רב פוסט זה אני כותב לאחר מספר פעמים שהתופעה הזו התרחשה, מדובר על עליית מחרים בשירותים של azure. אני רוצה להתמקד בשני נושאים: New Alert system Azure SQL DB PRS tiers הנקודה הראשונה: כחלק מהשירותים שניתנו למשתמשי השירותים המנוהלים - קיבלנו מערכת התרעות סבירה ונוחה, ניתן היה להגדיר התרעות כאשר ה DB עובד קשה מידי DTU גבוה או הגענו ל 90% מהסטורג' וכדומה. לא מזמן קפצה הודעה שההתרעות הללו ייפסקו ב 30 ביוני ראו תמונה: ואז הולכים להגדיר התרעה חדשה: מסך יותר משוכלל שנותן התרעות לפי שלבים ומצבים, פה הגדרתי אם DTU מעל 85% לזמן מסויים: ואז מגדירים את ההתרעה - וראה זה פלא יש עלות!!! סנט להתרעה: כאשר ממש לא ברור אם זה פר התרעה או פר הגדרה, נכון סכום נמוך - אבל במאות שירותים ובמאות ריסורסים זה מגיע למאות דולרים ובמצטבר עוד שורה שמנה בחשבונית. הנקודה השנייה: היה שירות ב DB שנקרא PRS שהוא נתן יכולות של Premium tier עם SLA יותר נמוך. לא שמנו עליו production אבל הוא היה מעולה לבדוק , Load test בעלות הגונה. והנה גם את זה מורידים בסוף יוני - אותה הודעה מלמ...

Hi All In the last few month Brent Ozar gae us 2 masterpiece blogs related to Azure SQL DB:   How fast can a $21,468/mo Azure SQL DB load data?     In this blog Brent compared the abilities of Azure SQL DBs to load Data - he compared all combinations of vCors tiers. (When I asked him about comparing the Standard\Premium tiers, he told me to do it.... :-) )   There’s a bottleneck in Azure SQL DB storage throughput.   In this blog Brent showed us that in the vCors world the storage throughput has limit and there is not need to pay so much money when you need to upload lots of data.   So I took have taken up his challenge and done a comparison in Azure SQL DB in Standard\Premium tiers. I have created a new DB with 1 Table. I have generated 7 GB of DATA, and created the file in my local on premise drive (Yes, do not kill me, I did not had the time to put it on azure), and uploaded it via BCP command.   bcp "TableNam...