Workshop on Information Quality

‫איכות‬‫המידע‬:‫מה‬‫הפקת‬‫מהנתונים‬‫שלך‬?
Information Quality (InfoQ):
What have you learned from your data?
Galit Shmueli ‫גלית‬‫שמואלי‬
‫כנס‬‫האיכות‬‫העשירי‬‫בצפון‬
24/5/2018
Ron Kenett ‫רון‬‫קנת‬

2
‫התכנית‬‫להיום‬
‫חלק‬‫א‬:‫מהי‬‫איכות‬‫המידע‬?
‫חלק‬‫ב‬:‫התנסות‬‫קצרה‬‫בניתוח‬‫המידע‬(‫קבוצות‬)
‫חלק‬‫ג‬:‫דיון‬‫משותף‬‫וסיכום‬

‫מקרה‬1:‫מה‬‫הערך‬‫של‬‫מסד‬‫נתונים‬?
‫נתוני‬‫אחריות‬‫למחשבים‬‫נישאים‬(Doganaksy et al. 2006):
.1‫למוצר‬‫אחריות‬‫של‬‫שנה‬.‫הנתונים‬‫מכילים‬‫מידע‬‫על‬‫כל‬‫בעיה‬‫בכל‬‫מחשב‬‫בשנתו‬
‫הראשונה‬.
.2‫כמחצית‬‫ממיליון‬‫הקונים‬‫שילמו‬‫עבור‬‫אחריות‬‫מורחבת‬‫ל‬-3‫שנים‬.‫עבור‬‫מחשבים‬
‫אלה‬‫הנתונים‬‫מכילים‬‫מידע‬‫על‬‫כל‬‫בעיה‬‫ב‬-3‫השנים‬.
←‫כמה‬‫תשלמו‬‫עבור‬‫כל‬‫אחד‬‫מאלה‬?
←‫האם‬‫כדאי‬‫לקנות‬‫את‬‫שניהם‬?
←‫האם‬‫לקנות‬‫נתונים‬‫משנה‬‫מסוימת‬?‫שנים‬‫שונות‬?
←‫האם‬‫עדיף‬‫לקנות‬‫מדגם‬?
←‫או‬‫אולי‬‫נתונים‬‫מבדיקות‬‫המעבדה‬?
3
‫תקלות‬
‫במחשבים‬

“statisticians working in a research
environment… may well have to
explain that the data are inadequate
to answer a particular question.”
Pre-data, post-data, post-analysis
‫מה‬‫הפוטנציאל‬‫של‬‫נתונים‬‫לייצר‬‫ידע‬/‫תובנה‬?
4

‫מקרה‬2:‫מה‬‫הערך‬‫של‬‫טכנולוגית‬/‫שיטת‬
‫איסוף‬‫נתונים‬‫חדשה‬?
5
Despite its safety, cost
advantages, and obvious appeal
from the patient perspective,
the PillCam COLON was
approved “for use only in
patients who had an incomplete
optical colonoscopy.”
In a trial of 700 subjects who
underwent both capsule
endoscopy and an optical
colonoscopy, the capsule failed
to identify polyps about 1/3 of
the time.
[Cannot be used to treat
pathology that may be
discovered]
‫נתונים‬
‫רפואיים‬

‫מקרה‬3:‫מה‬‫הערך‬‫של‬‫פרויקט‬/‫מחקר‬‫יישומי‬
‫מסוים‬?
6
‫שיפור‬‫אמינות‬
‫מערכת‬

‫מטרת‬‫הניתוח‬
Analysis goal
g X
Available data
‫נתונים‬
f
Analysis method
‫שיטת‬‫הניתוח‬
‫תועלת‬
Utility measure
U
7

‫המטרה‬‫העסקית‬ /‫מדעית‬
What, why, when, where, how
‫מטרת‬‫הניתוח‬ ←
Explain, predict, describe
Enumerative, analytic
Exploratory, confirmatory
‫איכות‬‫הגדרת‬‫המטרה‬
"‫טעות‬‫מסוג‬‫שלישי‬":‫מענה‬‫על‬‫השאלה‬‫הלא‬‫נכונה‬(Kimball)
"‫עדיפה‬‫תשובה‬‫מקורבת‬‫לשאלה‬‫הנכונה‬‫על‬‫פני‬‫תשובה‬‫מדוייקת‬‫לשאלה‬
‫הלא‬‫נכונה‬" (Tukey) 8
‫מטרת‬‫הניתוח‬
Analysis goal
g
Quality:
● Product improvement
● Reduce production cost
● Develop new product
● Meet given quality standards

‫איכות‬‫הנתונים‬-- U(X|g) Data Quality
•"‫בעיה‬‫מסדר‬‫אפס‬:‫הקשר‬‫בין‬‫הנתונים‬‫למטרה‬,‫ואילו‬‫נתונים‬‫אחרים‬
‫רלוונטיים‬?" (Mallows)
•‫במערכות‬‫מידע‬‫ובסיסי‬‫נתונים‬:‫שימושיות‬‫השאילתה‬‫עבור‬‫המשתמש‬
•"‫איכות‬‫נתונים‬‫סטטיסטיים‬" (‫למ‬"‫ס‬, IMF, OECD):‫שימושיות‬‫מדדי‬‫הסיכום‬
(summary statistics)‫למטרות‬‫שונות‬
‫מקור‬‫הנתונים‬
•‫מקור‬‫ראשוני‬/‫משני‬
•‫מקור‬‫יחיד‬/‫מספר‬‫מקורות‬
•‫נתונים‬‫ניסויים‬/‫תצפיתיים‬
•‫מכשיר‬‫ופרוטוקול‬‫המדידה‬/‫איסוף‬
‫סוג‬‫הנתונים‬
•‫משתנים‬‫רציפים‬/‫בדידים‬/‫שילוב‬
•‫משתנים‬‫מובנים‬/‫לא‬‫מובנים‬/‫סמי‬-‫מובנים‬(un/semi/structured)
•‫סדרות‬‫עתיות‬/‫נתוני‬‫חתך‬/‫פאנל‬/‫רשת‬/‫גיאוגרפי‬/‫טקסט‬
‫גודל‬‫הנתונים‬
•#‫תצפיות‬
•#‫מדידות‬
9
X
Available data
‫נתונים‬

‫איכות‬‫ניתוח‬‫הנתונים‬Analysis Quality
"‫מודלים‬‫ירודים‬‫ושיטות‬‫ניתוח‬‫ירודות‬,‫ואף‬‫ניתוח‬‫שגוי‬‫לגמרי‬" (Godfrey)
•‫מומחיות‬‫מנתח‬/‫ת‬‫הנתונים‬
•‫נגישות‬‫תוכנה‬‫לניתוח‬‫נתונים‬
‫זה‬‫הפוקוס‬‫של‬‫התכניות‬‫לסטטיסטיקה‬!
‫שיטות‬‫ומודלים‬
‫מודלים‬‫פרמטריים‬/‫אי‬-‫פרמטריים‬
/‫סמי‬-‫פרמטיים‬
‫שיטות‬‫קלאסיות‬/‫בייזיאניות‬
‫אלגוריתמים‬‫של‬‫כריית‬‫נתונים‬
‫מודלים‬‫אקונומטריים‬
‫מודלים‬‫גראפיים‬
‫חקר‬‫ביצועים‬
10
f
Analysis method
‫שיטת‬‫הניתוח‬
Quality:
● Response Surface Methodology
● ANOVA (e.g. of factorial design)
● Control charts
● Risk/survival analysis
● Acceptance sampling

‫איכות‬‫מדד‬‫התועלת‬Quality of Utility Measure
•‫המדד‬‫רלוונטי‬‫מבחינת‬‫ניתוח‬‫הנתונים‬(2R, holdout data)
•‫המדד‬‫רלוונטי‬‫מבחינת‬‫הבעיה‬‫העסקית‬/‫הנדסית‬
‫מטרה‬‫עסקית‬/‫הנדסית‬/‫מדעית‬
←‫מטרת‬‫ניתוח‬‫הנתונים‬
‫מדדי‬‫התועלת‬‫העסקית‬/‫הנדסית‬/‫מדעית‬
←‫מדדי‬‫תועלת‬‫ניתוח‬‫הנתונים‬
•‫איכות‬‫הניבוי‬Predictive accuracy, lift
•‫טיב‬‫התאמה‬Goodness-of-fit
•‫מובהקות‬‫סטטיסטית‬,‫עוצמה‬‫סטטיסטית‬
•‫חוזק‬‫הקשר‬Strength-of-fit
•‫תוחלת‬‫הרווח‬Expected costs, gains
•‫הטיה‬‫ושונות‬‫של‬‫אמדים‬‫או‬‫של‬‫טעות‬‫חיזוי‬
11
‫מדד‬‫תועלת‬
Utility measure
U

12
www.qualitydigest.com/feb00/html/measure.html

‫תלוי‬‫ה‬‫באיכות‬‫המרכיבים‬g, X, f, U
‫ובקשרים‬‫ביניהם‬
‫איכות‬‫המידע‬=‫הפוטנציאל‬‫הגלום‬‫בניתוח‬‫נתונים‬‫מסוימים‬
‫להשגת‬‫מטרת‬‫המחקר‬/‫הפרויקט‬(‫הפקת‬‫התועלת‬‫הרצויה‬)
The potential of a particular dataset to achieve a particular goal
using a given data analysis method
13
InfoQ(f,X,g,U) = U( f(X|g) )

‫שיטות‬‫סטטיסטיות‬‫להגדלת‬‫איכות‬‫המידע‬
Study Design (Pre-Data)
• DOE
• Clinical trials
• Survey sampling
• Computer experiments
Post-Data-Collection
• Data cleaning and
preprocessing
• Re-weighting, bias
adjustment
• Meta analysis
Randomization, Stratification,
Blinding, Placebo, Blocking,
Replication, Sampling frame,
Link data collection protocol
with appropriate design
Recovering “real data” vs.
“cleaning for the goal”
Handling missing values,
outlier detection, re-
weighting, combining results 14

‫כיצד‬‫לאמוד‬‫ולמדוד‬‫את‬‫איכות‬‫המידע‬?
“Quality of Statistical Data”
(Eurostat, OECD, NCSES,…)
• Relevance
• Accuracy
• Timeliness and punctuality
• Accessibility
• Interpretability
• Coherence
• Credibility
3 V’s of Big Data
• Volume
• Variety
• Velocity
Marketing Research
• Recency
• Accuracy
• Availability
• Relevance
15

‫כיצד‬‫לאמוד‬‫ולמדוד‬‫את‬‫איכות‬‫המידע‬?
8‫מימדי‬‫איכות‬‫המידע‬InfoQ dimensions
.1‫רזולוציית‬‫הנתונים‬–‫רמת‬‫הפירוט‬‫של‬‫הנתונים‬
.2‫מבנה‬‫הנתונים‬–‫סוגי‬‫הנתונים‬‫והקשרים‬‫ביניהם‬
.3‫שילוב‬‫נתונים‬–‫אינטגרציה‬‫ממקורות‬‫שונים‬
.4‫עדכניות‬-‫משכי‬‫זמן‬‫איסוף‬‫הנתונים‬,‫ניתוחם‬,‫יישום‬,‫וביניהם‬
.5‫תאימות‬‫בין‬‫נגישות‬‫הנתונים‬‫והמטרה‬
.6‫יכולת‬‫הכללה‬‫לאוכלוסיה‬‫ו‬/‫או‬‫לקונטקסטים‬‫אחרים‬
.7‫אופרציונליות‬– (1)‫מיפוי‬‫מושגים‬‫למדדים‬(2)‫יישום‬‫בפועל‬
.8‫תקשורת‬–‫העברת‬‫המידע‬‫למשתמשים‬‫הרלוונטיים‬
16

#1 Data Resolution ‫רזולוציית‬‫הנתונים‬
‫סולם‬‫המדידה‬‫ומידת‬‫האגרגציה‬
17
‫בתרשימי‬‫בקרה‬:
“Process operators might review data hourly or daily;
area managers, weekly; site managers, monthly; and
business managers, quarterly. The level of temporal
aggregation would likely increase as one moves up
the management hierarchy”
Zwetsloot & Woodall, 2018

#1 Data Resolution ‫רזולוציית‬‫הנתונים‬
‫סולם‬‫המדידה‬‫ומידת‬‫האגרגציה‬
18
● Component, sub-system, entire system
● Daily, monthly, yearly failure rate
‫דוגמא‬:
‫נתוני‬‫אחריות‬‫למחשבים‬
‫נישאים‬

#2 Data Structure ‫מבנה‬‫הנתונים‬
Data Types
• Time series, cross-sectional, panel
• Geographic, spatial, network
• Text, audio, video, semantic
• Structured, semi-, non-structured
• Discrete, continuous
Data Characteristics
Corrupted and missing values due to
study design or data collection
mechanism
19

#3 Data Integration ‫שילוב‬‫נתונים‬
Utility of Linkage
Dangers: Privacy
Increase or decrease InfoQ?

#3 Data Integration ‫שילוב‬‫נתונים‬
21

#4 Temporal Relevance ‫עדכניות‬
Analysis Timeliness
(solving the right
problem too late)
Data
Collection
Data
Analysis
Study
Deployment
t1 t2 t3 t4 t5 t6
Collection Timeliness
(relevance to g)
g: Prospective vs. retrospective; longitudinal vs. snapshot
Nature of X, complexity of f
forecast
22

#5 Chronology of Data & Goal
‫תאימות‬‫בין‬‫נגישות‬‫הנתונים‬‫והמטרה‬
g1:‫זיהוי‬‫בעיות‬‫אמינות‬
‫החזרות‬‫לתיקון‬ (recall): g2
Retrospective/prospective
Ex-post availability
Endogeneity
23

#6 Generalizability ‫יכולת‬‫הכללה‬
‫הכללה‬‫סטטיסטית‬ ‫הכללה‬‫מדעית‬
Definition of g
Choice of X, f, U 24
Those who purchased the
extended warranty are not
a random sample of all
purchasers. They would be
expected to be heavy users
of the product and more
likely to experience
failures. Thus, the results
on these units may be
somewhat pessimistic.
‫התוצאות‬‫רלוונטיות‬‫גם‬‫ל‬-
●‫רכיבים‬‫אחרים‬?
●‫דגמים‬‫אחרים‬?
●‫משתמשים‬‫במדינות‬
‫אחרות‬?

#7a Construct Operationalization
‫:אופרציונליות‬ ‫מיפוי‬‫מושגים‬‫למדדים‬
25
‫איכות‬
‫עמידה‬‫בתקן‬
‫מילוי‬‫צפיות‬‫הלקוח‬
ppm, Cp
‫תפיסת‬‫השוק‬

#7b Action Operationalization
‫אופרציונליות‬:‫יישום‬‫בפועל‬
Derive concrete actions
from the information
provided by a study

#8 Communication ‫תקשורת‬
Visual, written, verbal presentations & reports
Knowledge must reach the right person at the right time
• Mentoring
• Manuscript reviewing
• Data made available to others
• EDA and shared visualization
dashboards
• Seminars + conferences!
27

28
“In the last three years, there has
been a concerted effort by those in
Washington to reduce government
spending and reign in the national
debt.
One reason for the budget cuts?
Research by two Harvard
economists, Ken Rogoff and Carmen
Reinhart. The pair found that when a
country owes more than 90 percent
of their GDP, it slides into
recession.”
… Fixing this Excel error transforms
high-debt countries from recession
to growth
www.marketplace.org/topics/economy/excel-mistake-heard-round-world

InfoQ: Summary
InfoQ approach streamlines questioning of data value
• “Why should we invest in this data?” – management
• Compare value of potential datasets, analyses, data collection
systems
• Prioritize/rank projects
• Strengthen functional – analytical relationship
• Useful for developing an analysis plan (prospective) and
evaluating an empirical study (retrospective)
29

30
‫התכנית‬‫להיום‬
‫חלק‬‫א‬:‫מהי‬‫איכות‬‫המידע‬?
‫חלק‬‫ב‬:‫התנסות‬‫קצרה‬‫בניתוח‬‫המידע‬,‫ב‬‫קבוצות‬
‫חלק‬‫ג‬:‫דיון‬‫משותף‬‫וסיכום‬

31
Case studies: Enhancing customer
experience from online services
Netflix - Content Quality
Netflix - Streaming Quality

Case Study: ‫מזון‬ ‫איכות‬
32
https://www.ynet.co.il/Ext/Comp/ArticleLayout/Cd
aArticlePrintPreview/0,2506,L-4886006,00.html
https://www.ynet.co.il/Ext/Comp/ArticleLayout/Cd
aArticlePrintPreview/0,2506,L-4837844,00.html

Case Study:
‫זיהומים‬‫בבתי‬‫חולים‬
33
https://www.ynet.co.il/Ext/Comp/ArticleLayout/CdaArticl
ePrintPreview/0,2506,L-5078127,00.html

Workshop on Information Quality

Recommended

Recommended

More Related Content

Similar to Workshop on Information Quality

Similar to Workshop on Information Quality (20)

More from Galit Shmueli

More from Galit Shmueli (20)

Workshop on Information Quality