פרוייקט s i x t h s e n s e של ה-MIT Media Lab הוא פרוייקט מרתק בתחום של מציאות מועשרת (Augmented Reality). למי שלא מכיר, התחום עוסק בהוספת מידע ממוחשב למציאות שאנחנו רואים וחווים, בזמן אמיתי. קצת כמו מה שרואה שוורצנגר בסרט Terminator 2 (הקטע הרלוונטי מתחיל כדקה מתחילת הסרט שבלינק).

sixthsense - המכשיר

sixthsense – המכשיר

כמובן שאין עדיין שתלים למוח שמאפשרים לראות את זה כחלק מהמציאות כמו ששוורצנגר חווה את זה בסרט, אבל גם מה שכבר קיים הוא די מרשים.

הרעיון פשוט: כשאנחנו נמצאים בסביבה היומיומית שלנו, עולות לנו הרבה שאלות שיש להן תשובות ברשת. למשל, אם אני בחנות ספרים, כמה עולה הספר שאני רואה ברשת? איזה ביקורות הוא קיבל, וממי? אם אני במונית בדרך לשדה התעופה, האם יש עיכוב בטיסה? נכון, יש מכשירים ניידים עם גישה לאינטרנט, אבל נדרשות הרבה פעולות כדי להגיע למידע. בעזרת מוצרים של "מציאות מועשרת" כמו sixthsense, אנחנו רואים את המידע כחלק מהמציאות.

sixthsense הוא מכשיר פשוט יחסית, שמורכב ממצלמה, מקרן, וסימונים צבעוניים לידיין. הסימונים מאפשרים למצלמה לזהות את המחוות (gestures) שעושים עם האצבעות, כדי להפעיל את הממשק. המכשיר מזהה מול איזה חפץ המשתמש עומד, למשל ספר, ומקרין על גבי החפץ מידע רלוונטי, למשל את הדירוג שלו באמזון.

הנה סרט שמדגים את השימוש במכשיר, מתוך TED, פברואר 2009. שווה צפיה! יש עוד סרטים בדף של הפרוייקט.

כמו שאתם יכולים לראות בסרט, השימושים במכשיר כזה, יכולים להיות רבים מאוד. הוא גם מציב אתגרים לא פשוטים, ובשפע.

ברמה האלגוריתמית והחישובית, למשל: איך המכשיר יזהה את ההֶקְשר שבו אני נמצא? האם מה שאני מראה לו עכשיו זה ספר, כרטיס טיסה או חבר? איך הוא יזהה את הפנים של החבר, וידע להציג את הפרטים שלו מהרשת? איפה יש משטחים שאפשר להקרין עליהם?

מבחינת השימוש במרחב כשטח תצוגה: כנראה שלא כל אדם שאפגוש יסכים שאקרין עליו פרטים מהפייסבוק שלו, למשל. אני גם לא ארצה שכל אחד יראה את מה שאני מקרין, בוודאי אם זה מידע פרטי.

מבחינת ממשק המשתמש, האתגר נראה מרתק. כל משטח הופך, למעשה, לממשק משתמש. בין אם זאת היד שלי, ספר שאני מחזיק, קיר או החולצה של חבר. המכשיר צריך לזהות פעולות, בין אם הן לחיצות פשוטות, או מחוות מורכבות.

לכל פעולה שעושים עם החלק הפיזי של ממשק, חייב להיות משוב כדי שנרגיש שעשינו משהו. במקלדת למשל, אנחנו מרגישים את הקליק של הקליד. בעכבר אנחנו מרגישים את ההתנגדות של השולחן כשהעכבר זז עליו, את הקליק של הכפתורים וכו'. ב-sixthsense, כמו במסכי מגע רגילים או מגע מרובה (multi-touch), מאחר וכל משטח יכול להיות הממשק הפיזי, אין שום דרך שהוא ייתן לנו משוב פיזי. משוב קולי יכול להיות פתרון, אבל הוא בעייתי במקום ציבורי, אלא אם משתמשים באוזניה. הוא יצטרך, כנראה, לתת משוב חזותי, או רטט כלשהו מהמכשיר עצמו.

היד כמכשיר טלפון

היד כמכשיר טלפון

המשטחים עליהם התצוגה מוקרנת עשויים להיות מגוונים, בצבע ובניגודיות (קונטרסט) שלהם, הממשק יצטרך להיות כזה שיעבוד בכל מצב, או לזהות את המשטח שהוא יכול לעבוד עליו, ולהתאים את עצמו אליו. למשל, אם יש שטח פנוי על הדף, להקרין את המידע והממשק עליו, ולסדר אותו כך שיהיה קריא, וגם שמיש. דוגמא יפה שעשו ב-sixthsense לשימוש ביד כמשטח הקרנה, הוא לחיוג טלפון – כמו בתמונה משמאל.

המחוות, כאן כמו בכל מכשיר שמשתמש במחוות, דורשות למידה, ויהיו, נראה, ייחודיות לכל מכשיר כזה. איך עושים מחוות כאלה שיהיו אינטואיטיביות? בסרטון ההדגמה של sixthsense יש דוגמא יפה לזה, במחווה לצילום תמונה: פשוט מסמנים באוויר מסגרת בעזרת ארבע אצבעות, והמכשיר מצלם. אולי התשובה היא בסטנדרט למחוות, שיהיה אחיד בכל המכשירים, כדי שלא נצטרך ללמוד את "שפת הסימנים" של כל מכשיר כזה שנרצה להשתמש בו? כנראה שעם יצרנים רבים, זה לא יקרה, לפחות לא בהתחלה. ייתכן שהתשובה היא ביכולת גבוהה של התאמה אישית, שהמשתמש יוכל ללמד את המכשיר את המחוות שהוא רוצה להשתמש בהן.

אתגר נוסף של המכשיר הוא נגישות (accessibility): איך אנשים עם בעיות מוטוריות ונכויות אחרות יוכלו להפעיל ממשק שמבוסס על מחוות מדוייקות עם הידיים? איך כבדי ראיה יוכלו לראות מידע שמוקרן על משטח מואר, כזה שגם לאנשים ללא בעיות ראיה לא נראה כל-כך ברור?

יש הרבה אתגרי תכנון ועיצוב למכשירים כאלה, ונראה שיש להם עוד כברת דרך ארוכה לעשות עד שנוכל לרכוש אותם. אבל האפשרויות שהם יעמידו בפנינו, מלהיבות כבר עכשיו…

map