TDCF و فایلهای BUFR

كدفرمهاي مبتني بر جدول يا (TDCF (Table Driven Code Form، يكي از فرمهاي انتقال داده هستند كه امروزه بعنوان جايگزيني براي كدهاي سنتي متني يا TAC (Traditional Alphanumeric Code)، براي انتقال داده ها، در علوم هواشناسي، اقيانوس شناسي وساير علوم مرتبط ديگر بكار مي روند.
مزيتهاي TDCF نسبت به كدهاي سنتي متني و نيازمندي هاي جديدي كه كدهاي سنتي متني ديگر نمي توانند پاسخگوي آنها باشند، سازمانهاي هواشناسي جهان و در راس آنها سازمان هواشناسي جهاني WMO را به سمت استفاده از TDCF سوق داده است. بر همين اساس WMO يك برنامه مدون و جامع براي انتقال تمام سازمانهاي هواشناسي ملي كشورهاي جهان ارائه و ابلاغ نموده است كه تمام كشورها، براي دريافت و ارسال داده هاي هواشناسي، ملزم به پياده سازي اين طرح انتقال مي باشند.
يكي از انواع كدفرمهاي مبتني بر جدول كدفرم BUFR يا Binary Universal Form for the Representation of meteorological data مي باشد. اين فرم يك كدفرم دودويي مبتني بر جدول است كه با قابليتهاي مختص بخود امكان تبادل حجم بالايي از داده را فراهم مي كند. همچنين، BUFR امكان خودكارسازي جمع آوري داده هاي ديده باني و ارسال آن به مركز و امكان ذخيره سازي به شيوه اي مناسب را در كنار قابليت پردازش مستقيم توسط ماشين را هم ارائه نموده است.
مقاله زیر نگاهی اجمالی به این کدفرم، ویژگی ها و کاربردهای آن دارد. شرکت ارتباط دهندگان رایانه بعنوان تنها شرکت ایرانی فعال در این مبحث، در کنار این مقاله، اقدام به تهیه و ارائه یک نرم افزار آشکار ساز آزمایشی در سایت خود نموده است تا بعنوان ابزاری سودمند برای مقاصد توسعه ای و آموزشی مورد استفاده قرار گیرد.

آشنايي با كد فرم هاي مبتني بر جدول TDCF
در دهه گذشته، اطلاعات هواشناسي در چند قالب معين و در يك فرم متني ارسال مي شدند. بعلت سرعت پايين خطوط انتقال مخابراتي، داده ها بصورت كدهاي مخفف ارسال مي شدند. بعلت متني بودن پيام، داده ها اغلب توسط كاربر انساني خوانده و تفسير مي شدند. بر همين اساس تعداد محدود و مشخصي قالب داده براي انتقال اطلاعات ساخته شده بود و مورد استفاده قرار مي گرفت.
با پيشرفت فناوري و گسترش علوم، و بدنبال آن گسترش نيازهاي اطلاعاتي و افزايش حجم داده هاي مورد نياز براي انتقال، تعداد محدود قالبهاي موجود پاسخگوي نيازهاي جديد نبود. رشد فرم متني بدلايلي سخت و غير محتمل بود و نياز به يك فرم جديد كه انعطاف پذيري و قابليت گسترش بيشتر را داشته باشد احساس مي شد.

چالشهايي كه فرم سنتي متني با آنها روبرو بود بطور خلاصه در چند دسته زير دسته بندي مي شدند:

o نيازمندي ها بسرعت گسترش مي يافتند و تغييرات زيادي را طلب مي كردند اما قالبها ثابت بودند.

o براي هر تغيير نياز به تغيير در سامانه پردازش پيام ها بود كه اين امر تغييرات را پرهزينه و زمانبر كرده بود. از طرفي هم خطاهاي احتمالي ايجاد شده در هر تغيير مشكلاتي ايجاد مي كرد.

o تاييد و اعلام هر تغيير توسط CBS و پياده سازي آن توسط كشورهاي عضو به 2 تا 4 سال زمان نياز داشت كه اين مطلب با رشد سريع دانش و فناوري مغايرت داشت.
درواقع رشد علم و فناوري نيازهاي بيشتري را تعريف مي كرد كه عملا فرم سنتي متني قادر به پاسخگويي به آنها نبود.

رشد نيازها به چند دليل مشخص قابل دسته بندي بود كه عبارت بودند از:

o با پيشرفت دانش، نيازهاي اطلاعاتي نرم افزارها افزايش پيدا كرده بود. NWP و مطالعات آب و هواي جهاني از اين جمله بودند.

o حجم داده ها با پيشرفت فناوري افزايش پيدا كرده بود و ديده باني ها و مشاهده گرها نيز پيچيده تر شده بودند. بطور مثال ماهواره ها، رادارها و غيره كه اطلاعات با حجم بالايي را انتقال مي دادند.

o بر دقت اندازه گيري ها افزوده شده بود و باطبع حجم داده ها نيز افزايش بيشتري پيدا كرده بود.

o لزوم مشاهدات دقيقتر و بيشتر، بطور مثال براي Radiosonding، در زمان (تعداد بيشتر) و فضا (دقت عمودي) و لزوم وجود همه مشاهدات Radiosonde براي مدلهاي غير هيدرو استاتيكي با دقت بالا

o پيدايش انواع جديد داده هاي مشاهده شده و انتقالي، مانند ازن، راديولوژي، سطح آب و دريا و غيره

o افزايش درخواستها براي تغييرات در انواع داده هاي جديد

همين نيازمندي هاي رو به افزايش، نياز به ايجاد يك كدفرم انعطاف پذير و قابل گسترش را، بيش از پيش، افزايش داد. بر همين اساس كدفرمهاي مبتني بر جدول (TDCF) بوجود آمدند. در اين كدفرمها عناصر در قالب كدهايي از پيش تعريف شده در جداول آمده اند. با افزايش يا تغيير هر عنصر نيز تنها كافيست آن عنصر را به جداول افزود و يا مشخصات آن را تغيير داد. براي همين هيچ نيازي به تغيير نرم افزار و سامانه هاي رمزكننده يا آشكارساز نيست و اين تنها جداول هستند كه تغيير مي كنند.

كدفرمهاي مبتني بر جدول، با توجه به ساختارشان، پاسخگوي 5 نياز اساسي هستند:

1- گسترش پذيري: تعريف پارامترها و انواع داده جديد در TDCF براحتي صورت مي گيرد. تغييرات تنها متوجه جداول خواهند بود و تغييري در نرم افزارها نياز نيست.

2- خود تعريفي: هر پيام قابليت تعريف محتواي خود را داراست. اين امر بكمك جداولي است كه عناصر و داده ها در آنها بصورت كد بندي تعريف مي شوند.

3- انعطاف پذيري: در هر پيام مي توان مشخصات هر عنصر را موقتا تغيير داد. امكان استفاده از جداول تعريف شده محلي، براي كاربردهاي اختصاصي، وجود دارد.

4- انطباق با گذشته: از آنجا كه تغييرات تنها در جداول انجام مي شوند و نرم افزارهاي رمزكننده و آشكارساز دستخوش تغيير نمي شوند، تنها با داشتن نسخه اي از جدولي كه داده با آن رمز شده است مي توان داده را آشكار ساخت.

5- فشرده سازي: پيام هايي كه بر اساس فرمهاي دودويي TDCF رمز مي شوند بصورت فشرده تري ارسال مي شوند. درواقع هر داده دقيقا فضايي به اندازه مورد نياز خود را، كه بر حسب كوچكترين واحد حافظه (بيت) مي باشد، اشغال مي نمايد. علاوه بر اين بعضي از پيامها، با ساختار مشخص، قابل فشرده سازي بيشتر هم مي باشند.

در حال حاضر سه فرم از TDCF بيشترين استفاده را دارند. اين سه فرم عبارتند:

BUFR: همانطور كه قبلا بدان اشاره شد، يك فرم دودويي از كدفرمهاي مبتني بر جدول است. يعني داده ها به مجموعه اي از بيتها تبديل مي شوند و اين مجموعه بيتها در قالبهاي 8تايي (بايت) در يك پيام قرار مي گيرند و ارسال مي شوند. با توجه به قالب دودويي آن قابليت فشردگي و انتقال حجم زيادي از داده را دارد. در حال حاضر دو ويرايش سوم و چهارم از اين فرم عملياتي هستند. از جمله كاربردهاي BUFR، انتقال اطلاعات مشاهدات و توليدات ماهواره اي است.

CRTEX: اين فرم تا حد زيادي به فرم BUFR شباهت دارد با اين تفاوت كه يك فرم متني است. درواقع داده ها را مجموعه اي از كدهاي حرفي تشكيل مي دهند. بر همين اساس CRTEX قابليت فشرده سازي ندارد اما مزيت اين فرم قابليت قرائت آن توسط انسان است. در حال حاضر دو ويرايش يكم و دوم از اين فرم عملياتي هستند. در حالت كلي CRTEX را مي توان نسخه قابل خواندن BUFR براي كاربر انساني دانست. فرم CRTEX براي انتقال حجم بالاي داده مناسب نيست اما براي مواردي كه نياز به نسخه قابل قرائتي از پيام است از آن استفاده مي شود.

GRIB: اين فرم كه مخفف General Regularly-distributed Information in Binary form است، همانطور كه از نام آن پيداست يك فرم دودويي از كدفرمهاي مبتني بر جدول است كه داده هاي پردازشي را در يك فرم شبكه اي مقادير، بصورت دودويي فرم مي دهد. اين فرم نيز قابليت فشردگي دارد و براي انتقال حجم بالاي داده هاي شبكه اي، بين دو سامانه رايانه اي، بكار مي رود. در حال حاضر ويرايش دوم از اين كدفرم مورد استفاده است. از موارد استفاده GRIB انتقال مدل هاي پيش بيني، آناليزها، توليدات و عكس هاي ماهواره اي است.
تمام كدفرمهاي مبتني بر جدول فوق، داراي يك ساختار كلي يكسان هستند. تمام اين فرمها مبتني بر جداولي براي تعريف عناصر و كدهاي معادل آنها هستند. يك پيام در اين فرمها به چندين بخش تقسيم مي شود كه حداقل 6 بخش بطور مشترك در تمام فرمها وجود دارند. اين بخشها عبارتند از:

1- بخش معرف كه شامل 4 بايت براي نگهداري كلمه مشخصه پيام است. تمام پيامها با اين 4 حرف مشخصه آغاز مي شوند كه نشانگر نوع پيام است (BUFR، GRIB و يا CRTEX). طول كل پيام و ويرايش كدفرم پيام هم از ديگر مشخصاتي هستند كه در همين بخش آورده مي شوند.

2- بخش مشخصات پيام كه شامل مشخصاتي از پيام است و براي دسترسي سريع، بدون نياز آشكارسازي پيام، است. اطلاعات اين بخش براي دسته بندي پيام و مديريت ذخيره سازي و بازيابي پيام ها، براي بانكهاي اطلاعاتي كاربرد زيادي دارد. اين بخش در فرمهاي دودويي، بخاطر پرهيز از آشكارسازي كل پيام، كاربردي تر است. از جمله اطلاعات اين بخش شماره نسخه جداول مورد استفاده، تاريخ و ساعت توليد پيام و كد مركز توليد كننده پيام است.

3- بخش اختياري پيام كه در صورت لزوم مي تواند وجود داشته باشد و براي مقاصد خاص محلي، نگهداري نسخه دوم پيام، نگهداري نسخه اي از پيام قبلي براي مقايسه، نگهداري اطلاعات كنترل كيفي و ساير موارد بكار رود.

4- بخش تعريف داده كه شامل كدهايي براي تعريف عناصر داده اي موجود در پيام است. كدهاي اين بخش از روي جداول مربوط به كدفرم بدست مي آيند.

5- بخش داده كه داده هاي پيام را در بر مي گيرد. اين بخش در فرمهاي دودويي قابليت فشرده شدن دارد.

6- بخش پاياني كه شامل 4 بايت "7777" است تا انتهاي پيام در هنگام آشكارسازي مشخص شود.
در اين سند به بررسي كد فرم دودويي BUFR خواهيم پرداخت. همانطور كه اشاره شد BUFR يك فرم دودويي از TDCF است كه بعلت قابليت فشردگي براي حجم بالاي داده كاربرد دارد. اكثر مباحث قابل تعميم به ديگر كد فرمهاي مبتني بر جدول هستند.

آشنايي با كدفرم BUFR
با توجه به افزايش روزافزون حجم داده هاي هواشناسي در دهه اخير، كارايي فرمهاي انتقال داده اهميت روزافزوني پيدا كردند. از طرفي هم با پيشرفت فناوري و سامانه هاي رايانه اي، خودكارسازي و جايگزيني نرم افزار بجاي نيروي انساني بسرعت رو بگسترش است. در اين بين فرمهاي دودويي انتقال داده، با توجه به امكان فشرده سازي و انتقال حجم بالاي داده و انتقال بهتر بين سامانه هاي رايانه اي، از اهميت فوق العاده اي برخوردار شدند.
در اين فرمها، داده ها و كدهاي توصيفي بصورت رشته اي از بيتها انتقال مي يابند. با توجه به اينكه در اين فرم مبناي تعريف طول داده ها برابر با كوچكترين واحد حافظه يا بيت مي باشد، فضاي پيام بطور بهينه اي مورد استفاده قرار مي گيرد. علاوه بر اين امكان فشرده سازي داده ها نيز در اين فرمها، براي ساختارهاي مشخصي وجود دارد.
كدفرم FM-94 BUFR سازمان هواشناسي جهاني WMO يك فرم باينري مي باشد كه با استفاده از جريان پيوسته اي از بيتها داده هاي هواشناسي را منتقل مي سازد. هرچند BUFR خصوصيت منحصربفردي ندارد كه آنرا مختص به هواشناسي نمايد و مي تواند براي انتقال هر نوع داده كمي يا كيفي بكار رود.
BUFR منتج از مجموعه اي از جلسات رسمي و غير رسمي حرفه اي و دوره هاي آزمايشي- تجربي چند مركز پردازش داده هواشناسي است. هيئت سامانه هاي پايه اي سازمان هواشناسي جهاني CBS-IX در جلسه ژانويه/فوريه سال 1988بتصويب رسيد. يك زير گروه مديريت داده از CBS مسئول اعمال تغييرات و بازبيني BUFR تعيين شد كه اين هيئت جلساتي براي تغييرات در ماه مي سال 1989 و اكتبر 1990 برقرار ساخت. نتيجه اين تغييرات در قالب نسخه دوم BUFR، در اكتبر 1990 در يك جلسه بزرگ، ارائه شد كه اين نسخه از تاريخ 7 نوامبر 1991 عملياتي شد. در حال حاضر 2 نسخه سوم و چهارم بطور عملياتي مورد پشتيباني قرار دارند. نسخه سوم، تا سال 2012، بطور كامل جاي خود را به نسخه چهارم خواهد داد.
اين كدفرم اساسا براي اطلاعات ماهواره اي، كشتي هاي هوايي و ديده باني هاي برش هاي عمودي باد و همچنين سيكلونهاي حاره اي و آرشيو تمام انواع داده هاي ديدباني بكار گرفته شده بود. در حال حاضر نيازهاي جديدي وجود دارد كه فرمهاي متني قادر به پاسخگويي به آنها نيستند و اين نيازها با فرمهاي دودويي مانند BUFR برطرف مي گردند. بطور مثال مي توان به مراكز AWS اشاره كرد كه بكمك BUFR قادر به تعريف چندين متغير هستند كه غير قابل تعريف در فرم متني بودند. از جمله اين متغيرها دماي خاك و رطوبت در سطوح مختلف، داده هاي شيمي جو، داده هاي اقيانوسي جديد، داده هاي اقليم شناسي ويژه و تمام انواع فراداده ها هستند.

قدرت BUFR و ساير فرمهاي باينري مبتني بر جدول بر دو اساس مهم است:

1- خود تعريفي: BUFR بكمك جداول خويش مي تواند انواع مختلفي از داده يا الگوهاي داده اي را پشتيباني نمايد. با توجه به يكنواختي ساختار پيام و ساختار جداول، براي استفاده از هر نوع داده يا الگوي جديد تنها كافيست آن نوع داده يا الگو را به جداول اضافه كرد.

2- فشرده سازي: با توجه به دودويي بودن BUFR، قابليت فشرده سازي براي پيام هايي كه توصيف مشخصي از چند مجموعه داده همراه خود دارند، براحتي قابل پياده سازي است.
اگر به يك پيام BUFR نگاهي بياندازيد، چيزي شبيه شكل زير را مشاهده خواهيد كرد:

همانطور كه مشاهده مي كنيد، يك پيام BUFR، از ديد انساني، چيزي بجز حروفي مبهم نيست. اين مطلب بدليل ساختار دودويي BUFR است. در حقيقت، داده ها در درون ارزشهاي عددي اين حروف، يعني بايتهاي تشكيل دهنده اين پيام جاي گرفته اند. بدليل همين ساختار دودويي نيز، BUFR و ديگر فرمهاي دودويي توانايي بالقوه اي در فشرده سازي و استفاده بهينه از فضاي داده اي دارند. يك نرم افزار آشكارساز پيام BUFR را دريافت و بخشهاي مختلف آن را استخراج مي نمايد و سپس يك مفسر داده ها را تفسير و نتيجه را نمايش مي دهد، كه اين مفسر مي تواند انسان يا نرم افزار ديگري باشد كه بر اساس نوع پيامهاي دريافتي طراحي شده است.