DP_2015_5_EA
Correct misalignment Corrected by mohamed.elchorbagy on 12/14/2017 10:51:17 PM Original version Change languages order
DP/2015/5 1464381E.doc (English)DP/2015/5 1464381A.doc (Arabic)
DP/2015/5DP/2015/5
United Nationsالأمــم المتحـدة
DP/2015/5DP/2015/5
Executive Board of the United Nations Development Programme, the United Nations Population Fund and the United Nations Office for Project Servicesالمجلس التنفيـذي لبرنامــج الأمم المتحدة الإنمائي وصندوق الأمم المتحدة للسكـان ومكتب الأمم المتحدة لخدمات المشاريع
*1464381**1464381*
First regular session 2015الدورة العادية الأولى لعام 2015
26 - 30 January 2015, New York26-30 كانون الثاني/يناير 2015، نيويورك
Item 4 of the provisional agendaالبند 4 من جدول الأعمال المؤقت
Evaluationالتقييم
Review of the UNDP evaluation policyاستعراض سياسة التقييم في برنامج الأمم المتحدة الإنمائي
1.أولا -
Scope of the reviewنطاق الاستعراض
1.١ -
The review assesses the performance of the UNDP evaluation function since 2011, the extent to which the organization has responded to the requirements of the policy, and the status of policy implementation.يقيِّم الاستعراض أداء وظيفة التقييم في برنامج الأمم المتحدة الإنمائي منذ عام 2011 ومدى وفاء المنظمة بالمتطلبات التي تميلها سياسة التقييم وحالة تنفيذ هذه السياسة.
It identifies areas that require policy changes or management decisions to improve the evaluation function.ويحدد المجالات التي تتطلب إدخال تغييرات في السياسة أو اتخاذ قرارات إدارية لتحسين وظيفة التقييم.
As stipulated in the terms of reference and confirmed during its inception mission, the review focuses on three elements of the evaluation policy: the overall UNDP evaluation function;ويركز الاستعراض، وفقا لما هو منصوص عليه في إطاره المرجعي وجرى تأكيده أثناء البعثة الاستهلالية المتعلقة به، على ثلاثة عناصر لسياسة التقييم: وظيفة التقييم في البرنامج الإنمائي بوجه عام؛
independent evaluations;والتقييمات المستقلة؛
and decentralized evaluations.والتقييمات اللامركزية().
Given reported recurring weaknesses in the coverage and quality of decentralized evaluations and the special interest of the Executive Board in this issue, the review pays particular attention to the third element, confirming existence of weaknesses, exploring the reasons for them, and suggesting appropriate courses of action.وبالنظر إلى مواطن الضعف المتكررة المبلغ عنها في تغطية التقييمات اللامركزية ونوعيتها وإلى الاهتمام الخاص الذي يوليه المجلس التنفيذي لهذه المسألة، يولي الاستعراض عناية خاصة للعنصر الثالث ويؤكد وجود مواطن ضعف ويستكشف أسبابها ويقترح مسارات عمل ملائمة.
For the associated funds and programmes, namely UNCDF and UNV, the review assesses how they have implemented evaluation recommendations and compares that with the specifications of the policy and the approaches adopted by the Independent Evaluation Office.وفيما يتعلق بالصناديق والبرامج المرتبطة بالبرنامج الإنمائي، وتحديدا صندوق الأمم المتحدة للمشاريع الإنتاجية وبرنامج متطوعي الأمم المتحدة، يقيم الاستعراض كيفية تنفيذها للتوصيات التي خلص إليها التقييم ويقارن ذلك بالمواصفات المحددة في السياسة والنُهُج التي يتبعها مكتب التقييم المستقل.
2.٢ -
The evaluation policy assigns key functions to different entities in the overall UNDP system.وتعهد سياسة التقييم بمهام رئيسية للكيانات المختلفة في منظومة البرنامج الإنمائي العامة.
The Executive Board is the custodian of the evaluation policy.والمجلس التنفيذي هو القيِّم على سياسة التقييم.
The Independent Evaluation Office is the custodian of several aspects of evaluation, with particular responsibility for the delivery of independent evaluations (notably assessments of development results and programme and thematic evaluations).ومكتب التقييم المستقل هو القيِّم على جوانب عدة للتقييم، وتقع على كاهله بوجه خاص مسؤولية إنجاز التقييمات المستقلة (ولا سيما تقييمات النتائج الإنمائية والتقييمات البرنامجية والمواضيعية).
The Administrator is accountable for UNDP results, including responsibility for ensuring that bureaus and country offices, under the oversight of their senior managers, deliver appropriately independent and impartial decentralized evaluations.ويخضع مدير البرنامج الإنمائي للمساءلة عن نتائج البرنامج، بما في ذلك المسؤولية عن كفالة قيام المكاتب الإقليمية والمكاتب القطرية، تحت إشراف مديريها الكبار، بتقييمات لامركزية محايدة ومستقلة بالشكل المناسب.
The Evaluation Units of the associated funds and programmes are custodians of the evaluation function for their parent bodies.ووحدات التقييم التابعة للصناديق والبرامج المرتبطة بالبرنامج الإنمائي هي القيِّمة على وظيفة التقييم الخاصة بهذه الصناديق والبرامج.
2.ثانيا -
Methodologyالمنهجية
3.٣ -
The review took a ‘theory of change’ approach, using mixed methods and triangulation to ensure data quality.تبنى الاستعراض أسلوب ”نظرية التغيير“ حيث استخدم مزيجا من الطرق واتبع النهج الثلاثي triangulation لضمان جودة البيانات.
Qualitative and quantitative data relevant to the policy and its implementation were generated through several lines of enquiry, including:وتم توليد بيانات كيفية وكمية لها علاقة بالسياسة وتنفيذها، وذلك من خلال عدة مسارات استقصائية، منها:
(a)(أ)
A document review covering a wide range of documents and files;إجراء استعراض للوثائق يغطي طائفة موسعة من الوثائق والملفات؛
(b)(ب)
A meta-evaluation (quality assessment) of a sample of decentralized evaluations and evaluations completed by the Independent Evaluation Office since 2012, to review the quality of UNDP evaluations and of the quality assessment process;إجراء تقييم ماورائي meta-evaluation (تقييم النوعية) لعينة من التقييمات اللامركزية والتقييمات التي أنجزها مكتب التقييم المستقل منذ عام 2012 لاستعراض نوعية تقييمات البرنامج الإنمائي وجودة عملية تقييم النوعية؛
(c)(ج)
Missions to UNDP headquarters, country offices and regional service centres in Africa, Asia and the Pacific, Europe, Latin America and the Caribbean, and the UNV office in Bonn.إيفاد بعثات إلى مقر البرنامج الإنمائي والمكاتب القطرية ومراكز الخدمات الإقليمية في أفريقيا وآسيا ومنطقة المحيط الهادئ وأوروبا وأمريكا اللاتينية ومنطقة البحر الكاريبي ومكتب برنامج متطوعي الأمم المتحدة في بون.
The missions included semi-structured interviews or focus groups with a wide range of relevant stakeholders in UNDP, multilateral organizations, bilateral donors and partner country institutions, all of which produced additional documents for review;وشملت البعثات إجراء مقابلات شبه مقننة أو تنظيم مجموعات مناقشة مع طائفة موسعة من الجهات المعنية في البرنامج الإنمائي والمنظمات المتعددة الأطراف والجهات المانحة الثنائية والمؤسسات القطرية الشريكة، وقد تمخض كلها عن وثائق إضافية مطروحة للاستعراض؛
(d)(د)
Electronic surveys soliciting views from UNDP resident representatives, staff with evaluation responsibilities, and external consultants who have conducted decentralized evaluations for UNDP over the past three years;إجراء دراسات استقصائية إلكترونية لاستقاء آراء ممثلي البرنامج الإنمائي المقيمين والموظفين المعهود إليهم بمسؤوليات تقييمية والخبراء الاستشاريين الخارجيين الذين أجروا تقييمات لامركزية للبرنامج الإنمائي خلال السنوات الثلاث الماضية؛
and (e)(هـ)
Mini case studies of evaluation in UNV and UNCDF based on interviews and document analysis.إجراء دراسات حالات إفرادية صغرى عن التقييم في برنامج متطوعي الأمم المتحدة وصندوق المشاريع الإنتاجية استنادا إلى المقابلات وتحليل الوثائق.
3.ثالثا -
Key findings: the performance of UNDP and associated entities with responsibilities for implementing evaluation policy against the theory of changeالنتائج الرئيسية: أداء البرنامج الإنمائي والكيانات المرتبطة به المعهود إليها بمسؤوليات عن تنفيذ سياسة التقييم في ضوء نظرية التغيير
4.٤ -
The key findings of the review have been analysed within the framework of a theory of change (figure 1).تم تحليل النتائج الرئيسية للاستعراض في إطار نظرية التغيير (الشكل 1).
This shows that the policy provides for two main streams of evaluation output to be delivered by the Independent Evaluation Office (boxes 1-4) and UNDP management (boxes 5-7).وتبين من ذلك أن سياسة التقييم تنص على تنفيذ مسارين رئيسيين لنتائج التقييمات بمعرفة مكتب التقييم المستقل (الإطارات 1-4) وإدارة البرنامج الإنمائي (الإطارات 5-7).
According to the theory, those streams are interlinked (boxes 8 and 9).ووفقا للنظرية، فإن هناك ترابطا وثيقا بين هذين المسارين (الإطاران 8 و 9).
The deliverables from the two streams should merge to produce an effective evaluation culture that would drive improved institutional delivery and performance (boxes 10-14).وينبغي أن تندمج الإنجازات المتحققة من هذين المسارين في بعضها البعض لإحداث ثقافة تقييم فعالة تدفع في اتجاه تحسن الإنجاز والأداء المؤسسي (الإطارات 10-14).
The main driving force in the latter steps of the process would be the active use of verified evaluation lessons on the part of decision-makers to improve how UNDP works.وتتمثل القوة الدافعة الرئيسية في الخطوات الأخيرة من العملية في الاستخدام النشط من قبل صانعي القرارات لدروس التقييم المتحقق منها لتحسين أسلوب عمل البرنامج الإنمائي.
DP/2015/5DP/2015/5
DP/2015/5DP/2015/5
DP/2015/5DP/2015/5
DP/2015/5DP/2015/5
5.٥ -
Table 1, below, provides a detailed rating of progress along the results chain shown in figure 1.يعرض الجدول 1 أدناه تصنيفا مفصلا لما أحرز من تقدم وفقا لتسلسل النتائج المبين في الشكل 1.
It shows that there is minimal movement towards the intended impact of a demonstrably improved UNDP contribution to development effectiveness.ويبين وجود تحرك طفيف نحو الأثر المنشود المتمثل في إحداث تحسن مؤكد في إسهام البرنامج الإنمائي في فعالية التنمية.
This is because the main outcome necessary in order to move towards that impact, namely, “increased transparency and accountability of programmes and activities”, has not been delivered.ويعزى ذلك إلى عدم تحقيق النتيجة الرئيسية اللازمة للتحرك صوب هذا الأثر، وهي ”زيادة شفافية البرامج والأنشطة والمساءلة عنها“.
In fact, given the current challenges to the overall evaluation system, even if UNDP were to enhance its overall development effectiveness, it would lack credible evidence that this was the case.والواقع أنه حتى في حالة قيام البرنامج الإنمائي بتعزيز فعاليته الإنمائية بشكل عام فلن تكون لديه أدلة ذات مصداقية تبرهن ذلك، بالنظر إلى التحديات الحالية التي تكتنف منظومة التقييم العامة.
The present review regards this as a very serious situation, which the Executive Board may wish to address urgently though amendments to the evaluation policy and careful monitoring of the results of such amendments.وهو وضع يعتبره الاستعراض الحالي بالغ الخطورة ولعل المجلس التنفيذي يتصدى له بشكل عاجل عن طريق إدخال تعديلات في سياسة التقييم ورصد نتائج تلك التعديلات بعناية.
Table 1.الجدول 1
Rating of progress along causal pathway of theory of change for evaluation policyتصنيف التقدم المحرز وفقا لمسار العلاقة السببية لنظرية التغيير فيما يتعلق بسياسة التقييم
Element of theory (see figure 1, above)عنصر النظرية (انظر الشكل 1، أعلاه)
Ratingالتصنيف
Summary of analysisموجز التحليل
1.١ -
IEO provides effective guidance on evaluation issues and methods.يوفر مكتب التقييم المستقل إرشادات مفيدة فعليا بشأن قضايا التقييم وطرائقه
++++
Guidance, mainly given through handbooks and web-based training, is widely used but does not meet all needs of staff throughout the organization, and is in need of updating.تُستخدم الإرشادات، التي تتوفر بصورة رئيسية عن طريق الأدلة التوجيهية والتدريب الإلكتروني، على نطاق واسع ولكنها لا تلبي جميع احتياجات الموظفين في كامل أنحاء المنظمة، كما أنها بحاجة إلى تحديث.
2.٢ -
Independent evaluations address relevant issues and provide timely, reliable and credible information.تتناول التقييمات المستقلة المسائل المهمة وتوفر معلومات موثوقة وذات مصداقية في حينها.
++++
Quality of evaluations generally good, but some problems with timely completion.نوعية التقييمات جيدة بصفة عامة، ولكن هناك بعض المشاكل المتعلقة بإنجازها في حينها.
3.٣ -
Centralized evaluation provides credible assessments of UNDP contribution to development results.توفر التقييمات المركزية تقديرات ذات مصداقية لإسهام البرنامج الإنمائي في النتائج الإنمائية
++++
Quality of evaluations generally good, but some problems with credibility of analysis of UNDP contribution, particularly when drawing on outcome information from management.نوعية التقييمات جيدة بوجه عام، ولكن هناك بعض المشاكل المتعلقة بمصداقية تحليل إسهام البرنامج الإنمائي، وخاصة عند الاستناد إلى المعلومات المتعلقة بالنتائج المقدمة من الإدارة.
4.4 -
IEO effectively communicates evaluation findings and lessons to the organizationيقوم مكتب التقييم المستقل بموافاة المنظمة على نحو فعال بنتائج التقييمات والدروس المستفادة منها
++++
Good quality reports but limited range of dissemination products restricts access to information generated.تقارير عالية الجودة ولكن محدودية نطاق المواد المنتجة المعدة للنشر يقيد إمكانية الوصول إلى ما يتم توليده من معلومات.
5.٥ -
Programmatic units deliver credible decentralized evaluations to contribute towards accountability and lesson-learningتجري الوحدات البرنامجية تقييمات لامركزية ذات مصداقية تسهم في إعمال المساءلة واستقاء الدروس
Over 38% of decentralized evaluation consultants’ report some form of unacceptable measures by UNDP managers affecting the independence of their evaluations.يرِد من أكثر من 38 في المائة من استشاريي التقييمات اللامركزية ما يفيد بوجود شكل ما من أشكال التدابير غير المقبولة التي يتخذها المديرون في البرنامج الإنمائي ويكون لها تأثير على استقلالية تقييماتهم.
Credibility of information in the ERC is thus severely compromised, reducing its value for accountability or lesson-learning.ويقوض ذلك بشدة مصداقية المعلومات في مركز الموارد التقييمية مما يحد من قيمتها كأداة للمساءلة أو استقاء الدروس.
There is also uneven quality and a preponderance of low-cost evaluations.وهناك أيضا تفاوت في الجودة وغلبة للتقييمات المنخفضة التكلفة.
6.٦ -
Managers take centralized and decentralized evaluations seriously and provide thoughtful management responses.يأخذ المديرون التقييمات المركزية واللامركزية على محمل الجد ويقدمون ردود إدارة تتسم بالتروي.
Since many decentralized evaluation reports are compromised, management responses are of widely varying quality and utility.نظرا لضعف مستوى كثير من تقارير التقييمات اللامركزية، تتفاوت كثيرا ردود الإدارة من حيث النوعية والفائدة.
Responses to centralized (independent) evaluations are generally more focussed.أما الردود المقدمة على التقييمات المركزية (المستقلة) فهي عموما أكثر تركيزا.
7.٧ -
Programme managers implement management responsesيقوم مديرو البرامج بتنفيذ ردود الإدارة
At senior management level, concerted measures are in place to monitor implementation of management responses.توجد على مستوى الإدارة العليا تدابير منسقة لرصد تنفيذ ردود الإدارة.
However, unreliable quality of decentralized evaluations reduces the effectiveness of this process.إلا أن فعالية هذه العملية يحد منها عدم إمكانية التعويل على نوعية التقييمات اللامركزية.
8.٨ -
Assumption: centralized and decentralized evaluations draw on RBM system dataالافتراض: استفادة التقييمات المركزية واللامركزية من بيانات نظم الإدارة بالنتائج
++++
Despite some issues with availability and quality of data in RBM systems (including the ROAR), they are widely used by both centralized and decentralized evaluations.رغم وجود بعض الإشكالات فيما يتعلق بتوافر البيانات ونوعيتها في نظم الإدارة بالنتائج (بما في ذلك التقرير السنوي الذي يركز على النتائج)، فإن هذه النظم تستخدمها التقييمات المركزية واللامركزية على نطاق واسع.
9.٩ -
Assumption: findings from RBM and evaluation systems are compatible and complementary.الافتراض: توافق وتكامل نتائج نظم الإدارة بالنتائج ونظم التقييم
++
Findings are broadly compatible, but many decentralized evaluation reports have been amended to present results desired by management (particularly at the country office level).النتائج متوافقة بشكل عام، غير أن العديد من تقارير التقييمات اللامركزية قد عدلت لعرض نتائج ترضى عنها الإدارة (لا سيما على مستوى المكاتب القطرية).
10.١٠ -
Increased transparency and accountability of programmes and activities.زيادة شفافية البرامج والأنشطة والمساءلة عنها
Major flaws in decentralized evaluation system have severely reduced transparency and accountability.يحد وجود أوجه خلل كبرى في نظام التقييمات اللامركزية بشدة من الشفافية والمساءلة.
11.١١ -
Effective evaluation culture.بث ثقافة تقييم فعالة
Owing to flawed decentralized evaluation system and excessive opposition to a few independent evaluations, there has been limited progress towards an overall evaluation culture.بسبب أوجه الخلل في نظام التقييمات اللامركزية والمعارضة المفرطة لبضعة تقييمات مستقلة، كان التقدم صوب بث ثقافة عامة للتقييم محدودا.
12.١٢ -
Improved UNDP systems and practicesاتباع نظم وممارسات أفضل في البرنامج الإنمائي
Although senior management has made substantial efforts to develop improved use of evaluation findings, it has been ineffective in ensuring the veracity of the data upon which its analyses are based.على الرغم من أن الإدارة العليا بذلت جهودا كبيرة للتوصل إلى طريقة أفضل لاستخدام نتائج التقييمات، فإنها لم تكن فعالة في ضمان صحة البيانات التي تستند إليها تحليلاتها.
13.١٣ -
Improved delivery and performance of activitiesتحسن الإنجاز وتنفيذ الأنشطة
There is insufficient impartial evaluation evidence to verify any reported improvements.لا يوجد ما يكفي من الأدلة التقييمية المحايدة للتحقق من أي تحسينات تم الإبلاغ عنها.
14.١٤ -
Enhanced UNDP contribution to developmentتعزيز مساهمة البرنامج الإنمائي في التنمية
There is insufficient impartial evaluation evidence to verify any enhanced contribution.لا يوجد ما يكفي من الأدلة التقييمية المحايدة للتحقق من حدوث أي إسهام معزَّز.
15.١٥ -
Impact driver: decision-makers actively use evaluation lessons to change and improve how the organization manages its programmes.عامل ميسر للتأثير: الاستخدام النشط للدروس المستفادة من التقييم من قِبل صانعي القرارات لتغيير طريقة إدارة المنظمة لبرامجها وتحسين هذه الطريقة
Although there are decision-makers who attempt to use lessons to improve programmes, the lack of veracity in the decentralized evaluation system prevents this from occurring throughout UNDP. IEO = Independent Evaluation Office; ERC = Evaluation Resource Centre;رغم أن هناك صانعي قرارات يحاولون استخدام الدروس في تحسين البرامج، فإن عدم إمكانية الوثوق في صحة ما يخلص إليه نظام التقييمات المركزية يحول دون حدوث ذلك على نطاق البرنامج الإنمائي بـأكمله.
RBM = results-based management;
ROAR = results-oriented annual report
4.رابعا -
Major issues and options for the future of the UNDP evaluation policyالقضايا الرئيسية والخيارات المتعلقة بمستقبل سياسة التقييم في البرنامج الإنمائي
6.٦ -
The findings and analysis presented in this report show that there are several issues that the Board may wish to address through a revision of the evaluation policy.يتبين من النتائج والتحليل المعروضين في هذا التقرير أن هناك عدة قضايا قد يود المجلس تناولها من خلال تنقيح سياسة التقييم.
The review recommends that the revised policy should provide means through which to overcome all of the identified challenges.ويوصي الاستعراض بأن توفر السياسة المنقحة وسائل لتذليل جميع التحديات التي تم تحديدها.
Those challenges are of different magnitudes, however, and will require various levels of input and Board attention.إلا أن هذه التحديات متفاوتة في حجمها وستتطلب مستويات متفاوتة من التدخل ومن عناية المجلس.
This chapter, therefore, devotes most of its attention to issues surrounding decentralized evaluations, which are currently the biggest element preventing UNDP from developing and benefiting from an effective evaluation culture.وبالتالي، يركز هذا الفصل معظم اهتمامه على القضايا المحيطة بالتقييمات اللامركزية، التي تشكل حاليا أكبر عنصر يمنع البرنامج الإنمائي من تكوين ثقافة تقييم فعالة والاستفادة منها.
Unless these issues are overcome, the Board will continue to lack a coherent set of independent and impartial evidence on field level performance upon which to base its decisions.وما لم يتم التغلب على هذه القضايا، سيظل المجلس مفتقرا إلى مجموعة مترابطة من الأدلة المستقلة والمحايدة بشأن الأداء على الصعيد الميداني يتخذ قراراته بناء عليها.
7.٧ -
The review presents initial (sometimes alternative) approaches to address the issues raised.ويعرض الاستعراض نُهجا أولية (مُتعاوِضة في بعض الأحيان) للتصدي للقضايا المثارة.
It recommends that these should be advanced and made specific by detailed discussions among the Board members, and between the Board, UNDP management and the Independent Evaluation Office.ويوصي بأن تخضع هذه النُهج لمزيد من الدراسة وأن تكتسب طابعا محددا عن طريق مناقشات مفصلة فيما بين أعضاء المجلس وبين المجلس وإدارة البرنامج الإنمائي ومكتب التقييم المستقل.
Issue 1.Overall reliability of decentralized evaluations severely compromisedالمسألة 1 - الضعف الشديد لموثوقية التقييمات اللامركزية بوجه عام
The challengeالتحدي
8.٨ -
The policy places the onus for ensuring the quality of decentralized evaluations on the UNDP Administrator and senior management, with a limited ‘quality assessment’ role for the Independent Evaluation Office.تحمل سياسة التقييم مدير البرنامج الإنمائي وإدارته العليا عبء ضمان نوعية التقييمات اللامركزية، مع قيام مكتب التقييم المستقل بدور محدود في ”تقييم النوعية“.
This approach has not worked.ولكن هذا النهج لم يكتب له النجاح.
The symptoms of this failure are as follows:ولهذا الإخفاق أعراض بيانها كما يلي:
(a)(أ)
There is a substantial rate of interference by management (mainly at the country office level) in evaluation reports of ‘independent’ consultants;تتدخل الإدارة كثيرا() (على مستوى المكاتب القطرية بشكل رئيسي) في تقارير التقييم التي يعدها الاستشاريون ’المستقلون‘؛
(b)(ب)
The quality assessment system therefore rates reports of unknown but varying veracity;يقيِّم نظام تقييم النوعية، بالتالي، تقارير ذات صدقية غير معروفة وإن كانت متفاوتة؛
(c)(ج)
The Evaluation Resource Centre compiles information on and from unreliable reports, which is therefore inaccurate;يقوم مركز موارد التقييم بتجميع معلومات عن تقارير غير موثوقة ومنها، وبالتالي فهي معلومات غير دقيقة؛
(d)(د)
Much of the analysis and reporting on decentralized evaluations in the Evaluation Resource Centre system is thus based on inaccurate or unreliable data;يؤدي ذلك إلى استناد كثير من التحليل والإبلاغ الواردين في نظام مركز موارد التقييم عن التقييمات اللامركزية إلى بيانات غير دقيقة أو غير موثوقة؛
and (e)(هـ)
Management reporting on decentralized evaluations to the Executive Board is based on aggregated data from a seriously flawed database, which is not suitable for helping the Board to provide direction to UNDP.تستند التقارير المقدمة من الإدارة إلى المجلس التنفيذي عن التقييمات المركزية إلى بيانات تجميعية مستقاة من قاعدة بيانات معيبة بشكل كبير وغير مناسبة لمساعدة المجلس على توفير التوجيه للبرنامج الإنمائي.
9.٩ -
To understand how this situation might best be changed, it is necessary to determine which factors have contributed towards it, either as a cause or as part of the institutional environment that has allowed it to develop.ولفهم كيفية تغيير هذا الوضع، يلزم تحديد العوامل التي أسهمت فيه، سواء كانت سببا من أسبابه أو جزءا من بيئة مؤسسية أتاحت حدوثه.
These can be summarized as follows:ويمكن تلخيص هذه العوامل على النحو التالي:
(a)(أ)
Final evaluations are often not seen as useful, particularly by country offices;كثيرا ما يُنظر إلى التقييمات النهائية على أنها غير مفيدة، وخاصة من جانب المكاتب القطرية؛
(b)(ب)
Few staff dealing with evaluation have any specialized training in the subject;لا يوجد من موظفي التقييم من لديه أي تدريب متخصص في هذا الموضوع إلا عدد قليل؛
(c)(ج)
There is a high reliance by staff on one handbook, which is useful, but incomplete and out of date;يعتمد الموظفون بشدة على دليل توجيهي واحد، وهو دليل مفيد ولكنه غير مكتمل وغير مواكب للمستجدات؛
(d)(د)
The concept of independence of decentralized evaluations is often not understood or supported;لا يكون مفهوم استقلالية التقييمات اللامركزية مفهوما أو موضع تأييد في كثير من الأحيان؛
(e)(هـ)
Evaluations are seen as undermining funding efforts;يُنظر إلى التقييمات على أنها تقوض جهود التمويل؛
(f)(و)
Managers believe that some consultants are biased against UNDP or do not understand it;يعتقد المديرون أن بعض الاستشاريين متحيزون ضد البرنامج الإنمائي أو لا يفهمونه؛
(g)(ز)
Resources are often inadequate for high-quality evaluations;كثيرا ما تكون الموارد غير كافية لإجراء تقييمات على مستوى رفيع من الجودة؛
(h)(ح)
Evaluation is not a priority for many national counterparts;التقييم ليس أولوية لدى كثير من النظراء الوطنيين؛
(i)(ط)
Many managers have not prioritized the development of an evaluation culture (although some have);لم يصبح نشر ثقافة التقييم أولوية لدى كثير من المديرين (وإن كان بعضهم قد اعتبره أولوية)؛
(j)(ي)
Policy makes UNDP management bodies responsible for quality assurance of decentralized evaluations, but this has not been implemented as intended: there is only quality assessment of reports by the Independent Evaluation Office;تقضي سياسة التقييم بتحمُّل هيئات إدارة البرنامج الإنمائي المسؤولية عن ضمان نوعية التقييمات اللامركزية، ولكن ذلك لم يطبق على النحو المعتزم: إذ يقتصر الأمر على تقارير تقييم النوعية التي يصدرها مكتب التقييم المستقل؛
(k)(ك)
No effective mechanism exists to resolve disputes between consultants and clients;لا توجد آلية فعالة لتسوية المنازعات بين الاستشاريين والعملاء؛
and (l)(ل)
Prior experience of disputes, combined with inadequate resources to meet the requirements of the terms of reference, deter many consultants from bidding for UNDP decentralized evaluation work, leading to a restricted choice of consultants.تؤدي تجارب المنازعات السابقة واقترانها بعدم كفاية الموارد لتلبية المتطلبات التي يقتضيها الإطار المرجعي للتقييم إلى صرف كثير من الاستشاريين عن التقدم بعطاءات لإنجاز أعمال التقييم اللامركزي للبرنامج الإنمائي، مما يؤدي إلى قلة عدد الاستشاريين الذين يمكن الاختيار بينهم.
10.١٠ -
Underlying the above array of contributory factors is the perception among staff at various levels that neither “sticks nor carrots” are in place to encourage desired management behaviour towards independent evaluations (or indeed any evaluation).ويكمن وراء مجموعة العوامل المساهمة السابقة وجود انطباع لدى الموظفين على شتى المستويات بأنه لا توجد آليات ”للترهيب أو الترغيب“ تشجع الإدارة على أن تسلك مسلكا مرغوبا فيه حيال التقييمات المستقلة (بل حيال أي تقييم).
Each manager is free to form a personal approach towards evaluation, since performance assessments rarely reward positive performance in this area or penalize negative aspects.فكل مدير حر في أن يختط لنفسه نهجا خاصا حيال التقييم، لأن من النادر أن تؤدي تقييمات الأداء إلى مكافأة الأداء الإيجابي في هذا المجال أو إلى المعاقبة على الجوانب السلبية.
It is usually only the relatively junior ‘monitoring and evaluation specialists’ who are judged on this aspect, and they are not sufficiently senior to make a major difference to the overall approach of the offices they serve.ومن المعتاد ألا يتم الحكم استنادا إلى هذا الجانب إلا على ’اختصاصيي الرصد والتقييم‘ المبتدئين نسبيا، الذين ليسوا في رتب عليا تكفي لإحداثهم فرقا رئيسيا في النهج العام الذي تتبعه المكاتب التي يعملون فيها.
Recommended approachالنهج الموصى به()
11.١١ -
The evaluation policy should require management to introduce and enforce effective quality assurance systems for decentralized evaluations;ينبغي أن تُلزم سياسة التقييم الإدارة بوضع - وفرض تطبيق - نظم فعالة لضمان نوعية التقييمات اللامركزية؛
with verification by the Independent Evaluation Office and penalties for units that do not comply with standards.مع قيام مكتب التقييم المستقل بالتحقق من هذا الأمر وإنزال عقوبات بالوحدات() التي لا تمتثل للمعايير.
This should be supported by updated and additional guidelines and an assessment by the Executive Board of the value added to available management information by large numbers of low-budget evaluations of variable quality.وينبغي دعم ذلك بمبادئ توجيهية إضافية ومحدَّثة وبقيام المجلس التنفيذي بإجراء تقييم للقيمة التي تضيفها إلى المعلومات الإدارية المتاحة الأعدادُ الكبيرة من التقييمات المنخفضة التكاليف التي تتفاوت نوعيتها.
12.١٢ -
At present, the directors of the regional bureaus are responsible for “ensuring quality and implementation of evaluation (plans and) practices”.وفي الوقت الحاضر، تقع على عاتق مديري المكاتب الإقليمية مسؤولية ”ضمان نوعية وتنفيذ ممارسات (وخطط) التقييم“.
However, those bureaus have gradually reduced the ‘monitoring and evaluation’ staff posts that would enable them to fulfil this function, even though it is required of them.ومع ذلك، فقد قلصت هذه المكاتب تدريجيا وظائف موظفي ”الرصد والتقييم“ التي من شأنها أن تمكنها من أداء هذه المهمة، رغم أنها مُلزمة بأدائها.
Furthermore, documents available to the independent review suggest that, under the new UNDP structural review, even less staff time may be devoted to evaluation than is presently the case.وفضلا عن ذلك، تشير الوثائق المتاحة للاستعراض المستقل إلى أن من المحتمل بموجب الاستعراض الهيكلي الجديد للبرنامج الإنمائي أن يخصص للتقييم من وقت الموظفين وقت أقل مما هو مخصص له حاليا.
There are approximately 300 decentralized evaluations per year requiring effective quality assurance by the five regions.ويوجد حاليا نحو 300 تقييم لامركزي في السنة تتطلب ضمانا فعالا للجودة من جانب المناطق الخمس.
Given that “quality assurance” would need to begin with such issues as the quality of terms of reference and evaluability analysis, and follow the process right up to the final report, the review concludes that UNDP management could not deliver this with less than 10 full-time equivalent evaluation advisers on site across the regions.وبالنظر إلى أن ”ضمان الجودة“ سيلزمه أن يبدأ بمسائل من قبيل نوعية الإطار المرجعي للتقييم وتحليل مدى القابلية للتقييم وأن يسلك المسار المرسوم حتى الوصول إلى التقرير النهائي، فإن الاستعراض يخلص إلى أن إدارة البرنامج الإنمائي لن تتمكن من القيام بذلك بأقل مما يعادل 10 مستشاري تقييم() متفرغين موجودين بمواقع العمل في جميع أنحاء المناطق.
They could be either regional staff or jointly funded by the Independent Evaluation Office and the regions (assuming additional resources were made available).ويمكن أن يكون هؤلاء المستشارون موظفين إقليميين أو أن يعملوا بتمويل مشترك من مكتب التقييم المستقل والمناطق (بافتراض إتاحة موارد إضافية).
Matrix management would need to be applied, with prime responsibility falling to the Independent Evaluation Office but with some level of operational management supplied by the regions.وسيلزم تطبيق الإدارة بأسلوب المصفوفة، مع تحمُّل مكتب التقييم المستقل المسؤولية الرئيسية ولكن مع توفير المناطق مستوى ما من الإدارة التشغيلية.
13.١٣ -
If the necessary evaluation advisers were in place, the next step would be independent verification of evaluation reports.والخطوة التالية بعد توافر مستشاري التقييم المطلوبين هي التحقق المستقل من تقارير التقييم.
Two measures would be necessary here, one of which would require further resources.عندئذ سيلزم اتخاذ إجراءان، أحدهما سيحتاج إلى مزيد من الموارد.
The first would parallel a process adopted by the UNDP-Global Environment Facility office for terminal evaluations.أولهما على غرار مسار تبنَّاه المكتب المشترك بين البرنامج الإنمائي ومرفق البيئة العالمية لإجراء التقييمات النهائية.
It would require that independent consultants submit their draft reports simultaneously to the commissioning unit (usually the country office) and to the regional evaluation adviser.ويقضي بأن يقوم الاستشاريون المستقلون بتقديم مشاريع تقاريرهم بشكل متزامن إلى الوحدة المكلِّفة بالتقييم (وهي عادة المكتب القطري) وإلى مستشار التقييم الإقليمي.
This would enable the adviser to verify subsequently that no surprising changes occurred between the draft and the final version.ومن شأن ذلك أن يمكن المستشار من أن يتحقق لاحقا من عدم إدخال تغييرات مفاجئة بين مشروع التقرير وصيغته النهائية.
Such changes would trigger follow-up enquiries by the adviser.وفي حالة وجود تغييرات من هذا القبيل، سيتقدم المستشار باستفسارات لمتابعة الأمر.
The second measure would require a follow-up evaluation mission by (or on behalf of) the Independent Evaluation Office to a percentage (the review suggests 10 per cent) of projects.ويتطلب الإجراء الثاني قيام مكتب التقييم المستقل (أو من ينوب عنه) بإيفاد بعثة تقييم لأغراض المتابعة إلى نسبة مئوية من المشاريع (يقترح الاستعراض أن تكون 10 في المائة).
This would verify the quality of the report by reassessing the project, including its ratings.وسيتسنى من خلال ذلك التحقق من نوعية التقرير عن طريق إعادة تقييم المشروع، بما في ذلك التقديرات التي أعطيت له().
Since the projects to be verified would not be notified until after the original decentralized evaluation had been submitted, this would introduce some “teeth” into the assessment process, which could be strengthened by ensuring comparable verification coverage across regions and issuing “red flags” to regional and country offices that were found to have submitted inappropriately influenced or amended evaluation reports.ولما كانت المشاريع المقرر التحقق منها لن تتلقى إخطارا إلا بعد تقديم التقييم اللامركزي الأصلي، فإن ذلك سيضفي شيئا من القوة على عملية التقييم، وهي قوة يمكن تعزيزها بضمان تغطية مماثلة بعمليات التحقق على نطاق المناطق وإصدار ”إنذارات“ للمكاتب الإقليمية والقطرية التي يتبين أنها قدمت تقارير تقييم جرى التأثير على محتواها أو تعديله بصورة غير ملائمة().
14.١٤ -
Since there are around 300 decentralized evaluations per year, this would require roughly 30 follow-up missions each year.ونظرا لأن هناك نحو 300 تقييم لامركزي في السنة، فسيتطلب ذلك قرابة 30 بعثة متابعة كل سنة.
As these missions are primarily for verification, they could be shorter than the original evaluation, but this total would still require additional funding.ولما كانت مهمة هذه البعثات هي التحقق في المقام الأول، فمن الممكن أن تكون مدتها أقصر من مدة التقييم الأصلي، ولكن هذا المجموع سيظل يتطلب تمويلا إضافيا.
15.١٥ -
In support of the above control measures, the Independent Evaluation Office and UNDP need to collaborate to update and expand the Handbook on Planning, Monitoring and Evaluating for Development Results, particularly in such areas as gender equity, creating and maintaining evaluation partnerships, joint evaluation, protecting independence, and evaluation ethics for managers.ودعما للتدابير الرقابية المتقدمة، يلزم أن يتعاون مكتب التقييم المستقل والبرنامج الإنمائي لإصدار طبعة محدَّثة ومزيدة من دليل تخطيط ورصد وتقييم نتائج التنمية، وخاصة في مجالات من قبيل المساواة بين الجنسين، وإقامة شراكات في مجال التقييم والحفاظ عليها، والتقييم المشترك، وحماية الاستقلالية، وأخلاقيات التقييم لدى المديرين.
The handbook should be supplemented by enhanced opportunities for evaluation training, both on-line and in person.وينبغي تكملة الدليل بتوفير فرص أكثر للتدريب على التقييم سواء إلكترونيا أو شخصيا.
The Independent Evaluation Office should also carefully examine the numerous guidance products developed by the United Nations Evaluation Group, with a view to preparing and circulating concise applications of their messages for UNDP.ويجب أن يدرس مكتب التقييم المستقل أيضا بعناية الإصدارات التوجيهية العديدة التي وضعها فريق الأمم المتحدة المعني بالتقييم، وذلك بهدف إعداد وتعميم تطبيقات موجزة للرسائل الواردة فيها على البرنامج الإنمائي.
16.١٦ -
The review suggests that, if these measures were all put in place, including with adequate staff actually in post (not “positions”) it would enable UNDP over time to develop a credible decentralized evaluation system, which is currently not in place.ويشير الاستعراض إلى أنه إذا جرى تطبيق هذه التدابير جميعها، بما في ذلك تسكين عدد كاف من الموظفين فعليا في وظائف ثابتة (وليست مؤقتة)، فسيتمكن البرنامج الإنمائي مع مرور الوقت من إنشاء نظام ذي مصداقية للتقييمات اللامركزية، وهو نظام لا وجود له حاليا.
This would provide both management and the Board with the essential body of verified data on country level performance to effectively perform their respective roles.وسيوفر ذلك لكل من الإدارة والمجلس الكم الأساسي من البيانات المتحقق منها بشأن الأداء على الصعيد القطري بما يمكِّن كلا منهما من القيام بدوره.
Issue 2. Unreasonable disputes over some independent evaluationsالمسألة 2 - حدوث منازعات غير معقولة على بعض التقييمات المستقلة
The challengeالتحدي
17.١٧ -
The majority of independent evaluations are delivered without major problems.يتم إنجاز التقييمات المستقلة دون مشاكل كبرى.
However, several (five out of 22 assessments of development results in the last three years) have become embroiled in unreasonable disputes, which have resulted in delays of up to a year in the finalization of reports.ولكن حدثت بشأن عدة تقييمات (خمس تقييمات من أصل 22 تقييما لنتائج التنمية في السنوات الثلاث الماضية) منازعات غير معقولة، تأخر بسببها وضع التقارير في صيغتها النهائية مددا تصل إلى عام.
The review indicates that three of these originated from a country office and eventually involved the relevant regional bureau, while two are attributed to delays caused by Independent Evaluation Office processes.ويشير الاستعراض إلى أن ثلاثة من هذه التقييمات صدرت عن مكاتب قطرية واتسعت دائرة اللغط المتعلق بها في نهاية المطاف لتشمل المكتب الإقليمي المعني، بينما يعزى التأخر بالنسبة لتقييمين آخرين إلى عمليات مكتب التقييم المستقل.
18.١٨ -
The symptoms of this issue are:ولهذه المسألة أعراض بيانها كما يلي:
(a)(أ)
Time scales are disrupted and delayed;يطرأ على الجداول الزمنية تعطيل وتأخير؛
(b)(ب)
Evaluations are not delivered as planned for management purposes;لا تنجز التقييمات على النحو المقرر لأغراض الإدارة؛
(c)(ج)
Independent Evaluation Office resources are diverted from other intended work;يتم تحويل وجهة موارد مكتب التقييم المستقل بعيدا عن أعمال مقررة أخرى؛
(d)(د)
The value added from independent evaluations is reduced by the unwillingness of some managers to encompass external perspectives on their work;يؤدي إحجام بعض المديرين عن استيعاب منظورات خارجية في عملهم إلى تقليص القيمة المضافة من التقييمات المستقلة؛
and (e)(هـ)
There is reputational risk, since disputes become public knowledge.يتهدد الخطر سمعة المنظمة لأن المنازعات تصبح معلومة للقاصي والداني.
19.١٩ -
Factors contributing to the challenge are:وفيما يلي العوامل التي تسهم في هذا التحدي:
(a)(أ)
Managers perceive the quality of independent evaluations as variable (which could be true)للتقييمات المستقلة نوعية متفاوتة في نظر المديرين (وهو أمر قد يكون صحيحا)؛
(b)(ب)
Managers believe that some consultants are biased against UNDP or do not understand it, (which could be true);يرى المديرون أن لدى بعض الاستشاريين تحيزا ضد البرنامج الإنمائي أو أنهم لا يفهمونه (وهو أمر يمكن أن يكون صحيحا)؛
(c)(ج)
Evaluations are less positive than management expects, and are seen as undermining “communication strategies”;لا تكون التقييمات بنفس المستوى من الإيجابية الذي تتوقعه الإدارة، كما يُنظر إليها على أنها تقوض ”استراتيجيات الاتصال“؛
(d)(د)
The concept of independence of centralized evaluations is interpreted differently by stakeholders in different positions;يختلف المعنيون في مناصب مختلفة في تفسيرهم لمفهوم استقلالية التقييمات المركزية؛
and (e)(هـ)
Presentation of “negative” findings is perceived as disloyal by some managers.يرى بعض المديرين أن عرض النتائج ”السلبية“ يمثل انعكاسا لانعدام الولاء.
20.٢٠ -
The Independent Evaluation Office has accepted that it has contributed to this situation and has introduced measures to strengthen its approach.وقد أقر مكتب التقييم المستقل بأنه أسهم في هذا الوضع واستحدث تدابير لتعزيز النهج الذي يتبعه.
These include a rebalancing of the role of Independent Evaluation Office professional staff and consultants, with a stronger emphasis on its direct management of such evaluations.وتشمل هذه التدابير إعادة التوازن بين دور موظفي مكتب التقييم المستقل الفنيين ودور الاستشاريين، مع التركيز بشكل أقوى على إدارته المباشرة لهذه التقييمات.
Also, it has introduced procedures to expedite progress, through enforcement of timelines.كما استحدث المكتب إجراءات لتسريع وتيرة التقدم، بفرضه الالتزام بجداول زمنية محددة.
Recommended approachالنهج الموصى به
21.٢١ -
In the absence of timely feedback from management parties, the Independent Evaluation Office should be given clear authority to proceed with all steps in the independent evaluation process according to the pre-established timetable.في الحالات التي لا يتلقى فيها مكتب التقييم المستقل ردودا من الأطراف المعنية في الإدارة في حينها، ينبغي أن يمنح تفويضا واضحا بالمضي في اتخاذ جميع الخطوات التي تشتمل عليها عملية التقييم المستقل وفقا للجدول الزمني المقرر سلفا.
Enduring objections by management to evaluation findings or recommendations should be reserved for inclusion in the management response and should not be allowed to delay national workshops or the publication of reports.وينبغي الاحتفاظ باعتراضات الإدارة المستمرة على نتائج التقييم أو توصياته لإدراجها في رد الإدارة وألا يُسمح لها بتأخير حلقات العمل الوطنية أو نشر التقارير.
UNDP units (such as country offices) that hinder the progress or completion of independent evaluations should be penalized through a “red flag” system.وينبغي معاقبة وحدات البرنامج الإنمائي (مثل المكاتب القطرية) التي تعوق تقدُّم أو استكمال التقييمات المستقلة، وذلك باستخدام نظام ”الإنذارات“.
22.٢٢ -
This approach could eliminate lengthy disputes and delays with independent evaluations at no additional cost.وقد يؤدي هذا النهج إلى القضاء على المنازعات الطويلة الأمد بشأن التقييمات المستقلة وتأخيراتها دون تحمل أي تكلفة إضافية.
A potential disadvantage is that national partners (or other parties affected by thematic or global evaluations) may get conflicting messages if they receive reports from the Independent Evaluation Office that have not been accepted by UNDP management.وهناك مأخذ محتمل على ذلك وهو أن الشركاء الوطنيين (أو أي أطراف أخرى تؤثر عليها التقييمات المواضيعية أو الشاملة) قد تصل إليها رسائل متعارضة إذا تلقت تقارير من مكتب التقييم المستقل لم تقبلها إدارة البرنامج الإنمائي.
On the other hand, this could become an advantage, since it could place pressure on management to respond promptly and constructively, enabling evaluations to be completed on time.ومن جهة أخرى، يمكن أن يصبح ذلك أمرا إيجابيا، لأنه قد يشكل ضغطا على الإدارة للرد بسرعة وعلى نحو بنَّاء، مما يتيح إنجاز التقييمات في حينها.
That pressure would be reinforced by the issuance of red flags to managers who are seen to obstruct the system.وسيتعزز هذا الضغط بإصدار إنذارات للمديرين الذين يُعتبرون معرقلين للنظام.
The review received ample evidence from UNDP staff and managers at different levels that one of the key factors seen as reducing the effectiveness of the evaluation function is that the system lacks penalties against those who behave inappropriately.وقد استقى الاستعراض من موظفي البرنامج الإنمائي ومديريه على مستويات مختلفة أدلة وافية على أن أحد العوامل الرئيسية التي تحد، في نظرهم، من فعالية وظيفة التقييم هو خلو النظام من عقوبات لأولئك الذين يتصرفون بشكل غير لائق.
Issue 3. Policy too vague on issues essential to the operational independence of the Independent Evaluation Officeالمسألة 3 - الغموض المفرط لسياسة التقييم بشأن الأمور التي لا بد منها لاستقلالية عمل مكتب التقييم المستقل
The challengeالتحدي
23.٢٣ -
The policy is vaguely worded or silent on a number of issues that could together pose serious challenges to the operational independence of the Independent Evaluation Office.لم تتناول سياسة التقييم - أو تناولت بشكل غامض - عددا من المسائل التي يمكن أن تشكل معا تحديات خطيرة أمام استقلالية عمل مكتب التقييم المستقل.
The symptoms include:وتشمل أعراض ذلك ما يلي:
(a)(أ)
The appointment term of the Director of the Independent Evaluation Office is “up to” four years, which allows management the possibility of offering less;يعيَّن مدير مكتب التقييم المستقل لمدة ”أقصاها“ أربع سنوات، مما يتيح للإدارة إمكانية تعيينه لمدة أقل؛
(b)(ب)
The duration of a possible renewal is not specified;لم تحدد السياسة مدة التجديد المحتمل؛
(c)(ج)
The Executive Board does not chair or even sit on the appointment committee for the Director or Deputy Director, while management has the majority;لا يرأس المجلس التنفيذي لجنة تعيين المدير أو نائبه ولا يكون حتى عضوا فيها، في حين أن الإدارة لها الأغلبية في اللجنة؛
(d)(د)
It is not clear how the Independent Evaluation Office Director’s performance is assessed, while such clarity is essential for quality assurance and confidence in the position;كيفية تقييم أداء مدير مكتب التقييم المستقل ليست واضحة، رغم أن هذا الوضوح لا غنى عنه لضمان النوعية والثقة في المنصب؛
and (e)(هـ)
The policy does not specify that the Director of the Independent Evaluation Office can submit reports directly to the Executive Board as necessary in the event of serious disputes with management.لا تحدد السياسة أن بإمكان مدير مكتب التقييم المستقل أن يقدم تقارير إلى المجلس التنفيذي مباشرة حسب الحاجة إن نشأت منازعات خطيرة مع الإدارة.
24.٢٤ -
Factors contributing to this situation appear to include:وقد أسهمت في هذا الوضع عوامل يبدو أنها تشتمل على ما يلي:
(a)(أ)
Assumptions of a harmonious relationship between the Independent Evaluation Office and UNDP management have not been realized;لم تتحقق افتراضات قيام علاقة متناغمة بين مكتب التقييم المستقل وإدارة البرنامج الإنمائي؛
(b)(ب)
The implications of vague wording have not been fully appreciated.لم يكن هناك فهم كامل للنتائج المترتبة على غموض الصياغة؛
(c)(ج)
The importance of the credibility of the Independent Evaluation Office Director, through appropriate performance assessment, has not been emphasized.لم يتم التشديد على أهمية مصداقية مدير مكتب التقييم المستقل، من خلال تقييم أدائه بالشكل المناسب.
Recommended approachالنهج الموصى به
25.٢٥ -
The review recommends that the Executive Board amend the policy to specify the lead role of the Board in recruitment procedures for the Director of the Independent Evaluation Office;يوصي الاستعراض بأن يعدل المجلس التنفيذي سياسة التقييم بحيث توكل إلى المجلس الدور الرئيسي في إجراءات تعيين مدير مكتب التقييم المستقل؛
the duration of the post (subject to performance assessment);وتحدد مدة الوظيفة (مع رهنها بتقييم الأداء)؛
renewal processes and duration;وإجراءات التجديد ومدته؛
and the power of the Director to report directly to the Board as necessary.وتخول المدير صلاحية رفع التقارير مباشرة إلى المجلس حسب الحاجة.
These measures would strengthen the structural independence of the Office, in keeping with its new title.ومن شأن هذه التدابير أن تعزز استقلال المكتب هيكليا بما يتمشى مع اسمه الجديد.
Issue 4. No assurance of independent evaluation by associated funds and programmesالمسألة 4 - عدم وجود ضمانات لقيام الصناديق والبرامج المرتبطة بالبرنامج الإنمائي بتقييمات مستقلة
The challengeالتحدي
26.٢٦ -
The policy describes the Independent Evaluation Office as the “custodian of the evaluation function” for independent evaluations in UNDP, specifying that the “evaluation units of the associated funds and programmes are the custodians of the evaluation function in their organizations”.تصف سياسة التقييم مكتب التقييم المستقل بأنه ”القيِّم على وظيفة التقييم“ فيما يتعلق بالتقييمات المستقلة في البرنامج الإنمائي وتحدد أن ”وحدات التقييم في الصناديق والبرامج المرتبطة بالبرنامج الإنمائي هي القيِّمة على وظيفة التقييم في منظماتها“.
This indicates that the roles of the different evaluation entities are parallel in some respects.ويستوحى من ذلك أن أدوار مختلف الجهات المعنية بالتقييم متوازية في بعض الجوانب.
However, while the policy states that Independent Evaluation Office “conducts independent evaluations in line with best international evaluation standards”, the evaluation units simply “manage and conduct evaluations”.ولكن ومع أن السياسة تنص على أن مكتب التقييم المستقل يقوم بـ ”إجراء تقييمات مستقلة وفقا لأفضل معايير التقييم الدولية“، فإن مهمة وحدات التقييم هي فقط ”إدارة التقييمات وإجراؤها“.
The review concludes that, although the evaluation units cannot have the same degree of structural independence as the Independent Evaluation Office because of the small management systems of the institutions, they should nevertheless be required to operate in line with “best international evaluation standards”.ويخلص الاستعراض إلى أن وحدات التقييم، رغم عدم تمكنها من التمتع بنفس الدرجة من الاستقلال الهيكلي التي يتمتع بها مكتب التقييم المستقل نظرا لصغر حجم النظم الإدارية في المؤسسات، ينبغي إلزامها بالعمل ”وفقا لأفضل معايير التقييم الدولية“.
27.٢٧ -
Symptoms of this challenge include:ومن أعراض هذا التحدي ما يلي:
(a)(أ)
Owing to the small size of associated fund bodies, evaluation units cannot be structurally independent of management;بالنظر إلى صغر حجم الصناديق المرتبطة بالبرنامج الإنمائي، لا يمكن أن تكون وحدات التقييم مستقلة هيكليا عن الإدارة؛
(b)(ب)
The Independent Evaluation Office and associated fund evaluation units are all defined as “custodians of the evaluation function”;يعرَّف مكتب التقييم المستقل وكل وحدة من وحدات التقييم التابعة للصناديق المرتبطة بالبرنامج الإنمائي بأنه ”قيِّم على وظيفة التقييم“؛
(c)(ج)
Evaluation units therefore have parallel status to the Independent Evaluation Office.وحدات التقييم لها بالتالي وضع موازٍ لوضع مكتب التقييم المستقل.
Their independent evaluations are self-verified, but at a lower level than is the case for the Independent Evaluation Office (P4 as against D2);وتقييماتها المستقلة تخضع لتحقق ذاتي، ولكن مستواه أدنى من نظيره في مكتب التقييم المستقل (ف-4 مقابل مد-2)؛
(d)(د)
The small size of units means that all their evaluations are undertaken by consultants, so that they are effectively managing decentralized evaluations;صغر حجم الوحدات معناه أن جميع تقييماتها يقوم بها استشاريون، حتى تتمكن من إدارة التقييمات اللامركزية بفعالية؛
and (e)(هـ)
The independence and impartiality of evaluations conducted by the associated funds and programmes (although currently acceptable) is not guaranteed by the policy.لا تضمن سياسة التقييم استقلالية وحيدة التقييمات التي تجريها الصناديق والبرامج المرتبطة بالبرنامج الإنمائي (وإن كان مستواهما مقبولا في الوقت الراهن).
28.٢٨ -
Factors contributing to the situation include:وقد أسهمت في هذا الوضع عوامل منها:
(a)(أ)
Structural challenges to independence in small organizations not incorporated in the policy;لا تأتي السياسة على ذكر التحديات الهيكلية التي تقف في وجه الاستقلالية في المنظمات الصغيرة؛
(b)(ب)
Levels of evaluation expertise and the authority of the chief are set at a lower level for associated funds and programmes than for the Independent Evaluation Office, with no compensating quality assurance; andالرتب التي تكون عليها خبرات التقييم وسلطة الرئيس في الصناديق والبرامج المرتبطة بالبرنامج الإنمائي أدنى في سياسة التقييم من مثيلاتها في مكتب التقييم المستقل، دون تعويض ذلك بضمان النوعية؛
(c)(ج)
The level of collaboration between the Independent Evaluation Office and the evaluation units of the associated funds and programmes is inadequate to develop consistent approaches to quality.التعاون بين مكتب التقييم المستقل ووحدات التقييم التابعة للصناديق والبرامج المرتبطة بالبرنامج الإنمائي ليس بالمستوى الكافي للتوصل إلى نهج متسق في ضمان النوعية.
Recommended approachالنهج الموصى به
29.٢٩ -
The review notes that the evaluation units of the associated funds and programmes have developed in quite different ways, and recommends that the policy should incorporate new and flexible approaches as follows: evaluation units should be required to either submit their independent evaluations to the Independent Evaluation Office for quality assurance (to ensure comparable “best international evaluation standards”);يلاحظ الاستعراض أن وحدات التقييم التابعة للصناديق والبرامج المرتبطة بالبرنامج الإنمائي قد تطورت بطرق مختلفة تماما ويوصي بأن تتضمن السياسة نُهُجا جديدة ومرنة على النحو التالي: ينبغي إلزام وحدات التقييم إما بأن تقدم تقييماتها المستقلة إلى مكتب التقييم المستقل لأغراض ضمان نوعيتها (لكفالة إجرائها بشكل مماثل لـ ”أفضل معايير التقييم الدولية“)؛
or to collaborate directly with the Independent Evaluation Office to manage and report on their independent evaluations.أو التعاون مباشرة مع مكتب التقييم المستقل لإدارة تقييماتها المستقلة والإبلاغ عنها.
Associated with these measures, it is also recommended that the policy should require the Independent Evaluation Office to pay more systematic attention to the contribution of the associated funds and programmes to UNDP results in all of its independent evaluations.وبالاقتران مع هذه التدابير، يوصى أيضا بأن تُلزم السياسة مكتب التقييم المستقل بإيلاء عناية ممنهجة بشكل أكبر لإسهام الصناديق والبرامج المرتبطة بالبرنامج الإنمائي في النتائج التي يحققها في جميع تقييماته المستقلة.
30.٣٠ -
The review considers the proposed quality assurance to be appropriate because it is fundamentally the director-level posts of the Independent Evaluation Office that enable it to operate at the level of best international evaluation standards, while appointments at this level are unlikely to be viable in the evaluation units of small associated funds and programmes.ويرى الاستعراض أن ضمان النوعية المقترح أمر مناسب لأن الوظائف التي برتبة مدير في مكتب التقييم المستقل هي أساسا التي تتيح العمل وفقا لأفضل معايير التقييم الدولية، في حين أن من غير المحتمل أن يتسنى التعيين بهذه الرتبة في وحدات التقييم التابعة للصناديق والبرامج الصغيرة المرتبطة بالبرنامج الإنمائي.
The alternative is seen as a form of management collaboration on evaluations, which could be formally agreed between a fund and the Independent Evaluation Office and subject to periodic review.والبديل الذي يتجه إليه الرأي هو شكل من أشكال التعاون في إجراء التقييمات، يمكن أن يتم الاتفاق عليه رسميا بين صندوق ما ومكتب التقييم المستقل ويخضع لاستعراض دوري.
Such collaboration could, for example, include a fund or programme’s financing a position (full- or part-time) in the Independent Evaluation Office focusing on its evaluation work, or simply commissioning the office to conduct (or conduct jointly) major evaluations for the fund or programme concerned.ويمكن أن يشمل هذا التعاون، مثلا، أن يقوم صندوق أو برنامج بتمويل وظيفة مؤقتة (على أساس التفرغ الكامل أو الجزئي) في مكتب التقييم المستقل تركز على العمل التقييمي المتعلق به، أو ببساطة تكليف المكتب بأن يجري بمفرده (أو بالاشتراك مع الصندوق أو البرنامج) التقييمات الرئيسية للصندوق أو البرنامج المعني.
31.٣١ -
The review concludes that these measures would validate the independence of evaluations from the units and ensure comparability of standards across the evaluation entities covered by the policy.ويخلص الاستعراض إلى أن هذه التدابير ستتيح التحقق من استقلالية التقييمات التي تجريها الوحدات وتضمن تماثل المعايير المتبعة في مختلف وحدات التقييم التي تغطيها السياسة.
Issue 5. Relevance of concepts in the policy needs updatingالمسألة 5 - يلزم تحديث ملاءمة المفاهيم الواردة في السياسة
The challengeالتحدي
32.٣٢ -
The policy contains a section on definitions (paragraphs 5 and 6) that the review finds problematical.تتضمن السياسة فرعا عن التعاريف (الفقرتان 5 و 6) يراه الاستعراض مثار إشكالات.
The definitions are mainly derived from the glossary of key terms in evaluation and results-based management published in 2000 by the Organisation for Economic Co-operation and Development.فالتعاريف مستمدة أساسا من مسرد المصطلحات الرئيسية للتقييم والإدارة بالنتائج الذي نشرته منظمة التعاون والتنمية في الميدان الاقتصادي في عام 2000.
In the light of discussions and debates within the evaluation community over the last decade, some of the definitions do not fully accord with current thinking, while other important topics are not mentioned.وفي ضوء المناقشات والمحاورات التي جرت في أوساط التقييم خلال العقد الماضي، لا تتفق بعض التعاريف تماما مع الفكر السائد حاليا، بينما لم تأت السياسة على ذكر مواضيع مهمة أخرى.
Recommended approachالنهج الموصى به
33.٣٣ -
The review recommends that the section on definitions in the policy be replaced by a more general text indicating that the Independent Evaluation Office will periodically update and disseminate current evaluation topics and definitions on the basis of best international standards through operational handbooks and other appropriate means.يوصي الاستعراض بالاستعاضة عن الفرع المتعلق بالتعاريف في سياسة التقييم بنص أكثر عمومية يشير إلى أن مكتب التقييم المستقل سيقوم دوريا بتحديث ونشر مواضيع وتعاريف تقييمية مواكبة للعصر استنادا إلى أفضل المعايير الدولية باستخدام أدلة عمل وغيرها من الوسائل الملائمة.
11
Independent evaluations are conducted by the Independent Evaluation Office, while decentralized evaluations are conducted by independent external experts commissioned by UNDP programme units.يقوم بالتقييمات المستقلة مكتب التقييم المستقل، أما التقييمات اللامركزية فيجريها خبراء خارجيون مستقلون بتكليف من الوحدات البرنامجية التابعة للبرنامج الإنمائي.
22
About 38 per cent of consultants who responded to a survey (254 respondents;أفاد نحو 38 في المائة من الاستشاريين الذين أجابوا على الاستقصاء (254 مستجيبا؛
response rate of 50.8% of the population;بمعدل استجابة قدره 50.8 في المائة من جمهور المستطلعين؛
margin of error 3.6 per cent) reported some form of unacceptable interference by management.وبهامش خطأ قدره 3.6 في المائة) بوجود شكل ما من أشكال التدخل غير المقبول من جانب الإدارة.
33
The final report of the review offers alternative options, but the present executive summary presents only the approach that the review recommends.يعرض التقرير النهائي للاستعراض خيارات متعاوضة، ولكن هذا الموجز التنفيذي يعرض فقط النهج الذي يزكيه الاستعراض.
44
A way of introducing penalties into the system practiced among some international finance institutions is to give “red flags” to management units breaching regulations or standards.من بين طرق تضمين النظام وسائل عقابية التي تأخذ بها بعض المؤسسات المالية الدولية إصدار ”إنذارات“ للوحدات الإدارية التي تخرق الأنظمة أو المعايير.
These can accumulate and be considered in future performance assessments.ويمكن أن تتراكم هذه الإنذارات وأن تؤخذ في الاعتبار عند إجراء تقييمات للأداء مستقبلا.
55
‘Monitoring and evaluation specialists’ could be counted towards the required number of evaluation advisers according to whether they are full- or part-time in their monitoring and evaluation capacity, and based on the percentage of their time devoted to evaluation rather than monitoring.يمكن خصم عدد ’اختصاصيي الرصد والتقييم‘ من عدد مستشاري التقييم المطلوبين تبعا لما إذا كانوا سيعملون على أساس التفرغ أو عدم التفرغ بصفتهم قائمين بالرصد والتقييم، واستنادا إلى النسبة المئوية لما سيخصصونه من وقتهم للتقييم بدلا من الرصد.
66
This would follow procedures similar to some of those used in the World Bank project performance assessment system.يشبه هذا بعض الإجراءات المستخدمة في نظام تقييم أداء المشاريع لدى البنك الدولي.
Although the Bank conducts project performance assessment reports in 20-25 per cent of projects previously assessed by an implementation completion report and an implementation completion report review (a desk study), the present review proposes that the UNDP process assess only 10 per cent of projects.ورغم أن البنك يستصدر تقارير لتقييم أداء المشاريع لنسبة تتراوح بين 20 و 25 من المشاريع التي خضعت سابقا للتقييم في تقرير عن اكتمال التنفيذ ولاستعراض تقرير اكتمال التنفيذ (في صورة دراسة وثائق) فإن هذا الاستعراض يقترح ألا يقيِّم البرنامج الإنمائي إلا 10 مشاريع.
This is justified by the fact that UNDP decentralized evaluations are intended to be conducted by independent experts, whereas World Bank implementation completion reports may be conducted by project implementers.وتبرير ذلك هو أن التقييمات اللامركزية للبرنامج الإنمائي من المقرر أن يجريها خبراء مستقلون، في حين أن تقارير اكتمال التنفيذ الخاصة بالبنك الدولي قد يقوم بإعدادها منفذو المشاريع.
77
The Office of Audit and Investigations is already able to raise “audit issues” concerning specific offices, which the offices subsequently have to address.بات بوسع مكتب مراجعة الحسابات والتحقيقات بالفعل التنبيه إلى وجود ”إشكالات تدقيق“ تتعلق بمكاتب محددة، قد يتعين على المكاتب أن تعالجها لاحقا.