25 Nov Uses and Limitations of Evaluation Research Prior to beginning work on this discussion forum, be certain to have read all the required resources for this week. Evaluation research is a unique, ap

Expressing and Assessing Program Theory

Chapter Outline

The Evaluability Assessment Perspective

Describing Program Theory

Program Impact Theory

The Service Utilization Plan

The Program’s Organizational Plan

Eliciting Program Theory

Defining the Boundaries of the Program

Explicating the Program Theory

Program Goals and Objectives

Program Functions, Components, and Activities

The Logic or Sequence Linking Program Functions, Activities, and Components

Corroborating the Description of the Program Theory

Assessing Program Theory

Assessment in Relation to Social Needs

Assessment of Logic and Plausibility

Assessment Through Comparison With Research and Practice

Assessment Via Preliminary Observation

Possible Outcomes of Program Theory Assessment

 

In  Chapter 3 , we advocated that evaluators analyze a program’s theory as an aid in identifying potentially important evaluation questions. In this chapter, we return to the topic of program theory, not as a framework for identifying evaluation questions, but as a constituent part of the program that is being evaluated.

The social problems that programs address are often so complex and difficult that bringing about even small improvements may pose formidable challenges. A program’s theory is the conception of what must be done to bring about the intended social benefits. As such, it is the foundation on which every program rests.

A program’s theory can be a good one, in which case it represents the “know-how” necessary for the program to attain the desired results, or it can be a poor one that would not produce the intended effects even if implemented well. One aspect of evaluating a program, therefore, is to assess how good the program theory is—in particular, how well it is formulated and whether it presents a plausible and feasible plan for improving the target social conditions. For program theory to be assessed, however, it must first be expressed clearly and completely enough to stand for review. Accordingly, this chapter describes how evaluators can describe the program theory and then assess how good it is.

Mario Cuomo, former governor of New York, once described his mother’s rules for success as (1) figure out what you want to do and (2) do it. These are pretty much the same rules that social programs must follow if they are to be effective. Given an identified need, program decisionmakers must (1) conceptualize a program capable of alleviating that need and (2) implement it. In this chapter, we review the concepts and procedures an evaluator can apply to the task of assessing the quality of the program conceptualization, which we have called the program theory. In the next chapter, we describe how the evaluator can assess the quality of the program’s implementation.

Whether it is expressed in a detailed program plan and rationale or only implicit in the program’s structure and activities, the program theory explains why the program does what it does and provides the rationale for expecting that doing so will achieve the desired results. When examining a program’s theory, evaluators often find that it is not very convincing. There are many poorly designed social programs with faults that reflect deficiencies in their underlying conception of how the desired social benefits can be attained. This happens in large part because insufficient attention is given during the planning of new programs to careful, explicit conceptualization of a program’s objectives and how they are supposed to be achieved. Sometimes the political context within which programs originate does not permit extensive planning but, even when that is not the case, conventional practices for designing programs pay little attention to the underlying theory. The human service professions operate with repertoires of established services and types of intervention associated with their respective specialty areas. As a result, program design is often a matter of configuring a variation of familiar “off the shelf” services into a package that seems appropriate for a social problem without a close analysis of the match between those services and the specific nature of the problem.

For example, many social problems that involve deviant behavior, such as alcohol and drug abuse, criminal behavior, early sexual activity, or teen pregnancy, are addressed by programs that provide the target population with some mix of counseling and educational services. This approach is based on an assumption that is rarely made explicit during the planning of the program, namely, that people will change their problem behavior if given information and interpersonal support for doing so. While this assumption may seem reasonable, experience and research provide ample evidence that such behaviors are resistant to change even when participants are provided with knowledge about how to change and receive strong encouragement from loved ones to do so. Thus, the theory that education and supportive counseling will reduce deviant behavior may not be a sound basis for program design.

A program’s rationale and conceptualization, therefore, are just as subject to critical scrutiny within an evaluation as any other important aspect of the program. If the program’s goals and objectives do not relate in a reasonable way to the social conditions the program is intended to improve, or the assumptions and expectations embodied in a program’s functioning do not represent a credible approach to bringing about that improvement, there is little prospect that the program will be effective.

The first step in assessing program theory is to articulate it, that is, to produce an explicit description of the conceptions, assumptions, and expectations that constitute the rationale for the way the program is structured and operated. Only rarely can a program immediately provide the evaluator with a full statement of its underlying theory. Although the program theory is always implicit in the program’s structure and operations, a detailed account of it is seldom written down in program documents. Moreover, even when some write-up of program theory is available, it is often in material that has been prepared for funding proposals or public relations purposes and may not correspond well with actual program practice.

Assessment of program theory, therefore, almost always requires that the evaluator synthesize and articulate the theory in a form amenable to analysis. Accordingly, the discussion in this chapter is organized around two themes: (1) how the evaluator can explicate and express program theory in a form that will be representative of key stake-holders’ actual understanding of the program and workable for purposes of evaluation, and (2) how the evaluator can assess the quality of the program theory that has been thus articulated. We begin with a brief description of a perspective that has provided the most fully developed approaches to evaluating program theory.

5.1 The Evaluability Assessment Perspective

One of the earliest systematic attempts to describe and assess program theory arose from the experiences of an evaluation research group at the Urban Institute in the 1970s (Wholey, 1979). They found it often difficult, sometimes impossible, to undertake evaluations of public programs and began to analyze the obstacles. This led to the view that a qualitative assessment of whether minimal preconditions for evaluation were met should precede most evaluation efforts. Wholey and his colleagues termed the process  evaluability assessment (see  Exhibit 5-A).

Evaluability assessment involves three primary activities: (1) description of the  program model with particular attention to defining the program goals and objectives,

(2) assessment of how well defined and evaluable that model is, and (3) identification of stakeholder interest in evaluation and the likely use of the findings. Evaluators conducting evaluability assessments operate much like ethnographers in that they seek to describe and understand the program through interviews and observations that will reveal its “social reality” as viewed by program personnel and other significant stakeholders. The evaluators begin with the conception of the program presented in documents and official information, but then try to see the program through the eyes of those closest to it. The intent is to end up with a description of the program as it exists and an understanding of the program issues that really matter to the parties involved. Although this process involves considerable judgment and discretion on the part of the evaluator, various practitioners have attempted to codify its procedures so that evaluability assessments will be reproducible by other evaluators (see Rutman, 1980; Smith, 1989; Wholey, 1994).

A common outcome of evaluability assessments is that program managers and sponsors recognize the need to modify their programs. The evaluability assessment may reveal that there are faults in a program’s delivery system, that the program’s target population is not well defined, or that the intervention itself needs to be reconceptualized. Or there may be few program objectives that stake-holders agree on or no feasible performance indicators for the objectives. In such cases, the evaluability assessment has uncovered problems with the program’s design that program managers must correct before any meaningful performance evaluation can be undertaken.

The aim of evaluability assessment is to create a favorable climate and an agreed-on understanding of the nature and objectives of the program that will facilitate the design of an evaluation. As such, it can be integral to the approach the evaluator employs to tailor an evaluation and formulate evaluation questions (see  Chapters 2 and  3).  Exhibit 5-B presents an example of an evaluability assessment that illustrates the typical procedure.

EXHIBIT  5-A A Rationale for Evaluability Assessment

If evaluators and intended users fail to agree on program goals, objectives, information priorities, and intended uses of program performance information, those designing evaluations may focus on answering questions that are not relevant to policy and management decisions. If program goals and objectives are unrealistic because insufficient resources have been applied to critical program activities, the program has been poorly implemented, or administrators lack knowledge of how to achieve program goals and objectives, the more fruitful course may be for those in charge of the program to change program resources, activities, or objectives before formal evaluation efforts are undertaken. If relevant data are unavailable and cannot be obtained at reasonable cost, subsequent evaluation work is likely to be inconclusive. If policymakers or managers are unable or unwilling to use the evaluation information to change the program, even the most conclusive evaluations are likely to produce “information in search of a user.” Unless these problems can be overcome, the evaluation will probably not contribute to improved program performance.

These four problems, which characterize many public and private programs, can be reduced and often overcome by a qualitative evaluation process, evaluability assessment, that documents the breadth of the four problems and helps programs—and subsequent program evaluation work—to meet the following criteria:

 

· Program goals, objectives, important side effects, and priority information needs are well defined.

· Program goals and objectives are plausible.

· Relevant performance data can be obtained.

· The intended users of the evaluation results have agreed on how they will use the information.

Evaluability assessment is a process for clarifying program designs, exploring program reality, and—if necessary—helping redesign programs to ensure that they meet these four criteria. Evaluability assessment not only shows whether a program can be meaningfully evaluated (any program can be evaluated) but also whether evaluation is likely to contribute to improved program performance.

SOURCE: Quoted from Joseph S. Wholey, “Assessing the Feasibility and Likely Usefulness of Evaluation,” in  Handbook of Practical Program Evaluation, eds. J. S. Wholey, H. P. Hatry, and K. E. Newcomer (San Francisco: Jossey-Bass, 1994), p. 16.

EXHIBIT  5-B Evaluability Assessment for the Appalachian Regional Commission

Evaluators from the Urban Institute worked with managers and policymakers in the Appalachian Regional Commission (ARC) on the design of their health and child development program. In this evaluability assessment, the evaluators:

 

· Reviewed existing data on each of the 13 state ARC-funded health and child development programs

· Made visits to five states and then selected two states to participate in evaluation design and implementation

· Reviewed documentation related to congressional, commission, state, and project objectives and activities (including the authorizing legislation, congressional hearings and committee reports, state planning documents, project grant applications, ARC contract reports, local planning documents, project materials, and research projects)

· Interviewed approximately 75 people on congressional staffs and in commission headquarters, state ARC and health and child development staffs, local planning units, and local projects

· Participated in workshops with approximately 60 additional health and child development practitioners, ARC state personnel, and outside analysts

Analysis and synthesis of the resulting data yielded a logic model that presented program activities, program objectives, and the assumed causal links between them. The measurability and plausibility of program objectives were then analyzed and new program designs more likely to lead to demonstrably effective performance were presented. These included both an overall ARC program model and a series of individual models, each concerned with an identified objective of the program.

In reviewing the report, ARC staff were asked to choose among alternative courses of action. The review process consisted of a series of intensive discussions in which ARC and Urban Institute staff focused on one objective and program model at a time. In each session, the evaluators and staff attempted to reach agreement on the validity of the models presented, the importance of the respective objectives, and the extent to which any of the information options ought to be pursued.

ARC ended up adopting revised project designs and deciding to systematically monitor the performance of all their health and child development projects and evaluate the effectiveness of the “innovative” ones. Twelve of the 13 ARC states have since adopted the performance monitoring system. Representatives of those states report that project designs are now much more clearly articulated and they believe the projects themselves have improved.

SOURCE: Adapted from Joseph S. Wholey, “Using Evaluation to Improve Program Performance,” in  Evaluation Research and Practice: Comparative and International Perspectives, eds. R. A. Levine, M. A. Solomon, G.-M. Hellstern, and H. Wollmann (Beverly Hills, CA: Sage, 1981), pp. 92-106.

Evaluability assessment requires program stakeholders to articulate the program’s design and logic (the program model); however, it can also be carried out for the purposes of describing and assessing program theory (Wholey, 1987). Indeed, the evaluability assessment approach represents the most fully developed set of concepts and procedures available in the evaluation literature for describing and assessing a program’s conceptualization of what it is supposed to be doing and why. We turn now to a more detailed discussion of procedures for identifying and evaluating program theory, drawing heavily on the writings associated with the practice of evaluability assessment.

Previous section

Next section

5.2 Describing Program Theory

Related Tags

Academic APA Assignment Business Capstone College Conclusion Course Day Discussion Double Spaced Essay English Finance General Graduate History Information Justify Literature Management Market Masters Math Minimum MLA Nursing Organizational Outline Pages Paper Presentation Questions Questionnaire Reference Response Response School Subject Slides Sources Student Support Times New Roman Title Topics Word Write Writing