El objetivo de esta investigación ha sido diseñar y validar un instrumento para evaluar la práctica evaluadora en la enseñanza universitaria desde un enfoque de Evaluación Orientada al Aprendizaje, caracterizado por incorporar las actividades de evaluación como actividades de aprendizaje, implicar a los estudiantes en el proceso y ofrecer retroalimentación con información precisa para orientar cambios hacia la mejora del aprendizaje. Para ello se elaboró la Escala sobre la Evaluación de los Aprendizajes (EEA) y se aplicó a una muestra de 1205 estudiantes de una Universidad Chilena. A partir de los datos recogidos se evaluaron las propiedades psicométricas de la escala propuesta así como su capacidad para reflejar los conceptos teóricos y constructos utilizados. Para el análisis estadístico se empleó el método de mínimos cuadrados parciales (PLS, partial least squares) en un modelo de ecuaciones estructurales (SEM, structural equation modeling). Los resultados indican que la escala es válida y fiable para medir el proceso de evaluación de los aprendizajes. Se han corroborado la fiabilidad de los ítems y de las dimensiones, y su validez discriminante y convergente. En consecuencia, los resultados de la investigación permiten confirmar el modelo teórico de nueve dimensiones de la Evaluación Orientada al Aprendizaje: coherencia entre objetivos de aprendizaje y evaluación, cobertura, utilización de los resultados, planificación, contenidos, sistematización, agentes, retroalimentación y momentos.