Qué es un KPI para un empleado y cómo evaluarlo correctamente Qué es un KPI para un empleado y cómo evaluarlo correctamente. Vladimir Zavertaylov, director de Sibiriks: scrum-studio

Para escribir esta nota & nbsp se gastó:

• 68338 kilómetros de recorrido.
• 72 horas-hombre para correspondencia por correo.
• 423 horas-hombre para experimentos con un equipo de 30 personas.
• 88 horas para la elaboración de informes y ponencias en conferencias.
• 17 tazas de café para conversar con sabios en la fiesta posterior.
• Aproximadamente 25 horas para escribir este texto y corregir errores :).
• Un copywriter torturado que se vio obligado a revisar mis borradores, grabaciones de audio y, en general, gracias a él.

Mucho dinero y tiempo. Quizás el más costoso (en términos de nervios, tiempo y dinero) fue el experimento en mi propio equipo, que me avergüenza increíblemente recordar. Pero más sobre eso a continuación.

Tarde o temprano, probablemente todos los directores deseen pagar de manera justa. Por el trabajo realizado. Y mucha gente ahora está tratando de implementar KPI (indicadores clave de rendimiento). Funciona así: usted, como propietario de un negocio, asigna objetivos específicos a los empleados. Logran o no logran sus objetivos en el transcurso del trabajo. Aquellos que lo han logrado reciben un bollo (bonificación en efectivo).

El fundamento de este enfoque es pagar de manera justa. Tanto como he ganado, he recibido tanto. Esto es honesto, esto es lógico, ¡esto es maravilloso!

Bueno, es lógico que:

• A los vendedores se les debe asignar un porcentaje de la facturación. Los lobos deben tener hambre. (Sí, existe una opinión alternativa de que aplicar este enfoque significa “imponerse un impuesto adicional”. Pero en lo que a mí respecta, todo es justo aquí :-)).
• Plancton de oficina: establece un salario. La estabilidad para ellos es una condición muy importante para su existencia.

Pero con las unidades creativas (diseñadores, programadores), todo es mucho más complicado.

Recientemente realizamos una encuesta a los responsables de las principales agencias digitales y estudios web del país sobre el tema "cómo se utilizan los KPI en relación al trabajo de las unidades creativas", como resultado, obtuvimos la siguiente imagen:

Algunas empresas (15%) utilizan KPI para evaluar el desempeño de programadores y diseñadores.

Alrededor del 25% de las empresas están implementando KPI en este momento / encuentran resistencia dentro de la empresa, o están trabajando de acuerdo con un esquema simplificado.

Aproximadamente el 30% de las empresas paga a los empleados según las evaluaciones subjetivas de los gerentes. Más bien, el 30% lo admite ;-)
El 30% restante no confiesa.

Lo más interesante es que muchos han intentado implementar KPI o lo están intentando ahora. Y no con mucho éxito. Esto no significa que el KPI sea malo. Es imposible comer alimentos mal cocidos. ¿Quizás simplemente no sabemos cómo preparar este KPI?

Pero las estadísticas muestran que la inmensa mayoría tiene dificultades de implementación. Y existe la sospecha de que todo el mundo tiene un problema común. Intentemos resolverlo.

Lo primero que tendrás que afrontar a la hora de implementar KPIs es la resistencia del equipo.

Surge la pregunta: ¿Cuál es el mayor fan de los desarrolladores a la hora de implementar KPI?

Después de realizar varios experimentos y encuestas entre colegas, identificamos 6 razones principales:

1. Miedo a la novedad. Todo el mundo tiene un miedo total a las innovaciones, pensando que empeorará (menos dinero, más trabajo, etc.).
2. Esquema opaco. Al utilizar un esquema de compensación multiparámetro, aumentamos el riesgo de que los trabajadores no lo entiendan. Las personas se cabrean y desmotivan cuando no entienden exactamente cómo lograr los mejores resultados o por qué de repente recibieron menos dinero.
3. "¿Por qué hay tanto?" Sí, eso también pasa. Si el esquema está construido de tal manera que el resultado de este mes aparecerá solo después de dos o tres. “Este mes trabajé peor y obtuve más. Significa, la última vez que no me dieron. ¡La gerencia es idiota, no entienden nada de mi trabajo! "
4. Tasa de respuesta a emergencias del empleado. Es casi irreal entrar en la autoconciencia de una persona y darle una bonificación "justa".
5. Dependencia incompleta logro del criterio del empleado. Por ejemplo, no depende enteramente del diseñador si el diseño que ha dibujado se venderá o se tendrán que hacer 50 ediciones.
6. Informes. No conozco a nadie a quien le guste escribir informes, anotar el tiempo transcurrido y prometer "plazos exactos".

Si observa esta lista detenidamente, encontrará que la mayoría de las afirmaciones están relacionadas con la elección, la contabilidad, la transparencia y la adecuación de los criterios.

está bien. ¡Así que solo tienes que idear buenos criterios!

Bueno, los que entenderán a todos, los que no remontarán a nadie, los que serán fáciles de explicar incluso en una entrevista. Y para que todo sea justo, y quiero trabajar cada vez más.

Intentemos encontrar buenos criterios. (Por cierto, "Bueno" - ¿para quién?). Tenemos tres partes interesadas clave afectadas: el propietario del estudio, el cliente y los desarrolladores.

¿Qué puede ser un buen criterio desde el punto de vista del cliente? Por lo general, todo se reduce al dinero (bueno, o algunos resultados reales):

• ROI - en términos generales, este es el "rendimiento de las inversiones financieras". El indicador deducido por los economistas no es del todo aplicable a los desarrolladores: después de todo, no pueden controlar el rendimiento de su trabajo y medirlo en dinero sobre la marcha. Es decir, no pueden afectar directamente al indicador.
• Bajo costo de la función. Es beneficioso para el cliente tener un bajo costo de la función. Y para un desarrollador, esto es una ruptura en el patrón ("¿Cómo es esto: obtengo más dinero por el hecho de que trabajo barato?").
• Satisfacción. No sé cómo contarlo, pero si tenemos en cuenta que la gente quiere felicidad o al menos vapor menos (Dmitry Satin), entonces incluso podemos ofrecer esta fórmula:

Sin embargo, las realidades son ahora tales que venir y ofrecer, por ejemplo, al diseñador la dependencia de su salario de la efímera "satisfacción" del cliente es una forma garantizada de quedarse sin diseñador. Se necesita una crisis muy grave para que este tema comience a funcionar. O muchos buenos diseñadores superfluos.

• Fecha de lanzamiento. Todo parece lógico: entregamos el proyecto a tiempo, obtenemos mucho dinero, si lo entregamos antes de lo previsto, obtenemos aún más dinero. El indicador es bueno, pero tiene un problema ya identificado: no todo depende del desarrollador. La fecha límite surge con mayor frecuencia del lado de la gestión del cliente. (De ahí la feria: "¿Por qué debería perder en salario, aunque el gerente no eliminó el contenido del cliente?").

está bien. Estos criterios buenos para el cliente obviamente no serán buenos para el desarrollador. (No me hago ilusiones, ahora puede pensar fácilmente en otras 200 piezas de criterios diferentes que sean importantes para los negocios. Escriba, lo discutiremos en los comentarios :))

¡Pero puedes medir el RENDIMIENTO! ¡Es así de simple!

¿O no? ¿Cómo medirlo? Si pinté la cerca, entonces todo es obvio. Pero hay una trampa. Hay mucha gente pensante, creativa y talentosa en nuestra industria, y nadie pinta vallas. Echemos un vistazo al ejemplo de los programadores. Entonces, ¿cuáles son algunos de los puntos de referencia de buen rendimiento que me vienen a la mente?

• KSLOC.¿Sabes lo que es esto? ¿Sabes cuál es el código hindú? Implementar - lo descubrirás. KSLOC es el número de miles de líneas de código. Si vincula este indicador a su salario, espere mil líneas de copiar y pegar. Un conocido mío recibió un pedido completo en algún lugar de Bangalore: un script php, por solo diez dólares, pero hasta por 20 MB. ¡Y funcionó!
• La cantidad de mierda por hora (WTF / h). El número de páginas dibujadas por día, el número de funciones implementadas por hora, etc. Parece ser una métrica normal: algo se puede calcular y usar para distribuir bollos. Sin embargo, surge un problema similar al punto anterior: una caída de la calidad a expensas de la cantidad, un aumento de la deuda tecnológica. Motivación, interés, satisfacción: todo se desploma. Como resultado, rotación y bajas calificaciones.
• La cantidad de errores. Cuantos menos errores, más pagamos. Todo es lógico, ¿no? Realmente no. ¿Hay un rastreador de errores en su estudio? Si es así, olvídalo. Sus probadores muy pronto estarán de acuerdo con sus programadores sobre cuántos errores escribir y cuántos no, para que esto no sea en detrimento de ambas partes.
• Reciclaje."Si llega tarde al trabajo, no trabaja bien". ¿No es eso lógico también? Estamos luchando con el reciclaje, por ejemplo, apagamos la luz después de las 18:00. Sin embargo, aquí debe recordar que la psicología de un desarrollador es fundamentalmente diferente de la psicología del plancton de oficina: si se sienta hasta la noche, entonces está interesado (y esto debe alentarse).

La gente trabaja en nuestro campo principalmente porque está interesada en él.

No interfieras con las estúpidas reglas corporativas.

• Factor de enfoque. Esta métrica nos llegó de mi amado Scrum. Muestra cuánto debería haber costado la tarea, idealmente, y cuánto terminó. "Concentración" del equipo en el proyecto. ¿Es posible pagar dinero en base a este criterio? Claro, pero si sus gerentes no son "expertos en tecnología", los programadores sobreestimarán deliberadamente el tiempo, minimizando sus propios riesgos. La consecuencia de este enfoque es que los plazos se alargan, el cliente se indigna (o no le compra). Sí, y cada reunión se convertirá en disputas y discusiones en 10 minutos.
• Velocidad. También de Scrum. La proverbial "productividad". Esto no está claro, las humanidades pueden saltarse un párrafo.

Le permite predecir cuántas tareas podrá puntuar un equipo en la siguiente etapa, dependiendo de cuántas completaron en la anterior. Los problemas son los mismos que los del factor de enfoque, más uno más se agrega. A menudo, un gerente (especialmente uno sin experiencia), que siente que el desempeño de un equipo se puede "medir", comienza a utilizar esta herramienta "en la otra dirección". Pero la velocidad no puede ser un criterio exacto, porque muestra cuánto tiempo puede llevar la misma tarea, realizada por el mismo comando en las mismas condiciones. Sin embargo, después de completar la tarea, el equipo ya ha cambiado: ha ganado experiencia en cómo resolver esta tarea en particular. Y la métrica no volverá a funcionar.

• Tiempo del ciclo. Qué tan rápido pasa el tiempo desde el momento en que surgió la idea de implementar una función en el proyecto hasta el momento en que se realizó.

Personalmente, me gusta mucho esta métrica. Uno de los clave que vale la pena medir y optimizar. Pero los desarrolladores no influyen directamente en este factor. Esta es una métrica de nivel demasiado alto. Si comienzas a pagarle al equipo un salario en función del Tiempo de Ciclo que tienen, esto significa que tú, como líder, no buscas resolver los problemas del equipo y entender los procesos, sino simplemente pasarlo todo al equipo.

Un intento de determinar la dependencia del salario del desarrollador en una métrica de alto nivel es evidencia de impotencia gerencial

Entonces, ¿es posible medir la efectividad de un equipo? Sí, puede, especialmente porque hemos escrito alrededor de una docena de indicadores para esto. Y se puede pensar en otra docena de dos en los comentarios. Otra pregunta: ¿vale la pena hacer que el salario del desarrollador dependa del desempeño? Pero esto ya es arriesgado.

Empiezo a trabajar y hago mi trabajo, bueno, porque soy un profesional y me interesa. Pero si empiezo a difundir la podredumbre con métricas estúpidas, optimizaré estas métricas estúpidas. Escribiré 1000 líneas o dibujaré 10 diseños de mierda al día. Y mi interés en el trabajo se secará muy, muy rápidamente, estúpidamente querré la masa. A esto se le llama sustitución de la motivación interna - externa.

La historia de una locura

Una vez, a un "buen amigo mío", el director del estudio, se le ocurrió la idea de introducir un salario muy justo, donde se tendrían en cuenta un montón de parámetros. Naturalmente, el asunto se abordó a gran escala. Escribimos un montón de criterios, como:

- plan mensual de horas-hombre trabajadas y horas reales trabajadas;

- plan de ventas trimestral;

- el número de pupilos y sus salarios;

- la cantidad de comunicación positiva de los clientes (satisfacción);

- el número de solicitudes repetidas de clientes con nuevos proyectos;

- premios en concursos especializados;

- comunicación negativa con el cliente;

- el número de errores encontrados por QA;

- crecimiento de las cuentas por cobrar;

- el número de errores encontrados por el cliente después del inicio del proyecto;

- leer libros, escribir artículos.

Y 20 piezas más (lista útil, llévatelo ;-)).

Todo esto se reunió en un solo sistema. Naturalmente, el sistema tenía que estar equilibrado. Por eso, en los primeros meses, se decidió calibrarlo en "envoltorios de caramelos" virtuales. Se inventó un tablero grande en el que se dibujó una lista de empleados. Se colgaron varios "envoltorios de dulces" en el tablero - inmediatamente, tan pronto como llegó el pago, el proyecto terminó o sucedió algún evento bueno (o malo) que afectaría el salario en el futuro.

Literalmente, en 1 hora, los rostros de los empleados se volvieron muy, muy sombríos. Un par de días después empezaron las preguntas: "¿por qué tengo menos envoltorios de caramelos?" o "¿por qué no me dieron una envoltura de caramelos? ¿Ayudé a Vasya?"

El estado de ánimo se volvió ansioso. Después de una semana, las evaluaciones de proyectos comenzaron a tomar 4 veces más que antes, y cada evaluación se convirtió en una disputa interminable entre el desarrollador y el gerente del proyecto. A finales de mes, pocas personas querían ayudar a su camarada, explicaron por el hecho de que "hay suficiente de su trabajo". Surgieron una infinidad de situaciones que no pudieron formalizarse. Se repartieron muchos envoltorios de caramelos sobre la base de sentimientos subjetivos.

Pocas personas querían trabajar sin envoltorios, la tensión crecía. La productividad y la motivación cayeron. Un mes después, el programa fue cancelado. Después de otro par de meses, la ansiedad desapareció.

Como conclusión:

Se deben medir diferentes métricas y pensar-pensar-pensar cómo influir en ellas. Pero no transfiera métricas de alto nivel directamente a desarrolladores y diseñadores. Y además.

“El desarrollador tiene cuatro componentes: cuerpo, corazón, mente y alma.

1. El cuerpo necesita dinero y seguridad.
2. Corazón: amor y reconocimiento.
3. Mente: desarrollo y superación personal.
4. Autorrealización para el alma ".

S. Archipenkov

Respeta a otras personas y dales la oportunidad de hacer lo que les gusta)).

Y lo último. Existe la sospecha de que cada líder debe comprender por sí mismo si su organización está lista para la transición a los KPI. Espero que esta pequeña selección de artículos que logramos recopilar ayude a tomar la decisión correcta.

Así es como fue. Tenemos dos páginas principales de Facebook: Clasificación de runet(aquí publicamos noticias relacionadas con nuestras calificaciones y la competencia de sitios / aplicaciones móviles) y Revista CMS(el contenido principal son artículos de fondo, estudios y casos). Y luego hay un grupo cerrado Revista CMS y calificación de Runet... Está diseñado para discutir los problemas y cuestiones más urgentes de interés para los digitalistas. Agregue, por cierto, que de repente será útil. Eso es todo. Hace unas semanas, uno de los miembros del grupo se dirigió a sus colegas en busca de comentarios y materiales útiles sobre el tema de los KPI. Por ejemplo, ha llegado el momento de implementar KPI en casa, pero se necesitan detalles.

Vladimir Zavertaylov, jefe de Sibiriks: scrum-studio

Han pasado aproximadamente 4 años desde que hablé sobre por qué los KPI para trabajadores creativos son una joya duradera. Y el tema sigue siendo relevante y puede serlo hasta que los robots nos reemplacen a todos. Literalmente cada mes (en conferencias o en comunicación personal o en chats de Facebook), no, no, y alguien preguntará, “¿Cómo podemos vincular el pago de programadores o diseñadores al desarrollo”. Agregue a KPI: objetivos corporativos de alto nivel (que suenan bien y hermosos, pero que no pueden ser influenciados directamente por un empleado específico). Agregue algunos indicadores al KPI, que se tomarán de inmediato. Y para suavizar el cumplimiento de este KPI opcional ("bueno, lo intentaron, ¡demos una bonificación!"). Este juego lo juegan miles de personas.

La verdad es que nos hacemos esta pregunta cuando nos damos cuenta de la toxicidad de la gestión de personas. Queremos construir un sistema que pueda penalizar y recompensar sin nuestra participación directa de la gerencia. No tenemos miedo ni somos perezosos. Tenemos miedo de subir y dar una retroalimentación negativa al empleado malo (pero insolente) (al menos hasta que la paciencia se desborde, y luego la retroalimentación arranca la tapa del hervidor y cae sobre todos en el radio de la derrota). Somos perezosos. Somos demasiado perezosos para realizar una certificación regular de programadores (puedo dar un enlace a lo que es). Somos perezosos y tenemos miedo de castigar a nuestros subordinados de manera competente, enseñarles, discutir honesta y abiertamente sus problemas y problemas, enseñarles, hacerles trabajar en los errores. Estamos dispuestos a aguantar un pequeño mal, pero no a esta cosa cáustica y tóxica: gestionar personas creativas.

Veo cómo los gerentes de las grandes empresas generalmente construyen sus horarios de manera selectiva para ser lo menos posible en el acceso al trabajo: saltar de conferencia en exhibición, de reunión en reunión, de avión en avión, solo para sobrevivir de alguna manera hasta el viernes, botar maletas. , pero no participe en la GESTIÓN. Por lo tanto, necesitamos mucho un sistema de KPI. Tal tentación de culpar a su incompetencia gerencial y falta de voluntad para entrar en conflicto con las personas (y es inevitable cuando hay una división de ganancias o necesita darle a un mal empleado un mal tipo) a un sistema mágico de KPI que resolverá todo. por sí mismo.

Nikolay Apurin, Director General de ARTWELL LLC

Nuestro sistema de KPI son proyectos premium. Hay una serie de proyectos que deben hacerse rápidamente y ayer (generalmente, cuando el cliente nos da un proyecto, donde los plazos ya pasaron y el proyecto se ahogó con un contratista de "bolsillo", el desarrollador líder no pasó las matemáticas y se ve obligado a dejar el proyecto, la fiscalía y la cuenta están en la puerta ... Y la tarea es - hacerlo ayer, rápido. En el mejor de los casos, hay una especificación técnica, en el peor de los casos y no lo es). Tomamos dichos proyectos y entregamos bonificaciones por la finalización exitosa de las etapas. Cada proyecto tiene su propio sistema de bonificación. El líder del equipo de un proyecto severo superó con éxito la primera y segunda etapa en 2 meses, su bonificación total resultó ser de 800,000 rublos. Pero también hay correcciones estándar% de ventas,% de ventas adicionales, una bonificación fija por cada buena reseña de un cliente para RP, y otros.

En general, el sistema de motivación funciona. Cada empleado clave de ARTWELL, si no se equivoca, puede comprar un apartamento para sí mismo con bonificaciones. Esta es nuestra gran ventaja y gran motivación para todos los nuevos empleados.

Roman Gorevoy, director ejecutivo de EUROSITE

En el trabajo de cualquier estudio web, hay tres divisiones globales de actividad: ventas, desarrollo y cuenta. A pesar de la aparente simplicidad de los KPI en el departamento de ventas, todo resulta no ser tan simple, ya que constantemente hay que luchar con el deseo de los vendedores de vender más proyectos por menos dinero. La lógica es simple: es mejor vender mucho, pero barato, que poco, pero a un precio alto. En esta situación, la experiencia de los bancos y las compañías de seguros es muy útil, cuando hay un tercero, un asegurador, que acordará la posibilidad o imposibilidad de cerrar un trato, evalúa los riesgos y la posible rentabilidad del proyecto. En nuestra empresa, la suscripción está a cargo de la dirección. Como resultado, el plan de ventas y la suscripción le permiten evaluar objetivamente el KPI del departamento de ventas.

En desarrollo y diseño, tenemos un KPI basado en el ROI, pero no está vinculado al salario de ninguna manera y no se divulga a los empleados comunes. Los desarrolladores y diseñadores trabajan con un salario fijo, sin distraerse con la idea de "cuánto dinero obtendré". Por objetividad, el ROI se toma por períodos de 6 meses o más. Tarde o temprano, queda claro si el empleado recibe suficiente o no suficiente, o se le paga en exceso, respectivamente, aproximadamente cada seis meses, el salario se ajusta.

No puede haber ningún KPI claro en la cuenta, ya que todo aquí depende en gran medida de la "adecuación" de los propios clientes. Un gerente de cuenta puede tener clientes "generosos y adecuados", mientras que otro puede tener los puños cerrados, y algunos incluso pueden tener los clientes más difíciles. Si comienza a introducir métricas de evaluación estrictas, los clientes difíciles serán ignorados o se fusionarán con los recién llegados.

Vasily Vishnyakov, Director general de la agencia de Internet Bquadro

El uso de un sistema de KPI para evaluar el desempeño de los empleados es un momento popular pero desafiante. En nuestra agencia, el formato KPI existe desde hace mucho tiempo. Inicialmente, se introdujeron para el departamento de marketing de Internet, luego para los jefes de departamento y el departamento de ventas. Debe reconocerse que no todos los empleados pueden medirse mediante métricas. Entonces, no tenemos KPI en el departamento técnico y el departamento de diseño.

Además, existe un gran peligro de caer en el formalismo, cuando nadie tocará un dedo sin bonificaciones. Pero el éxito del estudio radica precisamente en el trabajo en equipo, en la sinergia de esfuerzos. La introducción de un número excesivo de indicadores clave de rendimiento generará una tensión innecesaria en el equipo. Por lo tanto, es necesario lograr un equilibrio entre la contabilidad de KPI y el trabajo en equipo. Solo estamos tratando de equilibrarnos en algún punto intermedio.

Resumiendo, diré que la evaluación de la eficacia depende en gran medida de la sensibilidad, flexibilidad y experiencia del evaluador. Este tema debe abordarse de manera diferencial, ya que la situación puede cambiar y las métricas en sí mismas pueden y, a veces, deben cambiar para una persona específica.

Alexey Volkov, CEO de la agencia Digital.Tools

El esquema de motivación debe ser transparente. Una persona debe comprender lo que recibirá. Es difícil motivar a un desarrollador con un porcentaje de ventas, pero es imposible motivar a un desarrollador. Para ellos, criterios más simples:

1. entrega del proyecto a tiempo,
2. con la calidad requerida.

Para algunos "trabajadores duros" es posible introducir adicionalmente un recargo por las horas extraordinarias, especialmente si están interesados ​​en el proceso en sí. Para los gerentes y vendedores, es mejor como porcentaje de la facturación. Directores de ventas, como porcentaje de las ganancias. Si el proyecto no es rentable, no vendo el proyecto. Si el proyecto ha dejado de ser rentable en el transcurso del trabajo: las pérdidas de la empresa y un motivo para sacar conclusiones. El vendedor tiene una pequeña cantidad y un porcentaje de las ventas de servicios. Solución: para no morir de hambre, el porcentaje es bueno. Así, si no vende nada, siente que no ha ganado mucho, y si vende bien, se cubrirá de chocolate. Los gerentes de ventas no buscan clientes, apenas tienen tiempo para procesar las solicitudes entrantes.

Dmitry Loginov, director del estudio de diseño y agencia de Internet "Cuarta Roma"

Habiendo introducido KPI y bonificaciones financieras relacionadas en nuestro estudio y agencia, nos dimos cuenta de que cada gerente debe actuar de esta manera de forma independiente. Este camino es tan individual como cada negocio es individual, por lo que es casi imposible aplicar la experiencia de otra persona sin un gran rediseño.

Por ejemplo, en el departamento de desarrollo y soporte de sitios web, introdujimos incentivos económicos ligados a la rentabilidad de cada proyecto. Hemos aprendido a reunir todos los costos del estudio, dividirlos en departamentos, tener en cuenta los costos laborales y calcular el costo de una hora y, en consecuencia, podemos calcular la rentabilidad y la contribución de cada miembro del equipo.

Al mismo tiempo, nos enfrentamos al hecho de que una cosa es distribuir bonificaciones sobre un gran proyecto que duró 6 meses, y otra es contarlas todos los meses para 20-30 pequeños proyectos de apoyo. Para evitar que esto noqueara a los jefes de proyecto y al departamento de facturación durante una semana, tuvimos que revisar el sistema de remuneración del departamento de soporte. de lo contrario, tendría que cambiar fundamentalmente el sistema de contabilidad laboral y el software de gestión de proyectos.

Olga Barantseva, Director ejecutivo de la empresa de Internet R52.RU

La implementación del sistema KPI para varias divisiones de la empresa incluye las etapas de discusión, desarrollo, implementación, adecuación y administración. Y como cualquier proceso interno, tiene su propio costo. Por lo tanto, es importante que el efecto económico positivo de la introducción de KPI sea obvio. Este no es siempre el caso en nuestra industria.

La dificultad surge inmediatamente al desarrollar "buenos criterios" (© V. Zavertaylov): deben ser claros, objetivos, justos y mensurables. Y este es exactamente el problema. En términos de productividad, el retratista Dunno es mucho más efectivo que Rafael o Velázquez.

En nuestra opinión, es necesario pensar en la implementación de KPIs si:

1. la empresa de Internet se dedica principalmente a la producción en streaming de soluciones estándar o de plantilla;
2. la empresa tiene más de 20-30 especialistas del mismo perfil, por ejemplo, programadores PHP;
3. en presencia de sucursales, oficinas remotas y equipos para formalizar el control sobre las mismas.

En otros casos, las cosas menos costosas pueden ser efectivas, como el seguimiento del tiempo, descripciones de trabajo claras y detalladas y sanciones por su incumplimiento, un sistema de bonificaciones, una graduación salarial según el nivel de profesionalismo y la duración del servicio en la empresa, no -incentivos materiales ("honor y respeto") ...

Dmitry Afanasyev, fundador de DIAFAN.CMS

Soy un oponente conceptual de cualquier tipo de KPI. Si dónde y es posible aplicar KPI con éxito, solo en el trabajo mecánico primitivo, pero no en empresas dedicadas a la creatividad y la creación. Los números pueden estimular y controlar el trabajo de artistas o poetas, que son casi todos desarrolladores de TI. Excepto por el salario, claro. 😉 Pero a menudo es mucho más importante un proceso interesante y el placer de un resultado grandioso, que no se puede convertir en tablas y gráficos.

Sp-force-hide (display: none;). Sp-form (display: block; background: rgba (247, 247, 247, 1); padding: 25px; width: 800px; max-width: 100%; border- radius: 0px; -moz-border-radius: 0px; -webkit-border-radius: 0px; border-color: #dddddd; border-style: solid; border-width: 13px; font-family: Arial, "Helvetica Neue ", sans-serif; background-repeat: no-repeat; background-position: center; background-size: auto;). sp-form input (display: inline-block; opacidad: 1; visibilidad: visible;). sp -form .sp-form-fields-wrapper (margen: 0 automático; ancho: 750px;). sp-form .sp-form-control (fondo: rgba (255, 255, 255, 1); color del borde: rgba (217, 217, 217, 1); border-style: solid; border-width: 1px; font-size: 15px; padding-left: 8.75px; padding-right: 8.75px; border-radius: 0px; -moz -border-radio: 0px; -webkit-border-radius: 0px; alto: 35px; ancho: 100%;). sp-form .sp-field label (color: # 444444; font-size: 14px; font-style : normal; font-weight: bold;). sp-form .sp-button (border-radius: 25px; -moz-bo rder-radio: 25px; -webkit-border-radius: 25px; color de fondo: # ef002b; color: #ffffff; ancho: 100%; peso de fuente: 700; estilo de fuente: normal; familia de fuentes: Arial, sans-serif; sombra de caja: ninguna; -moz-box-shadow: ninguno; -webkit-box-shadow: none;). sp-form .sp-button-container (text-align: center; width: auto;)

Para escribir esta nota, se gastó:

• 68338 kilómetros de recorrido.
• 72 horas-hombre para correspondencia por correo.
• 423 horas-hombre para experimentos con un equipo de 30 personas.
• 88 horas para la elaboración de informes y ponencias en conferencias.
• 17 tazas de café para conversar con sabios en la fiesta posterior.
• Aproximadamente 25 horas para escribir este texto y corregir errores :).
• Un copywriter torturado que se vio obligado a revisar mis borradores, grabaciones de audio y, en general, gracias a él.

Mucho dinero y tiempo. Quizás el más costoso (en términos de nervios, tiempo y dinero) fue el experimento en mi propio equipo, que me avergüenza increíblemente recordar. Pero más sobre eso a continuación.

Tarde o temprano, probablemente todos los directores deseen pagar de manera justa. Por el trabajo realizado. Y mucha gente ahora está tratando de implementar KPI (indicadores clave de rendimiento). Funciona así: usted, como propietario de un negocio, asigna objetivos específicos a los empleados. Logran o no logran sus objetivos en el transcurso del trabajo. Aquellos que lo han logrado reciben un bollo (bonificación en efectivo).

El fundamento de este enfoque es pagar de manera justa. Tanto como he ganado, he recibido tanto. Esto es honesto, esto es lógico, ¡esto es maravilloso!

Bueno, es lógico que:

• Vendedores: asigne un porcentaje de la facturación. Los lobos deben tener hambre. (Sí, existe una opinión alternativa de que aplicar este enfoque significa “imponerse un impuesto adicional”. Pero en lo que a mí respecta, todo es justo aquí :-)).
• Plancton de oficina: establece un salario. La estabilidad para ellos es una condición muy importante para su existencia.

Pero con las unidades creativas (diseñadores, programadores), todo es mucho más complicado.

Recientemente realizamos una encuesta a los responsables de las principales agencias digitales y estudios web del país sobre el tema "cómo se utilizan los KPI en relación al trabajo de las unidades creativas", como resultado, obtuvimos la siguiente imagen:

Algunas empresas (15%) utilizan KPI para evaluar el desempeño de programadores y diseñadores.

Alrededor del 25% de las empresas están implementando KPI en este momento / encuentran resistencia dentro de la empresa, o están trabajando de acuerdo con un esquema simplificado.

Aproximadamente el 30% de las empresas paga a los empleados según las evaluaciones subjetivas de los gerentes. Más bien, el 30% lo admite ;-)
El 30% restante no confiesa.

Lo más interesante es que muchos han intentado implementar KPI o lo están intentando ahora. Y no con mucho éxito. Esto no significa que el KPI sea malo. Es imposible comer alimentos mal cocidos. ¿Quizás simplemente no sabemos cómo preparar este KPI?

Pero las estadísticas muestran que la inmensa mayoría tiene dificultades de implementación. Y existe la sospecha de que todo el mundo tiene un problema común. Intentemos resolverlo.

Lo primero que tendrás que afrontar a la hora de implementar KPIs es la resistencia del equipo.

Surge la pregunta: ¿Cuál es la mayor preocupación de los desarrolladores a la hora de implementar KPI?

Después de realizar varios experimentos y encuestas entre colegas, identificamos 6 razones principales:

1. Miedo a la novedad. Todo el mundo tiene un miedo total a las innovaciones, pensando que empeorará (menos dinero, más trabajo, etc.).
2. Esquema opaco. Al utilizar un esquema de compensación multiparámetro, aumentamos el riesgo de que los trabajadores no lo entiendan. Las personas se cabrean y desmotivan cuando no entienden exactamente cómo lograr los mejores resultados o por qué de repente recibieron menos dinero.
3. "¿Por qué hay tanto?" Sí, eso también pasa. Si el esquema está construido de tal manera que el resultado de este mes aparecerá solo después de dos o tres. “Este mes trabajé peor y obtuve más. Significa, la última vez que no me dieron. ¡La gerencia es idiota, no entienden nada de mi trabajo! "
4. Tasa de respuesta a emergencias del empleado. Es casi irreal entrar en la autoconciencia de una persona y darle una bonificación "justa".
5. Dependencia incompleta logro del criterio del empleado. Por ejemplo, no depende enteramente del diseñador si el diseño que ha dibujado se venderá o se tendrán que hacer 50 ediciones.
6. Informes. No conozco a nadie a quien le guste escribir informes, anotar el tiempo transcurrido y prometer "plazos exactos".

Si observa esta lista detenidamente, encontrará que la mayoría de las afirmaciones están relacionadas con la elección, la contabilidad, la transparencia y la adecuación de los criterios.

está bien. ¡Así que solo tienes que idear buenos criterios!

Bueno, los que entenderán a todos, los que no remontarán a nadie, los que serán fáciles de explicar incluso en una entrevista. Y para que todo sea justo, y quiero trabajar cada vez más.

Intentemos encontrar buenos criterios. (Por cierto, "Bueno" - ¿para quién?). Tenemos tres partes interesadas clave afectadas: el propietario del estudio, el cliente y los desarrolladores.

¿Qué puede ser un buen criterio desde el punto de vista del cliente? Por lo general, todo se reduce al dinero (bueno, o algunos resultados reales):

• ROI - en términos generales, este es el "rendimiento de las inversiones financieras". El indicador deducido por los economistas no es del todo aplicable a los desarrolladores: después de todo, no pueden controlar el rendimiento de su trabajo y medirlo en dinero sobre la marcha. Es decir, no pueden afectar directamente al indicador.
• Bajo costo de la función. Es beneficioso para el cliente tener un bajo costo de la función. Y para un desarrollador, esto es una ruptura en el patrón ("¿Cómo es esto: obtengo más dinero por el hecho de que trabajo barato?").
• Satisfacción. No sé cómo contarlo, pero si tenemos en cuenta que la gente quiere felicidad o al menos echarse un poco de vapor (© Dmitry Satin), entonces podemos incluso ofrecer esta fórmula:

Sin embargo, las realidades son ahora tales que venir y ofrecer, por ejemplo, un diseñador, la dependencia de su salario de la efímera "satisfacción" del cliente es una forma garantizada de quedarse sin diseñador. Se necesita una crisis muy grave para que este tema comience a funcionar. O muchos buenos diseñadores superfluos.

• Fecha de lanzamiento. Todo parece lógico: entregamos el proyecto a tiempo, obtenemos mucho dinero, si lo entregamos antes de lo previsto, obtenemos aún más dinero. El indicador es bueno, pero tiene un problema ya identificado: no todo depende del desarrollador. La fecha límite surge con mayor frecuencia del lado de la gestión del cliente. (De ahí la feria: "¿Por qué debería perder en salario, aunque el gerente no eliminó el contenido del cliente?").

está bien. Estos criterios buenos para el cliente obviamente no serán buenos para el desarrollador. (No me hago ilusiones, ahora puede pensar fácilmente en otras 200 piezas de criterios diferentes que sean importantes para los negocios. Escriba, lo discutiremos en los comentarios :))

¡Pero puedes medir el RENDIMIENTO! ¡Es así de simple!

¿O no? ¿Cómo medirlo? Si pinté la cerca, entonces todo es obvio. Pero hay una trampa. Hay mucha gente pensante, creativa y talentosa en nuestra industria, y nadie pinta vallas. Echemos un vistazo al ejemplo de los programadores. Entonces, ¿cuáles son algunos de los puntos de referencia de buen rendimiento que me vienen a la mente?

• KSLOC.¿Sabes lo que es esto? ¿Sabes cuál es el código hindú? Implementar - lo descubrirás. KSLOC es el número de miles de líneas de código. Si vincula este indicador a su salario, espere mil líneas de copiar y pegar. Un conocido mío recibió un pedido completo en algún lugar de Bangalore: un script php, por solo diez dólares, pero hasta por 20 MB. ¡Y funcionó!
• La cantidad de mierda por hora (WTF / h). El número de páginas dibujadas por día, el número de funciones implementadas por hora, etc. Parece ser una métrica normal: algo se puede calcular y usar para distribuir bollos. Sin embargo, surge un problema similar al punto anterior: una caída de la calidad a expensas de la cantidad, un aumento de la deuda tecnológica. Motivación, interés, satisfacción: todo se desploma. Como resultado: rotación y bajas calificaciones.
• La cantidad de errores. Cuantos menos errores, más pagamos. Todo es lógico, ¿no? Realmente no. ¿Hay un rastreador de errores en su estudio? Si es así, olvídalo. Sus probadores muy pronto estarán de acuerdo con sus programadores sobre cuántos errores escribir y cuántos no, para que esto no sea en detrimento de ambas partes.
• Reciclaje."Si llega tarde al trabajo, no trabaja bien". ¿No es eso lógico también? Estamos luchando con el reciclaje, por ejemplo, apagamos la luz después de las 18:00. Sin embargo, aquí debe recordar que la psicología de un desarrollador es fundamentalmente diferente de la psicología del plancton de oficina: si se sienta hasta la noche, entonces está interesado (y esto debe alentarse).

La gente trabaja en nuestro campo principalmente porque está interesada en él.

No interfieras con las estúpidas reglas corporativas.

• Factor de enfoque. Esta métrica nos llegó de mi amado Scrum. Muestra cuánto debería haber costado la tarea, idealmente, y cuánto terminó. "Concentración" del equipo en el proyecto. ¿Es posible pagar dinero en base a este criterio? Claro, pero si sus gerentes no son "expertos en tecnología", los programadores sobreestimarán deliberadamente el tiempo, minimizando sus propios riesgos. La consecuencia de este enfoque es que los plazos se alargan, el cliente se indigna (o no le compra). Sí, y cada reunión se convertirá en disputas y discusiones en 10 minutos.
• Velocidad. También de Scrum. La proverbial "productividad". Esto no está claro, las humanidades pueden saltarse un párrafo.

Le permite predecir cuántas tareas podrá puntuar un equipo en la siguiente etapa, dependiendo de cuántas completaron en la anterior. Los problemas son los mismos que los del Focus Factor, más uno más. A menudo, un gerente (especialmente uno sin experiencia), que siente que el desempeño de un equipo se puede "medir", comienza a utilizar esta herramienta "en la otra dirección". Pero la velocidad no puede ser un criterio exacto, porque muestra cuánto tiempo puede llevar la misma tarea, realizada por el mismo comando en las mismas condiciones. Sin embargo, después de completar la tarea, el equipo ya ha cambiado: ha ganado experiencia en cómo resolver esta tarea en particular. Y la métrica no volverá a funcionar.

• Tiempo del ciclo. Qué tan rápido pasa el tiempo desde el momento en que surgió la idea de implementar una función en el proyecto hasta el momento en que se realizó.

Personalmente, me gusta mucho esta métrica. Uno de los clave que vale la pena medir y optimizar. Pero los desarrolladores no influyen directamente en este factor. Esta es una métrica de nivel demasiado alto. Si comienzas a pagarle al equipo un salario en función del Tiempo de Ciclo que tienen, esto significa que tú, como líder, no buscas resolver los problemas del equipo y entender los procesos, sino simplemente pasarlo todo al equipo.

Un intento de determinar la dependencia del salario del desarrollador en una métrica de alto nivel es evidencia de impotencia gerencial

Entonces, ¿es posible medir la efectividad de un equipo? Sí, puede, especialmente porque hemos escrito alrededor de una docena de indicadores para esto. Y se puede pensar en otra docena de dos en los comentarios. Otra pregunta: ¿vale la pena hacer que el salario del desarrollador dependa del desempeño? Pero esto ya es arriesgado.

Empiezo a trabajar y hago mi trabajo, bueno, porque soy un profesional y me interesa. Pero si empiezo a difundir la podredumbre con métricas estúpidas, optimizaré estas métricas estúpidas. Escribiré 1000 líneas o dibujaré 10 diseños de mierda al día. Y mi interés en el trabajo se secará muy, muy rápidamente, estúpidamente querré la masa. A esto se le llama sustitución de la motivación interna - externa.

La historia de una locura

Una vez, a un "buen amigo mío", el director del estudio, se le ocurrió la idea de introducir un salario muy justo, donde se tendrían en cuenta un montón de parámetros. Naturalmente, el asunto se abordó a gran escala. Escribimos un montón de criterios, como:

- plan mensual de horas-hombre trabajadas y horas reales trabajadas;

- plan de ventas trimestral;

- el número de pupilos y sus salarios;

- la cantidad de comunicación positiva de los clientes (satisfacción);

- el número de solicitudes repetidas de clientes con nuevos proyectos;

- premios en concursos especializados;

- comunicación negativa con el cliente;

- el número de errores encontrados por QA;

- crecimiento de las cuentas por cobrar;

- el número de errores encontrados por el cliente después del inicio del proyecto;

- leer libros, escribir artículos.

Y 20 piezas más (lista útil, llévatelo ;-).

Todo esto se reunió en un solo sistema. Naturalmente, el sistema tenía que estar equilibrado. Por eso, en los primeros meses, se decidió calibrarlo en "envoltorios de caramelos" virtuales. Se inventó un tablero grande en el que se dibujó una lista de empleados. Se colgaron varios "envoltorios de dulces" en el tablero - inmediatamente, tan pronto como llegó el pago, el proyecto terminó o sucedió algún evento bueno (o malo) que afectaría el salario en el futuro.

Generalmente, los KPI son una gran cosa, pero tan pronto como se trata de su implementación en equipos creativos, surgen preguntas y dudas de inmediato. De hecho, ¿es posible evaluar objetivamente una obra cuando su resultado es intrínsecamente abstracto, cuando es solo una especie de concepto creativo? Es posible, según el estudio de arte y producción ART4you, y como prueba hablan de cómo implementaron KPIs para diseñadores en su trabajo.

El sistema de KPI para evaluar el trabajo de los diseñadores en ART4you apareció no hace mucho, este año. Fueron suficientes razones para su desarrollo: fue el deseo de introducir un sistema de remuneración absolutamente transparente, y la necesidad de motivar y estimular adicionalmente a los empleados, y simplemente un aumento de personal debido al crecimiento de los volúmenes de producción. En general, todas estas razones estaban subordinadas a una idea: crear una atmósfera cómoda en el equipo.

Los requisitos de los KPI fueron los siguientes: máxima transparencia para los empleados y la gerencia, la capacidad de perfeccionar el sistema y realizar cambios rápidamente en él, la participación no solo de los jefes, sino también de los ejecutantes en la evaluación de la mano de obra.

Al principio, el estudio consideró soluciones listas para usar, pero sin embargo las rechazó, porque estas opciones eran demasiado universales y no reflejaban todos los matices en el trabajo del estudio. “Hay muchos aspectos específicos en el diseño”, dice el director de arte del estudio Andrey Kokeev. - Tomemos, por ejemplo, el diseño gráfico y el diseño de productos. Son muy diferentes entre sí, de hecho, solo la palabra "diseño" los une. Tenemos una especialización limitada y resultó ser difícil para nosotros encontrar algo ya hecho, o al menos encontrar un consultor que estuviera al tanto de los detalles de nuestro trabajo ".

El caso es que el estudio de arte y producción ART4you realiza premios, premios y souvenirs exclusivos. Toda la producción es experimental, se desarrolla un diseño único para cada producto y el vuelo de la imaginación del diseño está limitado solo por las capacidades técnicas del estudio, y su base de producción es una de las mejores de la capital.

Entonces, los empleados se propusieron crear su propio sistema de KPI. Lo más importante fue formular criterios para analizar el componente creativo del trabajo de diseño.

“El diseño es subjetivo en muchos sentidos y no siempre es posible medirlo o evaluarlo utilizando esquemas estándar. Al mismo tiempo, es imposible descartar el componente creativo a la hora de evaluar el trabajo, porque es la creatividad la que es nuestra ventaja competitiva. Los clientes acuden a nosotros porque tenemos un diseño interesante y un diseño interesante, no se puede calcular ”, explicó Andrey Kokeev. Sin embargo, pronto se formularon los criterios, fue posible tener en cuenta la opinión de todos los diseñadores.

Unos meses después, comenzaron a implementar el sistema en la práctica. Comenzamos con cuatro criterios de evaluación y comenzamos a aumentar gradualmente su número.

Ahora el trabajo de los diseñadores se evalúa de acuerdo con los siguientes parámetros:

• volumen y complejidad del trabajo: tarea simple simple, tarea múltiple simple, media (estándar), difícil, muy difícil (caso especial);
• constructividad / capacidad de fabricación del trabajo: en qué medida el proyecto es interesante desde el punto de vista tecnológico y constructivo, original y fácil de implementar;
• creatividad del trabajo presentado;
• innovaciones: el uso de nuevos materiales, componentes, tecnologías;
• urgencia del trabajo;
• la aparición de dificultades durante la ejecución del proyecto propuesto;
• procesamiento debido a necesidades de producción, con la excepción de situaciones que hayan surgido por culpa del diseñador.

No hubo dificultades particulares en la implementación, porque todos lo querían, todos estaban interesados. Todos los problemas que surgieron se resolvieron de inmediato y necesariamente de forma colectiva.

“Cuando se desarrollaron e implementaron los KPI, inmediatamente acordamos que esto no es una constitución o una vaca sagrada, sino un sistema abierto a una constante modernización. Eliminamos algo de la lista de criterios, agregamos algo, se trabajaba constantemente y finalmente llegamos a una versión armoniosa y objetiva ”, dice Andrey Kokeev.

En general, esta colegialidad se ha convertido en una característica peculiar del sistema de KPI que se creó. Permitió no solo hacer el sistema lo más transparente posible, sino también abandonar el programa informático, lo cual es una ventaja indudable, ya que ahorra dinero y tiempo. Cada mes, los diseñadores y la gerencia simplemente se reúnen para evaluar el trabajo realizado. Hay muchos diseñadores en el estudio, mucho trabajo, las reuniones duran de dos a tres horas. Durante mucho tiempo, pero todos están contentos, porque todos pueden hablar de su trabajo y también del de otra persona: las tareas de diseño están detalladas en CRM Bitrix y están disponibles para todos los usuarios.

"Hoy tenemos un sistema de KPI muy eficaz para los diseñadores en nuestro estudio", resume Andrey Kokeev los resultados. - Es lo más transparente y discutido posible. Los empleados no solo ven la valoración de su trabajo, sino que lo valoran ellos mismos. El equipo de diseño está contento y es fácil de administrar ".

Consejos de ART4you:

1. No tenga miedo de asumir el desarrollo y la implementación de KPI con poco o ningún presupuesto. La falta de fondos no es motivo para posponerlo. Por nuestra propia experiencia, el estudio estaba convencido de que se puede arreglárselas con costos mínimos.
2. Involucrar a aquellos cuyo trabajo será evaluado utilizando este sistema en el desarrollo de KPI. Estas personas, como nadie, están interesadas en una evaluación justa y transparente y saben muy bien qué factores afectan la calidad y rapidez de su trabajo. Además, trabajar juntos en KPI demostrará que valora a sus empleados y respeta sus opiniones.
3. Siéntase libre de rechazar KPI prefabricados, si la situación lo requiere. Es posible que no tenga los fondos en este momento para comprar un sistema listo para usar; Es posible que los sistemas prefabricados no se correspondan con las características específicas de su trabajo; las razones de la falla pueden ser muy diferentes. Evalúe la situación con seriedad. Bien puede ser que la negativa y el trabajo independiente en los KPI sean la única opción correcta para su empresa.
4. Estudie la experiencia de otra persona. Esto le ayudará a saber dónde colocar las pajitas.
5. Comparta sus mejores prácticas. Primero, es justo: la experiencia de otras empresas le permitió evitar errores al crear su propio sistema de KPI, así que ayude a alguien también. En segundo lugar, su trabajo puede resultar rentable. Al menos uno de reputación. El peso en la comunidad profesional no ha molestado a nadie todavía.

Cuando recién estábamos comenzando el negocio y no podía encontrar KPI para desarrolladores, fui a consultar a mi amigo, el constructor Viktor Nevara, fundador del Modular Construction Center. Le pregunté: “Víctor, ¿probablemente tienes todo según las fórmulas? Enyesado un metro de pared, ¿conseguir algo de dinero? " Él respondió: "Si trabajáramos así, inmediatamente iríamos a la quiebra".

Por supuesto, también tiene KPI, pero acepta el trabajo del capataz. Romperá la pared con la uña, verá que la masilla se está cayendo y dirá: "¡Vuelve a hacerlo y te descontaré el dinero del material de tu salario!" Y el trabajador sabe que no se puede engañar al capataz, por lo que hace todo de inmediato con alta calidad. Al mismo tiempo, el capataz cubre a su propia gente frente a sus superiores, distribuye los premios de manera justa y ayudará, en todo caso.

Lo mismo ocurre con el trabajo de oficina. El trabajo rutinario es cada vez menos y creativo, en el que hay criterios de calidad no formalizados, más. Dado este estado de cosas, los KPI son solo el pulso de la empresa. El cumplimiento de los parámetros formales indica que las cosas están avanzando. Y exactamente cómo se mueve, el líder evalúa. En general, la mejor opción es dar parte del bono a los empleados en función de KPI y parte, según la opinión del gerente. Usamos este método de evaluación y lo llamamos "pro-esclavo".

Por cierto, una actitud formal hacia los KPI conduce no solo a una pérdida de calidad, sino también a pérdidas. Recientemente hablamos con los jefes del estudio web AIC y nos contaron su caso. Cada uno de los participantes del proyecto (diseñador, programador, etc.) cumplió con sus KPI y recibió una recompensa, y el proyecto en su conjunto resultó no ser rentable para el estudio.