Критерии процессов смк. Методика расчета результативности системы менеджмента качества в строительных организациях

Общие положения

Согласно стандарту ISO 9000:2000 результативность – это «степень реализации запланированной деятельности и достижения запланированных результатов», поэтому при оценке результативности системы менеджмента качества следует установить:

Степень реализации запланированной деятельности;

Степень достижения запланированных результатов в области качества.

Первая оценка дает представление о степени выполнения положений СМК организации и степени реализации документов по планированию и осуществлению процессов жизненного цикла продукции. Анализ этой оценки производится на основе определения степени достижения установленных выходов процессов, а также степени выполнения требований стандарта ISO 9001:2000 (в том числе п. 7.1) и характеристик процессов. Вторая оценка характеризует степень достижения поставленных целей в области качества на различных уровнях организации, в том числе в подразделениях (см. пункт 3.4.1 ).

Значения выходов технологических процессов регламентируются стандартами, техническими условиями, документацией на продукцию, контрактом. Выходы бизнес‑процессов управления регламентируются планами качества организации и подразделений, положениями о подразделениях. Характеристики технологических процессов регламентируются в технологической документации, планах качества, бизнес‑процессов управления – в планах качества подразделений, положениях о подразделениях.

В качестве характеристик процессов могут использоваться стоимостные, технические показатели и показатели сроков (см. пункт 2.3.3).

Примеры характеристик основных процессов машиностроительного предприятия, связанных с управлением качеством, при оценке важнейших элементов СМК приведены в табл. 3.3.

Таблица З.3. Характеристики основных процессов машиностроительного предприятия при оценке результативности СМК

Цели в области качества организации в целом формируются обычно в документе «Цели в области качества» (см. пункт 2.4.3). Они могут быть приведены также в годовой Программе качества. Цели подразделений (процессов) в области качества разворачивают с учетом целей организации и отражают в программах (планах) качества подразделений (процессов).

Оценку результативности СМК можно производить различными методами. Наиболее распространены следующие методы.

1. Сравнение запланированных Q iплан и достигнутых Q i рез значений выходов, характеристик, целей процессов СМК (см. пункт 2.3.3). Если с ростом значения показателя (например, дохода организации) оценка СМК возрастает, может быть принята следующая шкала сравнения Q iплан и Q i рез (табл. 3.4).

Таблица 3.4. Шкала сравнения Q i рез и Q iплан

Если с ростом значения показателя (например, доля брака продукции) оценка СМК уменьшается, должна быть принята обратная шкала соотношения Q i рез и Q iплан по сравнению со шкалой в таблице (см. табл. 3.4). Например, при

оценка процесса должна быть «отлично» (10 баллов) и т. д.

Суммирование баллов процессов должно производиться с учетом их важности для предприятия. Для этого каждому процессу (показателю) должен быть присвоен весовой коэффициент.

Достоинствами данного метода являются объективность, простота реализации. Однако он непригоден для показателей, для которых неясно, что является предпочтительным – Q i рез > Q iплан или Q i рез < Q iплан . Например, рост выявленных нарушений технологической дисциплины можно объяснить и ее ухудшением, и улучшением ее контроля. Этот метод непригоден и для оценки показателей, которые трудно оценить количественно. Например, удовлетворенность потребителей, владельцев и т. п. Этих недостатков лишен второй метод.

2. Метод экспертной балльной оценки .

Ниже рассмотрено использование этого метода с учетом рекомендаций . Экспертная балльная оценка в общем случае строится на выборе оценочных показателей (возможно, нескольких уровней), присвоении показателям определенных балльных значений; на разработке методики подсчета значения каждого показателя; на составлении шкалы оценочных баллов для каждого показателя и подсчете итоговой балльной оценки конкретного вида работ. Для проставления баллов создается (создаются) экспертная (экспертные) группа (группы), а организация всех работ, в том числе подсчет баллов, возлагается на рабочую группу.

С учетом того, что оценочные показатели имеют разную степень влияния на значение показателя более высокого уровня, очень важно отработать механизм подсчета балльной оценки по показателям, обеспечивающий ее комплексность. Наиболее простым методом является установление значений весомости каждого показателя в показателе более высокого уровня, в том числе в итоговой оценке. При этом может быть использована методика, описанная в .

Оценку результативности системы менеджмента качества предлагается проводить по определенным выбранным оценочным показателям нескольких уровней (в основном четырех).

Первый уровень включает один показатель, а именно показатель, характеризующий итоговую оценку результативности системы менеджмента качества.

Второй уровень включает два показателя, формирующие итоговую оценку:

Обобщенный показатель, характеризующий степень реализации запланированной деятельности;

Обобщенный показатель, характеризующий степень достижения запланированных результатов.

Третий уровень включает показатели, формирующие обобщенные показатели, то есть показатели второго уровня (количество показателей третьего уровня определяется самой организацией).

Четвертый уровень включает показатели, формирующие показатели третьего уровня (количество показателей четвертого уровня определяется самой организацией).

Количество и содержание показателей третьего и четвертого уровней должно быть достаточным для определения того, насколько результативно функционирует (достигается) объект оценки.

При необходимости в отдельных случаях могут применяться показатели пятого уровня, формирующие показатели четвертого уровня.

Учитывая обстоятельство, что оценка результативности системы менеджмента качества является не единовременным (разовым) действием, а постоянным процессом, проводимым через установленные промежутки времени, результаты которого должны использоваться при рассмотрении состояния в организации процесса улучшения, желательно, чтобы оцениваемые показатели не менялись.

При необходимости внесения в течение времени каких‑либо изменений в оценочные показатели (а это может быть только по показателям третьего и четвертого уровней) в обязательном порядке должны быть разработаны определенные корректировочные коэффициенты при подсчете баллов по показателям первого и второго уровней с целью обеспечения сопоставимости результатов проведенной и предыдущей оценки.

Оценка результативности системы менеджмента качества осуществляется на основании анализа:

Результатов внутренних аудитов (проверок) системы менеджмента качества, проводимых в соответствии с требованиями МС ISO 9001:2001 (п. 8.2.2);

Данных (записей), полученных в результате мониторинга и измерений характеристик продукции с целью проверки достижения требований, предъявляемых к продукции;

Данных (записей), полученных в результате мониторинга и измерений процессов с целью проверки и/или подтверждения способности процессов достигать запланированных результатов;

Достижения результатов, установленных целями в области качества в соответствующих подразделениях и на соответствующих уровнях;

Данных, полученных по обратной связи от потребителей;

Данных о выполнении мероприятий, разработанных по результатам предыдущей оценки результативности системы менеджмента качества;

Принятых и реализованных в течение анализируемого периода предупреждающих и корректирующих действий.

Первую оценку результативности необходимо проводить только по истечении определенного периода (желательно не менее полугода с момента начала функционирования системы менеджмента качества).

В дальнейшем оценку необходимо проводить через установленный руководством организации период (1 раз в квартал или полугодие), но не реже 1 раза в год.

Оценка результативности системы менеджмента качества может осуществляться и в процессе ее анализа со стороны руководства.

В организации должны быть отработаны и желательно задокументированы процедуры системы менеджмента качества, регламентирующие методику проведения работ по оценке результативности системы менеджмента качества, а также организацию и порядок ее проведения.

Оценка результативности системы менеджмента качества тесно связана с проведением и результатами внутреннего аудита (проверки). При отработке процедур проведения этих двух видов деятельности должна обеспечиваться их полная взаимоувязка.

Деятельность по оценке результативности системы менеджмента качества в общем случае включает в себя следующие виды работ:

Определение показателей третьего и четвертого уровней, по которым организация считает необходимым и возможным оценивать результативность своей системы качества (показатели первого и второго уровней для всех организаций одинаковы и приведены выше);

Определение шкалы баллов для каждого выбранного показателя (всех уровней) и его весомости в показателе более высокого уровня, который он формирует;

Формирование и утверждение рабочей группы;

Подбор и утверждение групп (группы) экспертов, участвующих (участвующей) в проставлении баллов по выбранным показателям третьего и четвертого уровней;

Разработку задач и порядка работы рабочей группы;

Разработку задач и порядка работы экспертных групп (экспертной группы);

Разработку опросных листов (анкет) по каждому выбранному показателю третьего и четвертого уровней;

Разработку методики и порядка обработки информации, подготовленной экспертной группой, и подсчета балльной оценки по показателям третьего, второго и первого уровней;

Проведение работ экспертными группами (экспертной группой);

Рассмотрение руководством организации результатов работ по оценке результативности системы менеджмента качества, сопоставление их с результатами предыдущей оценки, оценку выполнения предыдущего плана корректирующих мероприятий, принятие соответствующих решений.

По результатам проведенных работ необходимо будет разработать план корректирующих мероприятий по устранению выявленных недостатков и проблем в реализации запланированной деятельности и в достижении запланированных результатов в области качества, что уже относится к деятельности по улучшению.

Что такое Система менеджмента качества?

Обобщая различные определения, разработанные ISO (International Organization for Standardization) – Международная по стандартизации, всемирная федерация национальных организаций по стандартизации (комитетов-членов ISO). Можно сказать, что СМК – представляет собой документированную систему менеджмента, позволяющую применить процессный подход ко всем аспектам деятельности организации и обеспечивающую эффективное взаимодействие и совершенствование рабочих методик и процессов, включая производство продукции. Данная система менеджмента основывается на стандартах и принципах, определяющих методы осуществления эффективного менеджмента качества. Система менеджмента качества (СМК) – это часть общей системы управления компанией, которая функционирует с целью обеспечения стабильного качества производимой продукции и оказываемых услуг. Методология системы менеджмента качества (СМК) базируется на принципах системного и процессного подходов. Принцип системности реализуется в управлении компанией, как системой взаимосвязанных процессов, направленных на достижение заданных целей. Процессный подход позволяет выделить процессы, в наибольшей степени влияющие на достижение целей. При этом идентифицируются и измеряются входы и выходы процессов, внутренние и внешние заказчики, поставщики и другие заинтересованные стороны. Таким образом, выполняемые процессы в рамках жизненного цикла продукции определяют построение организационной структуры предприятия. Выполнение всех процессов для всех элементов организационной структуры документируется. При этом эффективность функционирования системы качества на каждом уровне подтверждается соответствующими данными о качестве. Соответственно, современная система менеджмента качества объединяет в себе организационную структуру, структуру документации и информационную структуру, а также процессы, влияющие на качество. Очевидно, что для эффективного функционирования указанные структуры должны быть взаимосвязаны, полностью охватывать организацию и все процессы.

Внедрение системы менеджмента качества и её последующая сертификация несут компаниям ряд стратегических и экономических преимуществ:

  • Получение преимущества перед конкурентами при участии в российских и международных тендерах, выставках, торгах.
  • Удовлетворение требований поставщиков о наличии в компании действующей СМК.
  • Выполнение условия для получения государственного, военного или любого другого заказа, который финансируется из федерального или местного бюджета.
  • Повышение имиджа и инвестиционной привлекательности компании в глазах иностранных и российских партнеров.
  • Повышение имиджа организации в регионе и отрасли, что немаловажно для достижения превосходства на рынке.

ВНУТРЕННИЕ:

  • Усовершенствование системы управления и повышение ее результативности и эффективности;
  • Оптимизация бизнес-процессов и повышение их управляемости;
  • Улучшение взаимодействия всех подразделений, служб компании, а также уровней управления;
  • Оптимизация документооборота компании, облегчение перехода на электронный документооборот.
  • Повышение качества продукции/услуг через повышение качества всех процессов;
  • Повышение качества работы персонала через четкое, конкретное, адресное распределение обязанностей, прав и полномочий.
  • Создание базы для быстрого и эффективного внедрения других систем управления качеством и безопасностью (ISO 14000, HACCP, GMP и др.)

Назначение

СМК призвана обеспечивать качество продукции или услуг предприятия и «настраивать» это качество на ожидания потребителей (заказчиков). При этом ее главная - не контролировать каждую единицу продукции, а сделать так, чтобы не было ошибок в работе, которые могли бы привести к появлению брака (плохому качеству продукции или услуг).

Понять, почему для обеспечения качества действуют именно так, помогают следующие положения философии качества. Причиной брака всегда являются неправильные действия. А для того, чтобы их избежать, необходимо формализовать (описать) правильные действия для создания качественной продукции или услуг, разработать инструкции по выполнению правильных действий и контролировать эти действия.

Структура

СМК как система состоит из следующих элементов: организация, процессы, документы, ресурсы.

По определению ISO, организация – это группа сотрудников и необходимых средств с распределением ответственности, полномочий и взаимоотношений. Другими словами, под организацией понимается совокупность элементов организационно-штатной структуры, связанных с качеством, правила их взаимодействия, а также , отвечающий за качество.

– совокупность взаимосвязанных и взаимодействующих элементов деятельности, преобразующих «входы» в «выходы». При этом «входами» процесса обычно являются «выходы» других процессов. Процессы в организации, как правило, планируются и осуществляются с целью добавления ценности (от «входа» к «выходу»).

Важное значение в СМК имеет понятие процедуры. Процедура – установленный способ осуществления деятельности или процесса. Таким образом, процедурой можно назвать процесс (или совокупность процессов); с другой стороны - это документ, формализующий правильный способ выполнения процесса.

Документ – (значимые данные), размещенная на соответствующем носителе. С документами системы качества должны быть связаны другие организационно-распорядительные документы предприятия, например «Положения о подразделениях» и «Должностные инструкции».

Ресурсы СМК – все то, что обеспечивает менеджмент качества (людские, временные и др.).

Таким образом, СМК – это система, состоящая из организации, процессов, документов и ресурсов, направленная на формирование политики и целей в области качества, а также на достижение этих целей.

Наличие СМК необходимо любой организации, которая поставляет продукцию на экспорт или заботится о собственном имидже, участвует в тендерах или стремится к расширению рынков сбыта и приобретению новых заказчиков. Международный стандарт ISO 9001:2008 является наиболее широко используемым стандартом для создания и внедрения системы менеджмента качества.

Мировая практика показала, что применение принципов международного стандарта ISO 9001:2008 (или российского государственного стандарта ГОСТ Р ИСО 9001-2008)., на сегодняшний день является надежным инструментом для построения эффективной системы управления, повышения конкурентоспособности и создания благоприятных условий для роста инвестиций.


Шичков Николай Александрович
Директор Учебно-Методического Центра "Регистр-Консалтинг",
г. Санкт-Петербург,
кандидат технических наук

При внедрении системы менеджмента качества (СМК) в соответствии с требованиями международного стандарта (МС) ИСО 9001 многие организации сталкиваются с трудностями при выполнении требования п. 8.2.3, который требует от организации ":применять подходящие методы мониторинга и, где это целесообразно, измерения процессов системы менеджмента качества:".

Преобладающий во многих организациях подход к измерению процессов можно обозначить, как "меряем то, что можно измерить" . Некоторые организации проводят статистическую обработку данных по всем процессам, другие ограничиваются оценкой основных показателей наиболее важных процессов, третьи измеряют процессы по косвенным показателям.

Стандарт ИСО 9001 отвечает на вопрос "Что нужно измерять?" следующим образом: ":методы (мониторинга и измерения) должны демонстрировать способность процессов достигать запланированных результатов:".

Обобщив наработки по методам мониторинга и измерения процессов СМК в различных организациях, можно выстроить определенный алгоритм, по которому следует проводить анализ процессов с целью выявления критериев и методов мониторинга и измерения.

Любой процесс СМК может быть оценен по следующим группам характеристик (Рис.1):

    Результативность процесса: достижение запланированного результата процесса и риски для результата процесса (вероятность достижения запланированного результата).

    Эффективность процесса: стоимость (затраты, связанные с выполнением процесса) и время, затраченное на процесс.

    Дополнительные характеристики процесса: воздействие на окружающую среду, потенциальные риски для персонала и др.

Время, затраченное на выполнение процесса, обычно характеризует его эффективность, но в ряде случаев (например, когда продолжительность процесса является требованием потребителя), его следует отнести к характеристикам результативности.

Анализ процессов СМК целесообразно проводить на основе алгоритма, представленного на рис. 2.

Для того, чтобы выявить характеристики процесса, требующие мониторинга (качественной оценки) или измерения (количественной оценки), необходимо ответить на вопросы:

    С какой целью данный процесс реализуется в организации?

    Какова ценность процесса для организации?

    Каким образом достижение целевых показателей процесса влияет на достижение целей организации?

Рис.1 Характеристики процессов

Для понимания механизма управления процессом также важно ответить на вопросы:

    Кто является потребителем результата процесса?

    Какие требования предъявляет потребитель к процессу и его результату?

Ответы на эти вопросы позволят определить наиболее важные показатели результативности процесса, требующие измерения (Здесь и далее под термином "измерение" понимается также "мониторинг" процесса).

На следующем этапе следует определить факторы риска, которые могут повлиять (или значительно влияют) на результат процесса, и выявить показатели, в наибольшей степени характеризующие данные факторы.

С точки зрения требований МС ИСО 9001 анализ процесса может быть ограничен ответом на поставленные выше вопросы, но, создавая механизм управления процессами, организациям целесообразно не останавливаться на показателях результативности, а постараться выявить требования других заинтересованных сторон и установить показатели, требующие контроля для выполнения этих требований. Так, например, для акционеров будут важны стоимостные показатели, для общества - экологические показатели, для персонала - показатели профессиональной безопасности.


Рис.2 Алгоритм анализа процесса.


Таким образом, по результатам анализа процесса организация должна определить, какие параметры процесса будут контролироваться. При этом для различных процессов организация может остановиться на различных уровнях измерения (рис.3).


Рис.3 Уровни мониторинга (измерения) процесса.


Первый уровень измерения "Оценка показателей результата процесса" должен применяться ко всем процессам организации. Для вспомогательных процессов измерение часто ограничивают только первым уровнем. Для производственных процессов измерение результата процесса должно проводиться в рамках выполнения требования п.8.2.4 стандарта, который требует ":осуществлять мониторинг и измерять характеристики продукции с целью верификации соблюдения требований к продукции::. на соответствующих стадиях процесса жизненного цикла:", поэтому измерение самого производственного процесса необходимо проводить, как минимум, на втором уровне.

Второй уровень измерения процесса - "Оценка рисков для результата процесса". Основные факторы, влияющие на достижение результатов процессов СМК, и соответствующие показатели представлены в таблице 1.

Таблица 1

Факторы и показатели риска

Для проведения анализа влияния различных факторов и показателей на результат процесса могут быть рекомендованы известные методы инжиниринга качества:

    Причинно-следственная диаграмма,

    Диаграмма Парето,

    Стратификация (расслаивание),

    Диаграмма разброса,

    FMEA (анализ причин и последствий отказов).

    Методы описательной статистики: Графики, гистограммы, диаграммы:

    Анализ возможностей процесса: Статистическое управление процессами (SPC):

    Регрессионный анализ.

    Анализ трендов.

Согласно требованиям п.7.5.2 МС ИСО 9001 "для процессов производства и обслуживания, результаты которых не могут быть верифицированы последующим мониторингом или измерениями" необходимо проводить валидацию, т.е. подтверждать "способность этих процессов достигать запланированных результатов". В этом же пункте указаны факторы риска, для которых необходимо установить контролируемые параметры, а именно:

    Обучение,

    Персонал,

    Управляющие воздействия (методы и процедуры).

Стандарт требует проводить для таких процессов "повторную валидацию", т.е. периодическую проверку того, в какой степени контроль указанных параметров обеспечивает достижение запланированного результата процесса. Такой подход целесообразно применять ко всем производственным процессам.

Третий уровень измерения процессов, который не является обязательным согласно требованиям МС ИСО 9001, это "Оценка дополнительных показателей".

Самым важными дополнительными показателями процесса обычно являются показатели эффективности. Эффективность процесса характеризуется соотношением достигнутого результата и затраченных ресурсов. Результат определяется на первом уровне измерения, поэтому на третьем уровне достаточно оценить затраченные ресурсы. Основными показателями, влияющими на эффективность процесса, будут:

    Затраты времени,

    Использование оборудования,

    Использование материалов,

После ответа на вопрос "Что измерять?" нужно определиться с методом измерения, то есть ответить на вопрос "Как измерять?"

Наиболее распространенные методы измерения процессов представлены в таблице 2.

Самым объективным и точным является инструментальный метод. Но он обычно применяется только для основных производственных процессов, в результате которых производится материальная продукция.

Социологический метод позволяет получить информацию о ключевых показателях результата процесса от его потребителей. Данный метод удобно использовать для вспомогательных процессов, потребителями которых являются сотрудники этой же организации.

При отсутствии возможности (или экономической целесообразности) использования двух вышеуказанных методов применяют метод оценки результатов процесса экспертами. В качестве экспертов могут выступать:

    руководители организации,

    лица, ответственные за процесс,

    исполнители процесса,

    потребители или их представители,

    внешние или внутренние аудиторы,

    другие специалисты.

Таблица 2

Методы мониторинга (измерения) процесса

Расчетный метод применяется для представления обобщенных результатов измерений предыдущими методами на всех уровнях измерения процесса.

Примеры анализа двух процессов СМК по представленному алгоритму показаны в таблице 3.

Для процесса "Измерение продукции" можно рекомендовать в качестве показателя результата процесса использовать также показатели оперативности информации о характеристиках продукции, например, "Затраты времени на проведение измерений". Этот же показатель характеризует затраты на процесс (3-ий уровень), так как основан на требованиях как непосредственных потребителей результата процесса, так и акционеров организации.

Большинство организаций в качестве основного показателя результата процесса "Управление записями" выделяют "Соответствие деятельности по управлению записями требованиям документированной процедуры". Такой подход правомерен, если в качестве основного потребителя выделить "Руководство организации". Но если основным потребителем процесса считать "Персонал организации" (что логичнее), то его главным требованием будет "Удобство ведения, хранения и использования записей", а основным показателем результата процесса будет "Количество замечаний персонала к процедуре управления записями". Снижение замечаний можно достичь за счет совершенствования процесса, например, путем внесения изменений в процедуру. Возможен вариант, когда организация выделит несколько потребителей результата процесса и, соответственно, несколько показателей результата.

    Навыки и опыт персонала, проводящего измерение продукции,

    Применяемые при проведении измерений продукции и при управлении записями методики и процедуры,

    Температура и влажность в помещениях для проведения измерений продукции и в местах хранения записей.

    Состояние компьютерной и оргтехники, программного обеспечения.

Таблица 3

Примеры анализа процессов СМК


Процесс Измерение продукции Управление записями
1-ый уровень: Оценка показателей результата процесса
Цель процесса Проверка соблюдения требований к продукции на соответствующих стадиях производства Обеспечение сохранности и доступности записей.
Потребители Производственные подразделения Все подразделения
Требования потребителей Точность информации о характеристиках продукции Удобство ведения, хранения и использования записей.
Выход Информация о характеристиках продукции Структурированные записи
Показатели результата процесса Количество претензий потребителей (внешних и внутренних) к качеству продукции Количество замечаний персонала к процедуре управления записями
Метод измерения показателей результата процесса Экспертный: Учет и анализ претензий потребителей. Социологический: Сбор и анализ замечаний персонала.
2-ой уровень: Оценка рисков для результата процесса
Основные факторы риска Контрольно-измерительное оборудование (КИО) Персонал
Показатели риска Состояние КИО Подготовка персонала
Методы измерения индикаторов риска Экспертный: Контроль состояния КИО Экспертный: Проверка знаний персонала
3-ий уровень: Оценка дополнительных показателей процесса
Другие заинтересованные стороны Акционеры Акционеры
Требования других заинтересованных сторон Снижение затрат на реализацию процесса
Дополнительные показатели Затраты времени Использование бумаги
Метод измерения дополнительных показателей Экспертный: Учет и анализ затрат времени на реализацию процесса. Экспертный: Учет и анализ, использования бумаги

Перечень показателей затрат на процесс "Измерение продукции" можно дополнить затратами расходных материалов и затратами на приобретение и обслуживание контрольного и измерительного оборудования. В процессе "Управление записями" целесообразно также учитывать затраты времени на ведение и управление записями и затраты на оргтехнику и бумагу.

Также организация может посчитать целесообразным проведение измерений дополнительных показателей, связанных с риском для персонала (например, проводить оценку рисков, связанных с использованием химических реактивов в процессе "Измерение продукции"), или проведение измерений воздействия процесса на окружающую среду (например, измерять количество отходов бумаги в процессе "Управление записями").

Предложенный в настоящей статье алгоритм анализа процесса предлагает организации направление, по которому целесообразно проводить анализ. А то, на каком уровне организация будет измерять тот или иной процесс, какие показатели выберет для измерения, какие методы измерения будет использовать, зависит от вида деятельности организации, ее размера, уровня подготовки персонала, корпоративной культуры, выбранной модели системы менеджмента качества и, в конце концов, желания организации.


Система менеджмента качества - совокупность организационной структуры, методик, процессов и ресурсов, необходимых для общего руководства качеством. Она предназначена для постоянного улучшения деятельности, для повышения конкурентоспособности организации на отечественном и мировом рынках, определяет конкурентоспособность любой организации

Принципы Менеджмента Качества В Соответствии Со Стандартом ISO 9000:2000

Предыдущие редакции стандартов ISO серии 9000 (1987 и 1994 годы) создавались как обобщение опыта успешно действующих организаций в разных странах мира. Эксперты, входившие в ТК 176, на основе этого опыта, работ ведущих специалистов определили набор элементов, необходимых для системы качества. Но постепенно у специалистов по качеству появилось осознание необходимости сформулировать концепции и принципы менеджмента качества, а затем уже строить на них практическую деятельность, требования к системе качества.

В середине 1990-х годов ТК 176 организовал рабочую группу для выработки основных принципов менеджмента качества и подготовки специальной брошюры по их объединению. В результате этой деятельности были приняты фундаментальные принципы, которые должны были стать основой всеобъемлющей системы качества. Эти принципы не содержат требований, которые явились бы документированной базой для проведения аудитов. Перечень и анализ этих принципов приведены в ISO 9004–2001 «Системы менеджмента качества. Рекомендации по улучшению деятельности».

При разработке стандартов ISO 9001 и 9000 (2000 год) были учтены 8 принципов управления качеством:

Ориентированность организации на потребителя;

Роль руководства в объединении целей управления и внутренней среды организации;

Вовлечение работников для использования их способностей на благо организации;

Подход к управлению как к процессу;

Системный подход к менеджменту;

Постоянное улучшение как цель организации;

Метод принятия решений, основанный на фактах;

Взаимовыгодные отношения с поставщиками.

Методы менеджмента качества. Кайдзен

Из книги Масааки Имаи "Кайдзен. Ключ к успеху японских компаний"

3-MU - КОНТРОЛЬНЫЙ ЛИСТОК ДЕЙСТВИЙ КАЙДЗЕН

Было разработано множество систем точек проверки кайдзен, призванных помочь рабочим и менеджменту постоянно помнить о направлениях совершенствования. Ниже приводится получивший широкое распространение пример, использующий три точки проверки:

* Муда - все виды действий, которые потребляют ресурсы, не создавая ценности, мури- перегрузка, работа с напряжением (человека или машины), мура- любое откло¬нение от процесса (хорошее или плохое)...

КАЙДЗЕН-ДВИЖЕНИЕ 5-S (ПЯТЬ ШАГОВ)

Название движения 5-S происходит от пяти япон¬ских слов, которые начинаются с S: сэйри (seiri), сэйтон (seiton), сэйсо (seiso), сэйкэцу (seiketsu) и сицукэ (shitsuke). Как часть визуализируемого менеджмента, используемого программой в целом, в цехе часто можно увидеть плакаты, на которых перечислены эти пять шагов.

Шаг 1: сэйри (упорядочи)

Незавершенное производство.

Ненужные инструменты.

Неиспользуемое оборудование.

Дефектные изделия.

Бумаги и документы.

Определи необходимое и лишнее и избавься от бесполезного.

Шаг 2: сэйтон (приведи в порядок вещи)

Шаг 3: сэйсо (наведи чистоту)

Содержи рабочее место в чистоте.

Шаг 4: сэйкэцу (личная чистоплотность)

Привыкай быть аккуратным и опрятным, начни с самого себя.

Шаг 5: сицукэ (дисциплина)

Соблюдай правила работы в цехе.

ПЯТЬ W И ОДНО Н

Кто (who?)

1. Кто это делает постоянно?

2. Кто это делает в настоящее время?

3. Кому следует это делать?

Кто еще мог бы это делать?

5. Кому еще следовало бы это делать?

6. Кто занимается тремя МU?

Что (What)

1 . Что нужно сделать?

2. Что делается?

3. Что следует сделать?

4. Что еще можно сделать?

5. Что еще должно быть сделано?

6. Над какими из трех МU идет работа?

Где (Where)

1 . Где это нужно сделать?

2. Где это сделано?

3. Где это следует сделать?

4. Где еще это можно сделать?

5. Где еще это следует сделать?

6. Где идет работа над тремя MU?

Когда (when)

1 . Когда это нужно делать?

2. Когда это было сделано?

3. Когда это следует сделать?

4. Когда еще это можно сделать?

5. Когда еще это следует сделать?

6. Касается ли дело в какой-то момент времени трех МU?

Почему (why)

1 . Почему он это делает?

2. Почему это следует делать?

3. Почему следует делать это здесь?

4. Почему это следует делать именно сейчас?

5. Почему это делается таким способом?

6. Учитываются ли три MU при размышлении об этом?

Как (how)

1 . Как нужно это делать?

2. Как это сделано?

3. Как это должно быть сделано?

4. Можно ли использовать такой метод в другом месте?

5. Есть ли другой способ сделать это?

6. Присутствуют ли в этом методе три МU?

КОНТРОЛЬНЫЙ СПИСОК ЧЕТЫРЕХ М*

Маn (Оператор)

1. Соблюдает ли он стандарты?

2. Приемлема ли эффективность его работы?

3. Восприимчив ли он к наличию проблем?

4. Ответственен ли он? (Несет ли он ответственность?)

5. Обладает ли он квалификацией?

6. Есть ли у него опыт?

7. Подходит ли ему порученная работа?

8. Стремится ли он к совершенствованию?

9. Умеет ли он ладить с людьми?

10. Здоров ли он?

Масhine (Оборудование)

1. Соответствует ли оно требованиям производства?

2. Соответствует ли оно воспроизводимости процесса?

3. Соблюдаются ли требования к смазке?

4. Производится ли надлежащая проверка?

5. Часто ли приходится останавливать работу из-за проблем с механикой?

6. Соответствует ли оборудование требованиям к точности?

7. Издает ли оно какие-либо необычные шумы?

8. Рациональна ли его компоновка?

9. Достаточно ли имеющегося в наличии оборудования?

10. Находится ли оно в исправном состоянии?

Маterial (Материал)

1. Есть ли ошибки в объеме?

2. Есть ли ошибки в качестве?

3. Есть ли ошибки в бренде?

4. Есть ли примеси в смеси?

6. Есть ли потери материала?

8. Есть ли незавершенное производство?

10. Удовлетворительны ли стандарты качества?

Ореrаtion Меthod (Метод работы)

1. Удовлетворительны ли рабочие стандарты?

2. Обновлены ли эти стандарты?

3. Безопасен ли метод?

4. Обеспечивает ли данный метод производство качественной продукции?

5. Эффективен ли метод?

6. Рациональна ли последовательность работы?

8. Соответствуют ли нормам температура и влажность?

9. Соответствуют ли нормам освещение и вентиляция?

10. Есть ли надлежащая стыковка данного процесса с предшествующим и последующим процессами

*Иногда в список добавляется пятая позиция «Меаsurement» («Измерение»), и тогда его называют Контрольный список пяти М.

ИНСТРУМЕНТЫ КАЙДЗЕН ДЛЯ РЕШЕНИЯ ПРОБЛЕМ

Семь статистических инструментов

Существует два разных подхода к решению проблем. Первый используется, когда данные доступны, и чтобы решить конкретную проблему, нужно их проанализировать. Большая часть проблем, связанных с производством, попадает в эту категорию. Вот семь статистических инструментов*, которые используются для аналитического решения проблем:

1. Диаграммы Парето. Эти диаграммы классифицируют проблемы по проявлениям и причинам. Проблемы представляются в соответствии с их приоритетом в виде столбиковых диаграмм, где за 100% принимается общий объем потерь.

2. Диаграммы причин и результатов. Эти диаграммы используются для анализа характеристик процесса или ситуации и влияющих на них факторов. Диаграммы причин и результатов называются также «рыбий скелет», или «скелет Годзиллы»**.

3. Гистограммы. Данные по частотам, полученные в результате измерений, образуют пик вокруг некоторого значения. Вариация характеристик называется «распределением», а столбцы, соответствующие частотам, называются гистограммой. Главным образом она используется для определения проблем при помощи анализа формы разброса значений, центрального значения и характера рассеивания

4. Контрольные карты. Существует два типа вариаций: неустранимые вариации, возникающие в нормальных условиях, и те, что можно проследить до причин. Последние называются «ненормальными». Контрольные карты служат для выявления анормальных тенденций с помощью линейных графиков. Они отличаются от стандартных линейных графиков тем, что имеют нижний и верхний контрольные пределы относительно центральной линии. Выборочные данные наносятся на график в виде точек, что позволяет оценить состояние процесса и тренды.

5. Диаграммы разброса. Содержат две совокупности данных, нанесенные на график в виде точек. Взаимосвязь между этими точками показывает зависимость между соответствующими данными.

6. Графики. Формы и цели анализа могут диктовать использование различных видов графиков. С помощью столбиковых диаграмм сравнивают значения при помощи параллельных столбиков, а линейные графики используются для наглядного представления вариаций в течение определенного периода времени. Круговые диаграммы представляют классификацию показателей, сгруппированных в категории, а радарные графики помогают анализировать заранее выбранные объекты.

7. Контрольные листки. Эти листки разработаны для сведения в таблицу результатов текущей проверки ситуации.

Иногда графики и диаграммы разброса рассматривают вместе как один метод, а в качестве седьмого метода используется «стратификация (расслаивание)» данных.

Такие инструменты широко применяются кружками качества и другими малыми группами, а также инженерами и менеджерами для выявления и решения проблем. Все они представляют собой статистические и аналитические инструменты, и в компаниях, ведущих активную работу в сфере СWQС, сотрудники проходят обучение по использованию их в повседневной деятельности.

Семь новых инструментов качества

Во многих ситуациях, связанных с менеджментом, доступны не все данные, нужные для решения проблемы. В этом плане показательна разработка новой продукции. Идеальным методом ее создания было бы выявление требований потребителя, их перевод на язык технических характеристик и последующая трансформация в требования к производству. То же должно происходить и при разработке нового способа производства, обеспечивающего более высокую производительность. В обоих случаях нужные данные не всегда доступны, - а те, что доступны, часто выражены не в виде мате¬матических показателей, а представляют собой субъективные суждения тех, кто заинтересован в данной продукции. Такие вербальные данные нужно преобразовать в поддающуюся интерпретации форму для принятия обоснованного решения.

Множество ситуаций в менеджменте, связанных с решением проблем, требуют сотрудничества персонала разных подразделений. В этом случае также часто недостает достоверных данных, а доступные сведения весьма субъективны.

В этих обстоятельствах надо выйти за рамки аналитического подхода и использовать проектный подход к решению проблем. Семь новых инструментов качества (которые часто называют Семь новых), используемых в проектном подходе, оказались полезными в таких сферах, как повышение качества продукции, снижение затрат, разработка новой продукции и развертывание политики. Семь новых представляет собой комплекс весьма эффективных инструментов для сегодняшних менеджеров, сотрудников и инженеров.

Проектный подход - это современный системный подход к решению проблем, который характеризуется вниманием к деталям. Другая его особенность - привлечение к участию персонала, компетентного в различных областях, что позволяет повысить эффективность решения межфункциональных проблем и вопросов, касающихся взаимоотношений разных подразделений.

Вот Семь новых:

1. Диаграмма связей* (relations diagram). Эта диаграмма показывает взаимосвязи в сложных ситуациях, характеризующиеся наличием комплекса взаимосвязанных факторов, и используется для прояснения их причинно-следственных связей.

2. Диаграмма сродства (Аffinity diagram). В сущности, она представляет собой метод мозгового штурма, в основе которого лежит групповая работа. Каждый участник записывает свои идеи, а затем они группируются и перестраиваются в соответствии с предметом обсуждения.

3. Древовидная диаграмма, Дерево (Тгее diagram). Это развитие концепции функционально-стоимостного анализа в рамках функционального анализа. Она применяется для иллюстрации взаимосвязей между целями и средствами.

4. Матричная диаграмма (Маtrix diagram). Этот формат используется для установления взаимосвязи между двумя разными факторами. Матричная диаграмма часто применяется при структурировании требований качества сначала в виде соответствующих технических данных, а затем в виде требований к производству. В последнее время этот инструмент часто называют «графом, или диграфом, связей».

5. Диаграмма анализа матричных данных (matrix data-analisis diagram). Такая диаграмма используется, когда матричная диаграмма не обеспечивает достаточно подробной информации. Это единственный метод среди Семи новых, который опирается на анализ данных и дает количественные результаты.

6. Блок-схема процесса принятия решений (БППР) РВРС (process decision program chart). Используется при исследовании операций. Поскольку реализация программ внедрения для достижения конкретных целей не всегда идет по плану и возникновение непредвиденных обстоятельств может иметь серьезные последствия, РОРС была разработана не только для получения оптимальных результатов, но и для того, чтобы избежать неожиданностей.

7. Стрелочная диаграмма (arrow diagram). Часто применяется в рамках метода РЕНТ (метода оценки и пересмотра планов) и метода СРМ (метода критического пути). Она представляет этапы, нужные для реализации плана, в виде сетевого графика.

Список возможностей применения Семи новых для действий, связанных с улучшениями, практически бесконечен. В отдельном проекте, в зависимости от его требований, обычно используются не все одновременно, а один или более инструментов.

управление качество стандартизация менеджмент

Оценка результативности процессов систем менеджмента качества (СМК) проводится с целью определения степени достижения процессами запланированных результатов и осуществления действий, направленных на их достижение и постоянное улучшение процессов .

В стандартах ИСО серии 9000:2008 одним из основных инструментов совершенствования деятельности организации в области качества является измерение результативности действующей системы менеджмента качества . Результативность СМК можно трактовать как степень достижения результатов, адекватных установленным и предполагаемым целям, удовлетворяющим определенные потребности заинтересованных сторон и создающим условия для постоянного развития организации .

Для измерения результативности СМK зачастую применяются лишь модели типа «эффект/затраты», в которых акцент делается на выявление экономических результатов, или описательные подходы, вообще не имеющие в основании какой-либо оценочной методики. Однако это не согласуется с требованиями стандартов ИСО серии 9000 и методологией TQM, так как цели функционирования СМK не сводятся только к достижению положительных результатов в финансово-экономической сфере, но затрагивают такие аспекты, как «персонал», «потребители», «акционеры», «внутренние процессы организации» и др. Следовательно, при измерении результативности СМK должен быть применен подход, позволяющий учесть соответствующие стороны деятельности организации .

Первым объектом, к которому были применены количественные методы оценки показателей, качества, стала продукция промышленных предприятий . Современные международные стандарты в области менеджмента качества требуют сосредоточения нашего внимания на процессах СМК, а не только на их результатах, так как качество результатов - это следствие качества исполнения самого процесса. Соответственно, главной задачей специалистов в области качества является реализация возможности количественной оценки качества выполнения вверенных им процессов. Отметим, что одним из важнейших показателей качества выполнения процессов - их результативность .

Традиционно выделяют три уровня управления процессами:

§ результативностью выполнения процесса;

§ результативностью управления процессом;

§ эффективностью процесса.

Результативность выполнения процесса показывает, достигаются ли предварительно определенные нормативные показатели выполнения процесса. Результативность управления процессом характеризует, насколько улучшаются эти показатели со временем .

Первые два уровня управления процессами обязательны с точки зрения ИСО 9001:2008, так как обеспечивают выполнение требования стандарта постоянно улучшать процессы в организации. Управление эффективностью процессов СМК не является требованием стандарта, в этой связи оценка экономической составляющей качества говорит о выходе организации на высший уровень управления процессами, стремлении развивать СМК, получить максимум преимуществ от её функционирования и обеспечить конкурентоспособность организации на рынке. Как показывает практика, организация начинает интересоваться эффективностью внедрённой системы только через несколько лет работы по стандарту ИСО 9001, когда процессное управление входит в норму работы, показатели результативности выполнения процессов планомерно достигаются, и показатели управления процессами удовлетворяют руководство .

Мониторинг результативности процессов СМК необходим для оценки уровня развития системы и её влияние на работу предприятия. Существуют различные методы измерения процессов системы менеджмента качества предприятия, которые позволяют определять результативность процессов. К наиболее распространенным, следует отнести следующие методы:

· проведение внутренних и внешних аудитов (проверок);

· анализ запланированных и выполненных мероприятий .

Владельцу процесса необходимо выбрать метод или несколько методов, с помощью которых он будет оценивать свой процесс, а также для своего процесса определить критерии оценки процесс и вид записей по результатам оценки. Кроме того, владелец определяет вид источника (положения, акты, протоколы, распоряжения т.д.), из которого он будет черпать данные для оценки результативности функционирования процесса. Результаты по всей организации необходимо свести в сводную таблицу . Алгоритм определения критериев и методов оценки результативности представлен на рисунке 7.

Рисунок 7. Алгоритм процедуры определения критериев и методов вычисления результативности процессов

Проведение проверок позволяет:

· подтвердить соответствие функционирования процесса установленным требованиям;

· определить причины возникающих несоответствий;

· подтвердить выполнение корректирующих действий;

· оценить степень понимания персоналом целей, задач и требований, установленных при выполнении данного процесса;

· определить пути дальнейшего совершенствования процесса в СМК предприятия.

По результатам проверки определяются несоответствия и разрабатываются корректирующие действия, направленные на дальнейшее улучшение результативности процесса. Анализ запланированных и выполненных мероприятий позволяет владельцу процесса не только осуществлять планирование работ по выполнению данного процесса, но и улучшать его за счет проведения сравнительного анализа запланированных и выполненных мероприятий, а также разработать необходимые предупреждающие и корректирующие действия, направленные на достижение запланированных целей .

Важно также отметить, что большое внимание необходимо уделять определению периода проведения анализа. Анализ может быть: ежедневный, еженедельный, ежемесячный, ежеквартальный, полугодовой, ежегодный. Период проведения анализа результативности процесса выбирает владелец процесса, исходя из вида процесса, объективных или субъективных причин, но не реже чем один раз в год. Правильно выбранный период анализа функционирования процесса позволяет не только своевременно выявить несоответствия в процессе, но и предупредить их появление.

Теперь надо рассмотреть структуру показателей, понять, как надо их вычислять. Показатель в большинстве случаев будет вычисляться как процент от абсолютной результативности. Сами расчетные формулы будут просты и обманчивы своей простотой. Вся трудность будет заключаться в том, где и какую информацию взять, чтобы произвести расчет . В большинстве случаев потребуются некоторые организационные преобразования, чтобы нужная информация накапливалась и сохранялась.

Представим, как все это должно выглядеть схематично. Схема определения результативности СМК представлена на рисунке 8.


Рисунок 8. Схема определения результативности процесса СМК

В первую очередь установить цель по каждому процессу, исходя из:

· требований потребителей процесса (как внешних, так и внутренних)

· стандарта ИСО 9001,

· «Политики в области качества» предприятия.

Итак, первым вопросом является определение цели. Цели по процессу определяются так, чтобы точно установить его назначение, направленность и ожидаемые результаты. Цель процесса рассматривается как стратегическое направление данного вида деятельности и формулируется исходя из требований стандарта ИСО 9001 .

Такая постановка целей по процессам позволяет определить перечень показателей, необходимых для мониторинга и измерения процессов и демонстрации способности процессов достигать запланированные результаты.

Вторым вопросом, является определение показателей результативности процесса. Показатель может определяться в %, как отношение фактического и планового значения, либо в абсолютных величинах, т.е. это единица измерения качественного уровня процесса - некий коэффициент .

Конкретный набор показателей результативности СМК зависит от специфики организации. Поэтому совокупность показателей результативности может состоять из двух подмножеств -- базового и дополнительного. Ввиду этого, можно выделить лишь базовые области измерения результативности СМK, которые позиционируются в соответствии с их функциональной принадлежностью или сферой заинтересованности.

В качестве классификационной модели для формирования базовой системы показателей результативности предлагают основываться на следующих стратегических перспективах результативности организации .

· Рынок/клиенты -- перспектива, оценивающая результаты деятельности организации на рынке и результаты, которых она достигла в отношении удовлетворения интересов внешних потребителей.

· Финансы -- перспектива, оценивающая финансовые результаты работы организации, которые оказывают влияние на удовлетворение интересов акционеров и кредиторов, а также отражают эффективность работы высших менеджеров организации.

· Обучение персонала -- перспектива, оценивающая результаты, которых достигла организация в отношении удовлетворения интересов персонала.

· Внутренние бизнес-процессы организации -- перспектива, оценивающая результативность осуществляемых организацией процессов, которые оказывают непосредственное влияние на степень удовлетворенности и создание ценности для потребителей и других заинтересованных сторон.

Данная классификация служит для эффективного формирования эталонного (планового) множества показателей результативности СМK. Причем, число этих показателей не должно быть большим, так как они будут использоваться в качестве ключевых при стратегическом планировании в рамках СМК. Обычно можно выделить 20-30 основных показателей .

Модель измерения результативности представлена на рисунке 9.

Подробно опишем каждую процедуру модели, представленной на рисунке 9.


Рисунок 9. Модель измерения результативности процесса СМК

Примечание - Источник .

1. Процедуры регистрации фактических и плановых значений критериев. Для каждого процесса владельцем процесса разрабатываются критерии и устанавливаются их плановые значения, по которым в дальнейшем и будет определяться результативность.

2. Процедура вычисления отношений необходима для определения отношения между фактическим и плановым значением по каждому критерию. Данные значения будут использоваться при разработке корректирующих и/или предупреждающих действий по управлению процессом.

3. Процедура вычисления результативности процесса определяет результативность процесса, как отношение суммы фактических значений к сумме плановых значений критериев.

4. Процедура оценки результативности процесса СМК по шкале весомости. После того, как была определена результативность процесса, проводят ее оценку по шкале значимости, которая представлена на рисунке 10 с учетом следующих условий:

· =0 - процесс не функционирует и требует разработки;

· 0<0,3 - процесс функционирует не результативно и требует вмешательства высшего руководства;

· 0,3<0,6 - процесс функционирует не результативно и требует разработки владельцем процесса значительных корректирующих действий;

· 0,6<0,9 - процесс функционирует результативно, но требует разработки владельцем процесса незначительных корректирующих действий;

· 0,9<1 - процесс функционирует результативно, но требует разработки владельцем процесса предупреждающих действий;

· =1 - процесс функционирует результативно и не требует разработки каких-либо действий.

Рисунок 10. Шкала значимости процесса

Примечание - Источник .

6. Процедура разработки действий по улучшению процесса. После того, как была проведена оценка результативности процесса по шкале весомости и на основании полученного значения были сделаны выводы, владелец процесса приступает к разработке корректирующих (предупреждающих) действий, учитывая при этом отношение между фактическим и плановым значением по каждому критерию. После определения результативности по каждому процессу СМК, приступают к определению результативности СМК предприятия . Модель измерения результативности СМК предприятия представлена на рисунке 11.

Рисунок 11. Модель измерения результативности СМК предприятия

Каждое зафиксированное невыполнение требования нормативной документации СМК снижает фактическое значение критерия на 0,1.Каждый случай выпуска несоответствующей продукции снижает фактическое значение критерия на 0,2. Результативность СМК предприятия определяется по результативности процессов СМК.

Согласно процедуре разработки действий представитель руководства по качеству формирует корректирующие и/или предупреждающие действия с учетом значения результативности по каждому процессу .

Таким образом, качество - совокупность свойств и характеристик продукции или услуги, которые придают им способность удовлетворять обусловленные или предполагаемые потребности. В рыночной экономике качество рассматривается с позиции потребителя. Управление качеством продукции - это подготовка и внесение в план по качеству, нормативную, техническую документацию значений показателей качества вновь осваиваемой или модернизируемой продукции или изменение показателей качества выпускаемой продукции, а также выполнение необходимых работ по достижению и поддержанию этих значений показателей. Управление качеством включает все функции общего руководства по разработке политики в области качества, установления целей, полномочий и ответственности, а также процессы планирования, контроля и обеспечения качества, с помощью которых в рамках системы качества происходит реализация данных функций. Важными составляющими в системе управления качеством являются «политика предприятия в области качества», а также «объект» и «субъект» управления.

Международные стандарты ИСО серии 9000 содержат ряд требований, которые организация наиболее приемлемым для себя способом реализует в своей деятельности. В Казахстане требования к СМК определены государственным стандартом СТ РК ИСО 9001-2009 «Системы менеджмента качества. Требования», являющимся техническим эквивалентом международного стандарта ИСО 9001:2008. Международные стандарты ИСО серии 9000 основаны на 8 принципах: ориентация на потребителя, лидерство руководства, вовлечение персонала, процессный подход, системный подход, взаимовыгодные отношения с поставщиками, решение, основанное на фактах, непрерывное улучшение.

Для определения достижения запланированных результатов по процессам используют понятие результативности. Результативность СМК можно трактовать как степень достижения результатов, адекватных установленным и предполагаемым целям, удовлетворяющим определенные потребности заинтересованных сторон и создающим условия для постоянного развития организации. Мониторинг результативности процессов СМК необходим для оценки уровня развития системы и её влияние на работу предприятия. Для измерения результативности СМK зачастую применяются лишь модели типа «эффект/затраты».

Понравилась статья? Поделитесь ей
Наверх