Sygn. akt: KIO 2337/25
WYROK
Warszawa, dnia 18 lipca 2025 r.
Krajowa Izba Odwoławcza - w składzie:
Przewodnicząca: Danuta Dziubińska
Członkowie:Katarzyna Prowadzisz
Małgorzata Rakowska
Protokolant:
Klaudia Kwadrans
po rozpoznaniu na rozprawie odwołania wniesionego do Prezesa Krajowej Izby Odwoławczej w dniu 9 czerwca 2025 r.
przez wykonawcę Transition Technologies PSC Spółka Akcyjna
z siedzibą w Łodzi, ul. Wólczańska 180, 90-530 Łódź
w postępowaniu prowadzonym przez Ministerstwo Spraw Zagranicznych, al. J.Ch. Szucha 23, 00-580 Warszawa
Uczestnik po stronie zamawiającego - wykonawca Sygnity Spółka Akcyjna z siedzibą
w Warszawie, ul. Postępu 17B, 02-676 Warszawa
orzeka:
1.oddala odwołanie;
2.kosztami postępowania obciąża odwołującego i:
2.1.zalicza w poczet kosztów postępowania odwoławczego kwotę 15 000 zł 00 gr (piętnaście tysięcy złotych zero
groszy) uiszczoną przez odwołującego tytułem wpisu od odwołania.
Na orzeczenie - w terminie 14 dni od dnia jego doręczenia - przysługuje skarga za pośrednictwem Prezesa Krajowej Izby
Odwoławczej do Sądu Okręgowego w Warszawie - Sądu Zamówień Publicznych.
Przewodnicząca: …………………………….
Członkowie:
…………………………….
…………………………….
Sygn. akt: KIO 2337/25
Uzasadnienie
Ministerstwo Spraw Zagranicznych (dalej: „Zamawiający”) prowadzi w trybie przetargu nieograniczonego, na
podstawie ustawy z 11 września 2019 r. - Prawo zamówień publicznych (dalej: „ustawa Pzp”), postępowanie o udzielenie
zamówienia publicznego pn. „Usługi w zakresie procesu modyfikacji oprogramowania systemów konsularnych w
Ministerstwie Spraw Zagranicznych i placówkach podległych Ministrowi Spraw Zagranicznych”, numer referencyjny:
BPZZ.270.6.2024. Ogłoszenie o zamówieniu zostało opublikowane w Dzienniku Urzędowym Unii Europejskiej z 12 lutego
2024 r. pod numerem 87981-2024.
29 maja 2025 r. Zamawiający przekazał wykonawcom informację o unieważnieniu postępowania ze względu na
niemożliwą do usunięcia wadę, która uniemożliwia zawarcie niepodlegającej unieważnieniu umowy o zamówienie
publiczne.
Wykonawca Transition Technologies PSC S.A. (dalej: „Odwołujący”)wniósł odwołanie wobec ww. czynności, w
którym zarzucił naruszenie art. 255 pkt 6 ustawy Pzp poprzez unieważnienie postępowania ze względu na niemożliwą do
usunięcia wadę, która uniemożliwia zawarcie niepodlegającej unieważnieniu umowy o zamówienie publiczne, w sytuacji,
gdy taka wada nie wystąpiła.
Z uwagi na powyższe zarzuty Odwołujący wniósł o uwzględnienie odwołania oraz nakazanie Zamawiającemu
unieważnienia czynności unieważnienia postępowania i jego dalsze prowadzenie.
W uzasadnieniu postawionego zarzutu, Odwołujący podał, że Zamawiający dokonał unieważnienia postępowania
na podstawie art. 255 pkt 6 ustawy Pzp z uwagi na niemożliwą do usunięcia wadę, która uniemożliwia zawarcie
niepodlegającej unieważnieniu umowy o zamówienie publiczne. W ocenie Zamawiającego tą wadą jest przyjęcie jako
jednego z kryterium oceny ofert jakościowej oceny próbek dostarczanych przez wykonawców z wykorzystaniem metody
punktowej opartej na standardzie COSMIC (Common Software Measurement International Consortium) stosowanym w
analizie funkcjonalnej oprogramowania i estymacji jego rozmiaru.
Odwołujący wskazał, że oceny tych próbek przez Zamawiającego stały się przedmiotem odwołań wniesionych
zarówno przez Odwołującego, jak i przez wykonawcę Sygnity S.A. (dalej: „Sygnity”). Odwołanie Sygnity zostało oddalone
bez merytorycznego rozpoznania ze względu na brak interesu do jego wniesienia, natomiast odwołanie Odwołującego
zostało częściowo uwzględnione. Krajowa Izba Odwoławcza powołała biegłego w zakresie standardów COSMIC.
Odwołujący stwierdził, że z uzasadnienia decyzji o unieważnieniu postępowania, różnice w ocenie próbek między
dwuosobowym zespołem eksperckim ze strony Zamawiającego a biegłym powołanym przez KIO stały się przesłanką do
unieważnienia postępowania. Zamawiający wskazał, że skoro biegli nie popełnili błędów technicznych, ani nie występują
nieścisłości w metodzie COSMIC, a doszli w kilku punktach do odmiennych wniosków to świadczy to o niedostosowaniu
tej metody do wykorzystania jej przy ocenie ofert. Zdaniem Odwołującego nie sposób się zgodzić z takim stanowiskiem
Zamawiającego. Zamawiający już kilka lat temu wdrożył w swoich systemach konsularnych metodę punktów funkcyjnych
COSMIC, co zostało szczegółowo opisane w „Podręczniku wymiarowania metodą COSMIC. Systemy konsularne MSZ”
opublikowanym 18 lipca 2017 r. Od tego czasu każda modyfikacja systemów konsularnych (np. Wiza-Konsul) jest
wyceniana w oparciu o liczbę punkty funkcyjne COSMIC, zgodnie z procedurami zawartymi w podręczniku. Dodatkowo w
2022 roku w postępowaniu prowadzonym przez Zamawiającego pn. „Opracowanie studium wykonalności utworzenia i
funkcjonowania Centralnego Organu Wizowego w Polsce” warunkiem udziału było dysponowanie przez wykonawcę
ekspertem ds. technologii informatycznych (tj. architekt lub analityk systemów informatycznych), który posiada
potwierdzoną certyfikatem umiejętność wymiarowania metodą punktów funkcyjnych COSMIC. Potwierdza to, że metoda
ta nie tylko została zaimplementowana u Zamawiającego, ale jest używana od kilku lat. Potwierdza to także umowa
zawarta z Sygnity w wyniku postępowania na Usługi w zakresie procesu modyfikacji oprogramowania systemów
konsularnych w Ministerstwie Spraw Zagranicznych i placówkach podległych Ministrowi Spraw Zagranicznych (znak
sprawy BDG.741.9/2019/26), czyli wcześniejszego postępowania na ten sam zakres co niniejsze postępowanie. W
postępowaniu tym umowna jednostka miary szacowania rozmiaru funkcjonalności oprogramowania była taka jak w
metodzie punktów funkcyjnych COSMIC.Zamawiający od kilku lat ma u siebie wdrożoną metodę punktów funkcyjnych
COSMIC za pomocą której zlecał i płacił wykonawcom wynagrodzenie za realizowane prace. Metoda ta od kilku lat jest
wykorzystywana przez Zamawiającego, który zleca i rozlicza za jej pomocą wykonywane prace, a w toku niniejszego
postępowania twierdzi, że metoda ta jest nieodpowiednia do oceny ofert wykonawców. Metoda ta jest powszechnie
stosowana przez licznych zamawiających. W Zakładzie Ubezpieczeń Społecznych metoda ta została wdrożona w latach
2011-2013 r. i tym samym stosowana od ponad 10 lat, w tym w największym projekcie w Europie, czyli KSI ZUS, ale
także przy czynnościach związanych z portalem PUE ZUS. Obecnie ZUS rozlicza wszystkie projekty/umowy z
Dostawcami z wykorzystaniem jednolitego standardu jakim jest wdrożony Standard Analityczno - Architektoniczny wraz z
Podręcznikiem pomiaru złożoności oprogramowania metodą COSMIC. Stosowana metoda punktów funkcyjnych
pozwala ZUS sprawnie zarządzać planowaniem, jak i realizacją projektów informatycznych realizowanych z wieloma
dostawcami usług. Co ciekawe w ramach postępowań na realizację zadań przy portalu PUE ZUS w ramach jednego z
kryteriów oceny ofert wykonawcy musieli zrealizować zadania analityczne zgodne ze standardem ZUS w oparciu o
metodę punktów funkcyjnych COSMIC (a więc zadanie analogiczne do realizacji próbki w niniejszym postępowaniu).
Zakład Ubezpieczeń Społecznych nie miał problemów, by przy wykorzystaniu tego kryterium rozstrzygnąć postępowania
przetargowe (umowy ramowe i wykonawcze). Obok ZUS metodę punktów funkcyjnych stosują również m.in.: Agencja
Restrukturyzacji i Modernizacji Rolnictwa - metoda punktów funkcyjnych IFPUG, ARiMR rozlicza za jej pomocą m.in.
umowę na największy w UE system rozliczania dopłat dla rolników, czyli SIA ARiMR;Ministerstwo Funduszy i Polityki
Regionalnej; Ministerstwo Rozwoju; Urząd Miasta st. Warszawy – metoda punktów funkcyjnych COSMIC. Najwięksi
zamawiający publiczni w Polsce stosują od lat z powodzeniem tą metodę, także (jak ZUS) jako kryterium oceny ofert.
Metodę tą od lat ma wdrożoną i stosowaną sam Zamawiający. Skoro więc metoda ta jest tak powszechnie i od lat
stosowana, także jako kryterium oceny ofert, to nie można zgodzić się z twierdzeniem Zamawiającego, które legło u
podstaw decyzji o unieważnieniu postępowania jakoby metoda ta była podatna na różnorodne sposoby interpretacji w
praktyce i nie pozwalała na porównanie ofert w sposób jednoznaczny i zrozumiały. Twierdzenie o podatności metody
punktów funkcyjnych na różne sposoby interpretacji zostało postawione przez Zamawiającego po wystąpieniu
niezgodności między oceną jego ekspertów a oceną biegłego powołanego przez KIO. Fakt rozbieżności w ocenach
dwóch ekspertów nie przesądza jeszcze o wadliwości metody czy o konieczności unieważnienia postępowania.
Czynność unieważnienia postępowania jest najdalej idącą czynnością i winna być stosowana jedynie w przypadku
niemożliwości zastosowania innego rozwiązania. W niniejszej sytuacji, tj. niezgodności w pewnej części oceny dwóch
ekspertów, Zamawiający mógł zwrócić się np. do kolejnego eksperta lub wykorzystać, którąś z opinii prywatnych
przedłożonych przez Odwołującego, by rozstrzygnąć pojawiające się różnice w ocenach.
Następnie Odwołujący podał, że zgodnie z ugruntowanym stanowiskiem doktryny i orzecznictwa - wada
naruszenie przepisów to naruszenie przez zamawiającego przepisów regulujących postępowanie (wyrok KIO z dnia
12.04.2022 r., KIO 881/22 czy M. Jaworska (red.), Prawo zamówień publicznych. Komentarz, wyd. 6, 2025).
Zastosowanie kryterium oceny ofert, które spotyka się w pewnym zakresie z dwiema różnymi ocenami przez ekspertów,
nie stanowi żadnego naruszenia przepisów ustawy. Nie sposób więc mówić tu o wystąpieniu wady w rozumieniu art. 255
pkt 6 ustawy Pzp.
Zamawiający w pisemnej odpowiedzi na odwołanie wniósł o jego oddalenie.
W uzasadnieniu swojego stanowiska Zamawiający podał m.in., że wada postępowania to naruszenie przepisów
Prawa zamówień publicznych. Orzecznictwo Krajowej Izby Odwoławczej dostarcza przykładów uchybień, które można
zakwalifikować jako wadę postępowania, wśród których wskazać należy opisanie kryterium oceny ofert w sposób
niejasny lub taki, który wskazuje na jego braki (np. wyrok KIO z 27.04.2022 r., sygn. akt KIO 909/22, wyrok KIO z
21.03.2023 r., KIO 610/23). Zgodnie z art. 240 ustawy Pzp, Zamawiający opisuje kryteria oceny ofert w sposób
jednoznaczny i zrozumiały, a dodatkowo kryteria oceny ofert i ich opis nie mogą pozostawiać zamawiającemu
nieograniczonej swobody wyboru najkorzystniejszej oferty oraz umożliwiają weryfikację i porównanie poziomu
oferowanego wykonania przedmiotu zamówienia na podstawie informacji przedstawianych w ofertach. Zamawiający nie
ma obecnie możliwości wyeliminowania niejednoznaczności opisu metody badania próbek. Konsekwencją powyższej
niejednoznaczności jest brak weryfikowalności dokonywanej oceny ofert - dla każdej strategii oceny prowadzącej do
ustalenia punktacji można przedstawić kontr ocenę innego eksperta, opierającego się na innej, formalnie również
poprawnej, strategii oceny. Brak weryfikowalności pozacenowego kryterium oceny ofert, nie może być uznany jako brak
wady niewpływający na postępowanie w sposób umożliwiający zawarcie niepodlegającej unieważnieniu umowy (por.
wyrok KIO z 16.05.2023, KIO 1188/23).
Wykonawca Sygnity S.A. (dalej również: „Przystępujący”) zgłosił przystąpienie do postępowania odwoławczego
po stronie Zamawiającego, stając się uczestnikiem postępowania.
Przystępujący wniósł o oddalenie odwołania.
Krajowa Izba Odwoławcza (w treści także: „KIO” lub „Izba”) stwierdziła, że odwołanie nie zawiera braków
formalnych. Wpis w prawidłowej wysokości został wniesiony w ustawowym terminie. Nie została wypełniona żadna z
przesłanek skutkujących odrzuceniem odwołania, o których mowa w art. 528 ustawy Pzp.
Krajowa Izba Odwoławcza rozpoznając odwołanie, uwzględniając dokumentację postępowania oraz stanowiska
zaprezentowane w sprawie, ustaliła i zważyła co następuje:
Odwołujący legitymuje się uprawnieniem do skorzystania w przedmiotowym postępowaniu ze środków ochrony
prawnej. Zostały bowiem wypełnione przesłanki, o których mowa w art. 505 ust. 1 ustawy Pzp.
Następnie Izba ustaliła, co następuje:
Zgodnie z pkt 4.1 Specyfikacji Warunków Zamówienia (dalej: „SW Z”):Przedmiotem zamówienia jest świadczenie przez
Wykonawcę Usług sukcesywnego, w miarę zgłaszanych potrzeb, wykonywania modyfikacji oprogramowania Systemów
konsularnych oraz serwisu i szkoleń, w Ministerstwie Spraw Zagranicznych i placówkach podległych Ministrowi Spraw
Zagranicznych na zasadach opisanych w umowie oraz w załącznikach do umowy.
W pkt 13 SW Z zawierającym opis kryteriów oceny ofert wraz z podaniem wag tych kryteriów i sposobu oceny ofert
Zamawiający określił:
13.1Przy wyborze oferty zamawiający będzie się kierował następującymi kryteriami:
Lp.
Nazwa kryterium
Waga (pkt)
1.
Cena (C)
2.
Kryteria techniczno - jakościowe próbki
SUMA: 100
(…)
13.3Przy ocenie ofert w kryterium „Kryteria techniczno-jakościowe próbki” (PJ) punkty zostaną przyznane w poniższy
sposób:
1)Kryteria techniczno-jakościowe próbki – znaczenie 40 % (maksymalnie do 40 pkt)
2)Kryterium „Kryteria techniczno-jakościowe próbki” będzie rozpatrywane na podstawie oceny spełnienia wymagań
opisanych w Załączniku nr 13 do SW Z oraz w Załączniku nr 14 do SW Z, na podstawie Próbki przedstawionej przez
Wykonawcę.
3)Punkty w kryterium „Kryteria techniczno-jakościowe próbki” będą obliczane na podstawie wzoru:
Cj
PJ =
x 40
gdzie:
PJ - liczba punktów jakie otrzyma oferta badana za kryterium „Kryteria techniczno-jakościowe próbki";
Cj – liczba punktów przyznana Próbce ocenianej oferty;
65 – maksymalna liczba punktów, którą może uzyskać oferta w ramach oceny próbki.
Uwaga: W przypadku niezłożenia Próbki wraz z ofertą, zgodnie z wymaganiami określonymi w pkt 8.1 i Załączniku nr 13,
oferta zostanie odrzucona.
Załączniki:
Załącznik nr 13 do SWZ - Opis próbki modyfikacji i procedura jej oceny
Załącznik nr 14 do SWZ - Próbka - kryteria oceny jakości
13.4Sumaryczna liczba punktów zostanie obliczona według wzoru:
W = PC + PJ gdzie:
W – łączna liczba punktów przyznanych w poszczególnych kryteriach,
PC – liczba punktów przyznanych w kryterium „Cena”,
PJ – liczba punktów przyznanych w kryterium „Kryteria techniczno-jakościowe próbki”,
13.5Wszystkie obliczenia dokonywane będą z dokładnością do dwóch miejsc po przecinku.
(…)
Załącznik nr 13 do SW Z zawiera opis próbki modyfikacji i procedurę jej oceny, w tym: 1. Cel próbki, 2. Produkty próbki, 3.
Procedura przygotowania i przekazania Próbki, 4. Treść Wymagań Interesariuszy do próbki, 5. Badanie i Ocena próbki.
Załącznik nr 14 do SW Z zawiera przedstawione w układzie tabelarycznym kryteria oceny jakości próbki, w tym: 1.
Próbki - kryteria dopuszczenia, gdzie zostały wskazane cztery reguły, kryterium spełniania i kryterium dopuszczenia, 2.
Próbki - kryteria oceny jakości, gdzie zostało wskazanych czterdzieści reguł, kryterium spełniania, przydzielenie
punktacji, kryterium przyznania punktów.
Ja wynika z informacji z otwarcia ofert z 15 marca 2024 r., w postępowaniu zostały złożone oferty przez wykonawców:
Sygnity S.A. i Transition Technologies PSC S.A.
Z informacji o wyborze najkorzystniejszej oferty z 6 maja 2024 r. wynika, że Zamawiający dokonał wyboru oferty złożonej
przez Sygnity S.A.
Wobec tej czynności każdy z ww. wykonawców wniósł odwołanie do KIO. W sprawie o sygn. akt KIO 1716/24 został
powołany przez Izbę biegły, na którego opinię wskazuje Zamawiający w informacji o unieważnieniu postępowania.
W informacji o unieważnieniu postępowania z 21 maja 2025 r. Zamawiający podał:
Na podstawie art. 260 ust. 1 ustawy z dnia 11 września 2019 r. – Prawo zamówień publicznych (Dz.U. z 2024 r. poz.
1320), zwanej dalej „ustawą Pzp”, Zamawiający informuje o unieważnieniu postępowania pn. „Usługi w zakresie procesu
modyfikacji oprogramowania systemów konsularnych w Ministerstwie Spraw Zagranicznych i placówkach podległych
Ministrowi Spraw Zagranicznych”, znak: BPZZ.270.6.2024.
Podstawa prawna:
Art. 255 pkt 6 ustawy Pzp.
Uzasadnienie faktyczne i prawne:
Zamawiający unieważnia przedmiotowe postępowanie na podstawie art. 255 pkt 6 ustawy Pzp, z uwagi na niemożliwą do
usunięcia wadę, która uniemożliwia zawarcie niepodlegającej unieważnieniu umowy o zamówienie publiczne.
W dokumentacji zamówienia Zamawiający przewidział kryterium oceny ofert polegające na jakościowej ocenie próbek
dostarczonych przez wykonawców, z wykorzystaniem metody punktowej opartej na standardzie COSMIC (Common
Software Measurement International Consortium), stosowanym w analizie funkcjonalnej oprogramowania i estymacji jego
rozmiaru.
W toku postępowania, na skutek wniesienia odwołania przez obu uczestniczących w postepowaniu wykonawców do
Krajowej Izby Odwoławczej, zakwestionowane zostały przedstawione przez Zamawiającego oceny próbek dokonane z
udziałem specjalistów z zakresu inżynierii oprogramowania oraz szacowania funkcjonalności systemów IT, świadczących
usługi na rzecz Zamawiającego w zakresie wyżej wymienionej metodyki. Usługi te świadczy firma AVILITY SP. Z O. O. w
składzie G.S. oraz S.Z. na podstawie umowy nr BIT W SK 1922/2024 - BPZZ-15/202. W trakcie procedowania odwołania
w Krajowej Izby Odwoławczej wyżej wymienieni eksperci zostali powołani jako biegli Zamawiającego.
16 maja 2024 r. obaj uczestniczący w postępowaniu wykonawcy, czyli Sygnity S.A. i Transition Technologies PSC S.A.
złożyli odwołania m. in. na czynność oceny próbek, zarzucając zaniżenie punktów przyznanych swojej ofercie podczas
oceny. Wykonawca Sygnity S.A. dodatkowo zarzucił Zamawiającemu zawyżoną ocenę próbki TT PSC S.A.
Następnie obaj wykonawcy złożyli odpowiedzi na odwołania wykonawcy konkurencyjnego. Powoływali się w tych
odpowiedziach na opinie i ekspertyzy naukowców i ekspertów w dziedzinie analizy systemów informatycznych i
wymiarowania oprogramowania metodą COSMIC:
•Sygnity S.A. do odpowiedzi na odwołanie dołączył opinię dr inż. Bogumiły Hnatkowskiej, prof. Wydziału Informatyki i
Telekomunikacji Politechniki Wrocławskiej,
•TT PSC S.A. do odpowiedzi na odwołanie dołączył opinie:
odr hab. B.C., prof. Szkoły Głównej Handlowej w Warszawie,
oJ.Ś., Międzynarodowego Doradcy organizacji COSMIC na obszar Polski, szkoleniowca i egzaminatora COSMIC,
oA.K., magistra informatyki.
Zamawiający szczegółowo odniósł się do zarzutów przedstawionych w odwołaniach oraz odpowiedziach na odwołania, z
tym w opiniach ekspertów, przy czym w sumie:
•uznał 9 zarzutów,
•nie zgodził się z 62 zarzutami,
W kolejnych pismach obaj wykonawcy odnieśli się do argumentacji Zamawiającego, w większości ją odrzucając i
formułując kontrargumenty.
Krajowa Izba Odwoławcza powołała biegłego S.P., który poddał analizie 16 punktów oceny próbki TT PSC, z czego:
•uznał ocenę Zamawiającego za prawidłową w zakresie 7 punktów,
•uznał ocenę Zamawiającego za nieprawidłową w zakresie 9 punktów.
Zamawiający w odpowiedzi na opinię biegłego odniósł się do 9 punktów oceny, w których biegły uznał ocenę
zamawiającego za nieprawidłową, uznając argumentację biegłego w 2 przypadkach i odrzucając ją w 7 przypadkach.
To, że wykonawcy w swoich odwołaniach i pismach nie zgadzają się z oceną Zamawiającego obniżającą ich punktację, i
starają się wykazać jej wadliwość, nie powinno dziwić. Zamawiający obalił znaczną większość argumentacji wykonawców.
Tak samo nie dziwi zawartość opinii ekspertów, zleconych tym ekspertom przez wykonawców. W takiej opinii ekspert
stara się wykazać to, co jest korzystne dla wykonawcy, który ekspertyzę u niego zamówił. Takie opinie ze swej istoty nie
są obiektywne. Zamawiający z łatwością obalił większość argumentacji zamieszczonych w tych opiniach.
Niepokojąca jest natomiast duża różnica w ocenie niezależnego biegłego S.P. w stosunku do oceny Zamawiającego. W
niektórych przypadkach różnice są całkowicie podstawowe i zasadnicze, jak np. w niezgodności KJ nr 21: „Reguła (w tym
warunek początkowy i końcowy) nie specyfikuje przepływu obiektów”. Zamawiający jako kryteria oceny tej reguły określił:
„Wszystkie reguły spełniają warunek określony w regule. Np. Warunek początkowy: ‘…do przypadku użycia
przekazywany jest obiekt klasy Płatnik…’, nie jest poprawnym warunkiem początkowym, natomiast poprawne jest
ograniczenie ‘...przekazany obiekt jest w stanie Płatnik::Wyrejestrowany…’”:
Zamawiający uznał to kryterium za niespełnione, ponieważ próbka wykonawcy TT PSC zawiera regułę R2 „Pobierane jest
ostrzeżenie dla kraju …”.
Zamawiający stwierdził, że sposób sformułowania reguły R2 przez wykonawcę dokładnie odpowiada przykładowi
podanemu w kryterium jako niepoprawny i opiera się na tej samej – wykluczonej przez Zamawiającego – konstrukcji
składniowej (orzeczenie w trybie biernym – „przekazywany jest”, „pobierane jest”). Zamawiający uznał, iż jest to
wystarczająca przesłanka dla stwierdzenia niepoprawności próbki w tym zakresie i nie przyznał próbce punktu.
Biegły powołany przez KIO natomiast przyjął odmienny punkt widzenia, wskazując, że reguła R2 w próbce wykonawcy „nie
specyfikuje przepływu obiektu, tylko warunki, które opisują warunki dla przepływu obiektu”. Zaznaczył przy tym, że
„sformułowanie, od którego zaczyna się reguła ‘Pobierane jest ostrzeżenie …’ jest frazą wprowadzającą, przywołującą
kontekst reguły, a nie główną treść reguły”. Zignorował przy tym fakt, że ta fraza wprowadzająca jest wprost wskazana w
KJ nr 21 jako niepoprawna.
Podobne rozbieżności między opinią biegłego a stanowiskiem Zamawiającego można by przytoczyć dla pozostałych 6
przypadków, w których Zamawiający nie uznaje opinii biegłego.
Niektóre zarzuty wykonawców do oceny próbek dotyczyły nie samego wymiarowania pełnego metodą COSMIC, ale
także:
•spełnienia wymagań interesariuszy do próbki, zawartych w rozdziale 4 Załącznika nr 13 do SWZ,
•zawartości modelu w języku UML, który był podstawą tego wymiarowania.
Zamawiający w rozdziale 5 Załącznika nr 13 do SWZ sformułował m. in. następujące zasady oceny próbek:
„1.1 Próbka stanowiąca dokument składany na podstawie art. 106 ust. 1 ustawy na potwierdzenie spełniania przez
oferowane usługi wymagań określonych przez Zamawiającego w Opisie Przedmiotu Zamówienia będzie badana zgodnie z
wymaganiami określonym w pkt 1. Załącznika nr 14 do SWZ.
1.2 Niewykazanie spełnienia przez próbkę choćby jednego wymagania określonego w Załączniku nr 13 i w pkt 1.
Załącznika nr 14 do SW Z spowoduje odrzucenie oferty na podstawie art.226 ust. 1 pkt 5 ustawy Prawo zamówień
publicznych jako oferty, której treść jest niezgodna z warunkami zamówienia.”
Te dwa zapisy są ze sobą w sprzeczności, ponieważ z punktu 1.2 wynika konieczność sprawdzenia spełnienia wymagań
zarówno z załącznika nr 13, jak i z punktu 1. Załącznika nr 14 do SW Z, natomiast zgodnie z punktem 1.1, próbka ma być
badana jedynie na zgodność z wymaganiami z punktu 1 Załącznika nr 14 do SWZ.
Zamawiający w swojej ocenie próbek przyjął literalne brzmienie punktu 1.1 i nie oceniał próbek na zgodność z
wymaganiami określonymi w Załączniku nr 13 do SW Z. To podejście wzbudziło jednak kontrowersje wobec wykazanej
sprzeczności między punktami 1.1 i 1.2 rozdziału 5 Załącznika nr 13 do SW Z. Odmienne do Zamawiającego stanowisko
w tym zakresie wyraził wykonawca Sygnity w piśmie z dnia 17 czerwca 2024: „Zamawiający miał obowiązek wziąć pod
uwagę, iż próbka nie spełnia treści Wymagania 5 z Załącznika nr 13 do SW Z i w oparciu o treść pkt 5.2 tego Załącznika
odrzucić ofertę TT PSC.”
Zamawiający nie oceniał także poprawności modelu UML, który był podstawą wymiarowania, mimo że próbka TT PSC
zawierała wiele błędów merytorycznych i notacyjnych UML, wskazanych w odwołaniu złożonym przez Sygnity.
Zamawiający nie odniósł się do tych zarzutów odwołania Sygnity, ponieważ zgodność modeli UML ze specyfikacją UML i
ich poprawność semantyczna nie były formalnie przedmiotem oceny. To podejście może jednak budzić kontrowersje,
ponieważ model UML – choć nie jest wprost przedmiotem oceny – to jest podstawą wymiarowania, które już ocenie
podlegało. Odmienne od Zamawiającego stanowisko w tym zakresie wyraził wykonawca Sygnity w piśmie z dnia 17
czerwca 2024: „AOM jest bezsprzecznie powiązany bezpośrednio z wymiarowaniem pełnym i powinien podlegać ocenie”.
Powyższe argumenty są kolejnym uzasadniającym brak możliwości jednoznacznej i obiektywnej oceny próbek.
Powołany przez KIO biegły Sylwester Pietrzak w podsumowaniu swojej oceny zwrócił uwagę na istotny aspekt:
„Kryteria te [oceny zgodności z Podręcznikiem wymiarowania] nie określają, czym jest jednostkowy brak zgodności z
Podręcznikiem, który skutkuje odjęciem 1,25 pkt z oceny. To oraz złożona struktura samej Próbki (przypadki użycia,
kroki przypadków użycia, typy danych, sposób raportowania wyników wymiarowania), a także Podręcznika (wytyczne,
rozszerzenia, reguły, dokumenty powiązane) pozwalają przyjąć różne strategie oceny, w zależności jak zdefiniowany
zostanie ten jednostkowy brak zgodności.
Przykładowo:
•jednostkowy brak zgodności dotyczy naruszenia konkretnej reguły Podręcznika, a kolejne naruszenia tej samej reguły
są traktowane jako ten sam brak zgodności Próbki z podręcznikiem,
•kolejne naruszenie tej samej reguły jest traktowane jako kolejny brak zgodności Próbki z Podręcznikiem,
•kolejne naruszenie tej samej reguły jest traktowane jako kolejny brak zgodności Próbki z Podręcznikiem, ale jeżeli
dotyczy innego przypadku użycia,
•jednostkowy brak zgodności dotyczy pojedynczego niewłaściwie policzonego lub niepoliczonego przesunięcia danych,
bez względu na to z ilu reguł to wynika,
•jednostkowy brak zgodności dotyczy niewłaściwie określonej liczby przesunięć danych określonego typu w ramach
pojedynczego przypadku użycia, itd. itp.
Każdy z tych opisów określa inną strategię oceny, która mogłaby dać inne rezultaty oceny tej samej Próbki, żadna z nich
nie jest sprzeczna z opisem kryterium.”
Zwraca na to uwagę także dr Beata Czarnacka-Chrobot w opinii opracowanej na zlecenie TT PSC.
Zamawiający kwestionuje przyjęte kryterium oceny ofert jako niewystarczająco obiektywne i podatne na różnice
interpretacyjne. W odpowiedzi na zarzuty, Zamawiający podjął decyzję o przeprowadzeniu pogłębionej weryfikacji sposobu
zastosowania metodyki COSMIC w ocenach próbek.
Każdy z biegłych dokonał odrębnej analizy przedstawionych próbek ofertowych, stosując przy tym tę samą ramę
metodyczną COSMIC. Pomimo formalnej zgodności metodologicznej, uzyskane wyniki znacznie się różniły – zarówno w
zakresie przypisanych wartości punktowych, jak i w interpretacji poszczególnych funkcjonalności analizowanych
produktów. Rozbieżności te dotyczyły m.in.:
•różnego podejścia do klasyfikacji komponentów funkcjonalnych;
•odmiennych interpretacji zakresu i liczby procesów funkcjonalnych dla identycznych modułów próbek;
•braku zgodności co do liczby punktów COSMIC przypisywanych poszczególnym funkcjom.
Choć metodyka COSMIC jako system miar cechuje się określoną strukturą i zasadami stosowania, jego implementacja
w niniejszym postępowaniu pokazała znaczną wrażliwość na subiektywne interpretacje ekspertów, nawet przy ich wysokim
poziomie kompetencji i doświadczenia zawodowego.
Wskazane różnice w ocenach biegłych nie wynikają z błędów technicznych ani nieścisłości w samej metodzie COSMIC,
ale z jej podatności na różnorodne sposoby interpretacji w praktyce.
Tymczasem istotą kryteriów oceny ofert zakładających ich mierzalność jest możliwość oceny ofert w sposób
jednoznaczny i zrozumiały. Kryteria, które ma wyróżniać cecha transparentności, powinny być nie tylko znane wszystkim
uczestnikom postępowania o udzielenie zamówienia publicznego, ale również w taki sam sposób powinno być rozumiane
przez wszystkich uczestników postępowania. Ma to eliminować ryzyko związane z nierównym traktowaniem wykonawców.
Konkludując, przyjęte kryterium oceny ofert nie gwarantuje powtarzalności wyników, a tym bardziej nie zapewnia
porównywalności ocen wykonawców.
Efektem tego jest brak możliwości jednoznacznego ustalenia, która oferta jest najkorzystniejsza w rozumieniu art. 239
ust. 1 oraz art. 240 ust. 1 ustawy Pzp.
Zamawiający uznał, że w świetle tych ustaleń postępowanie obarczone jest nieusuwalną wadą – tj. przyjęciem wadliwego
kryterium oceny ofert, które nie pozwala na dokonanie obiektywnego i transparentnego wyboru oferty. Po otwarciu ofert
Zamawiający nie posiada możliwości wprowadzenia zmiany treści dokumentów zamówienia w sposób, który umożliwiłby
usunięcie tej wady – zgodnie z art. 137 ust. 1 ustawy Pzp, zmiana kryteriów oceny ofert po terminie składania ofert jest
niedopuszczalna.
Wobec powyższego, działając na podstawie art. 255 pkt 6 ustawy Pzp, Zamawiający unieważnia niniejsze postępowanie.
Izba zważyła, co następuje:
Odwołanie podlega oddaleniu.
W pierwszej kolejności zaznaczenia wymaga, że Izba orzeka w granicach zarzutów postawionych w odwołaniu. Przez
zarzut rozumie się podstawę prawną oraz okoliczności faktyczne, które zdaniem wykonawcy korzystającego ze środka
ochrony prawnej, wskazują, na naruszenie wskazanego w odwołaniu przepisu.
W okolicznościach analizowanej sprawy Odwołujący kwestionuje w odwołaniu stanowisko Zamawiającego, który
uznał, że przyjęte kryterium oceny ofert (sporządzenie próbki w oparciu o metodę punktów funkcyjnych) nie pozwala na
porównanie ofert. W tym zakresie w odwołaniu Odwołujący podniósł, że
−metoda punktów funkcyjnych jest powszechnie stosowana przez największych zamawiających w Polsce, zarówno przy
zlecaniu i rozliczaniu prac w toku trwania umów, jak i jako kryterium oceny ofert; metodę stosuje od lat sam
Zamawiający; nie sposób więc uznać, że metoda ta nie pozwala na ocenę ofert;
−fakt rozbieżności zdań między dwoma biegłymi i to w pewnym zakresie nie przesądza jeszcze o wadliwości całego
postępowania, a rozbieżność ta mogła być rozstrzygnięta w inny sposób (m.in. opinia innego biegłego, wykorzystanie
opinii prywatnych);
−przywołana przez Zamawiającego okoliczność nie stanowi naruszenia przepisów regulujących postępowanie, a tym
samym - zgodnie z dominującym stanowiskiem doktryny i KIO - nie może być traktowana jako wada postępowania w
rozumieniu art. 255 pkt 6 ustawy Pzp.
W ocenie Izby, w zakresie pierwszych dwóch z ww. argumentacji Odwołującego, należy podzielić stanowisko
Zamawiającego, który w odpowiedzi na odwołanie podał, nie kwestionuje przydatności metody punktów funkcyjnych
COSMIC dla rozliczania prac wykonawców ani też nie kwestionuje możliwości stosowania w tym celu obowiązującego u
Zamawiającego od szeregu lat Podręcznika wymiarowania. Problem dotyczy natomiast sformułowanej w SW Z metody
oceny próbek, tj. przyjętych przez Zamawiającego kryteriów oceny zgodności próbek z Podręcznikiem oraz zasad
przyznawania oraz odejmowania punktów z oceny, które zostały opisane w sposób, który pozwala na różnorodne
sposoby interpretacji.
W analizowanej sprawie nie jest sporne, że jak zostało wskazane w Informacji o unieważnieniu postepowania,
opisane w SW Z kryteria oceny zgodności z Podręcznikiem wymiarowania nie określają, czym jest jednostkowy brak
zgodności z Podręcznikiem, który skutkuje odjęciem 1,25 pkt z oceny, co wraz ze złożoną strukturą samej Próbki
(przypadki użycia, kroki przypadków użycia, typy danych, sposób raportowania wyników wymiarowania), a także
Podręcznika (wytyczne, rozszerzenia, reguły, dokumenty powiązane) pozwala przyjąć różne strategie oceny, w
zależności jak zdefiniowany zostanie ten jednostkowy brak zgodności. Nie jest też sporne, że może to być rozumiane
m.in. w ten sposób, że:
1)jednostkowy brak zgodności dotyczy naruszenia konkretnej reguły Podręcznika, a kolejne naruszenia tej samej reguły
są traktowane jako ten sam brak zgodności Próbki z podręcznikiem,
2)kolejne naruszenie tej samej reguły jest traktowane jako kolejny brak zgodności Próbki z Podręcznikiem,
3)kolejne naruszenie tej samej reguły jest traktowane jako kolejny brak zgodności Próbki z Podręcznikiem, ale jeżeli
dotyczy innego przypadku użycia,
4)jednostkowy brak zgodności dotyczy pojedynczego niewłaściwie policzonego lub niepoliczonego przesunięcia danych,
bez względu na to z ilu reguł to wynika,
5)jednostkowy brak zgodności dotyczy niewłaściwie określonej liczby przesunięć danych określonego typu w ramach
pojedynczego przypadku użycia, itd. itp.
Odwołujący nie zakwestionował przedstawionego przez Zmawiającego stanowiska, że każdy z tych wariantów
określa inną strategię oceny, która mogłaby dać inne rezultaty oceny tej samej próbki, przy czym żadna z nich nie jest
sprzeczna z opisem kryterium. Na rozprawie Odwołujący podał natomiast, że jego zdaniem powinien zostać przyjęty
przez Zamawiającego jeden z ww. sposobów rozumienia jednostkowego braku zgodności i według niego powinna zostać
przeprowadzona przez niego ocena każdej ze złożonych próbek.
Takie stanowisko w ocenie Izby oznacza to, że w analizowanej sprawie, opis sposobu oceny ofert w kryterium
jakościowym, którego waga wynosi 40%, miałby być dopiero określony przez Zamawiającego po złożeniu ofert przez
wykonawców, co przeczy m.in. zasadzie, o której mowa w art. 16 pkt 2 ustawy Pzp, zgodnie z którym Zamawiający jest
zobowiązany przygotować i przeprowadzić postępowanie o udzielenie zamówienia w sposób przejrzysty. Oferty powinny
być oceniane zgodnie z postanowieniami SW Z obowiązującymi na dzień składania ofert, które powinny być zgodne z
przepisem art. 240 ustawy Pzp, a nie z zasadami ustalonymi dopiero po otrzymaniu ofert. Tym bardziej, że jak wyżej
wskazano, w zależności od dokonanego na tym etapie wyboru strategii, mogłyby wystąpić inne wyniki oceny tej samej
próbki.
Zgodzić się należy z Zamawiającym, że zaistniałej wady w opisie oceny kryterium jakościowego nie byłyby w
stanie zmienić sugerowane przez Odwołującego działania takie jak skorzystanie z opinii innego eksperta (kolejnej opinii
jaką należałby pozyskać) lub wykorzystanie opinii prywatnych złożonych w toku postępowania o zamówienie. Opinie te
bowiem zawsze będą oceniane pod kątem zgodności z metodą oceny próbek opisaną w SW Z a ta, jak okazało się w
praktyce i jak wykazał to biegły powołany przez Izbę (w poprzedniej sprawie odwoławczej, przywołanej przez
Zamawiającego), okazała się niejednoznaczna i, w zależności od przyjętej przez oceniającego strategii oceny, prowadzi
do różnych, formalnie poprawnych, rezultatów. W analizowanej sprawie nie ma sporu co do tego, że złożone w toku
postępowania o zamówienie opinie ekspertów w dziedzinie metodyki COSMIC, wskazują, że w różny sposób dokonali oni
oceny tej samej próbki.
Powyższe wskazuje, że w sprawie zostało wykazane, że SW Z, w zakresie opisu kryterium jakościowego,
zawiera istotne braki, które uniemożliwiają dokonanie oceny ofert w tym kryterium w sposób, który nie naruszałby
podstawowych zasad udzielania zamówień publicznych. Brakujące elementy w opisie oceny ofert w ramach
jakościowego kryterium oceny ofert, zawartym w SWZ, nie mogą być na tym etapie uzupełnione.
Zgodnie z art. 255 pkt 6 ustawy Pzp: Zamawiający unieważnia postępowanie o udzielenie zamówienia, jeżeli
postępowanie obarczone jest niemożliwą do usunięcia wadą uniemożliwiającą zawarcie niepodlegającej unieważnieniu
umowy w sprawie zamówienia publicznego
Dla zastosowania tej przesłanki, konieczne jest zatem wystąpienie wady postępowania, która jest nieusuwalna i która
uniemożliwia zawarcie niepodlegającej unieważnieniu umowy.
Jak wyżej zostało stwierdzone, w zakresie opisu oceny ofert w kryterium jakościowym, SW Z zawiera istotne wady,
niemożliwe do usunięcia na tym etapie postępowania, które skutkują brakiem możliwości dokonania oceny ofert bez
naruszenia zasad obowiązujących na gruncie zamówień publicznych.
Odwołujący w odwołaniu nie wykazał, że powyższe wady nie są tego rodzaju, że uniemożliwiają zawarcie
niepodlegającej unieważnieniu umowy. Nie wskazał na przepis art. 457 ust. 1 pkt 1 ustawy Pzp, czy braki w
przedstawionej przez Zamawiającego Informacji o unieważnieniu postępowania. Odwołujący ograniczył się do wskazania
w odwołaniu, że „wada naruszenie przepisów to naruszenie przez zamawiającego przepisów regulujących postępowanie” i
sygnatury jednego z orzeczeń Izby oraz odesłania do jednego z komentarzy. Tymczasem, jak zauważył Zamawiający,
orzecznictwo Krajowej Izby Odwoławczej dostarcza przykładów uchybień, które można zakwalifikować jako wadę
postępowania, wśród których występuje m.in. opisanie kryterium oceny ofert w sposób niejasny lub taki, który wskazuje
na jego braki (np. wyrok KIO z 27 kwietnia 2022 r., sygn. akt KIO 909/22, wyrok KIO z 21 marca 2023 r., KIO 610/23).
Okoliczność, iż w tym aspekcie można mówić o istnieniu dwóch stanowisk co do wykładni art. 457 ust. 1 pkt 1 ustawy
Pzp, tj. węższej odnoszącej się wyłącznie do zaniechania obowiązków publikacyjnych oraz szerszej, wskazującej na
niezależne od siebie podstawy unieważnienia umowy, tj. 1) udzielenia zamówienia z naruszeniem przepisów ustawy
Pzp, 2) udzielenie zamówienia bez wymaganego ogłoszenia, na co zwrócił uwagę m.in. Sąd Okręgowy w Warszawie w
wyroku z 21 stycznia 2025 r. w sprawie sygn. akt XXIII Zs 161/24, w którym przedstawił swoją ocenę w rozpatrywanej
sprawie z uwzględnieniem obydwu interpretacji, tym bardziej wymagała od Odwołującego postawienia w odwołaniu w
odpowiedni sposób zarzutu oraz wykazania braku wypełnienia się przesłanki unieważniania postępowania wskazanej
przez Zamawiającego. To jednak nie nastąpiło.
Zgodnie z art. 555 ustawy Pzp Izba nie może orzekać co do zarzutów, które nie były zawarte w odwołaniu.
Stosownie do art. 552 ust. 1 Pzp 1. Wydając wyrok, Izba bierze za podstawę stan rzeczy ustalony w toku
postępowania odwoławczego.
Zgodnie z przepisem art. 554 ust. 1 pkt 1 ustawy Pzp, Izba uwzględnia odwołanie w całości lub w części, jeżeli
stwierdzi naruszenie przepisów ustawy, które miało wpływ lub może mieć istotny wpływ na wynik postępowania o
udzielenie zamówienia, konkursu lub systemu kwalifikowania wykonawców.
W analizowanej sprawie nie zostało wykazane naruszenie przepisów ustawy, które miało wpływ na wynik
postępowania o udzielenie zamówienia. W związku z tym odwołanie podlegało oddaleniu.
Zgodnie z art. 557 ustawy Pzp, w wyroku oraz w postanowieniu kończącym postępowanie odwoławcze Izba
rozstrzyga o kosztach postępowania odwoławczego.
Biorąc powyższe pod uwagę, o kosztach postępowania odwoławczego orzeczono stosownie do wyniku
postępowania na podstawie art. 557 i art. 575 ustawy Pzp oraz w oparciu o przepisy § 5 pkt 1 i 2 lit. a rozporządzenia
Prezesa Rady Ministrów z dnia 30 grudnia 2020 r. w sprawie szczegółowych rodzajów kosztów postępowania
odwoławczego, ich rozliczania oraz wysokości i sposobu pobierania wpisu od odwołania (Dz. U. z 2020 r. poz. 2437).
Izba nie uwzględniła wniosku Zamawiającego o zasądzenie na jego rzecz kosztów zastępstwa prawnego z uwagi na
brak złożenia przez pełnomocnika rachunku lub spisu kosztów.
Mając powyższe na uwadze orzeczono jak w sentencji.
Przewodnicząca:………….…………………
Członkowie:
………….…………………
………….…………………