Performance Report, Питанка за съвети, идеи и примери Options

[jimmy]

Подготвяме доклад за бързодействието на продукта ни при различни натоварвания. Опитвам се да потърся съвет и различни примери. Питахме Гугъл и от там излязоха интересни неща, но искам да питам и дали някой тук има нещо интересно да предложи.

За повече контекст, ето и грубо параметрите, които имаме. Имаме данни от замервания на времето за реакция на продукта при изпълняване на различни действия: отваряне на форми, попълване на списъци, изпълняване на търсене и други. Мерили сме за две бази с различно количество данни и при различен брой връзки между записите в базите.

Ще ползваме доклада вътрешно, но ще го показваме (може би части от него) и на клиенти.

Ще съм благодарен за вашите идеи и предложения какво да направим, как да подходим, какви клопки да заобиколим, какви примери да погледнем, какви статии да прочетем и всякакви други, за които не се и сещам.

Джими

[Lachezar Ribarov]

Здравей Джими,

Можеш ли да дадеш информация, дали продукта работи на win платформа или на някой **nix.
Освен това - само замервания на времена на отговор ли имате? Имате ли данни за натоварване на процесор, памет, дискови операции и тн.

Добре е при подготването на такъв репорт да се покажат съпоставъчно графики, които да показват резултатите от времената за отговор и различните натоварвания (процесор, памет, диск), при различен брой конкурентни потребители. Естествено, може и да има таблични съпоставки, но графиката е по-добра за окото

Могат да се покажат и сравнения на производителност при празна база и при голям брой записи в базата.

Едно предложение (ако работите на win платформа, и ако ще събирате още данни), да използвате Performance Monitor-a на Windows (Administrative tools --> Performance). Хубавото при него е, че можете да пуснете да записва данните в CSV файлове, от които после чрез ексел може да се направят чудесни графики.


А като цяло доклада е добре да съдържа:

- Описание на хардуера, в/у който са извършени тестовете
- Описание на сценариите, които са изпълнени
- Описание на резултатите, получени при различните натоварвания (подплатени с графики/таблици). В тази част е добре да се дадат сравненията на работа при различни натоварвания.
- Заключение за производителността на приложението (колко конкуренти потребители могат да работят максимално с него и тн.)


Не знам долколко успях да отговоря на въпроса ти, но се надявам да съм помогнал поне малко.
Поздрави,

Лъчезар

[jimmy]

Мерси, Лъчо, за коментарите.

Продуктът работи под Уиндоус. В доклада вкарваме само замерванията за време при работа с различни обеми от данни. Иначе имаме и данни за натоварване, но те се ползват по друг начин.

Предвидили сме описание на хардуера и методологията. Даваме данните в табличен и графичен вид. Ползваме Ексел. Понеже са възможни много комбинации, вкарахме осева таблица (pivot table) и вързахме графиката към нея. Сега имаме само една графика, която лесно се променя според избраните параметри. Виж заключениене не бяхме предвидили - ще го включим.

Джими

[Georgi Rusev]

Zdraveite Jimmy, Lucho,

Dosta chest srestan problem pri testvane za proizvoditelnost e 'sterilnata sreda' pri koitato se izvarshvat testovete. Taka che ako jelaete realni danni e dobre da postavite produkta v maximalno blizka sreda do tazi v koiato ste se izpolzva.

Eto i edin primer: web prilojenie raboti sas skorost na obrabotka na zapitvane 2 secundi. Sled 2 secundi v performance laba stranicata s rezultatie se zarejda.

Sastoto prilojenie pri po malki obemi ot danni dava proizvoditelnost 10 secundi pri polojenie che klienta e otdalechen.

Problema v sluchaia e che vrazkata na klienta ima opredelena propuskvatelna sposobnost, a prilojenieto e nesaobrazeno s kapaciteta na vrazkata i stranicite s rezultati sa tvarde golemi kato obem.

Drug faktor pri pokupkata na produkt e negovoto scalability. Poniakoga tova e chast ot performance reporta, poniakoga e otdelen report, no vajnoto v sluchaia e kak raste ili namaliava proizvoditelnosta na sistemata pri promeniane na neinite parametri - CPU, RAM, HDD. Celta na tazi chast ot reporta e da se prosledi kakvi resursi ste triabva da se alokirat za da moje tova prilojenie da raboti normalno. Obiknoveno tova prilojenie se iziskva pri taka narechenia capacity planning - ili kak prilojenieto ste otgovori na narastvastia broi na potrebiteli i rasteja na zaiavkite spriamo narastvastia obem ot danni koito triabva da se obrabotvat.

Podhoda kum koito ste se nasochili s dve bazi ot danni e nevinagi dostatachen. Za poluchavane na dobri resultati az vinagi iziskvam pone 3 obemi ot danni da se izlsedvat, za da moje da se ustanovi kakva e zakonomernosta na proizvoditelnosta pri narastvast obem ot danni. Tia nikoga ne e lineina, zatova kato minum 3 obema ot danni sa neobhodimi.

Pri po zadalbocheni reproti sasto se izbolzvat poveche obemi ot danni. Celta e da se otkrie t.nar breaking point. Pri opredeleni obemi ot danni se nabliudava tvarde goliamo zabaviane na sistemata, koeto ia pravi tvarde bavna za normalna rabota.

/Rusev

[Georgi Rusev]

Propusnah da dobavia kade ima dopalnitelna informacia osven v internet: Chast ot Visual Studio 2003 e i Microsoft Center Test. Neogvata dokumentacia e dosta dobra i ima mnogo primeri koito ste ti mnogo interesna informacia.