# Кукбук2-Final edition

Иван Ивановитч Иванов

Ит-кукбук вариант 2, или подращивание ИТ-шника как есть.

Редакция 2.07 - 2017-07-22 финальная с мелкипи правками


Оглавление


Предисловие ко второй версии.

Благодарности.


Часть 1. Очень общая.

1.1 Введение.

1.2 О мотивации от тов. Жбанкова.

1.3 Сегментация в целом.

Сегментация и методы управления.

1.4 Методы управления ИТ в мировом бизнесе.


Часть 2. Про особенности в РФ и местную специфику.

2.1 Особенности сегментации в РФ и в особенности в целом

2.2 Особенности работы специалистов по кадрам / HR в целом, о которых следует помнить.

2.3 Особенности некоторых типов руководителей.

2.4 Особенности сетевого мнения и мнения отдельных представителей, в том числе инфобезопасников, ценителей тонких вкусовых оттенков импортозамещения, а также специалистов по приборам, о которых они нам не расскажут.

2.5 Прочие особенности. Профдеформация и вопросы мышления в целом.

2.6 Аутсорс и так называемый аутсорс, в том числе "очень домашний".

2.7 О собеседованиях в целом.

разные, и в чем-то одинаковые мнения.

О чем спросить на собеседовании будущего работодателя.

Какие бывают бонусы.


Часть 3. Малый, средний и крупный бизнес.

3.1 Малый бизнес - SOHO

(Small office/home office refers to the category of business or cottage industry that involves from 1 to 10 workers.)

3.2 Малый и средний бизнес SME/SMB

https://en.wikipedia.org/wiki/Small_and_medium-sized_enterprises

3.3 Крупный бизнес, который в РФ зовется иногда "enterprise".


Часть 4. Более техническая, но пока про теорию и инженерную часть зданий, сооружений и прочее ПГС.

От инженерных систем до производства чипов, процессоров и ASIC.

4.1 Модель ОСИ - OSI/DOD в целом.

4.2 Инженерные системы.

4.3 Кондиционирование, расчет тепловыделения и BTU (British thermal unit). Обслуживание. Чиллеры.

4.4 ИБП / UPS, Электропитание 220/380, 230/400 и даже иногда 127 В.

Что надо ОБЯЗАТЕЛЬНО знать ИТ-шнику про ИБП/UPS - APC/Delta/HP.

Внезапно Huawei, Vertivco, Delta, Riello, Ippon INNOVA, Eaton/Powercom


Защита от 380В.

4.5 АВР (автоматический ввод резерва). Дизель-генераторы.

Заземление. Техника электробезопасности.

4.6 СКУД и прочая безопасность.

4.7 Системы газового, порошкового и Novec 1230 - пожаротушения.

Противогазы изолирующие и фильтрующие.

4.8 Прочие инженерные системы. Строительство в целом.

Планирование размещения и транспортировки оборудования.

4.9 Системы извещения - пожарные извещатели, СМС оповещения, прочее.

4.10 Вопросы по инженерным системам, без ответов.

4.11 Производство - разница между Silicone и Silicon. Процесс в общих чертах - от песка до чипа.

4.12 ASIC и вроде того


Часть 5. Физика СКС / LAN

5.1 Голая теория

Теоремы Шеннона, Котельникова. Немного физики, связанной с мегагерцами, оптикой, качеством меди и так далее.

5.2 Физический уровень/ The physical layer. Телефонная пара (лапша), медь, одно- и много-модовая оптика, радиоканалы.

Сети передачи данных - POE и PLC

5.3 Коммутация - типы розеток, типы оптики, витой паты, коннекторы, рекомендации по прокладке и укладке проводов, органайзеры, патч-панели.

Мультиплексирование, TDM/WDM. Прочее.

5.4 Полезное оборудование при монтаже СКС - рации, обжимники, тестеры, рефлектометры.

5.5 Физический уровень. Вопросы


Часть 6. Уровень доступа к сети. Начальный уровень.

6.1 Коннекторы, сети 10/100M, сети 1G/10G, POE - power over Ethernet

6.2 Hub, switch (SFP, SFP+).

Мировой рынок по L2.

Импортозамещение в сегменте L2 - Примечания от реальных пользователей.

Обучение.

список литературы / Полезное

6.3 Подключение ПК к сети. DHCP

6.4 The network access layer. Общее.

Сети простые. ip, tcp/udp.

6.5 Базовые утилиты командной строки для работы с сетями в windows

6.6 Базовые утилиты командной строки для работы с сетями в linux/freebsd

6.7 Вопросы по уровню доступа к сети


Часть 7. Уровень доступа к сети. Средний уровень. Как это устроено и работает.

7.1 Голая теория - 1

Машины Тьюринга / Universal Turing machine, конечный автомат, автоматы Мура и Мили.

7.2 Голая теория - 2

Коды Рида-Соломона. Reed-Solomon codes / Reed-Solomon error correction

7.3 Голая теория - 3

Группы Даффи-Хелмана / Diffie Hellman Groups / Diffie-Hellman key exchange.

DH Group 19: 256-bit elliptic curve group

Parity bit / Checksum

7.4 Максимальная фактическая скорость передачи данных и прочий overhead. Jumbo-frame и польза от них.

Статус: не написано.

7.5. Устойчивость сети на L2. STP/RSTP, LACP (IEEE 802.3ad).

Стекирование - STACK, fabric, VSS, IRF

7.6 Сегментирование сети / VLAN и DMZ

7.7 IEEE 802.1q VLAN и его развитие.

IEEE P802.1p - QoS

Статус: не написано.

Ссылки на вики

RFC 7348 - Virtual eXtensible Local Area Network (VXLAN)

Network function virtualization (NFV)

Вынесено в виртуализацию

7.8 10/40/100G сети - обзорно

Плюс 56G и прочие вариации.

7.9 InfiniBand - обзорно

Статус: не написано.

Ссылки на вики

7.10 Магистрали. Мультиплексоры - обзорно

Статус: не написано.

Ссылки на вики

7.11 Промышленные сети - Industrial Ethernet.

Протоколы реального времени

Статус: не написано.

Ссылки на вики

7.12 Траблшутинг в сети доступа провайдера (ISP).

Обстоятельства непреодолимой силы - снос дома, экскаватор, прочие ужасы.

Статус: не написано.

7.14 Тестирование сетевых устройств -

Ixia CloudStorm? 100GE Application and Security Test Load Module

Ixia PerfectStorm ONE 10GE/40GE Appliance

Xena Layer 2-3 Test Platform

Статус: не написано.

Ссылки на сайты

7.15 Оптимизация сетевого трафика в сложных случаях. / Wan - оптимизатор

Система Riverbird Steelhead

Cisco Waas Wide Area Application Services


Часть 8. Маршрутизация в сети.

8.1 Многоуровневая модель сети. Маршрутизация: статика, динамика.

8.2 Теория сети. Что такое сайт, маршрут к сайту и почему оно вот так вообще. И почему надо отличать сайт в сети (Intranet/Internet) от сайта AD

8.3 The internet layer - DHCP, DNS, MX.

8.4 DNS: Bind, Split DNS

8.5 L3 switch. Router.

Безопасность - PIX/ASA, NGFW - вынесена отдельно.

Маршрутизация: статика, RIP, OSPF, EIGRP. Без IS-IS и BGP

Cisco Policy-Based Routing (PBR)

8.6 Теория. Proxy, NAT. Active-passive, Active-active.

Двойной (twice) NAT

8.7 Практика - сервера NAT под Windows

8.8 Практика - сервера NAT под Linux, в том числе инстансы.

8.9 Практика - аппаратные NAT.

8.10 Теория. Балансировка в сети, NLB, F5 и прочие RD connection broker.

8.11 Мониторинг, статистика и ограничения в сети.

SNMP

MRTG/Cacti.

Шейпинг. NetFlow -Flow control.

8.12 Ip v6

8.13 резерв

8.14 Удаленный доступ к сети.

Cisco VPN /Cisco Anyconnect / Cisco Easy VPN

Cisco Secure Access Control System(ACS) / Cisco Identity Services Engine (ISE)

ACS-to-ISE Migration

Open VPN

Прочее

8.15 Программные роутеры - Nexus v1000 (End of Availability (EOA))

8.16 Wifi

8.17 Основные утилиты командной строки для работы с сетями в windows

Вынесены ранее

8.18 Основные утилиты командной строки для работы с сетями в linux/freebsd

Вынесены ранее

8.19 Образец настройки Cisco / HP / Avaya

Статус: дописать

8.20 Резерв для Juniper, Extreme networks, Allied Telesis, Microtic, Unity и прочего.

Статус: не написано.

8.22 Импортозамещение в сетевом оборудовании. Обзорно.

В том числе импортозамещение на DLink и Huawei.

Обновление прошивок и последующие траблшутинг в сетях с импортозамещением, по возможности без мата.

Вынесено в: Импортозамещение в сегменте L2 - Примечания от реальных пользователей.

8.23 Безопасность в сети.

Сегментирование, ограничение доступа.


Port-security, pvlan, bpdu-filter /bpdu guard, storm-control, DHCP snooping, Dynamic ARP Protection (Inspection), IP Source Guard

L2 - port secure, VMPS (VLAN Management Policy Server), 802.1X


SNMP как средство мониторинга.

Информационная безопасность начальная:

начиная от login on-failure log / login on-success log / login block-for

8.24 Вопросы по сетям - Internet layer - и около них.

8.25 Dell EMC Open Networking

https://habrahabr.ru/company/dellemc/blog/326672/

Не написано

8.26 IPAM (IP Address Management)

В сервисах MS


Часть 9. Туннелирование, разделение и экранирование сетей.

9.1 Теория. Зачем нужны туннели, экраны и прочая.

9.2 Туннелирование:

GRE / Site2Site VPN / IPSec VPN / DMVPN / FlexVPN

SSL VPN

MPLS

9.3 Межсетевое экранирование: Три модели безопасности в сети.

PIX/ASA - ACL / Context-Based Access Control, or CBAC / Zone-Based Policy Firewall (also known as Zone-Policy Firewall, or ZFW)

9.4 NGFW - Check Point, Dell Sonicwall, Palo Alto, Cisco, Fortinet, HP TippingPoint, McAfee, Barracuda and Juniper.

http://searchsecurity.techtarget.com/feature/Comparing-the-best-NGFWs-on-the-market

9.5 Програмно-аппаратные модули.

Palo Alto, Cisco Adaptive Security Virtual Appliance (ASAv)

9.6 Импортозамещение в сетевой ИБ.

Континент, випнет, секурнет, s-terra. Амикон

9.7 Траблшутинг в Cisco

Cisco - trouble

If you don't understand the difference between Console, Terminal and Monitor then you should read

http://etherealmind.com/ios-terminal-monitor-on-off-logging-to-your-terminal/


Часть 10. Резерв под провайдерские особенности и всякое метро.


Часть 11. ЭВМ и вычислительные модули / узлы.

11.1 ПЭВМ - рабочие ПК, толстые - тонкие клиенты.

11.2 Вопросы по теме ПК

11.3 Обычные и привычные сервера. Первый запуск, общие вопросы.

11.4 Blade, мезонины, Virtual Connect FlexFabric Module

11.5 Классические СХД - системы и сети хранения данных.

Примечание: VmWare vSan и MS Storage Spaces Direct вынесены отдельно, см. ниже

11.6 IBM System Z, HP superdome, прочий Cray

11.7 Встраиваемые модули для сетевого оборудования.

11.8 Гиперконвергентные системы с распределенными узлами.

Nutanix и его сравнение с не совсем (и совсем не) гиперконвергентными системами.

11.9 Некоторые особенности контрактов на обслуживание.

11.10 Импортозамещение в ПЭВМ и серверах.

Эльбрус, Байкал.

11.11 Нестандартное вычислительное и сетевое оборудование - кассы, весы, принтеры этикеток.

ЭКЛЗ(электронная кассовая лента защищенная), учет алкоголя.

ОФД (оператор фискальных данных)/ККТ(контрольно-кассовая техника) и 54-ФЗ.

Основные игроки российского рынка - Кристалл, Атол, Сервис плюс, Штрих, Пилот.

Безант,Тензор.

В процессе написания

11.12 Сервисы кассовых систем - R-keeper/ Store House

Облачные сервисы в применении к кассовым системам - Subtotal

В процессе написания

11.14 Вопросы по ПЭВМ/ЭВМ


Часть 12. Сети и системы хранения данных. SAN-FC как технология.

12.1 SAN-FC как технология.

12.2 Курсы по Brocade

12.3 Про модели безопасности Brocade.

12.4 Вопросы по FC/Brocade


Часть 14. Сети и системы хранения данных.

14.1 Теория.

Data Storage Solutions, Disk Array and Network Storage, RAID. Raid penalty. Hot spare.

3PAR - овские группы

14.2 Теория. latency, и прочее на тему IOPS.

Latency

Disk Queue Length. Average disk queue length

Про IOPS

Про расширение и перестроение массивов.

Про прошивку дисковых контроллеров.

Про статус LEFTOVER на HP MSA

Veritas I/O fencing

14.3 Практика. Образец расчета системы хранения

14.4 Теория. MPIO.

14.5 Теория. VmWare VSAN и MS Storage Spaces Direct (S2D).

Одна Очень Страшная История.

14.6 Теория. Тиринг

14.7 Теория. Технология для прямого управления массивом из Wmware -

vStorage API for Array Integration (VAAI)

14.8 Теория. VMWare virtual volumes

14.9 Практика. Классическая СХД базового уровня.

Основные вендоры.

Безопасность СХД.

Неочевидные особенности работы СХД


Практика: рассыпания массивов и последующее посстановление данных


Troubleshooting Storage Performance in vSphere - Part 1 - The Basics

14.10 Практика.ALL flash СХД

Не написано

14.11 Практика.Ceph

https://habrahabr.ru/post/322242/

14.12 Практика.Nutanix

Не написано

Дубль

14.14 Прочее всякое.

Выравнивание разделов.

Специфика обучения на СХД.

14.15 Велосипед уже изобретен. Что умеют промышленные СХД

Кровь, кишки, хайлоад и прочее с лекции 7-8 ноября 2016г.,

Хайлоад, Сколково.

оглавление

14.16 Мониторинг и тюнинх СХД.

Не написано

14.17 Литература по теме.

14.18 Прочее:

Software-Defined Storage (SDS)

Не написано

14.19 Подключение хранилища к сети. FC, iSCSI, NFS.

Не написано

14.20 Импортозамещение в СХД. Обзорно.

14.21 Вопросы по СХД


Часть 15. The application layer - операционные системы в целом.

15.1 Windows WS. Редакции.

Enterprise - Long Term Servicing Branch (LTSB)

15.2 Windows server. Редакции

15.3 Linux / BSD / Unix

15.4 System Z - z/OS

15.5 Импортозамещение в ОС.


Часть 16 Базовые офисные приложения.

16.1 Офисное ПО

16.2 Антивирус

16.3 Доступ к интернету.

16.4 Офисное оборудование - принтеры, сканеры, МФУ

16.5 Импортозамещение в офисном ПО и оборудовании.

16.6 Прочие полезности в Windows. Удаленное управление и не только.


Часть 17. Телефония - от аналоговой и барышни в Смольном до цифровой, потоков Е1 и IP телефонии. Lync.

17.1 История. Аналоговая телефония и переход к мультиплексированию.

Для ценителей - воспоминания о координатных и прочих декадно-шаговых АТС.

17.2 Современная телефония. Потоки Е1, переход к IP. Asterisk.

Протокол t38 для передачи факсов поверх ip

17.3 Lync и прочий Skype for Business / Skype Meeting Broadcast

17.4 Видеоконференции. Polycom, Tandberg/Cisco, и что еще.


Часть 18. Технологии совместной работы - сетевые папки, доступ, SMB и прочий CIFS

18.1 FTP

Не написано

18.2 SMB

Не написано

18.3 CIFS

Не написано


Часть 19. Базы данных в целом. Очень обзорно

19.1 Access, Foxpro

Не написано

19.2 MS SQL

19.3 Oracle SQL

Ссылка на хабр

19.4 PostgreSQL, MySQL.

Не написано

19.5 NOSQL

Не написано

19.6 Прочее. HP Vertica

Redis - см. облака, 30.11 Redis

Ссылка на хабр

19.7 Литература и сайты по теме SQL

ссылки


Часть 20. Система на основе технологий Microsoft в целом. MS AD , общий обзор.

20.1 Домен. Active Directory (AD). Роли FSMO.

Sysvol. USN. Пузыри USN

20.2 GC - Global catalog

20.3 Домен-Дерево-лес. Трасты.

20.4 RODC. Реплицируемые объекты. Сайты. Репликация.

Регулярный мониторинг репликации

Восстановление AD - Authoritative /Nonauthoritative

20.5 Сложный выбор: лес доменов или деление по OU и делегирование прав/управления OU.

Не написано

20.6 Объекты: users, computers, groups, OU, printers , GP

Делегирование прав.

Не написано

20.7 Методика AGDLP.

20.8 Методика RBAC - Role-Based Access control

20.9 Privileged identity management (PIM) / Privileged Access Management

Не написано

20.10 Политики (GP). Фильтры по группам. Фильтры WMI.

Порядок обработки GPO.

Применимость GPO к сайтам.

Group Policy Loopback Processing

GPRESULT

20.11 Granular policy. Active Directory╝ Service Interfaces Editor - ADSI Edit


Изменения в 2012 сервере и ADAC - Fine-Grained Password Policy

20.12 Active Directory Rights Management Services (AD RMS)

20.14 Миграция в домен -

Forensit - http://www.forensit.com/ru/

User State Migration Tool (USMT) - это про другое

ADMT Guide

Quest/Dell Migration Manager for AD

20.15 Управление локальными и специальными учетными записями.

Microsoft Identity Lifecycle Manager (ILM) - deprecated

Microsoft Forefront Identity Manager (FIM) - deprecated

Microsoft Identity Manager 2016 (MIM)


LAPS (Local Administrator Password Solution)

https://www.atraining.ru/laps-local-administrator-password-solution/

https://technet.microsoft.com/en-us/mt227395.aspx?f=255&MSPPError=-2147217396


Managed Service Accounts, MSA

https://blogs.technet.microsoft.com/ru_forum_support/2010/11/25/753/


Group Managed Service Accounts Overview

https://technet.microsoft.com/en-us/library/hh831782(v=ws.11).aspx

Ссылки на Карманова

20.16 Мегадырка с хранимым хешем и как с этим жить

См ниже про онлайн лабораторию 2016, сегментирование и среду бастиона

20.17 Гибрид - Azure Active Directory Domain Services / Install a replica Active Directory domain controller in Azure

От теории к практике

20.18 От теории к практике - управление AD, репликацией, типовые задачи.

20.19 Работа с AD из командных строк (cmd, powershell), VBS

20.20 Повышение уровня домена, полезно помнить.

20.21 - 20.22 Резерв


Литература:

Active Directory: Designing, Deploying, and Running Active Directory 5th Edition

https://www.amazon.com/Active-Directory-Designing-Deploying-Running/dp/1449320023/ref=pd_sim_14_1?_encoding=UTF8&pd_rd_i=1449320023&pd_rd_r=ZCFQ8NM4DZZKC0DVS24W&pd_rd_w=awdEA&pd_rd_wg=yeOK9&psc=1&refRID=ZCFQ8NM4DZZKC0DVS24W


Видео:

1 https://www.youtube.com/watch?v=wkJaPropkJ4 3:50

2 https://www.youtube.com/watch?v=_Mp--smlODY 4:30

3 https://www.youtube.com/watch?v=jiRW9OM8tkY

4 https://www.youtube.com/watch?v=yIhUX2K840k

5 https://www.youtube.com/watch?v=R7O1xJeLL5Q

6 https://www.youtube.com/watch?v=g43iYb9ma0c

7 https://www.youtube.com/watch?v=H0NT3CEOtuc

8 https://www.youtube.com/watch?v=nLkRdIZDN5I

20.23 Вопросы по MS AD


Часть 21. Часто вспоминаемые сервисы Microsoft в составе MS Windows Server, кроме виртуализации и AD - хотя AD это три слона (или кита) - AD DS, AD CS, AD RMS.

21.1 Public key infrastructure (PKI) :

Active Directory Certificate Services (AD CS)

Свой внутренний центр сертификации

Root certification authority (CA)

Сертификаты https/ssl.


AD CS: Web Enrollment / Certification Authority Web Enrollment Guidance

Стандарт The Federal Information Processing Standard (FIPS) Publication 140-2, (FIPS PUB 140-2) - вынесен в безопасность.

Смена центра сертификации в AD

Много ссылок

21.2 MS KMS - Key Management Service

21.3 Другой KMS - Key Management is based on the industry standard, KMIP 1.1

Ссылка на вики

21.4 Windows Server Update Services (WSUS)


21.5 File Server Role. Утилиты командной строки для работы с NTFS и некоторые "милые" ее, *****, особенности.

Active Directory Claims for Windows Server 2012 File Service Access Control

Windows Identity Foundation(WIF)

21.6 Failover Clustering и Network Load Balancing (NLB)

21.7 Hyper-V - вынесен в виртуализацию.

21.8 Print and Document Services

21.8 Windows Deployment Services (WDS)

21.9 Сервисы не сервисы, а упомянуть надо - RDS, NAP, TMG/UAG, SCCM, SCOM, SCDPM, SCSM, SCVMM, SCO, SCEP

21.10 DFS - DFS Namespaces (DFS-N) and DFS Replication (DFS-R).

Протокол репликации DFS

21.11 Таблица соответствия MS / VMWare

21.12 MS storage spaces -

вынесен отдельно.

21.14 MS containers -

не рассмотрен.

21.15 IPAM (IP Address Management)

21.16 Powershell как инструмент управления всем подряд.

https://exchange12rocks.org/2017/03/06/building-highly-available-windows-infrastructure-command-line-style-ad-ds-part-1-installation/


PowerShell Web Access (PSWA)

https://technet.microsoft.com/ru-ru/windowsserver/dn705874.aspx


Powershell ISE

Хватит ссылок в оглавлении

21.17 Web Server (IIS)

не рассмотрен.

21.18 Active Directory Federation Services (ADFS)

21.19 DHCP, DNS, WPAD

Обеспечение отказоустойчивости DHCP в MS

Архивирование и восстановление MS DHCP

21.20 Remote Desktop Services (RDS), known as Terminal Services (TS) in Windows Server 2008 and earlier

не рассмотрен.

21.21 Обучение:HOL от MS - онлайн лабы и курсы.

21.22 Прочее.

ReFS

Траблшутинг в MS Server - events

Траблшутинг в MS Server - Performance Analysis of Logs (PAL) Tool


Microsoft's Trustworthy Computing initiative was 7 years old in 2009 when we first released the Enhanced Mitigation Experience Toolkit (EMET).

https://blogs.technet.microsoft.com/srd/2016/11/03/beyond-emet/


почта

Bmail is a free but lean command line SMTP mail sender.


This week I talk about AD scalability, DC usage, DFSR, DFSN, USMT, old user accounts, and angry networking. If you don't see your question here it may just be in the backlog; don't worry, I'll get to it. Just kidding, your question stunk. And there is no Santa Claus.

https://blogs.technet.microsoft.com/askds/2010/07/17/friday-mail-sack-saturday-edition/

21.30 Вопросы по прочим сервисам MS, Windows и Windows Server


Часть 22. Электронная почта, но в основном MS Exchange.

22.1 Электрическая почта - как это вообще работает.

Что такое IETF, RFC821, RFC2821 и RFC5321

telnet для проверки в целом.

22.2 DNS. MX и прочие записи.

Как быть, если их нет.

Как быть, если их много

Мониторинг срока жизни домена / продление домена.

22.3 Сертификаты: срок жизни, своевременное продление:

Вынесено в Часть 26. Безопасность.

22.3 DNSBL / RBL и зачем-то вспомненный RDBL, и немного о том, что есть еще.

22.4 Что еще бывает-

Lotus, Kerio Connect (Kerio MailServer), MDaemon, Zimbra, CommuniGate Pro и что там еще бывает, хотя бы обвеска к Postfix.

Hmail - https://www.hmailserver.com

22.5 Антиспам. Статистика. Зловреды всякие.

22.6 Наконец-то MS Exchange.

Обзорно.

Встречающиеся редакции. Роли.

Часто вспоминаемое:

database availability group (DAG)


Правила всяких видов.

Логи

Аудит

OWA

Общая адресная книга и проблемы с ней

Powershell в Exchange

22.7 Переход на Exchange 2016 - всякие ссылки и подготовка, чтобы лаба, лаба, а потом ВЖУХ.

22.8 Проектирование структуры копии базы данных для обеспечения высокой доступности электронной почты.

https://technet.microsoft.com/ru-ru/library/ff973944(v=exchg.141).aspx

22.9 Десериализация

- 22.20 Резерв

22.21 Вопросы по электронной почте


Часть 23. Мониторинг сервисов и состояний. Оповещения. Действия. Профилактика.

23.1 Теория.

Оповещения. Действия. Профилактика.

23.2 MRTG/Cacti (частично совпадает с 8.11)

23.3 Zabbix/Nagios (Icinga) /PRTG

23.4 Syslog.

Имеющиеся сервера, проблема выбора

23.5 Резерв

23.6 Вопросы


Часть 24. Архивация, резервное копирование. Восстановление. RTO / RPO. Регулярная плановая проверка состояния архивных копий. Печальная история с этими как их опенсорсниками.

24.1 Архивация, резервное копирование. Восстановление

Backup. Отличие архива от резервной копии. Плановые проверки целостности архивации и процедуры восстановления.

Full / diff / increment. / Бит архивации.

24.2 Печальная история с GitLab в феврале 2017

24.3 Планирование.

RTO / RPO - Recovery time objective (RTO) / recovery point objective

Disaster recovery procedures

24.4 Кассетные носители и библиотеки / LTO 3/4/5/6/7 - tape drive - library

Модели кассетных библиотек от HP

HPE StoreEver 1/8 G2 Tape Autoloaders

LTO 3/4/5/6/7

Проблемы с Tape Library MSL2024 / MSL4048 и HPE StoreEver 1/8 G2 Tape Autoloaders


Проброс кассет через iscsi

GFS - Grandfather-Father-Son

3-2-1 policy -

24.5 Архивация Exchange - обычная и granular

24.6 SQL backup - Simple/Full/Bulk logged Recovery Models

24.7 Разные истории

24.8 Прочий софт - Архивное ПО, обзорно.

24.9 Экзамены и литература

24.12 Вопросы по архивации

Не написано


Часть 25. Виртуализация для маленьких и больших.

25.1 Зачем оно вообще.

25.2 Не совсем, или даже совсем не виртуализация - контейнеры и изолированное ПО(Operating-system-level virtualization): chroot, OpenVZ, LXC, Parallels Virtuozzo Containers , Docker, VMware ThinApp.

Windows Containers.

vSphere Integrated Containers (VIC).

25.2A Wine как отдельная полезная вещь.

Оборотная сторона - Bash and the Windows Subsystem for Linux (WSL)

25.3 Системы начального уровня: Oracle VM VirtualBox, VMware player/workstation. Parallels desktop

25.4 Основные решения в серверной среде - Vmware vSphere(ESXi), MS Hyper-V, KVM, Xen, Nutanix Acropolis (AHV).

25.5 Терминология и общие больные места.

Nested virtualization

Переподписка (oversubscription)

ППП: ПЛАНИРОВАНИЕ, ПЛАНИРОВАНИЕ И ЕЩЕ РАЗ ПЛАНИРОВАНИЕ!

ASLR:

Address space layout randomization (ASLR) is a memory-protection process for operating systems (OSes) that guards against buffer-overflow attacks by randomizing the location where system executables are loaded into memory

https://en.wikipedia.org/wiki/Address_space_layout_randomization

https://ru.wikipedia.org/wiki/ASLR

25.6 Чуть подробней - MS Hyper-V

25.7 Безопасность в Hyper-V

Windows defender application Guard/ filter 2016 -

Introducing Windows Defender Application Guard for Microsoft Edge

https://blogs.windows.com/msedgedev/2016/09/27/application-guard-microsoft-edge/#E6KEQYmQc3rOtm3F.97

Windows 10 will soon run Edge in a virtual machine to keep you safe

https://arstechnica.com/information-technology/2016/09/windows-10-will-soon-run-edge-in-a-virtual-machine-to-keep-you-safe/


The Potentially Unwanted Application (PUA)

The Potentially Unwanted Application (PUA) protection feature in Windows Defender Antivirus can identify and block PUAs from downloading and installing on endpoints in your network.

https://technet.microsoft.com/en-us/itpro/windows/keep-secure/detect-block-potentially-unwanted-apps-windows-defender-antivirus

25.8 Безопасность в виртуализации. Решения MS по изоляции и 5-nine

25.9 Чуть подробней - Vmware

Учеба.

Основное и разное - скрипты и литературы.

Vcenter как основа кластера.

VCenter High Availability (VCHA) <> DR (Disaster Recovery)

VMWare power CLI чтоб ВЖУХ

25.10 Управление Vmware без Vcenter - Extrasphere

25.11 Обучение Vmware: HOL - hands-on lab

25.12 Чуть подробней - Nutanix Acropolis (AHV)

AHV Best Practices Guide. Библия.

25.14 Бесплатная виртуализация: 60 дней от vmware, free лицензии, Nutanix CE

https://habrahabr.ru/company/nutanix/blog/307028/

https://habrahabr.ru/company/nutanix/blog/268823/

Хватит и упоминания

25.15 Чуть подробней - KVM,Xen

Не написано

25.16 Облачные решения - Amazon AWS / MS Azure, IBM.

Google Cloud Platform, Vmware cloud


Azure pack / Azure stack

Часть 30. ЦОД и облачные сервисы

25.17 OpenStack как религиозная секта от тов. Жбанкова.

25.18 Network virtualization -

RFC 7348 - Virtual eXtensible Local Area Network (VXLAN)

Network function virtualization (NFV)

https://portal.etsi.org/nfv/nfv_white_paper.pdf


White Papers

http://www.cisco.com/c/en/us/solutions/service-provider/network-functions-virtualization-nfv/white-paper-listing.html


Network Optimization Through Virtualization: Where, When, What, and How White Paper (PDF - 1 MB)

http://www.cisco.com/c/dam/en/us/solutions/collateral/service-provider/network-functions-virtualization-nfv/white-paper-c11-731958.pdf


Best Practices for Service Agility: Embrace Orchestration White Paper (PDF - 686 KB)

http://www.cisco.com/c/dam/en/us/solutions/collateral/service-provider/network-functions-virtualization-nfv/white-paper-c11-732591.pdf


White Paper - Huawei Observation to NFV

http://www.huawei.com/ilink/en/download/HW_399662

Пока ссылки

25.19 VMWare: еще более подробнее.

HA - high availability.

DRS - dynamic resource scheduler

Understanding Memory Resource Management in VMware ESX Server - Memory Ballooning

Admission Control

TSO (TCP Segmentation Offload) /Receive Side Scaling (RSS)

vmware sizing calculator

Не написано толком

25.20 Кластеризация и отказоустойчивость, или отличия Failover cluster, Always on, High Availability и FT применительно к MS SQL в виртуальной среде

высокая доступность != отказоустойчивость,

или говоря по-русски failover != fault tolerance

Не написано

25.21 Виртуализация применительно к разному ПО, в том числе и к 1С. Проблемы многопоточности и vCPU scheduler применительно к данному (1с) ПО. Как следствие - Проблемы с тестом Гилева (1c) в виртуальной среде.

Проблемы криворуких специалистов по настройке и тюнинху(ТМ) его же.

25.22 Виртуализация оборудования. USB over ip (Digi), nVidia GRID

Проблемы с виртуализацией некоторого оборудования.

25.23 Некоторые прочие гадские особенности.

Динамическое управления ядрами/частотами.

25.24 Общее больное место: NUMA

Node interleaving / NUMA


VIRT8530, Rob Girard, Shawn Meyers

Deep Dive on pNUMA and vNUMA - Save Your SQL VMs from Certain DoomA!

25.25 RDMA(Remote Direct Memory Access) через конвергентную сеть Ethernet (RDMA over Converged Ethernet -- RoCE)

https://technet.microsoft.com/en-us/library/mt403349.aspx

https://en.wikipedia.org/wiki/RDMA_over_Converged_Ethernet

Не написано

25.26 Виртуализация рабочих мест -Virtual desktop infrastructure (VDI):

- Citrix,

- ESXi Horizon View,

- MS TS

- под линукс что-то было (QVD)

25.27 Импортозамещение в виртуализации.

Брест. Должно работать под Астра линукс, быть мега виртуализатором.

"Должно"

25.28 Резерв

25.30 Вопросы по теме виртуализации


Часть 26. Безопасность.

26.1 Модель угроз офиса.

26.2 Защита сети: DHCP и вокруг

26.3 Защита сети: сегментирование всякое и не только.

26.4 Безопасность в среде MS.

Microsoft Baseline Security Analyzer (MBSA).

Microsoft Security white papers


Mimikatz/wce. Lsadump


policy silo

msa - managed service account

26.5 Безопасность в среде MS-2

Планирование среды бастиона

Изоляция среды бастиона.


Обход 2FA OWA / EWS (Exchange Web Services)

https://habrahabr.ru/company/kaspersky/blog/315052/

26.18 Взлом 2 факторной авторизации на основе СМС - уязвимости SS7 - см. ниже

26.6 Microsoft Identity Manager

Privileged Access Management for Active Directory

PAM is an instance of Privileged Identity Management (PIM) that is implemented using Microsoft Identity Manager (MIM)

26.6 HTTPS/SSL, Ключи / токены, шифрование

26.7 Своевременное продление доменов еще раз

26.8 Своевременное продление внешних сертификатов.

Мониторинг состояние / сроков сертификатов.

Виды сертифкатов.

Wildcard сертификаты.

Свой промежуточный центр сертификации


AD CS: Web Enrollment / Certification Authority Web Enrollment Guidance - вынесен в 21 - AD, как и AD RMS


Подмена сертификатов и расшифровка HTTPS/SSL

26.9 IBM Security QRadar SIEM

https://habrahabr.ru/company/muk/blog/325330/

26.10 TOGAF, CISSP-ISSAP, SABSA и прочие страшные слова.

26.11 Специально для одного виртуального инфобезопасника:

Honeypot и gloryhole

DLP - Data Leak Prevention

IPS - intrusion prevention system

26.11 JEA - Just Enough Administration

https://msdn.microsoft.com/en-us/powershell/jea/overview

https://msdn.microsoft.com/en-us/library/dn896648.aspx

26.12 ISO/IEC 27001 - Information security management

26.14 The Payment Card Industry Data Security Standard (PCI DSS)

26.15 Стандарт The Federal Information Processing Standard (FIPS) Publication 140-2, (FIPS PUB 140-2)

26.16 Немного о физике. В смысле, физической безопасности.

Тут нужна будет картинка из старого мультфильма "Волшебник изумрудного города" про дверь. Хотя и старый мультфильм Golden gate тоже пойдет - https://www.youtube.com/watch?v=CHkEX73P2Pk

26.17 Взлом центров УЦ.

Отзыв УЦ

Криво созданные и выдаваемые всем подряд сертификаты

https://www.youtube.com/watch?v=XbwWNF3zpCk - на 30-й минуте


26.18 Взлом 2 факторной авторизации на основе СМС - уязвимости SS7

https://www.ptsecurity.com/upload/corporate/ru-ru/download/PT_SS7_security_2014_rus.pdf

https://habrahabr.ru/company/pt/blog/305472/

https://habrahabr.ru/company/pt/blog/283052/

26.19 Прочие эпические проебы:

Рамблер - https://habrahabr.ru/post/309312/

Yahoo - https://habrahabr.ru/post/310944/

МТС - http://www.rbc.ru/politics/02/05/2016/57278bc29a7947849edc8a53

InfoWatch - тут не понятно, возможно просто поклепЪ и клеветаЪ

https://securenews.ru/infowatch_data_leak/

https://www.infowatch.ru/presscenter/news/17558

26.20 Итого:

Контрразведчик должен знать всегда, как никто другой, что верить в наше время нельзя никому, порой даже самому себе

https://www.youtube.com/watch?v=0hKf8l55eHw

26.21 Инфобез - прочее

fail2ban


SMTP: запрет пользователям отправлять почту наружу и принимать снаружи на ACL


Часть 27. Управление мобильными устройствами - Mobile Device Management

27.1 Зачем оно

27.2 Что есть на рынке

Exchange as is

VMware AirWatch╝

Maas 365 - IBM╝ MaaS360╝ Mobile Device Managemen

MobileIron - Mobile Device Management (MDM) | MobileIron

Microsoft Intune - https://www.microsoft.com/ru-ru/cloud-platform/microsoft-intune


Часть 28. Иностранные языки и прочие полезности.

28.1 Изучение английского в целом. Заметки.

28.2 Иностранный хантинг - linkedin, monster.com и так далее.


Часть 29. Основы документирования. Модели управления и документирования. ПО для управления и документирования.

HLD - документация


Часть 30. ЦОД и облачные сервисы

30.1 Что такое ЦОД и облако

Дизайн виртуализованного ЦОД - https://habrahabr.ru/post/321178/

30.2 Уровни доступности по TIER Uptime Institute

30.3 Dedidated/collocation.

30.4 Office 365 и полезное из его состава -

Microsoft Teams--the chat-based workspace in Office 365

https://blogs.office.com/2016/11/02/introducing-microsoft-teams-the-chat-based-workspace-in-office-365/

Хватит и ссылки

30.5 Обзорно -

Желтые кружочки - http://www.yellowcircle.net/

Amazon (AWS)

Openstack

IBM Bluemix

https://www.ibm.com/cloud-computing/bluemix/what-is-bluemix

IBM Cloud

https://www.ibm.com/cloud-computing/in-en/

Google Cloud Platform

Vmware cloud

30.5A Миграция в облако Azure -

Как переход от своего генератора, или своей печки - к городской ТЭЦ.

Написано, но надо переписать.

30.6 Миграция в облако Azure - сам процесс

Ms assetment and planning toolkit + коммерческий софт.

Windows azure platform TCO and ROI calculator


Ahub azure + Software assurance

Azure site recovery - по факту migration toolkit, 31 день бесплатно, смотреть нужность после.

Azure blob

https://azure.microsoft.com/en-us/services/storage/blobs/

https://habrahabr.ru/post/145063/

https://habrahabr.ru/post/204966/

https://habrahabr.ru/post/116026/

https://habrahabr.ru/post/145226/


30.7 Terraform, Consul, Serf, Vault -

Terraform - Write, Plan, and Create Infrastructure as Code

Terraform создаёт и выносит на уровень конфигурации сложнейший процесс построения целых инфраструктур в облаке, тоже без привязки к конкретному провайдеру. Consul и Serf отвечают за коммуникации в облаке -- обнаружение сервисов, мониторинг падений и так далее. Vault является надёжным распределенным хранилищем секретов, паролей и чувствительных данных, с возможностью аудита, контроля доступа и отзыва ключей.


https://www.terraform.io/

https://www.terraform.io/docs/providers/azure/

https://doics.co/2015/08/13/using-terraform-with-microsoft-azure/


https://habrahabr.ru/post/301192/

https://habrahabr.ru/post/317188/

30.8 Vagrant / Otto , Consul, Packer, Vault -

https://habrahabr.ru/post/268497/

30.9 Azure service fabric

Azure BizSparc - Крайне полезная и почти бесплатная полезность для стартапов!11

https://azure.microsoft.com/en-us/pricing/member-offers/bizspark-startups/

https://azure.microsoft.com/ru-ru/pricing/member-offers/bizspark-startups/

30.10 Azure ML - https://azure.microsoft.com/en-us/services/machine-learning/

30.11 Redis -

Redis (англ. remote dictionary server) -- сетевое журналируемое хранилище данных типа "ключ -- значение" с открытым исходным кодом. Нереляционная высокопроизводительная СУБД.

https://ru.wikipedia.org/wiki/Redis

http://eax.me/redis/


Amazon ElastiCache

http://eax.me/scala-elasticache/


Кэш Redis для Azure

https://azure.microsoft.com/ru-ru/services/cache/

30.12 Owasp - owasp.org

30.14 MS WAP - Web Application Proxy Walkthrough Guide

https://technet.microsoft.com/en-us/library/dn280944(v=ws.11).aspx


Web Application Proxy in Windows Server 2016

https://technet.microsoft.com/en-us/windows-server-docs/identity/web-application-proxy/web-application-proxy-windows-server


Azure AD Application Proxy content - How to provide secure remote access to on-premises applications

https://docs.microsoft.com/en-us/azure/active-directory/active-directory-application-proxy-get-started

30.15 Azure stack TP3 как гиперконвергентное решение

Технический обзор Azure Stack TP3

https://habrahabr.ru/company/microsoft/blog/326942/


Azure Stack Proof of Concept

https://docs.microsoft.com/ru-ru/azure/azure-stack/azure-stack-run-powershell-script

https://docs.microsoft.com/en-us/azure/azure-stack/azure-stack-deploy

30.16 Azure pack

https://www.microsoft.com/en-us/cloud-platform/windows-azure-pack

https://technet.microsoft.com/en-us/library/dn296435.aspx

https://habrahabr.ru/company/microsoft/blog/209918/

30.17 Azure Pack vs. Azure Stack

https://rcpmag.com/articles/2016/06/01/from-azure-pack-to-azure-stack.aspx

https://www.theregister.co.uk/2015/05/18/azure_stack_versus_azure_pack_whats_the_difference/

30.18 Обучение Azure

Azure lab

https://www.microsoft.com/en-us/cloud-platform/virtual-labs

https://openedx.microsoft.com/courses/

https://www.microsoft.com/ru-ru/learning/azure-skills-training.aspx


Лучше начать с Azure Fundamentals - Внимание - курс на английском.


https://openedx.microsoft.com/courses/course-v1:Microsoft+AZURE214x+2017_T2/about


Или вот - https://mva.microsoft.com/colleges/azure-fundamentals


Часть 31. Разделение ИТ-персонала, и отделение тыжпрограммистов.

Программирование всякое. И даже немного про 1с.

Не написано целиком.

История и теория. Assembler, Cobol, Foxpro, turbo pascal

Не написано

MS: MS - basic (bat/cmd), VBS, jscript

MS - VBA (Visual Basic for Applications)

MS - PowerShell / PowerShell for Exchange


Разница Powershell и bash (подсказка:ООП)

Работа с регулярными выражениями в Powershell (regex]::new(" ").Replace)

Не написано

VMWare - PowerCli

Symantec - BE PowerShell cli

Не написано

C, C++,C#

java

Не написано

Linux

bash

Не написано

Web

Html, java script, java, perl, python

CMS в целом.

Не написано

Прочее типа Ruby on rail, Haskell итд

Не написано

немного про 1с

Не написано


Часть 32. Развертывание

32.1 Развертывание рабочих мест (ПЭВМ) - локальные носители (flash, zalman box), сеть - PXE/WDS (serva).

WDS

32.2 Sysprep

Развертывание серверов из шаблонов

Ansible / SaltStack / Puppet / Chef. Патч Бармина

В девопсе


Часть 33. Проблемы роста и масштабирования. Горизонты планирования и вот это все.

Не написано

Переход работ от "по факту" на планирование.

Сервисдеск, SLA, и прочие KPI

Всякие философии на тему.

Работа с документами. Постановка задач, стадии решения задач.

Методология ITIL

Резервное хранение документов на независимых носителях (флешках в сейфе).

Актуализация документации - от кабельных журналов до баз логинов\паролей.

Учет оборудования.

Service Asset and Configuration Management. aggregate tibbo. GLPI

Постановка и контроль задач - MS project, Oracle Primavera, и прочие диаграммы Ганта.

Полезный словарь для общения с поставщиками.


Часть 34. Нормы относительно рабочих мест и прочий СанПин и КЗОТ/ТК РФ.


Часть 35. Об административной части, основных законах и работах. 94-ФЗ, 152-ФЗ. Коап и прочая защита авторских прав.

Основы управления персоналом. Сколько нужно ИТ - шников, телефонистов и так далее. 24*7 и прочие гарантии доступности. Регулярные учения и проверки.


Практика выведения отдела ИТ из кризисного состояния

https://habrahabr.ru/post/143976/


Не написано.


Часть 36. Приход и увольнение.

36.0 Рабочие бонусы


36.1 Действия при приходе на работу - прием дел, актуализация, документирование, аудит.

36.2 Резервное хранение документов и наработок - в своем сейфе и сейфе начальства

36.3 Передача дел при увольнении.

36.4 Примерный список тем, которые надо проверять при приеме/увольнении

- Наборы документов

- Наборы контактов

- Представления в соседние отделы.

36.5 Типовые дыры и костыли криворуких админов локалхоста. Начиная от правленных host


Часть 37. Devops. Развертывание как программирование, тесты, вот это все.

Отдельные благодарности тов. Amarao-san

37.1 Configuration as a code VS "админ локалхоста"

37.2 девопс - это не человек, а методология. Как Agile, Scrum, Waterfall

37.3 Почему не надо ходить туда, где должность называется DevOps

37.4 Учат ли на девопса или это вариация на тему "пхп за 5 дней и 10 простых уроков или Как управлять миром не привлекая внимания санитаров"


Часть 38. Управление взаимодействием с заказчиками, Управление проектами, анализ, управление и отчетность.

управление взаимодействием с заказчиками

CRM - Customer Relationship Management


Эволюция CRM-систем

https://habrahabr.ru/company/regionsoft/blog/325946/


Менеджмент и управление проектами

HLD - High-Level Design

SMART - https://ru.wikipedia.org/wiki/SMART


ПО для управления:

MS Project

Redmine

Enterprise resource planning (ERP)

Mindmap, docear, Oracle Hyperion, Microsoft Dynamics AX (Axapta), MS Project, Microsoft Dynamics NAV (Navision ), Галактика и прочие страшные слова.


Вместе с Ansible, Chef, Puppet и SaltStack поверх патча Бармина


Docear - Docear is a unique solution to academic literature management, i.e. it helps you organizing, creating, and discovering academic literature.

SAP R/3

Полезные вещи для ИТ-шника. Спортзал, раскрашивание фигурок, практическая стрельба и прочая партизанщина.


Часть 39. Рабочие процессы.

Контроль версий.

Git, но на практике Subversion всё ещё востребован, а Mercurial


MS TFS

https://habrahabr.ru/post/326928/

Инфобез - не разовое мероприятие, а процесс. Кидо, свежая крипта


Часть 40. Часто встречаемые сервисы Linux

40.1 Часто встречаемые дистрибутивы:

Убунту - говно, не пользоваться. В проде нахуй, дома - можно

Red Hat Enterprise Linux (RHEL) Рхел/центос - пользоваться

Дебиан - ебанутые, в проде не юзать

SUSE / Сусе - наркоманы, в проде избегать. если не сап. Иначе мастхэв

FreeBSD - ты ебанутый ? это же не линукс. Юзать в сетевых пепяках

ЧПУКС: тяжёлая наркомания HP UX AIX

Gentoo

40.2 Sudo

40.3. Как обосраться на ровном месте (как жЫть вместе с systemd),

ретро вариант rc.

Upstart и sysv-ng

40.4 Пакетные менеджеры

40.5 сборка из говна и палок, сиречь сорцов

40.6 Vim

40.7 Bind - вынесен отдельно

40.8 ifconfig/iproute2

40.9 iptables

40.10 Nginx / haproxy

40.11 как наебаться с bash настолько, что захочется поставить PowerShell for Linux (в Убунту bash скрипты частично не работают, потому что dash)

40.12 как немножко поебаться чтобы получить нормальную авторизацию по АД (realmd) и как поебаться много (дистры без realmd)

40.14 почему mysql не стоит использовать ни подо что (потому что говно). Как с ним жить если иначе никак

40.15 LAMP: the Linux operating system, the Apache HTTP Server, the MySQL relational database management system (RDBMS), and the PHP programming language.

40.16 Почему Апач сраное говно и как поднять ngnix|haproxy перед ним

40.17 Samba - нахуй

40.18 Правильный VirtualHost в Apache

40.19 SQUID в том числе как Reverse proxy

40.20 Линукс безопасен, миллионы глаз ..

https://3dnews.ru/925452

https://xakep.ru/2017/02/01/cryptkeeper-p-for-pwned/

https://www.nixp.ru/news/14027.html

https://lists.opensuse.org/opensuse-announce/2017-05/msg00000.html


40.21 Обучение Linux

Курсы по линуксу

http://inventa.ru/learn/courses/747/

https://www.inventa.ru/learn/courses/3410/61526/


Лекции Технотрека. Администрирование Linux

https://habrahabr.ru/company/mailru/blog/330782/


41. Администрирование как процесс, а не как ручная работа.

5 основных анти-паттернов системного администрирования

https://habrahabr.ru/post/136323/


42. Управление персоналом.

Дж. Ханк Рейнвотер. Как пасти котов. Наставление для программистов, руководящих другими программистам

Herding Cats: A Primer for Programmers Who Lead Programmers

https://habrahabr.ru/company/piter/blog/265389/

https://www.piter.com/product/kak-pasti-kotov-nastavlenie-dlya-programmistov-rukovodyaschih-drugimi-programmistami-2


43. Общий список литературы, совсем не по теме ИТ, но прочитать стоит - хотя бы для того, чтобы поменьше нести чушь и дичь вне сфер ИТ.

Тейлор Ф. У. - Принципы научного менеджмента

Форд Г. - Моя жизнь, мои достижения / My Life and Work.

Примечание: читать полное издание, не советское. В советском выкинуто до трети книги.

Гейтс Б. Бизнес со скоростью мысли / Business @ the Speed of Thought


Элияху М. Голдрат, Джефф Кокс -- Цель. Процесс непрерывного совершенствования

Элияху Голдратт, Эфрат Голдратт-Ашлаг -- Правила Голдратта

Голдрат и теория ограничений. Барабан-буфер-канат (ББК) - drum-buffer-rope (DBR)


Аникин А.В. 'Юность науки: Жизнь и идеи мыслителей - экономистов до Маркса' - Москва: Политическая литература, 1979

Ниал Фергюсон. Восхождение денег / The Ascent of Money: A Financial History of the World

Вернор Виндж - Конец радуг (Vernor Steffen Vinge - Rainbows End)


Тейлог, Гант и Деминг - https://habrahabr.ru/company/parallels/blog/333482/

Терри Уайт. Чего бизнес на самом деле хочет от ИТ.

https://iteam.ru/publications/it/section_91/article_3667

https://habrahabr.ru/company/supereon/blog/294956/


Money, Money, Money

TCO - https://en.wikipedia.org/wiki/Total_cost_of_ownership

ROI - http://enfocussolutions.com/calculating-roi-on-information-technology-projects/


Приложения.

Приложение 01.

Спрос и предложение на ИТ рынке в РФ в целом на апрель-май-2017, с анализом с января-февраля 2016, за год. Не будет выложено.


Приложение 02. Всякое.

Опытные мелочи Windows-админа - https://habrahabr.ru/post/121801/

Опытные мелочи-2 или "Что мне делать со всей этой почтой - https://habrahabr.ru/post/121917/

Опытные мелочи-3, или "Центральное Файлохранилище - https://habrahabr.ru/post/121946/

Опытные мелочи-4, или "Померяемся бэкапами - https://habrahabr.ru/post/122184/

Опытные мелочи-5, или "Групповые радости! - https://habrahabr.ru/post/122200/

Опытные мелочи-6, или "Учет и контроль печатника Ивана Федорова

https://habrahabr.ru/post/122260/

Опытные мелочи-8, или "Почтовая тройка на VBS - https://habrahabr.ru/post/122669/


Несортированное на потом

http://argon.pro/blog/2015/09/ad-role-model-agulp/

http://argon.pro/blog/2012/03/choose-ad-domain-name/

http://argon.pro/blog/2011/09/ad-empty-root-domain/

http://argon.pro/blog/2011/06/object-naming-convention/

http://argon.pro/blog/2010/09/windows-deployment-services/

http://argon.pro/blog/2010/07/ws-pki/


Приложение 03. Всякое.

Модели поведения - поискать-и-почитать против сразу-спросить-решение-не-читая.

Непонятная стоимость админа и простоя, и сопутствующие проблемы с может-или-должен.


Лень и копапаста:

https://habrahabr.ru/company/jugru/blog/327492/

И я обнаружил, что многие люди не знают, как это делать, или просто не запариваются -- они предпочитают задавать вопросы. Еще многие прыгают с головой в языки и платформы до того, как будут действительно готовы. Лично я пытаюсь изучать вещи по одной, зато как следует, но есть куча людей, которые говорят: "Я совершенно новенький в программировании. Сейчас я пишу приложение под Android на Java, взаимодействующее с SQLite. И этот код не работает", -- окей, а это проблема Java, проблема Android или проблема SQLite? Вряд ли все три сразу. Что вы сделали, чтобы понять, что является источником проблемы? Поймите, я не докапываюсь, я пытаюсь научить людей помогать самим себе. Я твёрдо убежден, что понимание "как работает мой язык", отдельное от "как работает моя платформа" -- это реальное преимущество в отношении того, как быстро вы сможете разобраться и начинать применять что-то при изучении нового.


Приложение 04. Ссылки на сборники вопросов. Копипаста неразобранная.

Хороший опросник - Вопросы к тестированию кандидатов на должность

"инженера технической поддержки". Сразу добавлю - это не вопросы для собеседования, хотя общий вопросник и надо бы создать, уже какой год хочу. Это очень общие мысли по теме.

http://ru-sysadmins.livejournal.com/2029549.html?thread=33516269#t33516269


И еще смотреть сюда - Занимательная задача (для утренней разминки): нарисовать оклад для сотрудника, исходя из требований к соискателю.

http://ru-sysadmins.livejournal.com/2140153.html


Что спросить на собеседовании у windows админа?

http://ru-sysadmins.livejournal.com/2029549.html


Что спросить на собеседовании про линукс

http://users.livejournal.com/_oxpa_/355325.html


2013

http://ru-sysadmins.livejournal.com/2145115.html

http://ru-sysadmins.livejournal.com/2140153.html

2015

http://ru-sysadmins.livejournal.com/2415286.html

http://scif-yar.livejournal.com/1481729.html


2015 пример очень странной вакансии -

http://ru-sysadmins.livejournal.com/2391476.html


2016

Вопросы с вполне реального собеседования

http://ru-sysadmins.livejournal.com/2509879.html


в весьма известной лавке.

Судя по косвенными признакам, некий инфобезопасник слишком упирал на есет, при собеседовании, хехехе.


25 вопросов задаваемых на собеседовании системным администраторам Linux

https://habrahabr.ru/post/280093/


Приложение 05. Было у провайдера три сисадмина - утрачено военно-морским способом.

Приложение 06. Облака - белогривые лошадки и прочая паника.


Предисловие ко второй версии.


Научиться можно находясь везде.


А вот применить знания на практике и получить за это денег -- другой вопрос.


Продакшн - он как секс.


Сколько ни читай и даже подглядывай, - на деле оно совсем по другому.


тов.Евгений Б. из переписке в чатике.


Дописав первую редакцию кукбука для ИТ, я внезапно потерялся в терминах и терминологии.

По ходу написания всплыло множество бездн и дыр в знаниях.

В основной текст не попало множество добавлений - про сети, собеседования, и так далее.


На рынке с апреля 2016 (почти год назад) появилась новая техника и технологии, в частности активно стал развиваться и продвигаться Nutanix - причем и как полный комплекс, и как отдельные его части, в том числе и своя система виртуализации. Вышел и активно пошел в массы VMWare ESXi 6.5, MS Server 2016, прочая, прочая. Мировой рынок развивается дальше и дальше.

Многое добавилось и улучшилось в системах хранения - ESXi Vsan, MS Storage spaces, ранее помянутый Nutanix.


Изменились и сети - MS активно развивает и продвигает SDN - Software Defined Networking.

Изменились и ЦОД -ы, опять же за счет Esxi L3 migration (оно и раньше было можно, но сейчас одобрили официально), и не только.

На сетевом рынке все чаще появляется Extreme, Juniper, Huawei, Microtic, HP

На рынке СХД - снова внезапно Huawei - Oceanstor.

Год на российском рынке прошел под знаком Импортозамещения. В области ПО оно свелось к вариациям на тему Linux.

В СХД импортозамещение свелось к CEPH плюс платформа от Huawei плюс физический сервер от MSI, внутре неонка и CEPH - все вместе импортозамещение.

Хотя надо отметить и ОС от лаборатории Касперского, и Эльбрус, и Байкал в железе.

Надо упомянуть и платформу 8.3, представляющую собой отдельный феномен.

Про Мои Документы лучше не говорить.

В РФ деление рынка и состояние рынка изменилось не в лучшую сторону. Денег как не было, так и нет, держимся конечно, но оптимизм как-то уже не тот.


Опыт написания и обновления показал, что сама идея деления "по сегментам и модели OSI" была выбрана верно.

Одновременно была обнаружена и проблема "нужности технологий" - в том смысле, что до некоторых идей и технологий фирма должна дорасти. Даже элементарное деление сети (LAN) на VLAN /сегменты - и то не является обязательным минимумом.

Дорасти необходимо всем - и фирме по объему и требованиям, и руководству по постановке задач, и персоналу при выполнении задач.


Особенно любопытным оказалось отсутствие взаимодействия с Linux / Open source - агитаторами. Порассуждать о том, что нужно готов каждый второй. Сделать хоть что-то в направлении написания и выдачи советов/решений - гораздо меньше.

Поэтому в данном тексте про Linux / Open source будет гораздо меньше, чем можно было бы, и будет в основном ругань.


Пожалуй, все.

Хотя нет, не все.

Все же главной проблемой 2016-2017 года стало уверенное проседание рынка кадров, зарплат и так далее. Часть технологий и задач стремительно уезжает в облака, часть просто становится не нужна на просевшем рынке. Больше всего просела середина рынка - кто-то развился, кто-то остановился.


Про версию 2.05

Наверное, пока надо остановить работу над дополнением.

Во первых, это 200+ страниц в ворде, причем только ссылок.

Во вторых, часть вопросов (SDN/SDS/сети операторов и DC с их тенантами и прочая) выходят за рамки исходного проекта. И в третьих - надо дождаться какой-то обратной связи.


Про печатный вид или наоборот Wiki.

Конечно, можно сделать данный документ и в виде книги\учебника. Но ввиду массы ссылок на все подряд - в этом нет смысла. Хотя хороших, годных книги по ряду тем очень не хватает. Нет даже элементарного - перевода Vmware for dummies.

Можно сделать в виде Wiki - но мне лень, вики проектов и так хватает.


Благодарности.

В первую очередь я хотел бы поблагодарить трех супергероев, спасателей разума - Джек Дэнниелс, Джонни Уокер, Джон Джеймсон. Отдельно хотелось бы поблагодарить Mast-Jagermeister SE , Wychwood Brewery и чешских производителей. При этом хочу сказать, что вкусоароматическая жидкость, по ошибке продаваемая в черных банках с буквой G - в список не входит.

Отдельно хочу поблагодарить компанию Кока-кола и компанию-производителя чая Greenfield

Хочется поблагодарить доблестный коллектив известного чатика.

В третью - всех, кто писал многабукаф и всякое. Например того же тов. Жбанкова, который написал и уточнил требования по вакансии:

Требования к Senior Systems Engineer:

- экспертное знание как минимум одного гипервизора

(примечание: Скажем, на уровне честно сданного VCAP-DCD )

- Exam VDCD510 which qualified candidates for the VMware Certified Advanced Professional 5

- Data Center Design (VCAP5-DCD) certification and was based on vSphere V5.0

https://mylearn.vmware.com/mgrReg/plan.cfm?plan=88888&ui=www_cert


+ хорошо почитать про внутренности из публичных источников для VMware

- отличное знание линейки и технологий как минимум одного вендора СХД

- знания гостевых операционных систем, в том числе Windows Server на уровне MCSA 2003 или выше, Linux

- знание базовых информационных сервисов (DNS, NTP, DHCP и так далее)

- свободное владение английским (чтение/понимание), уметь связно выразить свою мысль письменно

- понимание сетевого стека и умение обращаться с сетевым оборудованием как минимум одного крупного вендора

(Примечание. На уровне все сделать руками у заказчика при инсталляции и разобраться почему барахлит)

- уметь в VDI как минимум одного вендора

- умение проектировать полный аппаратный и системный стек под задачу


Часть 1. Очень общая.

1.1 Введение.

1.2 О мотивации от тов. Жбанкова.

1.3 Сегментация в целом.

Сегментация и методы управления.

1.4 Методы управления ИТ в мировом бизнесе.


1.1 Введение.


A human being should be able to change a diaper, plan an invasion, butcher a hog, conn a ship, design a building, write a sonnet, balance accounts, build a wall, set a bone, comfort the dying, take orders, give orders, cooperate, act alone, solve equations, analyze a new problem, pitch manure, program a computer, cook a tasty meal, fight efficiently, die gallantly. Specialization is for insects.


-Robert A. Heinlein


Человек должен уметь менять пеленки, планировать вторжения, резать свиней, управлять кораблями, конструировать здания, писать сонеты, вести бухгалтерию, возводить стены, вправлять кости, облегчать смерть, исполнять приказы, отдавать приказы, сотрудничать, действовать самостоятельно, решать уравнения, анализировать новые проблемы, бросать навоз, программировать компьютеры, вкусно готовить, хорошо сражаться, достойно умирать. Специализация -- удел насекомых.


Роберт Э. Хайнлан


Если вы считаете, что вам это не нужно, нажмите ALT-F4, или такой маленький крестик в верхнем правом углу экрана, и прекратите свои мучения.

Для остальных скажу так, что у меня время от времени спрашивают что то типа - Скажи же Учитель, вот ты такой большой (даа) толстый (дааа), - а умещаешься в таком крохотном кресле, как же добиться такого же, что надо кушать, что читать, кого слушать, а кого отправлять в путешествие скорбное и далекое, с миром.

Возникают и иные вопросы - что спросить и что ответить на собеседовании, что бы такое почитать для роста материальной культуры и внутреннего удовлетворения. Учебник какой, букварь или молитву Омниссии. Или же лучше почитать про всамделишеые приключения космодесантника в прошлом, будущем, альтернативном будущем, еще одном альтернативном будущем, и его непримиримую борьбу с ящериками и иными созданиями. Хочется упорядочить и свести в кучу заметки в ЖЖ, которые там искать долго и не всегда удобно.

Так что откиньтесь на спинку стула, возьмите в левую руку стакан красного, и приготовьтесь читать.


Некоторые говорят, что истинно держать стакан только в левой, чтобы правой всегда можно было вразумить покушающихся на этот стакан, но в данном вопросе догматичность вредна, в вопросе вразумления покушающихся нужно одинаково умело пользоваться левой, правой, и не пренебрегать дарами Омнисии, и Браунинга - пророка его.


Совет первый

- чти отца своего, и мать свою, и самого себя, и иных родственников в меру необходимости, чти матчасть и не пренебрегай дарами Омнисии и Браунинга - пророка его. Впрочем, дарами Кольта, Токарева и Макарова не пренебрегай тоже, как и чешскими дарами - темным под pecene veprove koleno, и Ceska Zbrojovka - Trust in God and keep your powder dry, Praise the Lord and Pass the Ammunition.


Толкование совета первого.

Часто встречаемым образом "айтишника" является некое сидящее в темном углу красноглазое тело в свитере, от которого исходят всякого рода миазмы и прочий дух гниения, тлена и так далее в стиле дедушки Нургла. Лично я такое не одобряю, и мало кто одобряет.

Поэтому личная гигиена и физкультура на минимальном уровне (скажем, пройти пешком километр в день) должна стоять у любого айтишника на первом месте. Конечно, желателен спортзал, основы ЗОЖ (хотя тов. Шнур сообщает что это все - *издеж), стрелковая галерея и, возможно, бокс. Не то чтобы каждый день, с биоростками, спортивным питанием, метаном и т.д., но держать себя в какой-то форме, безусловно, стоит. Ибо - каким бы ты админом не был, но иногда, хоть и не очень часто, приходится дергать всякое железо "из" и "в" стойку. Даже с микролифтом, который есть не везде. Знание же того, что вот этот персонаж занимается немножко железом и немножко, как говаривал Холмс, боксирует - очень умиротворяюще действует и на глупых мальчиков, да и на ряд глупых девочек, с которыми так или иначе приходится сталкиваться. Что же касается драных джинсов и свитеров с оленями - оставим этот замечательный образ в той среде свободы и самописи, где каждый может побывать в молодом возрасте. Ну, вы знаете - свобода, мир во всем мире, сэндвичи время от времени, визин.


Предупреждение / Disclamer:

Для чтения остального текста понадобится некоторое знание терминов, немного английского, и возможно, https://translate.google.com


1.2 О мотивации от тов. Жбанкова.

Я бы рад, но вот начальник (жена, мама, стартовые условия, здоровье) не дает... А тебе повезло, да, без вопросов.

Как часто вы произносите это? Как часто слышите это от окружающих?

- Дядь, ведь ты ж не дурак, а чего все еще эникейщиком мыкаешься?

- Да у меня денег нет на курсы и экзамены.

- Ну давай я тебе отсыплю книжек умных - а уж на экзамен найдешь 50 долларов-то в квартал, не?

- Ну что ты докопался? У меня и времени нет - я вкалываю до ночи...

Ну и разумеется на пиво деньги более чем находятся, и в куда большем объеме, чем одна книжка и один экзамен в квартал. Да хоть даже один экзамен и сертификация в год - это уже 5-6 сертификатов за 5 лет. И удвоение зарплаты. Но задайте себе вопрос - а вы то сколько прочитали и сколько сдали экзаменов за последние 5 лет?

Виноваты все, кроме я. Я не могу быть виноват.


Курьезная ситуация.

Час ночи. Пьем пиво с начальником. Ему звонит жена:

- Нууууу, понимаешь, меня Жбанков не пускает.

Как вообще можно взрослого мужчину куда-то не пустить, не приковав цепью и не угрожая, ума не приложу. Тем более начальника. Это если мы говорим про взрослых людей. Но если принять вариант, что человек был и остался подростком, просто стал старше - все становится на свои места. У детей, как и большинства подростков, виноват всегда кто-то другой плохой, а он сам очень хороший. На крайний случай обстоятельства непреодолимой силы. Вроде собаки, что съела тетрадь с домашним заданием. "Это не я!". За неудачную шутку в данной ситуации нельзя было принять по сопутствующим факторам, а так же потому что одна и та же история повторялась из раза в раз.


Главный признак психологически взрослого человека - готовность к принятию решений и ответственности за них. Как мог бы ответить взрослый человек?

- Да, дорогая, мы тут со Жбанковым решили пива попить. Извини, мы заговорились и я не заметил сколько времени прошло.

Ключевые моменты - речь о себе как об активной стороне в принятии решения, признание своих действий и их последствий. Я не говорю про вину - это понятие эмоционально-оценочное.


Разговор с региональным ИТ-инженером про перспективы оставаться в регионе или уезжать в более центральные города где есть возможность найти большие проекты и профессионально вырасти.

Ну родители у жены никуда не хотят ехать, а она их не оставит.

И хороший инженер, с перспективами роста, отдал инициативу по ключевым решениям в своей жизни кому-то. Взрослым людям, которые взяли и решили - мы не хотим никаких перемен. Они решили для себя, но решение это приковало к месту дочь, внуков и зятя. Потому что взрослый мужчина не проявил себя таковым.


Взрослым было бы его решение, вне зависимости от того, какое оно, если бы он его принял. Быть может родители жены ему оказались роднее собственных, и поддерживали в самый сложный момент как родного сына. И он решил, что останется и будет опорой пока они живы. Но все, что было видно - уход от решения, уход от ответственности. Решил кто-то другой, и сразу стало спокойнее.

Хотя куда более вероятен вариант тотальной беспомощности. Родители жены были точно такими же безынициативными, и в 60+ тем более боятся любых изменений привычной картины мира. Панически боятся. "Не жили хорошо, нечего и начинать". И в итоге замкнутый круг - внуки вырастут такими же.


Впрочем есть и другие примеры. Дяденька взял жену, 3х месячного ребенка и уехал - на месте в регионе не было для него задач, не было для него роста. И... смог. Теперь ему бывшие коллеги пишут "ну тебе-то просто повезло!"


Я приглашаю выступить на конференции регионального ИТ-инженера. Сначала он не уверен в своих силах выступить, потом начинает искать причины почему не ехать. Ведь взять и поехать выступить на конференции в Москве - это выход из зоны комфорта. Называется причина "нет денег на билет", вполне серьезная с учетом отдаленности и не очень высокой зарплаты в регионе. Но причина оказывается отговоркой после моего предложения оплатить проезд и проживание из бюджета мероприятия. Все таки просто страшно и не хочется ничего решать.


"Есть мечта? Беги к ней. Не получается бежать? Иди к ней. Не получается идти? Ползи к ней. Не можешь ползти? Ляг и лежи в направлении мечты." Может позже начнешь к ней хотя бы ползти.


Большинство людей предпочитают вариант вздохнуть - "ну у меня точно не получится" и пойти на опостылевшую работу.

Пробовать новое страшно! Это нормально. Не будь мы консервативны по своей натуре - не дожили бы как вид, отравившись новыми красивыми ягодами. Но это поведение инстинктивно, а не рассудочно. Быть взрослым - означает быть способным преодолеть инстинктивный страх и попробовать, и понести ответственность за результаты.


Возможно многим будет сюрпризом, что самый страшный прыжок с парашютом - отнюдь не первый. Самый страшный прыжок второй. Эйфории от того, что ты сейчас впервые такое крутецкое дело совершишь, уже почти нет. Адреналина в крови столько, что еще чуть-чуть и из ушей польется. И ты уже знаешь, что тебе надо сделать шаг в пустоту - ибо настолько высоко, что под ногами просто пустота. А уж если первый прыжок был не очень удачен...

Профессионал - человек, который ошибался больше раз, чем непрофессионал даже пробовал. Это человек, который преодолевал свой внутренний страх новизны раз за разом, набивая шишки.


Вы даже не представляете как мог себя чувствовать в первый раз на сцене успешный спикер, способный с ходу зажечь любую аудиторию. Вы не знаете его историю, чтобы говорить "повезло". Вполне возможно, что он куда менее одарен, чем вы. И что он отчаянно трусил, обливаясь холодным потом и путаясь в ватных ногах по дороге до сцены. Просто он собрал волю в кулак и шагнул в неизвестность. А потом еще и еще.

Он был Взрослым - он принял решение и понес ответственность.


А теперь назовите мне - кто принимает решения в вашей жизни за вас? Потому что ответственность за эти решения все равно несете вы.


Если вы не займетесь созданием своей жизни, то её создаст вам кто то другой. И скорее всего вам не понравится результат. :)

Source: https://vk.com/wall7176288_17


1.3 Сегментация в целом.

Сегментация и методы управления.


Как-то так сложилось, что бизнес и размеры фирм в мире делятся примерно одинаково -

- Совсем малый бизнес, до 10 человек и рабочих мест. Малый офис/домашний офис, SOHO (Small office/home office).

- Малый офис, 10-25 рабочих мест (SME/SMB)

- Средний офис, 25-200 рабочих мест (SME/SMB)

- Крупный офис - 200-500 рабочих мест.


Процитирую википедию:

In Australia, a SME (Small and medium-sized enterprises ) has 200 or fewer employees. Microbusinesses have 1-4 employees, small businesses 5-19, medium businesses 20-199, large businesses 200+.[19] Australian SMEs make up 97% of all Australian businesses, produced one third of total GDP, and employ 4.7 million people. SMEs represent 90 per cent of all goods exporters and over 60% of services exporters


Деление, разумеется, примерное, при наборе 201-го сотрудника причин радоваться "ооо, наша фирма стала совсем большой" особо нет, но управление и задачи в малом и крупном бизнесе серьезно отличаются.


1.4 Методы управления ИТ в мировом бизнесе.

В мировом бизнесе управления разного рода ИТ есть немало всяких полезных методик, из которых в ИТ наиболее известен ITIL/ITSM, чуть менее известен COBIT. Есть еще управление проектами в целом, тот же PMBOK и IPMA, есть управление процессом разработки - Kanban, Waterfall, Scrum, и известный ХХивП, конечно.

Можно и нужно посмотреть - https://www.youtube.com/watch?v=ir5rj2yYH_8


Можно еще конечно говорить про Agile, но это уже совсем не про ИТ.

Можно поговорить о Теории ограничений систем (ТОС) - Theory of Constraints (TOC) - но это совсем другое.

И отдельно стоит поговорить про - DevOps (a clipped compound of "software DEVelopment" and "information technology OPerationS") is a term used to refer to a set of practices that emphasize the collaboration and communication of both software developers and information technology (IT) professionals while automating the process of software delivery and infrastructure changes

https://en.wikipedia.org/wiki/DevOps


Часть 2. Про особенности в РФ и местную специфику.

2.1 Особенности сегментации в РФ и в особенности в целом

2.2 Особенности работы специалистов по кадрам / HR в целом, о которых следует помнить.

2.3 Особенности некоторых типов руководителей.

2.4 Особенности сетевого мнения и мнения отдельных представителей, в том числе инфобезопасников, ценителей тонких вкусовых оттенков импортозамещения, а также специалистов по приборам, о которых они нам не расскажут.

2.5 Прочие особенности. Профдеформация и вопросы мышления.

2.6 Аутсорс и так называемый аутсорс, в том числе "очень домашний".

2.7 О собеседованиях в целом.

разные, и в чем-то одинаковые мнения.

О чем спросить на собеседовании будущего работодателя.

Какие бывают бонусы.


Все вышесказанное усугублялось отвратительной организацией...


20 лет Первой чеченской войне: часть II. Morituri: идущие на смерть


Евгений Норин.


2.1 Особенности сегментации в РФ и в особенности в целом


Молодая, динамично развивающаяся компания возьмет в аренду степлер.


(уже народное)


Среди особенностей ИТ в бизнесе в РФ стоит отметить следующее.

Что касается SOHO- то там ИТ, как таковое, не требуется. Для установки винды методом далее-далее достаточно демонстрации этого процесса два раза. Бухгалтерия таких предприятий часто ведется в тетрадке, плюс кассовый аппарат для отчетности (темы ЭКЛЗ /удаленной сдачи чеков касаться тут не будем, будет дальше). Очень часто все обслуживание такого предприятия выведено на аутсорс: дешевый, бессмысленный и беспощадный. ПО в массе своей - пиратское\левое. Исключения, разумеется, бывают - но чаще там, где предприятию повезло и через знакомых, после десятка случаев обжигания и потерь, вышло на нормальный, или, по крайней мере, устраивающий их, аутсорс. В остальных случаях это беда и днище с точки зрения ИТ. Ничего удивительного в этом нет.


Что же касается верхнего сегмента (SMB), то спрос на ИТ там есть, НО. Очень много НО - этот спрос зачастую совершенно не соответствует реальным задачам предприятий, да и их финансовым возможностям. Отсюда растут инсталляции Exchange (разумеется, левого) на 20 рабочих мест, требования работодателей о доступности ИТ сервисов и персонала 24*7, и доступности сервисов в 99.9999 (четыре девяточки, дадада - см. далее ЦОД - уровни доступности по TIER), установка неизвестной китайской поделки под видом антивируса и куча иного, совсем разного. Надо понимать, что ИТ и расходы на ИТ не являются для такой фирмы ни источником каких-то огромных прибылей, ни каких-то огромных убытков, поэтому ждать каких-то чудес и реалистичного подхода к вопросу тут не приходится.


В среднем сегменте с его плавным переходом в энтерпрайз картина меняется. Бюджетирование, обоснование закупок, требования от руководства организации по достижению уровня сервиса согласно требованиям (SLA) и так далее. Все это обычно позволяет обосновать те или иные закупки, необходимость наличия лицензирования по SA/EA/EAS


(software assurance/ Enterprise Agreement/ Enterprise Agreement Subscription -

https://www.microsoft.com/rus/microsoft4you/documents/corporate/default.aspx )


или даже The Microsoft Services Provider License Agreement (SPLA).


и прочего в составе и соответствии MS PUR

(Beginning in July 2015, a new document called the Product Terms replaces both the Product Use Rights and the Product List).

Опять же, средняя организация может себе позволить и даже знает, зачем ей нужен хоть фотошоп, хоть Компас3Д, хоть сеть 40/100G. Хотя, конечно, 40/100G пока редкость.


2.2 Особенности работы специалистов по кадрам / HR в целом, о которых следует помнить.


Работать в нашем банке -- большая честь.


(подробнее на http://lurkmore.to)


Два менеджера по персоналу -- опытный и стажёр -- сидят в офисе и обсуждают дела. Молодой достает огромную пачку резюме, штук 300:


- Мы должны просмотреть их все, чтобы подобрать кандидатов на эту вакансию.


Опытный хладнокровно берет у него пачку, делит ее пополам, одну часть -- на стол, вторую -- в корзину.


Молодой изумленно:


- А как же претенденты?!


Опытный невозмутимо:


- А зачем нам неудачники?..


Отношение ИТ к HR часто характеризуется как "о боже мой, кто ее / его на работу то взял",

HR к ИТ в массе - как к сотрудникам, которые легко заменяемы. Оба представления, разумеется, ложны - хотя высказывания отдельных представителей HR о подборе ИТ шников с использованием черепомерки заставляют улыбнуться.


Однако вменяемые кадровики, которых все же большинство, выполняют свою задачу - отобрать из массы людей тех, кто более-менее социально адаптирован, в том числе не ходит на собеседование на эникея в состоянии "с остаточными следами алкогольного, а может и не только, опьянения". Поскольку задачи среднего эникея не требуют какой-то сообразительности, то и оплата труда не высока, с другой - есть и какой-то спрос. Встречаются, конечно, и "эникеи от HR" - это те самые девочки, которые задают вопросы вида "почему вы хотите устроиться в нашу замечательную компанию" и теряются от встречного вопроса "расскажите, а куда делся предыдущий сотрудник с такого замечательного места".

Вообще девочки(ТМ) от HR легко определяются по штампам в вакансии типа:

активная жизненная позиция, инициативность, энергичность, коммуникабельность, нацеленность на результат (бла бла).


Помнить нужно о том, что HR

- чаще всего не может хоть как-то проверить ваши профессиональные навыки, разве что попросит заполнить анкету и потом проверит ее (кстати, в анкете могут быть ошибки, может не быть правильного ответа совсем, или изначально правильный ответ может быть помечен как неверный, как по опечатке, так и по умыслу).

- ориентируется на сторонние подтверждения уровня кандидата - сертификаты, опыт работы в трудовой и так далее.

- внезапно для многих, смотрит на наличие фото.


Совет первый: Не надо пытаться их впечатлить знанием таинственных цифр 8.8.8.8 - не поможет. С другой стороны, если HR молода и хороша собой (что случается), то тут тоже есть варианты.


Совет второй: всегда внимательно смотрите, HR какого типа с вами списывается - вменяемый, или девочка(ТМ) с завышенным самомнением.


Совет третий: HR - ы часто могут вообще не знать, кого и на какие деньги они на самом деле ищут. Веры словам HR-а "в среднем" нет совсем. Случаев, когда вы ехали говорить про сети на зарплату в N, а оказалось (уже после HR), что нужен эникей на зарплату N/3 + серая премия - не перечесть. Учитывайте реальность.


Совет четвертый: Не тратьте зря время, ни свое, ни HR. Свое особенно. Если вместо 10 минутного знакомства вам предлагают пять тестов на психологическую совместимость и заполнение гороскопа - решайте сами, надо ли оно вам.


Совет пятый: Кадровые агентства.

Серьезно к ним относится не стоит, никаких гарантий они не дают, и после них скорее всего будет снова HR, теперь местный. Но и пренебрегать ими не стоит - они делают массу первичного отбора для крупных и интересных фирм.


2.3 Особенности некоторых типов руководителей.

С руководителями в ИТ не то чтобы беда, и не то чтобы беда с вменяемыми, но крайности встречаются. С ростом государственной и окологосударственной занятости, где на начальника подразделения/отдела берут "хорошего мальчика из хорошей семьи" - встречается все чаще.

Слышал я о требованиях начальников знать на память адреса почтовых серверов майл.ру. Слышал о начальниках, которые не знают совсем элементарных вещей. Слышал о начальниках, которые убивали своими шаловливыми руками оборудование за пару миллионов рублей (выдергивали из розетки в процесс прошивки, если кому интересно). Бывает всякое, но выражения "я начальник - ты дурак" и "Подчиненный перед лицом начальствующим должен иметь вид лихой и придурковатый, дабы разумением своим не смущать начальство" - придуманы не пять и не десять лет назад. Бывает. Устраиваться, увольняться или что как - сами решайте. Может попасться Чайка-менеджмент - Seagull management - https://ru.wikipedia.org/wiki/Чайка-менеджмент


может попасться избыточное применение второй морковки - см. Две морковки

http://slobodin.livejournal.com/129666.html


2.4 Особенности сетевого мнения и мнения отдельных представителей, в том числе инфобезопасников, ценителей тонких вкусовых оттенков импортозамещения, а также специалистов по приборам, о которых они нам не расскажут.


С появлением сети интернет в каждом доме и каждом офисе, практически у каждого школьника, начальника (из прошлого пункта), и прочего специалиста во всем вопросам появилась возможность высказывать свое особо ценное мнение в вопросах, в которых они не понимают практически ничего. Хорошо, если они что-то помнят из школьного курса, но могут не помнить и этого. Могут помнить остатки институтского курса, а могут и пересказывать своими словами охотничьи рассказы.

Тут надо бы вставить гифку про "взломай мне банк".


В русскоязычном сегменте вообще встречается огромное число неспециалистов. Неспециалисты могут давать (и часто дают) советы или совсем неправильные, или не годящиеся в вашей конкретной ситуации. К тому же чаще, чем хотелось бы, встречаются люди с формулировкой вида "вы все делаете неправильно, а как правильно знаю только я, но вам не скажу. Потому что у нас есть такие приборы, секретные - ученые могли не знать". Может так оказаться, что советчики обсуждаемого предмета в глаза не видали. Это касается не только ИТ, но и любой области, от поездок в Турцию до пулеметов Гочкис. И животноводства.

Отсюда совет: сверяйте особо полезные советы с нормами, правилами, учебниками, и мнением старших товарищей. И не ленитесь посчитать - иначе вам могут начать рассказывать (честно в это веря) совершеннейшую дичь, например о необходимости собирать RAID 0 дисков так на 20, при том, что проблема скорости будет не у массива с дисками, а у интерфейса связи - 10G/FC 8G.


2.5 Прочие особенности. Профдеформация и вопросы мышления.

Профдеформация и недооценка своего уровня. Точнее говоря - оценка своего уровня как "ачотакова" и "это же элементарно", оно же "это ж совсем минимум - это должен знать каждый".


Да ничуть.

Очевидно, что объем знаний в мире накоплен ООООЯЯЯБУ какой. Причем эти знания мало того что разные - теоретические, практические, или еще какие, так еще и их объем постоянно растет в целом, и часть знаний при этом теряет актуальность. Ну вот кому сейчас интересно вспомнить про:

DEVICE=C:\Windows\HIMEM.SYS

DOS=HIGH,UMB


или еще какое IDKFA.


Соответственно, всего знать нельзя, да и думать что кто-то знает "все везде" - несколько глупо.

Есть и другая проблема - сложно оценить, сколько ты на самом деле знаешь . Есть один путь -сравнивая свои знания с минимальным набором вопросов-ответов (тесты), требования работодателя и при общении с людьми в целом.


И, разумеется, в ИТ, как и любой другой области, Гипотеза Чёрной Королевы (англ. Red Queen hypothesis) имеет место быть. (Предполагается, что тут вы сами погуглите, о чем речь).


Еще одна проблема - гордыня / тщеславие (мой любимый грех). Порой на ровном месте, порой не особо. Бывает.


Профдеформация.

При общении с людьми, которые не просто "не знают", а гордятся одновременно не просто своим незнанием, но и наличием мнения по теме, в которой они "не але" вообще - терпимость сначала снижается, а потом вырастает до полного безразличия к мнению таких людей. Мало ли специалистов по футболу и STG.


На самом деле, о чем тут можно рассуждать, если ты знаешь - где написано DESERT EAGLE point 50, а где REPLICA, и слаще репы ел.


2.6 Аутсорс и так называемый аутсорс, в том числе "очень домашний".

Есть такое явление - когда из фирмы выделяется независимое подразделение - которое вроде бы в фирме, а вроде бы нет. Вроде у тебя по факту одно (солидное) место работы, а по трудовой - "ООО ААА". Неудобно. Смотрите внимательно.


2.7 О собеседованиях в целом.

разные, и в чем-то одинаковые мнения.

О чем спросить на собеседовании будущего работодателя.

Какие бывают бонусы.


Про собеседования (наболело) - выноска отсюда:

2010г. http://ru-sysadmins.livejournal.com/1368992.html (да, комментарии там тоже стоит прочитать).


В течение последних лет я несколько раз сталкивался с необходимостью проходить собеседования при устройстве на работу сисадмином (или смежной профессией) и у меня накопилось достаточное количество раздражения типовыми способами проведения таких собеседований. Мне многое что в собеседованиях такого рода не нравится, и этим постом я бы хотел указать конкретно на то, что не нравится. Возможно, некоторых людей, которые проводят собеседования, и которые вынуждены проходить через собеседования, изложенные в посте мысли сподвигнут на улучшение ситуации с собеседованиями.


Собеседование на должность админа обычно проходит в два этапа: сначала Вас интервьюирует девочка из HR, затем (если Вы ей понравились), Вы имеете шансы пообщаться с кем-нибудь из IT отдела компании, в которую устраиваетесь. С девочками всё понятно, не хочу об этом писать, а вот беседа с айтишником нуждается во внимании.


Понятное дело, айтишник задаёт соискателю вопросы и ожидает услышать на эти вопросы правильные (с точки зрения интевьюирующего айтишника) ответы. Чем больше правильных ответов - тем выше вероятность устроиться на работу. Т.е. правильно отвечать очень важно, от этого зависит устройство или неустройство. Вполне логично соискателю готовиться к интервью заранее и попытаться заранее проработать ответы на возможные вопросы, не так ли?


Здесь есть трудности. Дело в том, что в отличие от многих и многих других отраслей знания, прогресс в области IT идёт чрезвычайно быстро. Индустрия всё время усложняется, усложняется ПО, усложняется техника. Конструкция двигателя внутреннего сгорания уже сотню лет не претерпевает значимых изменений, поэтому специалист по моторам, получивший образование в этой теме много лет назад всегда сможет ориентироваться в движках более новых автомобилей, чем те, которые он разбирал во время учёбы. Другое дело специалист по IT: уже через десять лет знания становятся практически невостребованными. Например, 15-20 лет назад бывшие богами специалисты по NetWare сегодня имеют мало шансов быть востребованными на рынке труда.


Помимо быстрой смены ИТ ландшафта, структура этого ландшафта всё время усложняется. На нём вырастают новые горы, возникают расселины и ущелья, местность всё более детализируется и становится всё более сложной. Поэтому 20 лет назад были "компьютерщики", которые ориентировались и почти в любом ПО и почти в любом железе. Сегодня же в области ИТ существуют сотни специализаций. Просто потому, что возможности человеческого мозга ограничены и такой объём информации туда просто не влезает.


В таких условиях мне представляется проигрышной профессиональной стратегией пытаться угнаться за временем и пытаться объять необъятное. Нет особого смысла изучать досконально и уметь делать всё во всех продуктах. Одни продукты уходят, другие приходят, всё меняется. Гораздо перспективнее сосредотачивать личностный рост не на объёме знаний о продуктах, которых через 10 лет не будет (или они изменятся до неузнаваемости), а на общих принципах решения типовых задач. В общем-то, так или иначе, сознательно или интуитивно, многие админы именно так и делают. Здесь прогресс есть.


Но вот где не видно прогресса и понимания вышеописанных реалий, так это в сфере собеседований. В современных собеседованиях в РФ считается важным задавать узкоспециализированные вопросы о конкретике функционирования тех или иных продуктов, и на основании ответов на эти вопросы делать выводы о профпригодности соискателя.


Стек протоколов TCP/IP к месту и не к месту, например, уже стал притчей во языцех. Анекдот. Надо, не надо, общее место едва ли не в половине собеседований - это более или менее подробный рассказ о стеке протоколов. Также часто спрашивают про роли FSMO и т.п.


Да, существует небольшое количество тем, в которых (хотя бы на общем уровне) должны ориентироваться все или почти все. IP-адресация, например. Однако, это совершенно не касается узкоспециализированных вопросов, которые, тем не менее, всегда (ВСЕГДА!) задают.


Например, некоторые из последних:


- назовите счётчики производительности, по которым Вы будете измерять загруженность дисковой подсистемы.

- что означает аббревиатура PCI?

- как и какой командой разрешить доступ к определённому порту в стандартном Windows Firewall?


Спрашивается, ну зачем я должен перегружать мозг тупым запоминанием тысяч аббревиатур, названий тысяч счётчиков производительности, сотен параметров команды netsh? Зачем мне помнить сотни тысяч параметров реестра? Во всех реальных случаях использования, все эти "проблемы" решаются за две секунды поиском в интернете, выбором нужного счётчика из списка доступных в перфмоне, написанием вопроса в ответ на приглашение консоли netsh.


Складывается ощущение, что многие интервьюеры вместо проверки реальных знаний соискателя занимаются просто тешеньем своего самолюбия. "Я вот знаю, а он - нет". Дорогие, я Вас умоляю. Мне каждый раз хочется превратить такого рода интервью в честную игру, в которой вопросы задают не только соискателю, но и соискатель имеет возможность задать каверзный вопрос интервьюеру. Нередко с гарантией, что интервьюер ответить не сможет.


При существующем неохватном объёме информации в ИТ многие сисадмины имеют редкий опыт и редкие специальные знания, понадобившиеся им для решения редких задач. Но зачем использовать эти знания для того, чтобы показать свою якобы компетентность и унижать соискателя, когда ясно, что почти каждый сисадмин может задать вопрос, на который не сможет ответить другой сисадмин (не подключенный к компу) ?


Исходя из изложенного, обращаюсь к сисадминам и сочувствующим с просьбой подумать над этим. И если Вам придётся кого-то интервьюировать в ближайшем будущем сосредотачиваться не столько на узкоспециализированных вопросах, сколько на тестировании общего умения соискателя решать задачи. Например, усадить за комп и проверить самые основные базовые умения работать с информацией и ПО. Навроде тех примеров, которые встречаются в экзаменах на сертификаты Майкрософт. Помните, что-то типа, "You are the network administrator for Contoso, inc. You have under your control 200 PCs, all of them have Windows XP Professional installed. Your current gateway breaks down and you need to change default gateway on all user computers".

Автор: leo_sosnine


Оборотная сторона:

http://ithappens.me/story/2420


Примечание из комментариев же:

Но надо учесть, что прежде чем устроишься, пройдёшь 3-8 собеседований, редко меньше. Т.е. будет много неудачных собеседований. От каждого неудачного собеседования падает самооценка, психологический факт.


А я придумал компенсаторный механизм, который позволяет чувствовать себя победителем в любом случае. ;-)


Еще одна сторона собеседований и написаний резюме:

копипаста:

Коллеги, один небольшой совет по резюме/вакансиям.


Пожалуйста, когда вы решили выслать резюме - посмотрите на какую позицию и в какую компанию вы его посылаете. И подумайте - какая связь между документом, компанией-работодателем и зарплатой.


Худшее, что вы можете сделать - это тупо сохранить его с HH в PDF не глядя. Сегодня мне одно такое пришло. С местами битой кодировкой, на русском языке.

И я гляжу на него и думаю - а что с ним делать-то, собственно говоря? Человек на зарплату в x8 (из региона) не нашел пары часов на то, чтобы осведомиться хотя бы немного о компании и поправить резюме соответственно?

Мне по сути пришел набор текста на "отъебись". Ну типа так обычно заполняют. На русском языке.

Что мне с ним делать дальше? Нет релевантного опыта, нет релевантных скиллов. Точнее говоря, может быть они есть по факту, но в резюме этого НЕТ! Если я не вижу этого в резюме, то я не буду его кому-то пересылать, я его просто закрою. Итого, человек не нашел 2 минуты на прочтение требований и 30 минут на исправление.

Далее. Битая кодировка. Ну вот просто феерический показатель. Он свое резюме даже не открывал после сохранения. Да ну похер, им же надо, я такой охрененный.

Русский язык. На русском языке говорят в компании 5 человек, отвечающие за регион, ну и еще наверное человек 10 вообще (эмигранты). Из них ни одного HR. Предположим, мне понравилось резюме - что мне с ним дальше делать? С учетом, что HR на наш регион этнический голландец в Дубае. Мне резюме за вас переводить?


Все контакты указаны. Я относительно публичная фигура. Совершенно без претензий на славу, просто к вопросу о доступности моих контактных данных. Меня можно найти в фейсбуке, скайпе, телеграме, твиттере, вконтакте, почте (включая личную). Можно даже мне позвонить (время на поиск номера мобильного от 5 до 30 минут). Почему никто не пытается со мной связаться и что-то уточнить? За исключением буквально пары человек, с которыми и так очень давно лично знаком.


Не, ну серьезно. Старший инженер технической поддержки продаж. По крайней мере претендент на эту позицию не может найти контакты и смелости в себе постучаться?

Да я даже рассматривать не буду то, что мне прислали, только потому что даже не попытались связаться и поговорить до. Не говоря уже о каком-то техническом собеседовании.


Итог:

1. хоть немного ознакомьтесь с компанией, куда хотите попасть

2. ознакомьтесь с вакансией

3. напишите спец версию резюме под эту вакансию в эту компанию

4. есть сомнения - постучитесь, уточните

Автор: тов. Жбанков


Личное мнение.

У устройства на работу есть три (и более) простых этапов.


Первый этап - резюме. Рассказов "как его писать" - полно, но IMHO нужна минимализация с сохранением читаемости. Помните, почти всегда сначала его будет читать HR. Может просто не повезти.


Второй этап, а именно собеседование с HR - это каждый раз лотерея.

Описана ранее - Особенности работы специалистов по кадрам / HR в целом, о которых следует помнить.


Повторюсь -

Я не знаю, как там в коварной европе, но в РФ почти везде совмещены

- кадровая служба, в смысле отпуска - больничные - отчет в пенсионный - отчет еще в сто мест,

- собственно HR, специалист по непосредственно людям. Поэтому на собеседовании может быть что угодно, от девочки 22 лет с Новомодными Методиками Тестирования, заканчивая Опытным Начальником Отдела Кадров Со Стажем На Этом Месте 15 Лет Которая Тышши Таких Видала И Знает Метод По Гороскопу Династии ПномПень. Хотя тут некоторые клевещут, что еще и энергетика может не понравиться в кандидате (кто знает о какой ОЧЕНЬ известной фирме речь и что случай реальный - тот не смеется).

Хотя с стороны ИТ шников всех видов тоже .. бывает всякое.

С ростом зарплаты кандидата за уровень "два эйчара" - у эйчаров бывает и синдром вахтера и иное.


С другой стороны, в целом подавляющая часть HR на собеседованиях вменяема, в задачи кадров входит, ИМХО, скорее посмотреть на наличие рук\ног и степень общей вменяемости, после чего передать по этапу дальше.


Третий этап - это разговоры с непосредственным руководством.

Есть отдельная тема - represent yourself / how to represent yourself in interview

Напишите свой план презентации самого себя, попросите знакомых оценить речь, перепишите раза два, лучше три - будет проще и самому, и возможному руководителю.


Не важно, как потом пойдет собеседование - в форме очного тестирования, или телефонного для начала, с какими-то конкретными вопросами, время вы сэкономите.


Иногда бывает и иначе, например будущий начальник просит рассказать о себе, о задачах, кейсах и внедренных фичах, устройстве в целом и так далее.

Соответственно, это все надо рассказать, кратко - но не забывая об основном.

Можно пройтись по сервисам, в формате "как устроено \ как было \ как я улучшил или что-то вообще сделал". Или же сказать, что этот вопрос не трогал.


Еще одно примечание.

В каждом конкретном случае надо помнит про специфику места куда устраиваешься

В банке делать упор на безопасность, в госконторах на документы и регламенты, в коммерческих на экономическую эффективность.


Есть ощущение, что многие руководители нанимают ориентируясь на своё чутьё а не на навыки, которые демонстрирует кандидат

Возможно, что когда тебя пытаются завалить - это потому что ты не понравился как человек, а как специалисту нет формального повода тебе отказать, вот и роют чтобы поймать тебя на том, что ты не знаешь.


Иногда начальство осознанно ищет глупого специалиста. В смысле глупее себя. Иногда ищут не коллег, а подчиненных - в том смысле, что делегирование задач отсутствует.

100% рецепта нет.


О чем спросить на собеседовании будущего работодателя.


Баш 445562


На собеседовании.


Работодатель: Что может побудить Вас уволиться в первый месяц работы?


Я: Грубое нарушение работодателем трудового законодательства.


Работодатель: А насколько грубое?


Есть три простых вопроса, которые надо как задать сразу после HR, непосредственно будущему начальнику: что есть сейчас, что хотите, и сколько денег.


Полностью вопросы звучат так:

1. "Как ИТ инфраструктура устроена сейчас".

2. "Что хотите получить в течении Х времени"

3. "С какой суммой согласны расставаться ежемесячно".


Если начальник не может (или не хочет) отвечать - ждите беды*. Это значит что в данном бизнесе/фирме ИТ как таковое не нужно. Нужен им работник - конюх, повар, и плотник. На современный лад - сетевик, варевод и чтоб еще планшеты настраивать и чинить умел. Если вы не задали эти вопросы, или после собеседования оказалось все совсем иначе, чем было в вакансии - ждите не меньшей беды.


* Нанимателей понять можно - в резюме может быть написана полнейшая лажа (как у меня например), человек может быть редким бездушным жадным говном, который работает только за деньги**, денег может не быть, но можно попробовать продавить на собеседовании типа "ну вы ж не знаете нихрена, ну давайте так и быть из милости на испытательный срок .." - такой подход стоит ноль рублей сразу, зато экономит (работодателю) уу сколько!


**И что это вы рукой машете, словно джедай какой-нибудь?! Я тайдарианец! Мы на такие трюки не клюем, только на деньги! Нет денег, нет запчастей, нет сделки!

You think you're some kind of Jedi, waving your hand around like that? I'm a Toydarian. Mind tricks don't work on me. Only money. No money, no parts, no deal!

https://www.youtube.com/watch?v=seqoOnr2ebU


Какие бывают бонусы.

См. 36.0 Рабочие бонусы - что спрашивать при приеме на работу у работодателя.


Прочие ссылки

Ограничивать ли пользователей по ресурсам?

https://habrahabr.ru/post/331558/

http://blog.vadmin.ru/2017/06/blog-post.html


Антипаттерны для поиска соискателей

https://habrahabr.ru/post/331276/


Когда мне вышлют оффер? Подсказки для соискателей от HR-менеджера

https://habrahabr.ru/company/appodeal/blog/331666/


Я бы рад, но...

http://www.beerpanda.ru/?p=164


Часть 3. Малый, средний и крупный бизнес.

3.1 Малый бизнес - SOHO

(Small office/home office refers to the category of business or cottage industry that involves from 1 to 10 workers.)

3.2 Малый и средний бизнес SME/SMB

3.3 Крупный бизнес, который в РФ зовется иногда "enterprise".


3.1 Малый бизнес - SOHO

(Small office/home office refers to the category of business or cottage industry that involves from 1 to 10 workers.)

Сотрудник: эникей / technician

https://en.wikipedia.org/wiki/Small_office/home_office


Чаще всего в этом сегменте требования к квалификации не велики, но и зарплата соответствующая. Требуется человек, который будет выполнять какую-то рутинную работу - делать шрифт больше-меньше в ворде, устранять проблемы в локальной сети на роутере домашнего сегмента, обновлять базы антивируса и, в принципе, все.

Уровень знаний и умений по модели OSI/DOD (которая будет озвучена ниже)

Физика.

- обжать патчкорд

- прозвонить патчкорд простой звонилкой.

- отличать WAN от LAN


Техника

- умение поменять картридж в принтере и прочитать на нем надпись "застряла бумага". И иногда даже вытащить оную.

- Умение определить, сломался ли в системном блоке - блок питания, или же оперативка. Или клавиатура.


ПО

- умение нажать далее-далее в установщике MS Windows, MS Office или может даже в Ubunta/ Open Office.


Сертификация.

Не нужна.


Интернет:

Вспомнить пароль для почты для домена, и не забыть про оплату домена или офиса365.


3.2 Малый и средний бизнес SME/SMB


Сотрудник: эникей / technician + системный администратор/system administrator..

Тут к умению эникея добавляется требование "читать и делать как написано в инструкции". В остальном никаких чудес. Однако чаще в таких организациях требуется младший админ с задачами эникея.

Уровень знаний и умений по модели OSI/DOD (которая будет озвучена ниже)

Физика.

- обжать патчкорд

- прозвонить патчкорд. К сожалению, рефлектометр вам никто не купит, но свой можно уже и иметь, во взрослые то годы. Вещь нужная, как и тон генератор / тон детектор, оно же маяк (LAN-TPK-50, Fluke Networks MT-8200-61-TNR IntelliTone Pro 200 LAN)

- отличать WAN от LAN, а Ethernet 0 от Ethernet 1.

Уметь отличать автомат С16 от С25, и знать что такое фаза, как найти ее в розетке, и почему бывает одна фаза, а бывает что и три.


Техника.

- умение поменять картридж в принтере и прочитать на нем надпись "застряла бумага". И иногда даже вытащить оную. И даже из печки

- Знать что еще бывает тонер-туба, ракель, собственно тонер, и даже девелопер.

- Умение определить, сломался ли в системнике блок питания, или же оперативка. Или клавиатура.

- Знание про наличие оперативки в принтере

- понимание, почему ECC/REG оперативка для серверов стоит дороже обычной, а SAS диски серверных серий - НАМНОГО дороже обычных.

- Понимание строки Ecc != Reg != Buffered


ПО.

- умение нажать далее-далее в установщике MS Windows, MS Office или может даже в Ubunta/ Open Office.

- умение нажать далее-далее в MS Windows server, dcpromo, DNS оснастке. Неплохо бы конечно знать что такое DNS и DHCP, но некоторые и так справляются. Опять же, неплохо бы знать про роли FSMO, почему не стоит всем давать права локального и особенно доменного админа, что такое AGDLP и как вообще это работает, но иногда не нужно даже это.


Сертификация.

На мой взгляд, на этом уровне уже надо стремиться к сдаче экзаменов

- по сетям Interconnecting Cisco Networking Devices Part 1 (ICND1 (100-201) Exam

https://learningnetwork.cisco.com/community/certifications/ccna/icnd1_v2/exam-topics


и следить за обновлениями и литературой -

CCNA Routing and Switching ICND2 200-101 Official Cert Guide by Wendell Odom

http://www.ciscopress.com/authors/bio/4eae296b-d6f0-44a3-869c-42126efebcf3


- По windows server - Exam 70-410 Installing and Configuring Windows Server 2012

https://www.microsoft.com/en-us/learning/mcsa-windows-server-certification.aspx


В 2016-м году это уже не актуально, и надо идти к

MCSA: Windows Server 2016

https://www.microsoft.com/en-us/learning/mcsa-windows-server-2016-certification.aspx


3.3 Крупный бизнес, который в РФ зовется иногда "enterprise".

Требования там бывают трех видов -

- эникей продвинутый, см. выше

- администратор - может и обязан писать тексты лучше, и толковее этого

- специалист узкой направленности. Тут требование одно - "соответствовать требованиям и задачам работодателя".


Самая частая проблема - связь между отделами и руководство отделов "по знакомству".

Итоги такого отсутствия связи между отделом А и отделом Б- вставание колом всей конторы.

Проблем полно, подавляющая часть из них - административные.

Меньшая часть проблем - кроилово, хотя и оно встречается. Например, взять индусов или какой местный говенный аутсорс на обслуживание. Все идет хорошо, до того момента когда вдруг решают потрогать и ломается так, что на исправление идет *10 от такой экономии.

Такой факап бывает гораздо чаще, чем о этом думают.

http://oldmann.livejournal.com/277980.html

http://oldmann.livejournal.com/230440.html


Тут же бонусом идет тихая война между отделами за бюджеты, в некоторых организациях - чистка коллектива методом "уволим в конце года 10% с самым низким KPI" и так далее.

Отдельно идут проблемы с harassment, хотя казалось бы - где ИТ, а где оно. Однако же бывает, да.


Часть 4. Более техническая, но пока про теорию и инженерную часть зданий, сооружений и прочее ПГС.

От инженерных систем до производства чипов, процессоров и ASIC.

4.1 Модель ОСИ - OSI/DOD в целом.

4.2 Инженерные системы.

4.3 Кондиционирование, расчет тепловыделения и BTU (British thermal unit). Обслуживание. Чиллеры.

4.4 ИБП / UPS, Электропитание 220/380, 230/400 и даже иногда 127 В.

Что надо ОБЯЗАТЕЛЬНО знать ИТ-шнику про ИБП/UPS APC/Delta/HP


Защита от 380В.

4.5 АВР (автоматический ввод резерва). Дизель-генераторы.

Заземление. Техника электробезопасности.

4.6 СКУД и прочая безопасность.

4.7 Системы газового, порошкового и Novec 1230 - пожаротушения.

Противогазы изолирующие и фильтрующие.

4.8 Прочие инженерные системы. Строительство в целом.

Планирование размещения и транспортировки оборудования.

4.9 Системы извещения - пожарные извещатели, СМС оповещения, прочее.

4.10 Вопросы по инженерным системам, без ответов.

4.11 Производство - разница между Silicone и Silicon. Процесс в общих чертах - от песка до чипа.

4.12 ASIC и вроде того


4.1 Модель ОСИ - OSI/DOD в целом.

Статью в википедии что на русском, что на английском, что в любых других учебниках может и должен прочитать любой. Цитировать ее тут нет смысла, потому что мир ИТ не ограничен сетями, и много всего интересного происходит как ниже первого уровня, так и выше седьмого, а то (как принтера) и в стороне от самой модели.

Однако модель удобна именно своей иерархичностью, от физики к приложениям, поэтому в целом я попробую следовать именно ей - в том смысле, что начну сильно снизу, от физики и инженерных систем зданий в промышленно-гражданском строительстве (ПГС).


4.2 Инженерные системы.

Они есть, их много, и постоянный контроль за их состоянием порой очень и очень критичен.

Очень советую, перед дальнейшим чтением, пролистать псто Биоугрозы, особенно ветку:

http://fixik-papus.livejournal.com/30512.html?thread=2797616#t2797616


Из нужных в ИТ систем стоит выделить:

Воздухоподготовку (нагрев/кондиционирование/сушку), СКУД, электропитание, пожаротушение.


4.3 Кондиционирование, расчет тепловыделения и BTU (British thermal unit).

Обслуживание. Чиллеры.

Кондиционирование, т.е. теплоотвод, вещь в современном ИТ необходимая, по простой причине - при перегреве и длительной (месяцы) эксплуатации техники при температурном режиме выше +25 градусов - срок службы техники сокращается, иногда в разы (с 5-6 до 2-3 лет). То же самое касается влажности - избыточная влажность вредна, поскольку вызывает пусть незаметный, но конденсат, и как следствие - коррозию контактных площадок памяти, например. Разумеется, техника может работать и годами, просто стоя под столом, но скорее всего такая техника не проработает и три требуемых от нее года, и тем более не проработает пять.


Расчет тепловыделения техники прост - потребляемая мощность каждой единицы техники известна, примерно столько же мощности техника отдаст в виде тепла. Поскольку установка и расчет систем кондиционирования обычно отведена специальным людям, то все, что вам нужно сообщить им для расчета - это мощность вашей техники в киловаттах. Можно конечно пересчитать киловатты в джоули/сек, а потом и в джоули/час, а оттуда пересчитать пересчитать в BTU/hr - British thermal unit, британская тепловая единица/час, но ничего сложного и специального в этом пересчете нет. К тому же кондиционеры выпускаются не индивидуально, мощность кондиционера выбирается из ряда мощностей, предлагаемых производителем, так что главное:


- не забывать что мощностей у кондиционеров две (по теплоотводу и по потребляемой мощности из сети).

- включать кондиционер к сети через отдельный предохранитель НА ФАЗЕ точно, но можно и двойным, на фазу и ноль одновременно.

- не забывать подписывать этот предохранитель прямо на щитке.


Помнить о том, что

- помпы (откачки конденсата) ломаются,

- каналы водоотвода зарастают не важно чем,

- чиллеры могут не стартовать,

внешние радиаторы нуждаются в ежегодной чистке перед началом летнего сезона, а там где березы и тополя - и после окончания цветения.

- переход зима-лето и лето-зима всегда требует проверки оборудования и возможной дозаправки хладагента.

- Помнить о резервировании N-1 - в том смысле, что система кондиционирования должна работать при 1 вышедшем из строя кондиционере неограниченно долго.


Про кондиционеры, к слову. Со старого места работы рассказали: у них в кондее за ОЧЕНЬМНОГО денег за год куда-то (ну куда куда .. в атмосферу) ушло 35 килограммов очень специального фреона (или что там заправляют). Давление в системе - 20 бар (20 атмосфер). Как можно прикинуть путем деления 36/360 - 100 грамм в день, 5 грамм в час. Я что-то сомневаюсь, что протечку найдут, трасса там длиииииинная. И вся в изоляции.

Но, люди ученые, кондеев там 4, сейчас работают на трех, а так то будет пахать и на двух.

Мораль:

1. Мониторь термодатчики автоматом, лучше с двух точек. ИБП и скажем CISCO с термодатчиком, или сервер какой.

2. Не пренебрегай плановым осмотром утром и вечером. Да и в обед. Если есть охрана, то пусть и ночью пробежит, мало ли что там (например, посмотрит в специальное окошко на простой бытовой термометр). На одной площадке мне за пару лет охрана раза три звонила - перегрев, отказ кондиционера.

3. Заправляй/проверяй (в смысле выписывай специальных людей) кондиционеры два раза, весной и осенью, перед весной промой (керхером хотя бы), и после тополиного пуха и цветения березы тоже промой. Ну и перед зимой, после листопада.


- Помнить о контроле температуры и влажности в целом - и использовать системы от Nag

http://shop.nag.ru/catalog/00007.Avtomatizatsiya-i-monitoring


В 2015-м году они предлагали комплект -

SNR-ERD-GSM-1.1 - Устройство удалённого контроля и управления с GSM интерфейсом ERD-GSM, БП, корпус, антенна, крепление

http://shop.nag.ru/catalog/00007.Avtomatizatsiya-i-monitoring/05629.ERD-Kontrollery/15308.SNR-ERD-GSM-11-box


и ИБП к нему

http://shop.nag.ru/catalog/09836.IBP-UPS


плюс можно было взять датчики дыма, протечек, герконы и так далее.


Есть вот такой набор решений -

SNR-ERD: От "пинговалки" до линейки оборудования

https://geektimes.ru/company/nag/blog/288540/


Примечание про GSM в целом, которое касается в том числе и голосовых шлюзов:

МТС и мегафно - злыдни и спамеры

http://forum.navtelecom.ru/viewtopic.php?p=1057


Есть и альтернативы - Устройство NetPing DKST61-01

Устройство удалённого мониторинга датчиков по сети Ethernet/Internet. Позволяет удалённо получать информацию о состоянии 1-Wire датчиков и уведомления о срабатывании 1-Wire датчиков

http://www.netping.ru/products/netping-dkst61-01


или контроль на ИБП, или что-то типа NetBotz

http://www.apc.com/shop/id/en/categories/security-and-environmental/security-and-environmental-appliances/netbotz-500/_/N-1aj0g3n


Можно Sky Control

http://www.skycontrol.com/ru/products-ru/extension-units-ru/93-sc920-gsm-modem-ru


Кстати про контроль влажности и датчики. На одном из моих прошлых мест работы стояли обычные бытовые кондиционеры, три штуки. Как-то один из них обмерз и начал капать прямо на ИБП, стоявший под ним. Обошлось без КЗ, но тем не менее.


Полезное:

Режим работы тепловых насосов (кондиционеров) и выравнивание износа. Классический примерчик на тему "для чего нужно выравнивание наработки основного и резервного оборудования". Ну и сам режим работы:

https://fixik-papus.dreamwidth.org/52284.html


4.4 ИБП / UPS, Электропитание 220/380, 230/400 и даже иногда 127 В.

Защита от 380В.


Это то самое внезапно ненужное знание, когда минимум треть падаванов уверены, что в розетке, как и батарейке, есть плюс и минус, а 380 - чтото страшное и ужасное.

На самом деле надо было учиться в школе и институте, и запомнить, что:

Сетевое напряжение -- среднеквадратичное (действующее) значение напряжения в электрической сети переменного тока

В СССР в электрических сетях общего назначения использовался трёхфазный ток с межфазным напряжением 380 В и напряжением фаза-нейтраль 220 В. Согласно межгосударственному стандарту ГОСТ 29322-92 (МЭК 38-83/IEC 60038:1983), в России к 2003 г. предписывался переход на номинальное напряжение 230/400 В. По обновлённому ГОСТ 29322-2014 (IEC 60038:2009), сетевое напряжение должно составлять 230/400 В при частоте 50 Гц ╠10 %.


Что почитать по теме.

В обязательном порядке: ПУЭ - Правила устройства электроустановок ПУЭ текущей редакции (на 2016 год - 7е издание, Минэнерго России От 08.07.2002 N 204).


Так что в розетке у вас не плюс и минус, а фаза (т.е. тот провод, где электричество есть) и нейтраль (где электричества быть не должно, но немного есть).

Иногда (но все реже) встречается и сеть 127/220, что означает разницу между фазой и нолем в 127 В, а между 2 фазами - 220 В. В результате в обычную розетку заводятся две фазы. В таких помещениях в розетки обязательно должно быть заведено заземление, а само заземление должно быть проверено специально обученными людьми.

Примечание:

Следует отличать TN-C от TN-S , а их оба от TN-C-S

https://en.wikipedia.org/wiki/Earthing_system

и понимать, почему в США в розетке для стиральной машины может оказаться две фазы и земля.

И прочитать

http://www.malahit-irk.ru/index.php/2011-01-13-09-04-43/22--ltn-sr.html


Что касается автоматов выключения, то тут ничего сложного нет. Обычный однофазный автомат маркируется как A/B/C(N) - например C16, где C- класс устройства, 16 - это максимальный ток в амперах. Следует помнить, что, хотя в сети переменного тока присутствует разнообразный мнимый элемент и косинус фи, но для сетей с малым током и малым сдвигом фаз - мощность можно рассматривать как P = U*I, и для 6 ампер / 220 вольт максимальная мощность составит всего 1.3 киловатта. Для понимания, у электрочайника 1.5-2 киловатта мощности.

Про классы (A/B/C/D) и номинальный ток срабатывания знать конечно можно, но не обязательно, не электрики.

Читать тут - http://cs-cs.net/avtomaty-ne-vsyo-tak-prosto-no-interesno-vybor-nominala-avtomata


УЗО.

Лучше прочитать про него отдельную статью - хоть про УЗО, хоть про residual current device, хоть про residual-current circuit breaker. Про ток отключения, типы A/AC, селективные УЗО и так далее. Вещь, безусловно, нужная, как и дифавтоматы.


ИБП / UPS.

Бывает так, что электричество внезапно заканчивается, иногда даже во всем районе или городе. Причин может быть много, от умелой работы самого страшного врага для ИТ - экскаватора, до пожара на подстанции и нехваткой мощности на город в целом.

По статистике, чаще всего электричества нет не больше чем 1-2 минуты, пока наследие СССР в виде единой энергосистемы (не самое плохое наследие, а даже и очень хорошее) переключает питание на другую ветку. Впрочем, бывают и другие случаи, тогда электричества может не быть часы, и даже дни.


В первом случае (короткие перерывы в подаче электроэнергии) помогает ИБП / UPS.

Что надо помнить:

- Наличие любого ИБП лучше его отсутствия.

- Линейно-интерактивный (Line-Interactive) с автотрансформатором (AVR - Automatic voltage regulator) лучше Off-Line

- ИБП с двойным преобразованием вообще хорошие, но дорогие.

- при расчетах тепловой мощности ИБП надо учитывать.

- мощность, которую фактически в ПИКЕ выдает ИБП, последние лет 10 производители писать перестали, так что подбор нужного по мощности ИБП - тема отдельной статьи, их написано десятками.


Что надо ОБЯЗАТЕЛЬНО знать ИТ-шнику про ИБП/UPS APC/Delta/HP

Сброс пароля на 9619/9639 - правильный шнурок, скорость, два тыка в кнопку.

ВНИМАНИЕ! Неправильный выбор шнурка на APC ведет к выключению ИБП! Причем разъем выглядит точно также, смотрите разводку и не теряйте, и лучше ПОДПИСЫВАЙТЕ! НУЖНЫЕ шнурки. Они там минимум двух (с com и штырем) типов.


Сброс пароля на дельте - скорость и два джампера.

Сброс пароля на ХП - скорость (на ком-порту) и сама процедура.


Ватты и вольт-амперы.

Полная мощность (ВА) - величина, равная произведению силы тока (Ампер) на напряжение в цепи (Вольт). Измеряется в Вольт-Амперах. Активная мощность (Вт) - величина, равная произведению силы тока (Ампер) на напряжение в цепи (Вольт) и на коэффициент нагрузки (cos ?). Измеряется в Ваттах.

Прочитать: https://www.generatorplus.ru/auxpage_perevodim-volt-ampery-va-v-vatty-vt/


Статические и динамические ИБП.

Статические ИБП: все просто. БОЛЬШАЯ батарейка и преобразователи (инверторы).

Динамические ИБП.

БОЛЬШАЯ и высокоскоростная болванка, подключенная (физически) к генератору, и к дизелю.

Сначала генератор крутит болванку, потом (при потере напряжения) болванка крутит генератор.

Если дизель не завелся, то (у некоторых производителей) в какой-то момент болванка через (автоматическую электромагнитную) муфту проворачивает дизель, и дальше уже дизель крутит болванку и генератор.

Подробнее -

https://www.grandmotors.ru/dynamic_ups.php

http://cons-systems.ru/dinamicheskiy-istochnik-bespereboynogo-pitaniya-dinamicheskiy-ib

https://habrahabr.ru/company/croc/blog/318184/

https://habrahabr.ru/company/croc/blog/245553/


Автовыключатели по 380 в сети

http://zametkielectrika.ru/obryv-nulya-ili-otgoranie-nulya-v-trexfaznoj-seti-k-chemu-eto-privodit/

В качестве реле однофазного напряжения можно применять устройства разных производителей, например, РН-113 от "Новатек-Электро", УЗМ-51 от "Меандр", RV-32A от EKF, CM-EFS.2 от АВВ, АЗМ-40А от "Ресанта", ZUBR D40t от "ДС Электроникс" и другие им подобные.


В качестве трехфазных реле напряжений в продаже есть:

цифровое реле напряжения V-protector 380V от "Digitop",

РНПП-311 от "Новатек-Электро",

РКН-3-15-15 и УЗМ-3-63 от "Меандр",

CM-MPS.11S от АВВ.

http://new.abb.com/products/1SVR730885R1300/cm-mps-11s-three-phase-monitoring-relay-2c-o-0-0-1-30s-l1-l2-l3-n-3x90-170vac

http://www.abb.ru/product/seitp329/668ea61b8af2928ac1257cc2004a5a84.aspx?tabKey=2&gid=ABB1SVR730885R1300&cid=9AAC132574


Производители обычных ИБП (не дизелей и не динамических).

APC - всем хорош, но ДОРОГО.

Ippon (например INNOVA RT TOWER 3/1 10/20 KVA)

Delta, Riello- все работают.

Eaton/Powercom - кто из них чей бренд или подразделение, не понял.

http://www.powercom.com/ups-power-supplies/eaton-ups


Внезапно Huawei - http://e.huawei.com/en/products/network-energy


Vertivco (серия Chloride╝).

https://www.vertivco.com/en-us/products/brands/chloride/


Когда-то давно был mge, который купили и поделили (eaton pulsar)


Импортозамещение есть .. какое-то.

Штиль тот же -

штиль http://www.shtyl.ru/production/ibp-ht3/ibp-ht33010/

INVT http://www.vatgia.com/1861/4360040/invt-ht33010-10kva.html

Инэлт


4.5 АВР (автоматический ввод резерва). Дизель-генераторы.

Заземление. Техника электробезопасности.


Автоматический ввод резерва. Вещь полезная, если

- в здание есть два ввода

- до помещения с серверной тоже заведено два ввода,

- ИБП умеет питаться от двух вводов сразу.

Что надо понимать:

- АВР - не замена ИБП, в лучшем случае это замена необходимости покупать дизель.

Примером АВР будет устройство типа

APC AP7723 RM 1U Automatic Transfer Switch автопереключатель на резервное питание

Примечание: существует терминологическая путаница. Иногда под АВР понимается автозапуск дизелей.


Дизель-генераторы.

Если у вас требования по доступности сервисов включают в себя всякие 24*7, 93 % времени и так далее - надо помнить о том, что даже АВР не дает гарантий по питанию. Надо покупать и устанавливать генератор, дизельный или бензиновый, с автопуском, возможно подогревом, а возможно в комплекте с динамическим ИБП. Выбор и описание установки и включения ИБП, АВР, дизеля - тема вне рамок этой статьи. Но включать в регламент периодическую проверку АВР и автопуска дизелей - необходимо.


Заземление. Техника электробезопасности.

Заземление.

Вещь, на самом деле необходимая. В том числе и в виде заземляющих браслетов на технике. За подробностями зачем именно оно надо - читайте учебник физики и ПУЭ, по факту в здании оно должно быть и должно быть проверено. Проверено оно или нет - узнавайте у главного электрика/энергетика, он знает. Если не знает - то считайте заземление отсутствующим и пишите служебные записки руководству, что без заземления жить нельзя.


Техника электробезопасности.

Тут все очень просто - знай свое хозяйство. Одним из первых дел при устройстве на новое место работы - это проверка электропитания. Выясняйте, где тут электрощит, отвечающий за розетки серверного и рабочего оборудования, какие там автоматы, есть ли УЗО, что было с электропитанием раньше и как часто автоматы срабатывали по перегрузке. Проверьте, что все ваши розетки подписаны по месту, а над щитком с вашими автоматами есть надпись "автоматы группы ИТ". В самом неприятном случае никто не будет искать "журнал учета распределения групп аварийных выключателей". Кстати, если комната на ключе, то лучше всего убедиться, что ключ находится в зоне доступности, у охраны или в известном помещении электриков, и не реже раза в квартал проверять, что ключ еще на том же месте, и что это точно тот ключ, и он открывает эту дверь. И кстати, перед электрощитовой стоит держать углекислотный огнетушитель.


Про криворуких. И факапы.

ВСЕГДА! ВСЕГДА!! проверяйте за этими криворукими электриками, чтобы они, *** , многожилку заводили в гильзу!

Реальный случай, к слову. Электрики по лени (потому что гильзы БЫЛИ. В неприметном пакетике сбоку, но БЫЛИ) завели многожилку под клеммный винт.


Заземление.

http://www.malahit-irk.ru/index.php/2011-01-13-09-04-43/22--ltn-sr.html


Техника электробезопасности-2.

ВСЕГДА носите с собой отвертку-тестер (индикаторную отвертку).

ВСЕГДА проверяйте отверткой корпуса, ДАЖЕ после того как отключили питание.

ПУЭ прямо предписывает проверку сначала тестером, потом тыльной стороной ладони, и только потом трогать.

Реальный случай - вместо земли в розетке была фаза, и от корпуса техники било током.

Другой реальный случай - криворукие электрики проложили провода под крепежом внешнего (уличного) блока, провод перетерся - фаза на корпусе - труп.

При том, что техника "вроде бы" была отключена.

Фаза может быть в просто давно свисающем проводе.

Провода могут быть перепутаны в щитке.

Будьте осторожны, берегите себя. Чтите ПУЭ.


Вне оглавления. Ф:Факапы. Электрические.

За свою жизнь автор этого текста видел огромное число спаленного оборудования, а кое-что палил сам. Причем, в ряде случаев по раздолбайству. В ряде - нет.

Увиденное в сервисе.

Сгоревший по питанию SATA - диск. Причина - вставили с перекосом разъем питания. Смогли.

Неизмеримое число сгоревших южных мостов на материнской плате. Причина - неправильное проектирование изготовителем. ICH5-ICH5R, 2003-2005 год.

Столь же неизмеримое число сгоревших cd\dvd, примерно в те же сроки. Причины - говенный лазер, вылетал через 0.5-1.5 года. У ВСЕХ производителей. Диски, материнские платы, как-то раз спаленный процессор был (хотя оторванных ног, колотых ядер на старых AMD было куда больше). Память. Диски. Блоки питания. Особенно хорошо, говорят, вели себя блоки питания с ручным переключением 120/220, при включении в 220.


Спаленное лично.

Однажды, 15 лет назад, я копался в микроволновке, точнее в ее движке. На что я надеялся, не знаю, но у меня был вольтметр. Если бы я подумал, то сначала включил бы вольтметр на "до 500 вольт" - потому что на приводе тарелки оказалось 220, а вот на вольтметре - 12. Пщщ.. и белый дым, вот и все.

Сетевое оборудование. Кстати, Cisco.

Ситуация: какой-то младший роутер, 800-й серии, питался от AC/DC 12V. Причем все было хорошо - и на порту написано 12 вольт, и разъем круглый, и блок питания был Cisco и с таким же круглым разъемом. Только вот БП был от точки доступа, и было там 48 вольт.

Мораль: ПРОВЕРЯЙТЕ маркировку дважды. Со всех сторон.


4.6 СКУД и прочая безопасность.

В случае ИТ чаще всего СКУД бывает двух видов - видеорегистраторы и системы контроля доступа на картах типа Proximity/Em-marin.

Видеорегистраторы ничего особого из себя не представляют - это аналоговые камеры с аналоговой линией, плюс конвертеры из аналогового в цифровой формат (практически ТВ-тюнер), пишут на жесткий диск сервера.

Второй вариант - цифровые камеры, которые передают данные сразу в цифровом формате (по ip) на сервер видеонаблюдения. Чаще всего уже установлены и настроены, выбор "что и как" меняется каждый год, так что универсальных советов по данной технике нет. Кроме советов "как для любой техники" - изолировать от остальной сети (видеосерверу нечего делать в интернете и в локальной сети), использовать ИБП и резервное копирование.

POE и прочее питание лучше развязывать с общей сетью, изучить тему "грозозащита" и "оптогальваническая развязка".


СКУД, например тот же Болид, представляет из себя систему "сервер - com-порт - считыватель". В сервере хранятся фотографии, уникальные номера карт, пароли к ним (если нужны) и схемы "что где стоит". В контроллер по ком-порту через прилагаемое ПО медленно и печально эти данные отправляются, далее номера карт хранятся уже в контроллере. Для управления и обслуживания никаких особых навыков не требуется.

Раньше у Болида были однодневные курсы "что это такое и как работает".


4.7 Системы газового, порошкового и Novec 1230 - пожаротушения.

Противогазы изолирующие и фильтрующие.


Перед тем, как говорить о системах пожаротушения, стоит вспомнить о системах оповещения. Чаще всего это ряд коробочек под потолков с датчиками дыма (срабатывают на пыль) и датчиками температуры (на сплаве Вуда, не срабатывать там нечему).

Для системы водяного тушения используют клапаны с закрытием стеклянной колбочкой с жидкостью.


Для извещения используется ряд динамиков по этажам.

Единственная задача в данном случае - это найти (при устройстве на работу) ответственного за пожарную безопасность и спросить, как давно датчики проверяли (чаще всего их проверяют раз в месяц, а раз в квартал проводят проверку на сработку, о чем ведут соответствующий журнал), и как работает и срабатывает ли система оповещения. В практике, хотя и не моей, был случай, когда система оповещения была выключена по просьбе даже не прошлого, а позапрошлого арендодателя, так что ее во время плановой проверки включили, и дальше уже не беспокоились о не срабатывании.


Поведение при пожаре.

Поведение при пожаре для сотрудника описывается в типовой инструкции, с которой ответственный по технике безопасности приходит к каждому новому сотруднику и знакомит под роспись. Чаще всего поведение сотрудника описывается двумя пунктами:

- при личном обнаружении пожара - оповестить окружающих, включить пожарную тревогу, эвакуироваться согласно плану эвакуации, вызвать пожарную команду.

- при срабатывании пожарной сигнализации - эвакуироваться согласно плану, вызвать пожарную команду.

- иногда у руководителя отдела стоит в инструкции пункт "посчитать выбежавших и убедиться что из отдела все эвакуировались".


Если же сотрудник является ответственным за эту самую ТБ, ЭБ, и прочую пожаробезопасность, то там обязанностей гораздо больше, о чем долго и нудно расскажут на соответствующих курсах, выдав по итогам красную книжечку.


Системы пожаротушения.

Система порошкового тушения - это, фактически, коробка с килограммом (и более) мела. Для установки в серверной не пригодна, поскольку оборудованию после применения такой системы скорее всего будет капуууууууут.

Система газового пожаротушения - в помещении ставится бронированная пожаро-газо-проче- стойкая дверь, а в помещении баллон с азотом. При срабатывании системы в помещение поступает азот, который вытесняет кислород и гореть становится нечему. Есть некоторые проблемы с ростом давления, но этот момент надо уточнять еще при проектировании установки такой системы. Главная проблема - при срабатывании этой системы надо немедленно убежать, поскольку человек дышит кислородом, и без него живет минуту-две. Наличие изолирующего противогаза с регенерацией - по желанию.

Есть проблема выхода из строя оборудования от шума и вибрации при срабатывании системы.


Системы пожаротушения на Novec 1230.

Фактически газовая (хладоновая) система, но более мягкая по давлению и действию на случайно попавший в зону тушения человеческий организм. Можно успеть убежать.

Почитать про нее можно например на Хабре:

https://habrahabr.ru/company/3mrussia/blog/200840/

https://habrahabr.ru/post/194268/


Противогазы изолирующие и фильтрующие.

1. В зону пожара лезть не надо НИКОГДА.

2. Из зоны применения систем пожаротушения надо НЕМЕДЛЕННО УХОДИТЬ.

3. Фильтрующие противогазы, респираторы и так далее в зоне применения систем пожаротушения НЕПРИМЕНИМЫ. Там нет кислорода - он весь вытеснен газовой смесью.


4.8 Прочие инженерные системы. Строительство в целом.

Планирование размещения и транспортировки оборудования.

Из прочих инженерных систем мне попадалась разве что старая телефония, на 50-парниках и разведенная в такие же старые шкафы.

Часто бывает на старых заводах, например. Иногда даже работает.

Иногда на нее завязан ОЧЕНЬ ВАЖНЫЙ сервис. Который нигде не документирован - например сигнализация, или 20 лет назад установленный ADSL. Будьте осторожны при отключении.


Строительство в целом. Планирование размещения и транспортировки оборудования.

Про необходимость этого короткого абзаца мне напомнила известная история - "Выпуск 3. Чудо-богатыри". Очень рекомендую найти и прочитать, дважды. Так вот, проблема техники и шкафов в том, что шкафы (особенно ИБП, размерами от симметры и выше) - реально тяжелые. Полтонны - легко. Бывает больше.

Набитый шкаф может весить тонну. Соответственно - проектируйте, учитывайте и контролируйте и несущую способность пола, и что у вас фактически подходит к розеткам (например, не проложено ли у вас старое алюминиевое рассыпающееся говно), и как вы будете организовывать занос\вынос шкафа из вашего помещения. 120-150 кг пустой шкаф.


Для продвинутых сотрудников - при проектировании надо помнить о таких вещах, как поэтажные планы, с указанием электропроводки, всяких каналов, отопления, воздуходовод, воды всякой и канализации. Желательно, конечно, держать копию всех схем у себя и дружить со службой эксплуатации здания - сантехники, электрики, службы контроля всяких пожарных дымоуловителей и прочих извещателей, телефонисты, кондиционерщики и так далее.


ГОСТЫ.

ГОСТ-34

ГОСТ 34.602-89 Техническое задание на создание автоматизированной системы

ГОСТ 34.201-89 Виды, комплектность и обозначения документов при создании автоматизированных систем

РД 50-34.698-90 Автоматизированные системы. Требования к содержанию документов

https://habrahabr.ru/post/122700/


ГОСТ-19

ГОСТ 19.001-77 Единая система программной документации. Общие положения

http://www.vniiki.ru/collection.aspx?control=40&catalogid=temat-sbor&id=868075


Физика

ПУЭ - Правила устройства электроустановок ПУЭ текущей редакции (на 2016 год - 7е издание, Минэнерго России От 08.07.2002 N 204).

Болид - вводный курс по СКУД.

Строительные нормы и правила (СНиП)

ГОСТ Р 50345-2010: Аппаратура малогабаритная электрическая. Автоматические выключатели для защиты от сверхтоков бытового и аналогичного назначения. Часть 1. Автоматические выключатели для переменного тока

МЭК 60898-1:2003* (издание 1.2) "Аппаратура малогабаритная электрическая. Автоматические выключатели для защиты от сверхтоков бытового и аналогичного назначения. Часть 1. Автоматические выключатели для переменного тока" (IEC 60898-1:2003 "Electrical accessories - Circuit-breakers for overcurrent protection for household and similar installations - Part 1: Circuit-breakers for a.c. operation").


4.9 Системы извещения - пожарные извещатели, СМС оповещения, прочее.

О них надо помнить, настраивать и проверять.

Хотя это и инженерные системы.

Ссылки на системы от NAG - выше.


4.10 Вопросы по инженерным системам, без ответов.


Лично я считаю, что ответы на все эти вопросы должен знать любой сотрудник, любой эникей. И даже инфобезопасник.


4.10.1 Зачем в серверных вообще нужно кондиционирование, если ПК сотрудников отлично работают и без него.

4.10.2 Зачем на кондиционере нужна помпа.

4.10.3 Сколько раз в год нужно проводить обслуживание кондиционера и почему.

4.10.4 Зачем на кондиционере нужен зимний пусковой комплект.


Электричество

4.10.5 Сколько проводов заходит в стандартную розетку и почему?

4.10.6 Как определить, где в розетке ноль и фаза, хотя бы два способа.

4.10.7 Для чего нужен провод с пятью проводами в нем?

4.10.8 Что означает цифра 6 в маркировке C6 на автомате? И, кстати, как это связано с тем, что при включении чайника этот автомат постоянно срабатывает?

4.10.9 Зачем нужно УЗО.

4.10.10 Что такое ИБП в общих чертах и зачем он нужен?


Пожаробезопасность

4.10.11 Что нужно делать при обнаружении пожара

4.10.12 Что нужно делать при срабатывании системы оповещения о пожаре?


Электробезопасность.

4.10.14 Почему удлинители - "пилоты" на рабочем месте, это плохо?

4.10.15 Почему пройдя мимо и увидев лазерный принтер, включенный в "тройник" надо остановиться, и что нужно объяснить тем, кто работает в комнате?

4.10.16 Что надо сказать, увидев что сотрудники вскладчину купили чайник и микроволновку?

4.10.17 Почему увидев разломанную розетку стоит написать докладную в 2 экземплярах и убедиться что одна копия пришла главному электрику, а вторая непосредственному руководителю?

4.10.18 Из реальной практики - 1. Вас как-то очень душевно приложило электричеством от корпуса шкафа, в котором стоит сетевое оборудование. Каковы ваши действия? Что надо носить с собой при такой работе?


Статическое электричество.

4.10.19 Сталкивались ли с статическим электричеством?

4.10.20 Что произойдет с микросхемой при проходе статики через нее?

4.10.21 Для чего нужен антистатический браслет?


4.11 Производство - разница между Silicone и Silicon. Процесс в общих чертах - от песка до чипа.

Silicon - это кремний, а Silicone - целая группа кремниорганичерский соединений, от смазок до пластиковых ложек, ну и еще известно чего косметического от 3+ и выше.

Производственная цепочка:

Оксид кремния (особо чистый песок) - кремний.

Из металлического кремния получают хлорсиланы или фторсиланы.

Из хлорсиланов получают поликристаллический кремний, чаще всего по сименс-процессу.

https://ru.wikipedia.org/wiki/Поликристаллический_кремний


Затем из поликристалла долго и нудно растят монокристаллический кремний.

Монокристалл режется на пластины. Затем на пластинах долго и нудно (см. проектирование, маски, степперы) делают сам чип, потом чип корпусируется, к нему прикрепляются контакты, крышечки, прочий корпус и теплоотвод. И лишь затем идет упаковка в красивую коробочку или впаивание его в плату. Все.


Проблемы.

Весь процесс очень сложен.

Например, в РФ уже почти не получают чистый трихлорсилан.

Например, хлорсиланы - мало того что яд, так еще и горят и не тушатся водой (а очень даже наоборот). Фторсиланы еще хуже.

Современные степперы (станки для производства чипов) делает 2.5 фирмы в мире.

Маски под них - аналогично.


4.12 ASIC и вроде того

ASIC - application-specific integrated circuit. Специально обученная (ТМ) микросхема, решает какие-то конкретные задачи, без участия операционной системы и управляющего процессора. Соответственно, скорость обработки задач / пакетов не зависит от мощности и загрузки центрального/управляющего процессора и оперативной памяти.

Используются в сетевом оборудовании, системах контроля, специализированной обработки сигнала (DSP -A digital signal processor), шифрования, и так далее.


Часть 5. Физика СКС / LAN

5.1 Голая теория

Теоремы Шеннона, Котельникова. Немного физики, связанной с мегагерцами, оптикой, качеством меди и так далее.

5.2 Физический уровень/ The physical layer. Телефонная пара (лапша), медь, одно- и много-модовая оптика, радиоканалы.

Сети передачи данных - POE и PLC

5.3 Коммутация - типы розеток, типы оптики, витой паты, коннекторы, рекомендации по прокладке и укладке проводов, органайзеры, патч-панели.

Мультиплексирование, TDM/WDM. Прочее.

5.4 Полезное оборудование при монтаже СКС - рации, обжимники, тестеры, рефлектометры.

5.5 Физический уровень. Вопросы


5.1 Голая теория

Теоремы Шеннона, Котельникова. Немного физики, связанной с мегагерцами, оптикой, качеством меди и так далее.


Пару-тройку лет назад я столкнулся с людьми, несшими дикую, бесчеловечную хрень про ЦАП и АЦП, не понимая - что можно измерять в цифровом виде, а что нельзя - хотя на коробке и написано "цифровое". Вообще говоря, тут вопрос вкуса, но в цифре все же должны быть абсолютно считаемые данные, типа "2 штуки". С температурой, давлением, временем, длиной и так далее так нельзя - это знают все, кто хоть что-то помнит из университета, знает что такое "цена деления прибора" и "среднеквадратичное отклонение".

Примечание. Со временем можно - см. Планковское время. Но вы готовы к такой точности?

С длиной пока не ясно, квантование пространства не определено.


Однако с какой-то точностью можно померять аналоговые данные и выполнить АЦП - аналого-цифровое преобразование. Получить из 36.9 градусов - числовое значение 37, и далее оперировать уже числовым значением. Можно выполнить и обратное преобразование - из цифры 37 на входе, датчика и нагревательного элемента - получить что-то, нагретое " примерно до 37, плюс минус ошибка".

Обо всем этом умные люди были в курсе еще в 30-е, когда плотно занялись проблемами передачи данных через телетайпы и не только.

Итогом стали работы Шеннона, Хартли, Котельникова и многих других.

Главная, на мой взгляд, проблема в том, что в русском сегменте чаще знают теорему Котельникова-Шеннона. Да и то как название.

Вот только это ОДНА теорема из списка в пару десятков работ.

Список работ:

Прямая и обратная теоремы Шеннона для источника общего вида -- о связи энтропии источника и средней длины сообщений.

Прямая и обратная теоремы Шеннона для источника без памяти -- о связи энтропии источника и достижимой степени сжатия с помощью кодирования с потерями и последующего неоднозначного декодирования.

Прямая и обратная теоремы Шеннона для канала с шумами -- о связи пропускной способности канала и существования кода, который возможно использовать для передачи с ошибкой, стремящейся к нулю (при увеличении длины блока)


Теорема Найквиста -- Шеннона (в русскоязычной литературе -- теорема Котельникова) -- об однозначном восстановлении сигнала по его дискретным отсчётам.

Теорема Шеннона об источнике шифрования (или теорема бесшумного шифрования) устанавливает предел максимального сжатия данных и числовое значение энтропии Шеннона.

Теорема Шеннона -- Хартли

и так далее.

Пересказывать все эти теоремы смысла нет, но ознакомиться с ними ИТ-шнику безусловно стоит. Сразу станет понятно, сколько данных можно передать по каналу в 100 Мгц, и почему так важна связь частоты и скорости передачи. Там же поясняется и про помехи.


Немного физики, связанной с мегагерцами, оптикой, качеством меди и так далее.

Для сигнала (скорости) в первую очередь важна скорость распространения сигнала (это обычно плюс минус скорость света в канале), во вторую частота.

Однако с ростом длины кабеля появляется ряд проблем

- медный кабель начинает вести себя как конденсатор,

- оптический диапазон позволяет резко повысить частоту, но возникают проблемы поглощения и многократных отражений (см. одно\много мод), и так далее.

Чем ниже качество меди - тем хуже идет по ней сигнал, и это не считая проблем с поворотами, когда ВЧ сигнал ведет себя совершенно не так, как учат в школе. Самое простое, что можно сделать - соблюдать стандарты на укладку, повороты, длину и убирать помехи (от 220/380В) рядом.


5.2 Физический уровень/ The physical layer. Телефонная пара (лапша), медь, одно- и много-модовая оптика, радиоканалы.

Сети передачи данных - POE и PLC


Физика сейчас чаще всего представлена медью, оптикой и воздухом.

С медью все просто - лапшу оставим телефонистам, витую пару третьей категории я в жизни не видел, наверное, где-то есть, наиболее часто встречается 5, 5е, 6 и 6е категория. Медные кабеля 3-ей категории бывают 2-парные, 4 парные, и многопарные. Лучше не использовать даже по бедности.

Основной предмет рассмотрение - это неэкранированная (unshielded и иногда unfoiled) витая (twisted) пара(pair) - UTP. Бывает для внешней и внутренней проводки, различается наличием несущего пластикового тросика и качеством внешней обмотки.

Бывает экранированной (STP/FTP и вариации на тему).

Основные характеристики - категория 5е или 6/6а, поддерживает связь по стандарту 802.3u/100BASE-TX на расстоянии до 100 метров или 802.3ab/1000BASE?T для 5 категории кабеля, и 802.3an/10GBASE?T - при кабеле 6а.


Проблемы - малая помехозащищённость, так что смотрите стандарты проводки в условиях рядом расположенных кабелей высокого напряжения, вроде в ПУЭ, хотя может и СНИП.


Вообще, на мой взгляд, все сети выше гигабита надо тянуть оптикой, у нее нет таких проблем ни с дальностью, ни с помехами.

С Оптикой: что надо помнить:

Многомод - простой максимум 550 метров.

Одномод - чуть дальше, но дороже.

Можно почитать тут - https://habrahabr.ru/post/46818/


Или почитать вот это:

For comparison, while single-line, voice-grade copper systems longer than a couple of kilometers require in-line signal repeaters for satisfactory performance; it is not unusual for optical systems to go over 100 kilometers (62 mi), with no active or passive processing. Single-mode fiber cables are commonly available in 12 km lengths, minimizing the number of splices required over a long cable run. Multi-mode fiber is available in lengths up to 4 km, although industrial standards only mandate 2 km unbroken runs.

https://en.wikipedia.org/wiki/Fiber-optic_communication


Немного теории.

CSMA/CD (Carrier Sense Multiple Access with Collision Detection -- множественный доступ с прослушиванием несущей и обнаружением коллизий) -- технология (IEEE 802.3) множественного доступа к общей передающей среде в локальной компьютерной сети с контролем коллизий.

Именно этот метод использовался на заре времен для связи по одном большому общему проводнику (коаксиалу), где все станции постоянно слушали, а в сеть вещала только одна. Именно поэтому возможны конструкции типа "два пк по одному проводу", но так делать точно не стоит. Однако помнить об этом надо, могут на собеседовании и спросить.


Сети передачи данных - POE и PLC

https://ru.wikipedia.org/wiki/Power_over_Ethernet

https://en.wikipedia.org/wiki/Power_over_Ethernet

https://en.wikipedia.org/wiki/Power-line_communication


5.3 Коммутация - типы розеток, типы оптики, витой паты, коннекторы, рекомендации по прокладке и укладке проводов, органайзеры, патч-панели.

Мультиплексирование, TDM/WDM. Прочее.

5.3.1 Типовые разъемы и розетки.

5.3.2 Типовые разъемы и розетки - оптика.

5.3.3 Оптика - кабель, приемники, передатчики и медиаконвертеры.

5.3.4 С оптикой важно помнить следующее.

5.3.5 Радиоканалы.

5.3.6 SFP модули.

5.3.7 Мультиплексирование, TDM/WDM

5.3.8 Рекомендации по прокладке и укладке проводов.

5.3.9 Размещение розеток.

5.3.10 О высотной протяжке и работе на высоте.

5.3.11 Органайзеры, патч-панели.


5.3.1 Типовые разъемы и розетки.

RJ-11. Стандартная телефонная вилка, тонкая, на 2 жилы. Аналоговые телефоны, старые. В стандартном 8-жильном кабеле можно пропустить сразу 4 такие линии.

RJ-12. Вообще под этим стандартом подразумевают то RJ-14, то RJ-25, на 4 или 6 контактов, но почему-то в русскоязычном сегменте часто попадается упоминание такого стандарта как RJ-12 на 4 контакта. Используется в цифровых (системных) аппаратах на старых АТС, например Panasonik KX-TDA.

RJ-45. Стандартная 8-контактная вилка. Применяется и в связи 100M (тогда используется 2 пары/4 провода), и в 1/10G - тогда используются все 8.

Из использования всего 4 проводников в случае 100M происходит возможность протащить в одном кабеле сразу 2 линии по 100M, работать на дистанции до 30-50 метров будет, но лучше так не делать.


5.3.2 Типовые разъемы и розетки - оптика

Сейчас в работе осталось (в СКС/ЛВС) два типа разъемов - T-SC и LC.

Раньше было больше. Копипастить страницами нехорошо, поэтому пусть будет ссылка

http://sysadmins.ru/post11607976.html


5.3.3 Оптика - кабель, приемники, передатчики и медиаконвертеры.


Сейчас используются две большие группы оптики - одномодовая и многомодовая.

Комплект "одномодовое волокно и одномодовые приемо-передатчики" используется для связи на большие дистанции (десятки километров), комплект стоит дороже многомодового.

Многомодовые "передатчики и приемники" используются, соответственно, на близкой дистанции (25-400 метров), стоят дешевле.

Для связи между техникой (например, FC) чаще стоят именно многомодовые приемо-передатчики.

Важно отличать single-mode (SMF) и multimode (MMF). В общем случае это написано на кабеле, иногда используют цветовую дифференциацию штанов - одномод желтый, многомод оранжевый или синий. Подробнее про скорости, дальности и цвета

тут https://en.wikipedia.org/wiki/10_Gigabit_Ethernet

и тут http://sysadmins.ru/post11607976.html


Стоит помнить, что обычный приемо-передатчик работает по 2 жилам - одна на прием, вторая на передачу. Есть "одноглазые" - работающие по одной жиле. В этом случае не стоит забывать о разнесении частот приема и передачи.


OM1-OM2-OM3-OM4 and OS

In ANSI/TIA-568-C.3, the TIA adopted the nomenclature for fiber found in the international standard ISO/IEC 11801. The multimode fiber is prefixed with "OM" and the singlemode mode "OS".

http://ru.flukenetworks.com/content/om1-om2-om3-om4-and-os1-os2-fiber


Бывают и универсальные модули, которые работают по любому типу кабеля, например

Cisco SFP-10G-LRM Module

The Cisco 10GBASE-LRM Module supports link lengths of 220m on standard Fiber Distributed Data Interface (FDDI) grade multimode fiber (MMF). To make sure that specifications are met over FDDI-grade, OM1 and OM2 fibers, the transmitter should be coupled through a mode conditioning patch cord. No mode conditioning patch cord is required for applications over OM3 or OM4. For additional information on mode conditioning patch cord requirements please see:

The Cisco 10GBASE-LRM Module also supports link lengths of 300m on standard single-mode fiber (SMF, G.652).

http://www.cisco.com/en/US/prod/collateral/modules/ps5455/product_bulletin_c25-530836.html.


Очень советую изучить

Table 1. SFP Port Cabling Specifications

Тут

http://www.cisco.com/c/en/us/products/collateral/interfaces-modules/gigabit-ethernet-gbic-sfp-modules/product_data_sheet0900aecd8033f885.html


Про нанометры.

Надо помнить, что для приема и передачи применяются (в том числе для WDM и прочего уплотнения) длины волны (Wavelength (nm)). Внимательно смотрите, что и к чему вы берете в пару. Что у вас там на Tx и что на Rx, особенно при одноглазых модулях.


Медиаконвертеры.

Никак нельзя обойти стороной эти полезные (а главное-недорогие) устройства.

Конвертер в 100Мбит single mode стоит 20 долларов за штуку (надо два), например SNR-CVT-100A и SNR-CVT-100B

http://shop.nag.ru/catalog/01897.Mediakonvertery/02394.100Mb/02170.SNR-CVT-100A


Примечание от читателей:

Медиаконвертеры они достаточно удобные, но неуправляемые. Имеют одну особенность: у них часто горят блоки питания (на первой моей работе основная причина неисправности заключалась в выходе из строя бп медиаконвертера), так что необходимо лучше и тщательнее подбирать у них оную вещь - ибо стоять будет не в сервачке с охлаждением.

Ключевой момент. НЕ НАДО СОЧЕТАТЬ медиаконверторы и всякое неуправляемое говно. Даже в некоторых операторах связи имеется такое, не говоря о разных любителях сэкономить в разных не связистких конторах ( оптимизация, фигли) .

Так что при сочетании медиаконвертера и неуправляемого устройства имеется риск искать почему у нас что то там отвалилось день или даже два.( это если повезет, и на техучет не сильно забивали).


Исполнение

Environmental Conditions and Power Requirements

Commercial temperature range (COM): 0 to 70°C (32 to 158°F)

Extended temperature range (EXT): -5°C to 85°C (23 to 185°F)

Industrial temperature range (IND): -40 to 85°C (-40 to 185°F)

Storage temperature range: -40 to 85°C (-40 to 185°F)


5.3.4 С оптикой важно помнить следующее:

- одномодовые передатчики практически не работают по многомодовому кабелю и наоборот.

- чаще всего на модуле один канал (гнездо) приемник, второй - передатчик. Соответственно, патчкорды надо переворачивать при включении, и ВНИМАТЕЛЬНО смотреть, где у вас в Rx и Tx для приемника и передатчика.

- смотреть в модуль нельзя, ДАЖЕ ЕСЛИ вы умеете отращивать новые глаза. Очень относительно и ни в коем случае НЕ рекомендованным способом является свечение на лист белой бумаги, красную точку видно. Для чего-то большего, чем short-range - смотреть в провод и на лазеры в модули ЗАПРЕЩЕНО КАТЕГОРИЧЕСКИ ВООБЩЕ.

- Для просвечивания / прозвонки линий применяется специальная техника для просветки. Если патчкорд 1-2 метра еще можно просветить лазерной указкой, то что-то большее уже практически невозможно.


Одномод по многомоду, многомод по одномоду.

Работает, но плохо (ошибки, низкая скорость), недалеко (метры), и не всегда.

Причем в некоторых случаях удавалось заводить разные конвертеры с двух сторон при совпадающих частотах - с одной стороны конвертер в многомод, с другой в одномод.

Пишут:

у меня есть точка где с одной стороны конвертер многомод, с другой - одномод, кабель - многомод. на 100 мбит вполне себе работает.


Пишут: одномод в многомод -- 250м - работает. следующий порог был 500 метров -- по наличию кабеля -- не завелся. 100 Мбит.

Делать так не надо, к тому же там еще и мощности часто разные - можно приемник сжечь.


5.3.5 Радиоканалы.

В случае офиса все сравнительно просто. Есть 2 больших (2.4 и 5 ггц) диапазона, в каждом из которых есть несколько частотных каналов и субканалов.

При возможности надо использовать диапазон 5 ггц.

Важно помнить следующее:

- Wifi работает по все тому же CSMA/CD (Carrier Sense Multiple Access with Collision Detection -- множественный доступ с прослушиванием несущей и обнаружением коллизий), один говорит - остальные слушают. Соответственно, на скорость радиосети влияют как помехи от других точек доступа в том же диапазоне, так и число станций, подключенных именно к этой точке. Скорость в общем случае делится на всех.

Поэтому перед включением - проверьте, что в данной местности с посторонним Wifi - хотя бы с использованием планшета с установленным Wifi analyzer, или с ноутбука с использованием inssider и ему подобного ПО.


Читать

Проектирование Wi-Fi сетей на базе оборудования Cisco

http://www.cisco.com/web/UA/about/news/2014/09/230914c.html


Что касается радиомостов и прочей релейной связи - то там все сложней.


5.3.6 SFP модули.

Для связи по оптике чаще всего в коммутаторах используются модули стандарта SFP и SFP+. Под какие скорости, дальности и типы кабеля они предназначены - чаще всего написано на самом модуле. Зачастую (почти всегда) модули одних производителей не работают в оборудовании других. Визуально модули практически не отличаются.


Важно помнить:

XENPAK - the original 10GbE pluggable optics. Presents SC connectors


X2 - the successor to the XENPAK. Presents SC connectors


XFP - the first of the small form factor 10GbE optics. Presents LC connectors


SFP+ - a 10GbE optics using the same physical form factor as a gigabit SFP. Because of this, many of the small SFP+ based 10GbE switches use 1G/10G ports, giving an added degree of flexibility. Presents LC connectors.

http://www.networkworld.com/article/2231028/cisco-subnet/confused-by-10gbe-optics-modules-.html


Про черную-черную магию.

НИКОГДА ТАК НЕ ДЕЛАЙТЕ.

service unsupported-transceiver

no errdisable detect cause sfp-config-mismatch

no errdisable detect cause gbic-invalid


Дополнительные сервисные модули (service modules) - см. в разделе

Встраиваемые модули для сетевого оборудования.


5.3.7 Мультиплексирование, TDM/WDM

Тема на самом деле с одной стороны огромная, с другой - больше относится к магистралям.

Что почитать:

https://en.wikipedia.org/wiki/Wavelength-division_multiplexing

https://ru.wikipedia.org/wiki/Мультиплексирование


5.3.8 Рекомендации по прокладке и укладке проводов.

Для начала о проводах. Я привык, за много лет, не кроить уж совсем на кабеле "до клиентов" - 5Е категория, кабель .. вот уже не помню какой. Однако одно дело сотня розеток и пара бухт, другое дело - 10 тысяч розеток и 30 метров до каждой минимум. 100 бухт, а то и больше. Надо смотреть, иногда попадается дешевое, но такое ... типа омедненного алюминия.


О протяжке.

Есть всего один способ НОРМАЛЬНОЙ протяжки кабеля - в лотках, вертикальных и горизонтальных. За фальшпотолком или под полом - уже не так важно. Соответственно, сначала ставятся лотки, потом кабеля разматываются, группируются в пучки по 5-10, протягиваются и маркируются на обоих концах. Лучше бы и посередине, какой пучок где, но зачастую это не очень надо.

Главное - НЕ тянуть в одном лотке электрику и медную слаботочку (СКС). НИКОГДА. Кстати, ПУЭ и еще что-то это прямо запрещают, учите матчасть.


Из стран, которые расположены за теми странами, где проживают плешивые люди. И

мужчины и женщины, и взрослые и дети - все плешивые в этой стране, и питаются эти удивительные люди сырой рыбой и древесными шишками.

Сообщают:

Местный южноавстральный любимейший способ тянуть пуки - catenary wire, пук на стальном тросе, висящем где-то там за потолком в пустом пространстве. Для мелких работ (пару проводочков поперек комнаты) более чем, прекрасно подходит и для ремонтов-доделок (готовишь пук на полу, тянешь за потолком все вместе, растягиваешь с двух концов ап стену - готофф!), несколько напрягает когда точно так же начинают разводить всю сеть с самого начала вместо чтоб проложить лоток, и там за потолком колбасятся десятки таких пуков по 20-30 кабелюк в каждом, медленно покачиваясь как висельники.

Австральный стандарт на скс прямо велит на каждую розетку иметь адын кат5/6 и второй что-нибудь, по вкусу - кат5 или оптику. Никаких одиночных розеток ваще, даже "да нам в коридоре для принтера!". Можно больше, разумеется, иногда - нужно, но для хомячатника обычно не требуется. Просто розетки надо чаще ставить, не "да сюда и четыре стола не влезет, три розетки на комнату и хватит, КВААА!" - через несколько лет влезет и четыре стола, а за них посадят шесть хомячков.

розетки лучше всего ставить в стены, не на короба, но это требует работ до гипса.

Еще стоит сильно понапирать на необходимость однозначно читаемой разметки розеток. Я предпочитаю схему с "этаж-номер патчпанели-номер розетки", чтоб мгновенно найти в шкафу соответствующую дырку, но и "этаж-номер розетки на этаже" и даже "этаж-номер комнаты-номер розетки в комнате" приемлемо, хоть и гораздо противнее в шкафу ковыряться, а уж при всяких перестройках оно совсем в тыкву превращается. Лишь бы только эти номера были уникальны.

размещение в шкафах, если не очень жалко, все же свич-органайзер-2патчпанели-органайзер-2патчпанели и тд. Если свичей много, то можно их группировать в середине, менее предпочтительно в одной стороне (толщина коврика растет, но зато всегда можно добавить еще один, второй, третий...), еще менее предпочтительно распределять равномерно по высоте - обязательно где-то в середине портов не хватит и будет каша.


О протяжке собаками и прочими машинками.

Для одного (ну двух) кабеля без лотков - еще куда не шло. Для сотен и тысяч - нуну, попробуйте протащить пучок в 10 проводов, длиной 50 метров, по лотку, собакой.


5.3.9 Размещение розеток.

Моя практика показывает, что все строители - любители покроить на слаботочке, что по сути - КРОИЛОВО. Которое известно куда ведет. В результате постоянно поступают одинаково дурные идеи

- давайте половину проводов протянем телефонной лапшой/2-парником третьей категории.

НЕТ. НИКОГДА так не делайте. Окажется, что именно сюда надо поставить второй ПК, а розетки нет.

- Давайте поставим по 1 (одной) розетке на рабочее место, все спланируем, ничего двигать не будем, а телефония у нас IP, так что ПК включим через телефон, или вообще всем софт-клиенты поставим, и пусть сидят с гарнитурами.

НЕТ. Минимум - 2.5 запланированных розетки на рабочее место. 5 розеток на двоих. Сюда при необходимости (или уплотнении, всякое бывает) встанет еще один телефон, ноутбук, сетевой принтер, факс и так далее. Иначе это все превратится в закупку неуправляемых 8/16 портовых коммутаторов и полной неразберихе в проводах. Это не говоря о том, что неуправляемый коммутатор под столом - гарантированный источник проблем первого

- (не работает он сам, потому что сгорел/случайно выключили)


и второго рода

-(включили в него два провода, а bpdu-stp/mac-security / mac-learning / прочее - не настроили. Потому что на этом тоже скроили, а вместо настройки - использовали известный метод "вчера надо" и "хуяк-хуяк и в продакшен").


Самих способов размещения розеток два - настенные (иногда напольные) кабель-каналы и в них розетки, и напольные лючки (при высоком фальш-поле). Оба варианта имеют свои плюсы и минусы, вопрос выбора остается за дизайнером.


5.3.10 О высотной протяжке и работе на высоте.

Тут все просто. Есть правила охраны труда при работе на высоте

http://git12.rostrud.ru/news/266547.html

http://git36.rostrud.ru/news/253182.html

Все просто. Используйте страховку, работайте аккуратно, не устраивайте акробатических номеров.


5.3.11 Органайзеры, патч-панели.

Что касается патч-панелей и органайзеров, то нормального их размещения (в случае стандартных 1U *48 портов switch) не так много. Типовая патч-панель-24 порта, значит вопрос только в том, в каком порядке их ставить -

Switch - Ппанель-Ппанель-горизонтальный кабель-органайзер, или сначала пп, потом органайзеры.

Есть еще достаточно (как по мне) странный метод организации патчпанелей - когда коммутаторы группируются, в них включается группа ПП на 48 портов, выведенная на соседний шкаф, где и идет основная коммутация. Мне кажется, что этот метод добавляет минимум 2 разъемных соединения - окисляющихся за 2-3 года.


Бывают исключения - если коммутатор достаточно большой (Dlink-DGS-6608/ DES-7210DC, Cisco Catalyst 6509, Cisco Nexus 9516, Avaya Virtual Services Platform 9000), то вариантов особо и нет - только через коммутацию в соседний шкаф, через боковые вертикальные органайзеры или подвесные лотки.


5.4 Полезное оборудование при монтаже СКС - рации, обжимники, тестеры, рефлектометры.

Рации и гарнитуры.

Необходимый элемент при протяжке. Лучше со сменными батареями, и при наличии запасных АКБ.

И еще лучше, если они не программируемые через отдельный кабель, а с настраиваеваемыми вручную (с кнопок на ней) частотами.

Гарнитуры и активация голосом/выносной кнопкой - тоже очень полезная вещь. Ларингофоны - хорошо, но хорошие ларингофоны дороги, а дешевые - отвратительны.


Полезные жилетки.

Не могу обойти вниманием полезную практику рассовывания вещей не по карманам штанов, а по специально приспособленному жилету.

Очень хорошо себя показали жилеты Eagle Industries Multi Purpose Chest Rig MOLLE и системой WaterPoint? Carrier. Вариации на тему RRV тоже неплохи, как и РПС М3003 с ремнем М3003-М от Выдры. Карманы, точнее подсумки - по вкусу.


Конечно, нужны перчатки. Хорошие перчатки делает фирма mechanix - http://www.mechanix.com/

Иногда нужны перчатки для сложных условий, на номексе. Можно и нужно брать тут

http://www.armytex.ru/catalogue/?func=item_details&iden=1916


Тестеры, рефлектометры

Без них просто нельзя.

Кроме того нужны маяки / тон-генераторы.

Хорошее тестовое оборудование производит фирма Fluke. Ценник, конечно, внушает.

Хотя можно и на Али посмотреть.

Noyafa NF-388 Blue English Version Multi-functional Network cable tester Cable tracker RJ45 lan tester LCD display


Старайтесь требовать проверки всех розеток на соответствие категории. Современные тестеры это умеют.

ВНЕЗАПНО при монтаже и пуско-наладке почти всегда нужен простой складной стул (охотничий / кемпинговый). Стоит дешево, и снимает проблему "удобства работы".


5.5 Физический уровень. Вопросы

5.5.1 Почему витая пара, собственно, витая. Для чего.

5.5.2 Что произойдет, если витую пару разрезать / перекусить, затем смотать и изолировать изолентой?

Точнее так - допустимо ли в витой паре скручивать провода и конкретно заматывать изолентой? Какие ограничения на длину провода это накладывает? (если накладывает)

5.5.3 Что происходит при использовании джойнеров / соединителей-удлинителей кабеля.

5.5.4 Можно ли по одному и тому же кабелю (UTP) передавать и электричество(power), и данные (Ethernet) ?

5.5.5 Можно ли передавать данные по электросети 220 вольт?

5.5.6 Можно ли смотреть в выводы оптических интерфейсов? Сколько раз?

5.5.7. Как проверить целостность медного и оптического патчкордов ?

5.5.8 Продолжите ряд: белооранжевый-оранжевый, бело-зеленый- ? бело синий - ? бело коричневый-?.

5.5.9 Какой еще цветовой ряд возможен? Что с другими комбинациями?

5.5.10 Можно ли прокладывать медную витую пару рядом с электрическим кабелем, особенно в лифтовых шахтах.


5.5.11. Если работали с оптическим кабелем для внешней проводки, опишите устройство кабеля.

Если работали со сваркой оптики, опишите процесс.


5.5.12 Вопрос из практики.

Пришла партия SFP модулей. Вы втыкаете модуль в уже подключенный к электросети, загрузившейся коммутатор. И, еще до подключения к нему оптики, видите что порт загорелся зеленым.

Что такое произошло и что с этим делать?

Что будет, если такую SFP поставить на сеть?


Часть 6. Уровень доступа к сети. Начальный уровень.

6.1 Коннекторы, сети 10/100M, сети 1G/10G, POE - power over Ethernet

6.2 Hub, switch (SFP, SFP+).

Мировой рынок по L2. Импортозамещение в сегменте L2

Примечания от реальных пользователей.

Обучение.

список литературы / Полезное

6.3 Подключение ПК к сети. DHCP

6.4 The network access layer. Общее.

Сети простые. ip, tcp/udp.

6.5 Базовые утилиты командной строки для работы с сетями в windows

6.6 Базовые утилиты командной строки для работы с сетями в linux/freebsd

6.7 Вопросы по уровню доступа к сети


6.1 Коннекторы, сети 10/100M, сети 1G/10G, POE - power over Ethernet

Сейчас наконец-то для подключения ПК к ЛВС используется один тип коннектора - RJ-45.

В оптике дела хуже - SC, FC, LC и так далее.

Сети 10/100M (мегабит) - наследие былых времен, однако встречается повсеместно. Нормальная скорость сети - таки 100M, используется 4 провода из 8.

Дуплекс/полудуплекс - вспоминайте сами.


Сети 1G - обычная современная ЛВС, скорость подключения 1 гигабит (скорость передачи данных до примерно 120мбайт/сек), используются все 8 проводов.


Примечание: в 2015-м году добавились две новые скорости по существующей кабельной сети 5e/6 категории - NBASE-T

However, based on NBASE-T specifications, our new technology delivers speeds of 1G, 2.5G, 5G, and 10G on existing Cat 5e / 6 cabling.

https://blogs.cisco.com/enterprise/introducing-cisco-catalyst-multigigabit-technology-to-future-proof-your-network-for-802-11ac-wave-2


http://www.nbaset.org/


Сети 10G - это или оптика, или медная витая пара категории 6а. Встречается между серверами, СХД, иногда на связи между ядром сети и коммутаторами доступа.

С 10/40G платами в модульных коммутаторах, старых и не очень, есть отдельная беда - недостаточная ширина внутренней шины. Уточняйте эти особенности при планировании, возможно не все порты на модуле смогут работать на полной скорости.


Сети 40G - есть такая штука. По факту это 4 раза по 10 в одном оптическом кабеле.

POE - power over ethernet. Полезная в хозяйстве вещь, когда к телефонам, видеокамерам, точкам доступа и иному мелкому оборудованию можно не включать кабели питания, а подавать его сразу по той же 10/100/1000 - сети.

Используются или специальные коммутаторы с встроенными модулями POE, или power injector - оборудование.


6.2 Hub, switch (SFP, SFP+).

Мировой рынок по L2. Импортозамещение в сегменте L2

Примечания от реальных пользователей.

Обучение.

список литературы / Полезное


Для понимания что такое HUB и в чем разница его с SWITCH надо понимать работу CSMA/CD (Carrier Sense Multiple Access with Collision Detection -- множественный доступ с прослушиванием несущей и обнаружением коллизий).

В случае HUB в сети логически присутствует один большой проводник, в который все участники сети шлют пакеты, когда сеть не занята передачей данных. Весь этот "один проводник" называется "домен коллизий" / Collision domain.

Правда, сейчас HUB не встречается уже лет 10 (c 2005 года), разве что у кого-то может на складе лежать или случайно встретиться, типа очень давно (начало 2000-х) популярных COMPEX DX2216 Dual Speed Stackable Hub 16 port 10/100 Mbps.

сейчас продается только SWITCH , управляемые и не управляемые.


SWITCH в первую очередь делит сеть на множество маленьких (порт - ПК) доменов коллизий, в результате каждый участник обмена данными может передавать данные в сеть вне зависимости от активности другого ПК на другом порту (если, конечно, сеть не забита бродкастами, но об этом потом).

Такая работа требует от SWITCH некоторого количества мозгов - если раньше сам ПК перебирал все приходящие к нему Ethernet пакеты в поисках пакета "для себя", то сейчас такой разбор выполняет SWITCH, сохраняя у себя таблицу "какой mac за каким портом находится" и периодически эту таблицу обновляя.

Управляемость SWITCH - дополнительный некий функционал (С), позволяющий делать всякое полезное с VLAN, управлением портами, безопасностью сети и так далее.


Модули SFP/SFP+ - часто при покупке SWITCH требуется иметь возможность "когда-то потом" добавить к нему возможность связи по оптике. Или по 10G сети. Для этого в некоторые SWITCH ставят пустые слоты для установки таких модулей.


темы STACK, fabric, VSS, IRF рассмотрены ниже


Темы ARP, mac-address-table, STP, PortFast BPDU guard / BPDU filter, dhcp snooping рассматриваются в

- соответствующих курсах Cisco (ICND1-2, R&S и так далее)

- Линк ми ап - http://linkmeup.ru/blog/11.html

- Xgu - Xgu.ru


Стоит ознакомится и с известным экстремистским ресурсом Лурк, в части статьи про сиське -

lurkmore.to/Сиськи

lurkmore.to/Циска

Ибо там сказана истина:

не знаешь, что делать с циской -- go to cisco.com, и не забудь лопату побольше. Если не нашел нужного документа/мануала/картинки/описания, значит ты плохо искал. Также Cisco Systems держит целое издательство Cisco Press, выпускающее книги по настройке цисок и сети вообще. По этим же тоннам макулатуры обычно готовятся к экзаменам. Некоторые книги винрарны даже безотносительно цисок, например "Принципы маршрутизации в Интернет".


Кроме того, в дальнейшеми (работая с NLB и прочей L2 кластеризацией/балансировкой) нужно отдельно почитать про:

Private vlan в разрезе ARP-spoofing (ARP-poisoning) http://xgu.ru/wiki/ARP-spoofing

Gratuitous ARP - Самопроизвольный ARP может быть полезен в следующих случаях:

Обновление ARP-таблиц, в частности, в кластерных системах;

Информирование коммутаторов;

Извещение о включении сетевого интерфейса.


Мировой рынок по L2 представлен:

- неуправляемым говнищем разного рода (плюс унаследованное говнище всех видов),

- web-управляемым говнищем тоже пары тысяч видов, например 12-портовыми d/tp/ прочая - link ами. Не то чтобы они совсем конченое говно, нет - если у вас 5 (пять) ПК и один роутер типа любимого известным инфобезопасником-девопсом Dlink dir-100, или даже asus какой-то там с вайфаем, то почему нет - на пять рабочих мест покупать .. как бы так извратиться .. скажем Cisco 4500-X или Nexus 3000 - ЗАЧЕМ ?

море всякой китайчатины - http://www.sugon.com/en/


- более-менее управляемым (читай - консоль) оборудованием.

Это импортный производитель -

Cisco, Extreme, Avaya, Juniper, HP, Dell, Brocade, Huawei, ZTE, Zyxel. Микротик кстати, хотя надо по модельному ряду уточнить, вроде они скорее L3+nat

Может еще Аруба (HPE / Aruba), хотя это вай-фай. Netgear, Allied Telesis, .. общем, их есть.


Примечание: для случаев "надо маленький коммутатор" - есть HP 1810-8, Dell 2808. Не надо кроить на мелочах. КРОИЛОВО вредно.

И есть отечественный производитель, о нем ниже - там где про импортозамещение.


Примечания от реальных пользователей.

Насчет D-Link .. не знаю. Сколько сталкивался - все время было какое-то говно на этапе конфигурирования и после года работы, и сплошной веб-менеджмент. Но на домах и в регионах у людей стоит, работает.

Это еще они побороли болезнь всех ранних D-Link уровня access - сдыхание блоков питания через 2-3 года, приводившее к рандомным глюкам.


Что там говорить - в одной дружественной конторе их 4 штуки, и они даже работают, но порой так глючат - типа, питания хватает на 6 POE устройств из 12, а потом начинается лажа.


Примечания от реальных пользователей D-Link:

Ага, работает. И даже не падает. Особенно сильно оно не падает в период летних гроз. Ну и вообще зависание оного коммутатора наверное родовая болезнь.


Прошивки и подход - это ппц. У D-Link команды отличаются не только в зависимости от модели но и при разных прошивках.


Отечественный производитель и вариации под линуксом (Open vSwitch)

Говоря о отечественном производителе для L2 и выше (т.е. без мультиплексоров) - 03/2016, надо понимать, что с своими чипами в РФ никак. Их нет - поэтому внутри стоит Broadcom, Marvel или какие-то китайцы, или еще кто с аутсорса. Впрочем, та же картина (аутсорс) и у многих других "типа вендоров". Лично мне отечественный производитель в руки не попадался и за информацией я не особо слежу.

Так что по отечественному будет перечень, местами с комментариями. Качество .. ну, они работают. Оценок по глюкам ввиду малой распространенности в целом - я не видал.

Пишут на хабре:

Zelax: предположительно DCN -- Digital China Netwroks

Qtech: сдираем наклейку -- видим OEM, возможно EdgeCore

РКСС: старые наработки Alcatel-Lucent

РКСС -- Российская корпорация средств связи- Коммутатор локальной сети серии RSОS6250

http://www.pkcc.ru/products/kommutator-lokalnoy-seti-serii-rsos6250


Русьтельтех: франшиза Marvell, ПО ROS 1.1 (вероятно, концы ведут на Larch Networks)


Алситек http://www.alstec.ru/node/133

Ангстрем телеком http://www.angtel.ru/catalog/

Булат - http://bulat-opk.ru/

Полигон - Арлан-3226GE-S: https://plgn.ru/catalog/602/2682/

Русьтелетех http://rusteletech.ru/seriya-rtt-a300

Супертел - Оборудование коммутации пакетов информации (K21/K23)

http://www.supertel.info/k21k23.html

Eltex - Элтекс http://eltexcm.ru/lp/#oborudovanie

Etegro http://www.etegro.ru/ . Кстати делают еще и СХД.

Метротек - http://metrotek.spb.ru/x10-24.html, но они L2+L3, и 10/40/1000 - т.е. другой класс.

Nateks

NAG (серия SNR) http://shop.nag.ru/catalog/00001.Kommutatory/04963.SNR/17638.SNR-S2965-24T


QTech

Zelax

ЗАО "Информтехника и Связь" - маршрутизирующие коммутаторы "Поток-КМ-122" и "Поток -К-242"

Морион Коммутатор уровня доступа на российской элементной базе КАМ?1082

http://www.morion.ru/products/kommutatory-i-oborudovanie-ethernet/kommutator-urovnya-dostupa-na-rossiyskoy-elementnoy-baze-kam-1082

Elsicom - опять же на хабре поминают в комментах https://habrahabr.ru/post/277609/


Примечания от реальных пользователей.

Алситек

Гуано редкое. Причем как по софтовой части так и по железу. Не надо такое ставить на сеть.


Ангстрем телеком

Имеет народное прозвище АнгстрЁм.

Делает коммутаторы "Топаз" на 8, 16 и 24 порта. После некоторого времени работы ВНИЗАПНО начинает давать ошибки на гигабитных портах. Лечится только заменой платы. Причем плата меняться в силу особенностей конструкции коммутатора может только вдвоем.

Да, если все таки ставить оное поделие, то оставляйте для оптического кабеля заведенного в ящик оного топаза запас. А то плату менять умудохаетесь.


Обучение

1. По эмуляции циски вопросов нет - http://ru-sysadmins.livejournal.com/2424873.html

1.1 Cisco Packet Tracer http://habrahabr.ru/post/252085/

https://ru.wikipedia.org/wiki/Cisco_Packet_Tracer


1.2 GNS3 + Dynamips http://habrahabr.ru/post/164001/

GNS3 первый запуск

http://www.go-to-easyit.com/2011/04/gns3-windows-7_22.html

https://habrahabr.ru/post/164001/


1.3 Cisco on Unix (IOU) -

http://habrahabr.ru/post/164001/

http://habrahabr.ru/post/196228/

http://xgu.ru/wiki/Cisco_IOU


У ХП есть - HP Comware Lab (HCL) http://habrahabr.ru/company/hp/blog/261505/

У хуявея есть Huawei eNSP - https://toster.ru/q/26167, там еще про разное


Вот еще псто про повышенной кошерности UNenLab (Unified Networking Lab, UNL)

http://habrahabr.ru/post/262027/


Сети для самых маленьких. Микровыпуск N1. Переход на GNS3

https://habrahabr.ru/post/164001/


У хуявея / Huawei есть еще Программы обучения для направления Datacom

(Routing, Switching, MPLS)

http://rtc.huawei.ru/wp-content/uploads/2016/03/p_2016-Том-3.2.-Программы-обучения-для-направления-Datacom-Routing-Switching-MPLS.pdf


http://rtc.huawei.ru/p_2016-Том-3.2.-Программы-обучения-для-направления-Datacom-Routing-Switching-MPLS.pdf


Список литературы

http://linkmeup.ru/blog/243.html


Полезное

reload in

reload at

kron occurrenc

kron policy-list

scheduler

http://www.cisco.com/en/US/products/ps5989/products_configuration_guide_chapter09186a0080664c6d.html#wp1099330


6.3 Подключение ПК к сети. DHCP


Что надо помнить: DHCP - сервис, предназначенный для автоматической выдачи как ip адресов, так и прочих параметров сети - ip/mask/gw , dns , dhcp-option - от маршрутов до указания сервера загрузки по сети и параметров для ip-телефонов.


Читать:

http://xgu.ru/wiki/DHCP

https://msdn.microsoft.com/ru-ru/library/cc756865%28v=ws.10%29.aspx


Особенности работы и настройки DHCP на маршрутизаторах Cisco

https://habrahabr.ru/post/87920/


DHCP failover MS server 2012

https://fromreallife.wordpress.com/2012/07/22/dhcp/

https://technet.microsoft.com/ru-ru/library/hh831385.aspx

Cisco DHCP failover

http://www.cisco.com/c/en/us/td/docs/net_mgmt/network_registrar/7-2/user/guide/cnr72book/UG26_Fai.html


DHCP Relay Configuration

https://technet.microsoft.com/en-us/library/dd759168%28v=ws.11%29.aspx

https://technet.microsoft.com/en-us/library/cc732584%28v=ws.11%29.aspx

http://www.cisco.com/c/en/us/support/docs/switches/nexus-9000-series-switches/200248-Configuring-Microsoft-Windows-Server-201.html

https://blogs.technet.microsoft.com/teamdhcp/2012/10/01/dhcp-policies-based-on-relay-agent-information-option-option-82-dhcp-snooping-and-ip-source-guard/


С точки зрения безопасности DHCP - dhcp snooping / source-guard и прочие методы защиты будут описаны ниже.


Что надо знать:

Как работает получение адреса в целом -

DHCP discovery - DHCP offer - DHCP request - DHCP acknowledgement

И зачем нужны DHCP options / DHCP information


6.4 The network access layer. Общее.

Сети простые. ip, tcp/udp.

Вообще первая часть этой темы подробно рассматривается в курсах

Interconnecting Cisco Networking Devices Part 1

Interconnecting Cisco Networking Devices Part 2

Читать

https://habrahabr.ru/post/155329/

https://habrahabr.ru/post/134892/


Копипастить в этот текст кусками не имеет практического смысла.

Однако прочитать оба этих курса необходимо, причем очень желательно прочитать и первую редакцию курса, и текущую (вторую).


Примечание из опытов для росзабора (про SPAN и traffic export)

Ciscoz (config)#ip traffic-export profile ciscotest mode export - IP traffic capture is supported only on the Cisco 1841, Cisco 2800 series, and Cisco 3800 series integrated services routers.

Ciscoz (conf-rite)#bidirectional

Ciscoz (conf-rite)#interface fastEthernet 0/0

Ciscoz (conf-rite)#mac-address 0015.61b9.2abb


http://www.cisco.com/c/en/us/td/docs/ios/12_4t/12_4t11/ht_rawip.html


Примечание 2. Особо стоит обратить внимание на такую вещь, как MTU.

Статья: Maximum Transmission Unit (MTU). Мифы и рифы

https://habrahabr.ru/post/226807/


Еще можно глянуть (сразу) про такое явления в сетях, как


6.5 Базовые утилиты командной строки для работы с сетями в windows

часто используемые

ping (обратить внимание на MTU при использовании пакетов большого размера)

arp , arp -a

netstat (-an)

nslookup

tracert

ipconfig

hostname

route

telnet


часто встречаемым вопросом является "как работает tracert".

Тут интересен вопрос TTL в пакете.


про пинг - про детектирование проблем с MTU через пинг и основные ключи.

Вспомнить ключи можно "как обычно", через ping /?

часто используемые ключи -

-t Ping the specified host until stopped.

-n count Number of echo requests to send.

-l size Send buffer size.

-f Set Don't Fragment flag in packet (IPv4-only).

пример поиска MTU - ping ya.ru -f -l 1492


бывают на собеседованиях вопросы и про "безопасный / небезопасный пинг".


для nslookup -

server 8.8.8.8

set type=any


не так часто используемые

netsh - netsh dhcp server dump >C:\dhcp.txt

netsh interface ip set address name="Local" dhcp

netsh interface ip set dnsservers name=local source=dhcp

netsh interface ip set address name="Local" static 192.168.3.27 255.255.255.0 192.168.3.1 1

netsh interface ip set dnsservers name=local static 192.168.3.2 primary

netsh interface ip add dnsservers name=local 192.168.3.2

netsh interface ip add dnsservers name=local 8.8.8.8

netsh interface ip set address name="Подключение по локальной сети" static 192.168.3.95 255.255.252.0 192.168.3.12 1

netsh interface ip set dnsservers "Подключение по локальной сети" static 192.168.3.8 primary


w32tm /monitor /computers:time.nist.gov

w32tm /update

net

net use


редко используемые

GETMAC

NBTSTAT

PATHPING

Ver

powershell


подробнее можно тут прочитать http://ab57.ru/netcmd.html


6.6 Базовые утилиты командной строки для работы с сетями в linux/freebsd

Основным инструментом для работы с чем угодно в Linux является Vim, который имеет два режима: всё портить и бибикать.

По той причине, что конфиги сети у линуксов - это

/etc/sysconfig/network

/etc/sysconfig/network-scripts/ifcfg-eth0.


Если же серьезно, то ping, ifconfig и так далее

https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/7/html/Networking_Guide/sec-Using_the_Command_Line_Interface.html


6.7 Вопросы по уровню доступа к сети


6.7.1 Сколько цифр или букв в IPv4 адресе? В ipv6 ?


6.7.2 Что будет, если присвоить ПК ip v4 адрес 111.222.333.444?


6.7.3 Что произойдет при включении одного порта (скажем, первого) на коммутаторе, в его же, скажем, 20-й, в общем случае? Что будет, если сделать то же самое, но с участием двух коммутаторов?


6.7.4 Что произойдет, если в общем случае (без предварительных настроек) подключить один коммутатор к другому не одним проводом, а сразу двумя?


6.7.5 Что надо делать, чтобы такого не происходило - организационные меры, технические меры общего характера.


6.7.6 Рабочая ситуация. Вы подключаете ПК на рабочем месте сотрудника. Включаете ПК в электрическую розетку, в розетку локальной сети и .. и ничего не происходит. ПК рисует красный крестик на значке локальной сети, огонек не горит. Что надо делать в данной ситуации и в каком порядке?


Вопросы на уровень "начинающий администратор - продвинутый эникей".

6.7.7 Почему в ip адресе четыре числа, а в витой паре - восемь проводов?


6.7.8 Сколько бит в ipv4 адресе? Что собой представляет маска подсети? Есть ли жизнь в пределах классовой адресации?


6.7.9 Что такое MAC, как он связан с IP?


6.7.10 Зачем нужны DHCP, DHCP reservation, DHCP option?

Какой протокол транспортного уровня (UDP или TCP) использует DHCP и почему?

Ответ:

The DHCP employs a connectionless service model, using the (а дальше сами)

https://en.wikipedia.org/wiki/Dynamic_Host_Configuration_Protocol


6.7.11 Может ли DHCP сервер работать вне своего VLAN? Что для этого нужно?


6.7.12 Может ли в одном VLAN существовать несколько сетей, например 192.168.0.0/24 и 172.16.201.0/25? Кстати, вот это - /24, /25 - знакомо?


6.7.13 Опишите, что происходит в коммутаторе при получении пакета, при этом в таблице коммутатора (кстати, как она называется?) нет ни адреса из поля отправителя, ни адреса из поля получателя?


6.7.14 Какие настройки стоит применить на порт коммутатора, чтобы туда нельзя было включить еще один коммутатор? Точнее говоря, чтобы включить было можно, но результат был бы вовсе не таким, как ожидает включающий?


6.7.15 Может ли в одном проводе (физическом) идти несколько VLAN - ов, как это называется и можно ли как-то ограничить число VLAN, передаваемых в таком канале?


6.7.16 Рабочая ситуация. Есть два коммутатора Cisco (на других коммутаторах конфиг будет отличаться).

Первый:

Fa0/1, Fa0/2

Switchport trunk encapsulation dot1q

Switchport mode access

Switchport access vlan 10


Второй:

Gi0/1, Gi0/2

Switchport trunk encapsulation dot1q

Switchport mode access

Switchport access vlan 20

Первые порты коммутаторов соединены между собой. Вторые включены в два разных ПК, первый с адресом 192.168.0.100 255.255.254.0, второй 192.168.1.200 255.255.254.0

Будет ли доступен первый ПК с второго и наоборот? Почему да и почему нет?


6.7.17 Рабочая ситуация. У вас в сети используется DHCP сервер, который выдает адреса 172.16.200.0/24. Сотрудник техподдержки сообщает, что некий ПК получил адрес APIPA/Link-Local Address - 169.254.1.200. Что могло произойти?


6.7.18 Рабочая ситуация. У вас в сети используется DHCP сервер, который выдает адреса 172.16.200.0/24. Сотрудник техподдержки сообщает, что некий ПК получил адрес 192.168.0.50 и у сотрудника нет доступа к сетевым папкам. Ваши действия "сейчас" и ваши действия "потом"?


6.7.19 Рабочая ситуация. Сотрудник отдела инфобезопасности сообщает о том, что его ПК сообщает о каком-то конфликте IP адресов. Что это такое он не знает, потому что он же не сетевик, но требует немедленно исправить.

Для полноты картины заметим, что вы зачем-то работаете в организации, где вообще нет управляемых коммутаторов, даже с WEB интерфейсом.

Что вам необходимо сделать прямо сейчас в случае, если у вас

- используется DHCP сервер и адреса выдаются динамически

- используются статические адреса.

И что необходимо сделать после разрешения проблемы.


6.7.20 Зачем нужны SPAN-порты, Wireshark, tcpdump, Microsoft Network Monitor, Microsoft Message Analyzer, Nmap?


6.7.21 Работали ли с inssider или чем-то аналогичным для анализа Wifi?


6.7.22 Зачем нужны VLAN (802.1q) и 802.1ad (double-tagging)?


6.7.23 Зачем нужны spanning-tree, loopback detection, bpdu-guard?


Часть 7. Уровень доступа к сети. Средний уровень. Как это устроено и работает.

7.1 Голая теория - 1

Машины Тьюринга / Universal Turing machine, конечный автомат, автоматы Мура и Мили.

7.2 Голая теория - 2

Коды Рида-Соломона. Reed-Solomon codes / Reed-Solomon error correction

7.3 Голая теория - 3

Группы Даффи-Хелмана / Diffie Hellman Groups / Diffie-Hellman key exchange.

DH Group 19: 256-bit elliptic curve group

Parity bit / Checksum

7.4 Максимальная фактическая скорость передачи данных и прочий overhead. Jumbo-frame и польза от них.

7.5. Устойчивость сети на L2. STP/RSTP, LACP (IEEE 802.3ad). Стекирование - STACK, fabric, VSS, IRF

7.6 Сегментирование сети / VLAN и DMZ

7.7 802.1q VLAN и его развитие

7.8 10/40/100G сети - обзорно

Плюс 56G и прочие вариации

7.9 InfiniBand - обзорно

7.10 Магистрали. Мультиплексоры - обзорно

7.11 Промышленные сети - Industrial Ethernet.

Протоколы реального времени

7.12 Траблшутинг в сети доступа провайдера (ISP).

Обстоятельства непреодолимой силы - снос дома, экскаватор, прочие ужасы.

7.14 Тестирование сетевых устройств -

Ixia CloudStorm? 100GE Application and Security Test Load Module

Ixia PerfectStorm ONE 10GE/40GE Appliance

Xena Layer 2-3 Test Platform

Статус: не написано.

Ссылки на сайты

7.15 Оптимизация сетевого трафика в сложных случаях. / Wan - оптимизатор

Система Riverbird Steelhead

Cisco Waas Wide Area Application Services


7.1 Голая теория - 1

Машины Тьюринга / Universal Turing machine, конечный автомат, автоматы Мура и Мили.

Эту тему тоже надо прочитать и осознать - именно вокруг них в том числе строится работа крайне полезных в хозяйстве устройств ASIC - Application-specific integrated circuit

Можно и на вики, русской и английской.

Для самостоятельного прочтения.


7.2 Голая теория - 2

Коды Рида-Соломона. Reed-Solomon codes / Reed-Solomon error correction

Опять же - математика в основе этих кодов и методов коррекции не то чтоб сложна - Эварист Галуа убит в 1832-м году, скоро 200 лет как, а математика вот, живет.

Можно и нужно прочитать о том, что это

Например читать отсюда

https://habrahabr.ru/post/191418/

https://geektimes.ru/post/84041/


Используется, кстати, еще и в RAID-6.


7.3 Голая теория - 3

Группы Даффи-Хелмана / Diffie Hellman Groups / Diffie-Hellman key exchange.

DH Group 19: 256-bit elliptic curve group


Читать тут:

https://ru.wikipedia.org/wiki/Протокол_Диффи_--_Хеллмана

https://en.wikipedia.org/wiki/Diffie%E2%80%93Hellman_key_exchange

https://supportforums.cisco.com/document/12276506/diffie-hellman-groups


Parity bit / Checksum

https://en.wikipedia.org/wiki/Parity_bit

https://en.wikipedia.org/wiki/Checksum


7.4 Максимальная фактическая скорость передачи данных и прочий overhead. Jumbo-frame и польза от них.


Не написано.


7.5. Устойчивость сети на L2. STP/RSTP, LACP (IEEE 802.3ad).

Стекирование - STACK, fabric, VSS, IRF


STP/RSTP

Для начала читать тут

http://www.cisco.com/c/en/us/support/docs/lan-switching/spanning-tree-protocol/24062-146.html

https://en.wikipedia.org/wiki/Spanning_Tree_Protocol

https://ru.wikipedia.org/wiki/STP

https://en.wikipedia.org/wiki/Spanning_Tree_Protocol#Rapid_Spanning_Tree_Protocol


и прослушать ICND1/2


Эта группа протоколов - одни из тех, что отлично работают .. если не ломаются.

В частности, все будет нормально работать, если у вас везде только один вендор, и все везде настроено, задокументировано и проверено пять раз. В противном случае, скажем двух вендоров, проблемы могут быть там, откуда не ждали.

Проблемы могут быть и со скоростью перестроения маршрутов - пока они перестроятся, сеть уже ляжет под бродкастом.

Проблемы могут быть и с отдельными коммутаторами - например, управляемый 8-портовый Zyxel при выключенном на нем STP - не пропускает эти пакеты, при этом пропуская бродкасты. Итог - можно легко устроить кольцо и шторм.

Поэтому слепо доверять только STP

spanning-tree portfast / spanning-tree portfast trunk

невозможно, необходимы дополнительные меры защиты - как на портах пользователей / конечного оборудования (в том числе принтеров) -

spanning-tree bpduguard / BPDU filter

storm-control broadcast level

storm-control multicast level

storm-control action

так и в глобальной конфигурации -

errdisable recovery cause storm-control

errdisable recovery interval 30


Можно (а временами и нужно) ограничивать порты и более жестко:

switchport port-security

switchport port-security violation protect

switchport port-security aging time 30

switchport port-security aging type inactivity

switchport port-security maximum 1

switchport protected


Вот так (ниже) поступать можно .. только если у вас два, максимум три коммутатора. Или же развернут очень активный SNMP мониторинг и вы и без этого текста знаете что делать.

Хотя в экзамене этот вопрос именно так и рекомендуют решать:

switchport port-security mac-address sticky

switchport port-security maximum 1


LACP (IEEE 802.3ad)

Link Aggregation Control Protocol (LACP) -- протокол, предназначенный для объединения нескольких физических каналов в один логический в сетях Ethernet. Агрегированные каналы LACP используются как для повышения пропускной способности, так и повышения отказоустойчивости. Использование LACP в некоторых случаях позволяет обнаружить повреждённый канал, который бы при использовании обычной статической агрегации обнаружен бы не был. Описывается стандартом IEEE 802.3ad.


Проще говоря - возможность собрать 2,3,4 (можно больше, но не рекомендуется) портов в один логический.

Есть маленькое НО: По умолчанию каждый физический канал из логической группы используется под один поток данных. Когда у вас всего один поток, вы все равно получите те же 100/1G.


Поддерживается (в вариациях) много кем - как всеми производителями сетевого оборудования, см.

http://www.cisco.com/c/en/us/td/docs/ios/12_2sb/feature/guide/gigeth.html

http://xgu.ru/wiki/LACP

https://www.juniper.net/documentation/en_US/junos/topics/concept/layer-2-lacp-security-understanding.html


Так и почти всеми серверами. В частности у HP их родные драйвера серверных сетевых карт плюс утилита - позволяют собирать LACP в системе.


Начиная с MS Server 2012 у MS это называется NIC teaming -

https://habrahabr.ru/company/microsoft/blog/162509/


https://blogs.technet.microsoft.com/privatecloud/2012/06/19/nic-teaming-in-windows-server-2012-brings-simple-affordable-traffic-reliability-and-load-balancing-to-your-cloud-workloads/


https://blogs.technet.microsoft.com/keithmayer/2012/10/16/nic-teaming-in-windows-server-2012-do-i-need-to-configure-my-switch/


VMware отличается некоторой жадностью -

VMware supports Link Aggregation Control Protocol (LACP) on vSphere Distributed Switch (VDS) only.

https://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=2034277


https://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=1004048


VDS входит только в Enterprise Plus лицензию

http://www.vmware.com/content/dam/digitalmarketing/vmware/en/pdf/whitepaper/vmware-vsphere_pricing-white-paper.pdf


или надо покупать прочие полезности (NSX, vSan).


Вообще сети в Vmware и их свичи - отдельная тема разговора и отдельно рассматривается в базовом курсе по vmware, но сейчас не о том.


Стекирование - STACK, fabric, VSS, IRF

Современные коммутаторы надежны. В некоторых из них уже ставят два блока питания (на Cisco была резервная колодка под, кажется, 48 вольт постоянного тока), но все равно - возможен обрыв кабеля, выход из строя блока питания, всего коммутатора и так далее.

Все современное сетевое оборудование имеет те или иные варианты обеспечения отказоустойчивости, но ниже будет про коммутаторы.

Необходимо как-то обеспечивать надежность связи на уровне самого коммутатора.

Выходом является объединение физических коммутаторов одно логическое устройство - стек.

У Cisco (и у любителей копипасты и страшных слов в вакансии) это Cisco╝ StackWise? and Cisco StackWise Plus

http://www.cisco.com/c/en/us/products/collateral/switches/catalyst-3750-series-switches/prod_white_paper09186a00801b096a.html


У моделей поновей - StackWise-480

http://www.cisco.com/c/en/us/products/collateral/switches/catalyst-3850-series-switches/white-paper-c11-734429.html


У ряда производителей это называется fabric. У некоторых - (HPE/HP/H3C/3Com) - IRF (Intelligent Resilient Framework).

На старших Cisco (6500) это VSS - Virtual Switching System.

У новых Cisco Nexus это vPC

У Dell - не называется никак.

http://www.dell.com/downloads/global/products/pwcnt/en/pwcnt_stacking_switches.pdf


В том же ряду находится MLAG, Multichassis Trunking, Multichassis Etherechannel и так далее.


Об отличиях VSS vs VPC (difference between VSS and vPC) можно почитать тут

http://mycciedatacenter.blogspot.ru/2013/06/vss-vs-vpc-difference-between-vss-and.html


Примечание:

У Cisco ASA и не только используется совсем другая технология - failover

http://xgu.ru/wiki/Cisco_ASA_failover


Есть еще HSRP (Hot Standby Router Protocol) и VRRP (Virtual Router Redundancy Protocol)

http://xgu.ru/wiki/HSRP

http://xgu.ru/wiki/ HSRP_в_Cisco


http://xgu.ru/wiki/VRRP


Отличия будут в настройке и запуске. У Cisco это приоритет. У HP - приоритет и перемаркировка портов. У Nortel / Avaya - вообще переключатель "кто тут главный в стеке". У кого-то можно добавлять устройства "на горячую", у кого то нет. У кого-то стек из 2 не собирается.

В каждом случае надо перед покупкой стекируемого оборудования читать документацию.


7.6 Сегментирование сети / VLAN и DMZ

Для понимания "что такое VLAN" надо сначала понять, что такое "домен коллизий" и почему их при современных условиях с одной стороны очень много (по 48 штук на каждый 48-портовый коммутатор), и почему это не имеет значения.

Затем перейти к пониманию термина "широковещательный домен".

И затем к определению -

Каждый VLAN -- это отдельный широковещательный домен. Например, коммутатор -- это устройство 2 уровня модели OSI. Все порты на коммутаторе с лишь одним VLAN находятся в одном широковещательном домене. Создание дополнительных VLAN на коммутаторе означает разбиение коммутатора на несколько широковещательных доменов. Если один и тот же VLAN настроен на разных коммутаторах, то порты разных коммутаторов будут образовывать один широковещательный домен.

http://xgu.ru/wiki/VLAN


Термин DMZ к VLAN -ам вообще не применим. С другой стороны, если между VLAN (с разными ip адресами) есть L3 связь, и на L3 GW есть какие-то ограничения доступа, то можно говорить о построении DMZ.


Кроме VLAN надо помнить о возможности построения Private Vlan - очень полезная и удобная вещь, даже на портах доступа. С своими ограничениями, конечно.


7.7 802.1q VLAN и его развитие

Вначале вообще ничего не было, и лишь морзянка и телетайп пролетали через мировой эфир.

Затем в 1963-м году возник The Institute of Electrical and Electronics Engineers (IEEE)

И в 1983-м году появился IEEE 802.3 standard на Ethernet.

Сети росли, росли домены всех видов, появлялся интернет.

В 1998 году появился стандарт 802.3ac, в который был добавлен Q-tag для создания 802.1Q VLAN, и еще разное, и теперь в одном кабеле стало можно передавать много VLAN (кстати, еще недавно не все коммутаторы могли вытащить все 4094 VLAN).

Через какое-то время плотность и скорость передачи данных выросла, и протокол опять расширили - появился IEEE 802.1ad QinQ - например, для передачи тегированного трафика клиента через сеть оператора/провайдера/Metro Ethernet network topologies (хотя там используется и много чего еще - VLAN Translation например, да и у старшей Avaya что-то было, надо бы дописать).

https://www.juniper.net/documentation/en_US/junos/topics/concept/qinq-tunneling-qfx-series.html


Проблемы у Allied telesis / Dlink

SPANTREE-7-RECV_1Q_NON_TRUNK: Received 802.1Q BPDU on non trunk FastEthernet0/24

http://hobbymods.ru/index.php?dn=article&to=art&id=82


7.8 10/40/100G сети - обзорно

Проще всего взять из Вики:

40 Gigabit Ethernet (40GbE) and 100 Gigabit Ethernet (100GbE) are groups of computer networking technologies for transmitting Ethernet frames at rates of 40 and 100 gigabits per second (40 and 100 Gbit/s), respectively. The technology was first defined by the IEEE 802.3ba-2010 standard[1] and later by the 802.3bg-2011, 802.3bj-2014,[2] and 802.3bm-2015 standards.[3]


The standards define numerous port types with different optical and electrical interfaces and different numbers of optical fiber strands per port. Short distances over twinaxial cable are supported. 40GBASE-T uses twisted pair cabling for 40 Gbit/s over up to 30 m.

https://en.wikipedia.org/wiki/100_Gigabit_Ethernet


Внезапно может быть даже на меди - для 10G кабель 6-й категории,

для 40G - кабель 8й категории:

40GBASE-T is a port type for 4-pair balanced twisted-pair Cat.8 copper cabling up to 30 m defined in IEEE 802.3bq


56G Ethernet

Mellanox Announces 56G Ethernet Interconnect Solution Family for Data Center Compute and Storage

Mellanox Technologies announced its end-to-end, 56-Gigabit Ethernet product line, the world's highest performing Ethernet-based server and storage interconnect solution.


7.9 InfiniBand - обзорно

Для самостоятельного изучения.

https://ru.wikipedia.org/wiki/InfiniBand

https://en.wikipedia.org/wiki/InfiniBand


Infiniband + intel omnipath

https://geektimes.ru/company/intel/blog/288921/


7.12 Траблшутинг в сети доступа провайдера (ISP).

Обстоятельства непреодолимой силы - снос дома, экскаватор, прочие ужасы.


НЕ ВЫЕЗЖАЙТЕ НА ДЕЛО БЕЗ ПОЛНОГО НАБОРА ЗИПА!

Даже если задача просто посмотреть и снять конфиг


Перед троганием ЛЮБОГО шкафа - ткните в него индикаторной отверткой. ДВА РАЗА.

Потом осторожно потрогайте тыльной стороной ладони.

На работах в подвалах и на чердаках ВСЕГДА носите каску (хотя бы велошлем) и перчатки из номекса. Даже если не выдают - надо просто купить.


7.14 Тестирование сетевых устройств -

Ixia CloudStorm? 100GE Application and Security Test Load Module

https://www.ixiacom.com/products/cloudstorm-100ge-application-and-security-test-load-module


Ixia PerfectStorm ONE 10GE/40GE Appliance

https://www.ixiacom.com/products/perfectstorm-one-10ge40ge


Xena Layer 2-3 Test Platform

http://xenanetworks.com/layer-2-3-test-platform/


7.15 Оптимизация сетевого трафика в сложных случаях / Wan - оптимизатор


Система Riverbird Steelhead

https://habrahabr.ru/company/croc/blog/214693/


Cisco Waas Wide Area Application Services

http://www.cisco.com/c/en/us/products/routers/wide-area-application-services/index.htmlЧасть 8. Маршрутизация в сети.

8.1 Многоуровневая модель сети. Маршрутизация: статика, динамика.

8.2 Теория сети. Что такое сайт, маршрут к сайту и почему оно вот так вообще. И почему надо отличать сайт в сети (Intranet/Internet) от сайта AD

8.3 The internet layer - DHCP, DNS, MX.

8.4 DNS: Bind, Split DNS

8.5 L3 switch. Router.

Безопасность - PIX/ASA, NGFW - вынесена отдельно.

Маршрутизация: статика, RIP, OSPF, EIGRP. Без IS-IS и BGP

Policy-Based Routing (PBR)

8.6 Теория. Proxy, NAT. Active-passive, Active-active.

Двойной (twice) NAT

8.7 Практика - сервера NAT под Windows

8.8 Практика - сервера NAT под Linux, в том числе инстансы.

8.9 Практика - аппаратные NAT.

8.10 Теория. Балансировка в сети, NLB, F5 и прочие RD connection broker.

8.11 Мониторинг, статистика и ограничения в сети.

SNMP

MRTG/Cacti.

Шейпинг. NetFlow -Flow control.

8.12 Ip v6

8.13 резерв

8.14 Удаленный доступ к сети.

Cisco VPN /Cisco Anyconnect / Cisco Easy VPN

Cisco Secure Access Control System(ACS) / Cisco Identity Services Engine (ISE)

ACS-to-ISE Migration

Open VPN

Прочее

8.15 Программные роутеры - Nexus v1000

8.16 Wifi

8.17 Основные утилиты командной строки для работы с сетями в windows

Вынесены ранее

8.18 Основные утилиты командной строки для работы с сетями в linux/freebsd

Вынесены ранее

8.19 Образец настройки Cisco / HP / Avaya

8.20 Резерв для Juniper, Extreme networks, Allied Telesis, Microtic, Unity и прочего.

8.22 Импортозамещение в сетевом оборудовании. Обзорно.

В том числе импортозамещение на DLink и Huawei.

Обновление прошивок и последующие траблшутинг в сетях с импортозамещением, по возможности без мата.

8.23 Безопасность в сети.

Сегментирование, ограничение доступа.

L2 -Port-security, pvlan, bpdu-filter /bpdu guard, storm-control - вынесены выше, в L2

DHCP snooping, Dynamic ARP Protection (Inspection), IP Source Guard

VMPS (VLAN Management Policy Server), 802.1X

SNMP как средство мониторинга.

Информационная безопасность:

начиная от login on-failure log / login on-success log / login block-for

8.24 Вопросы по сетям - Internet layer - и около них.


8.1 Многоуровневая модель сети. Маршрутизация: статика, динамика.

В совсем простой, домашней сети вся сеть будет одноуровневой - один коммутатор, он же маршрутизатор, он же делает NAT.

В сети чуть сложней придется выделять отдельные коммутаторы доступа и где-то организовывать маршрутизацию между ними. Это two-tier lan design

В еще более сложной сети придется разделять access / distribution / core - three-tier LAN design

Подробнее и с картинками можно почитать в Unified Access Design Guide

http://www.cisco.com/c/en/us/td/docs/solutions/Enterprise/Borderless_Networks/Unified_Access/Unified_Access_Book/UA_Design.html

или пролистать вот это

https://www.slideshare.net/NetworksTraining/cisco-switch-layer2-layer3-design-and-configuration


В еще более сложных случаях, уровня провайдера или хотя бы десятка стоек, придется выделять еще

- агрегацию, например HPE FlexFabric 5900

- ядро, например HPE FlexFabric 7900 Switch Series / Cisco 6500 / Cisco Nexus

- ToR, Top of the rack коммутаторы

- обвязку систем безопасности - это Cisco ASA, и вся линейка NGFW, например Fortinet NGFW


Маршрутизирующие (L3) коммутаторы надо как-то обучить тому, где находится нужная сеть, за каким известным адресом. Это можно делать как вручную, прописывая статические маршруты, так и автоматически, настроив маршрутизаторы для автоматического обмена маршрутами и построением итогового маршрута на основе такого обмена.

Дальше будет подробнее.


Статическая маршрутизация есть даже в домашнем Windows - через командную строку и route add.


8.2 Теория сети. Что такое сайт, маршрут к сайту и почему оно вот так вообще. И почему надо отличать сайт в сети (Intranet/Internet) от сайта AD.


Сайт в сети, в самом простом варианте, это некий адрес вида http://contoso.com

У этого сайта есть некий ip (ipv4 или ipv6) адрес, или несколько адресов.

И наоборот, у одного ip адреса может быть несколько сайтов.

В самом простом варианте один сайт однозначно переводится в адрес, и наоборот.

За перевод имени в адрес, и адреса и имени отвечает служба/сервис DNS.

После получение адреса получатель (ПК пользователя) определяет по таблице маршрутизации (на MS ее можно посмотреть через route print), где находится нужный сайт - в своей сети, или нет, а если нет - за каким шлюзом сети.

После чего пакет с запросом на данные отправляется "куда надо".

Если пакет уходит на шлюз, то шлюз повторяет ту же процедуру - смотрит в поле "куда" (иногда смотрит в поля "откуда", но про policy-base routing будет позже), смотрим в свою таблицу маршрутизации и отправляет пакет в следующий шлюз. Таким сложным и длинным путем пакет в итоге добирается до нужного адреса, и сервер с той стороны формирует и отправляет пакет с ответом.

Весь путь до удаленного сайта называется, очевидно, маршрутом.

Для его отслеживания существует полезная утилита tracert, а для ряда других задач - утилита pathping.

https://technet.microsoft.com/ru-ru/library/bb490964.aspx


Более детально о этом рассказывается в курсах ICND1, ICND2 и тысячах книг по основам сетей скажем - Таненбаум Эндрю. Компьютерные сети.


Почему надо отличать сайт в сети (Intranet/Internet) от сайта AD.

Потому, что это совсем разные вещи. Сайт в сети - это некий адрес, где работает (на неком порту или без порта) некий сервис.


Сайт в AD -

В доменных службах Active Directory сайты представляют собой физическую структуру или топологию сети. В доменных службах Active Directory для создания наиболее эффективной топологии репликации используются сведения о сетевой топологии, которые хранятся в каталоге в виде объектов сайта, подсети и связи сайтов.

https://technet.microsoft.com/ru-ru/library/cc754697(v=ws.11).aspx


8.3 The internet layer - DHCP, DNS, MX.

По DHCP, кроме своего адреса и маски подсети, ПК получает еще массу полезной информации - в том числе шлюз по умолчанию, сервера DNS, и много чего еще.

На самом же сервере DNS хранятся записи разных типов, наиболее важными из которых длня начинающего разбираться в всем этом, являются A и MX записи.

Запись А указывает на сайт.

Запись MX - на сервер почты.

Для понимания в командной строке MS win можно набрать последовательно:

Nslookup

server 8.8.8.8

mail.ru

- и получить список записей типа А для mail.ru

Потом можно набрать

set type=any

mail.ru

и получить список и А, и MX, и много чего еще.

В том числе видно, что для обмена почтой mail.ru использует

mail.ru MX preference = 10, mail exchanger = mxs.mail.ru

что тут что - задача для самостоятельного изучения.


8.4 DNS: Bind, Split DNS

Bind: BIND (Berkeley Internet Name Domain, до этого: Berkeley Internet Name Daemon) -- открытая и наиболее распространённая реализация DNS-сервера, обеспечивающая выполнение преобразования DNS-имени в IP-адрес и наоборот. Исполняемый файл-демон сервера BIND называется named. BIND поддерживается организацией Internet Systems Consortium. 10 из 13 корневых серверов DNS работают на BIND, оставшиеся 3 работают на NSD.

https://ru.wikipedia.org/wiki/BIND


Для MS убрано в 21.19 DHCP, DNS, WPAD


8.5 L3 switch. Router.

Безопасность - PIX/ASA, NGFW - вынесена отдельно.

Маршрутизация: статика, RIP, OSPF, EIGRP. Без IS-IS и BGP

Cisco Policy-Based Routing (PBR)


Говоря о сетевом оборудовании, надо сначала коснуться темы ASIC - application-specific integrated circuit. Специально обученная (ТМ) микросхема, которая обрабатывает как IP-пакеты, так и (в случае NGFW) группы пакетов, без участия операционной системы. Соответственно, скорость обработки пакетов не зависит от мощности и загрузки центрального процессора и оперативной памяти.

Router / маршрутизатор. Оборудование, в основном предназначенное для хранения и передачи маршрутов - статики и динамики - RIP, OSPF, EIGRP, IS-IS и BGP

В случае аппаратного router - обработка пакетов идет в основном на уровне ASIC, хотя маршруты (таблицы маршрутов) хранятся в оперативной памяти.

Конечно, обе основные ОС (Windows/linux) поддерживают и маршрутизацию, для примера достаточно открыть командную строку windows и изучить вывод

route print

route add /?


Но при этом OSPF был убран из системы, начиная с Windows Server 2008

https://social.technet.microsoft.com/Forums/windows/en-US/8026e9e4-57ad-4675-9f2d-73d9cb0dd80a/whats-happened-to-ospf?forum=winserverNIS

https://technet.microsoft.com/library/bb726965


а вместо него в 2016-й сервер положили всякое разное, оставив встроенного только -

Deploy and configure dynamic routing and transit routing between sites using Border Gateway Protocol (BGP).

https://technet.microsoft.com/en-us/library/mt412879.aspx

https://technet.microsoft.com/en-us/library/mt626647.aspx


C сетями у MS совсем странно - прекратили развитие линейки MS ISA, вместо него сначала был Microsoft Forefront Threat Management Gateway, потом все урезали до Web Application Proxy (WAP).

Вместо них Kerio и прочий Fortinet FortiGate

https://www.anti-malware.ru/node/16486

https://habrahabr.ru/company/muk/blog/210582/


RIP, OSPF, EIGRP - это все есть в ICND 1 и 2 и linkmeup

Что стоит помнить про OSPF -

msk-arbat-gw1(config)#router OSPF 1

msk-arbat-gw1(config-router)#passive-interface fastEthernet 0/0.2

https://linkmeup.ru/blog/33.html


LSA в OSPF. Цены / Cost. ABR - Area border router

OSPF - проектирование

http://www.cisco.com/c/ru_ru/support/docs/ip/open-shortest-path-first-ospf/7039-1.html

OSPF - дыры https://xakep.ru/2014/09/03/ospf-vulnerabilities/


Authentication in OSPF

http://www.cisco.com/c/en/us/support/docs/ip/open-shortest-path-first-ospf/13697-25.html


сети - What is variable-length subnet mask (VLSM)

Основные отличия OSPFv2 и OSPFv3 (помимо появившейся поддержки IPv6):


OSPFv3 включается на интерфейсах. Включение OSPF на интерфейсе автоматически создает процесс OSPF и соответствующую команду в конфигурационном файле;

анонсируются все сети, настроенные на интерфейсе;

новые типы LSA. Добавлены два новых типа LSA -- Link LSA и Intra-Area Prefix LSA;

аутентификации в самом OSPFv3 нет. Используется аутентификация IPv6.


Что касается BGP, то внезапноего порой используют и внутри (iBGP)сетей. Читать можно вот отсюда

Сети для самых маленьких. Часть восьмая. BGP и IP SLA

https://habrahabr.ru/post/184350/

http://linkmeup.ru/blog/65.html


Внутренние сети на BGP - Сети для самых маленьких. Микровыпуск N3. IBGP

http://linkmeup.ru/blog/92.html


Или отсюда - BGP-перехват

https://geektimes.ru/post/288728/


Cisco Policy-Based Routing (PBR)

Маршрутизация на основе не только адреса назначения, но на всех параметрах сразу - протоколе, адресе и порте источника, адреса и порте назначения.

http://xgu.ru/wiki/Cisco_PBR

http://www.cisco.com/c/en/us/td/docs/ios/12_2/qos/configuration/guide/fqos_c/qcfpbr.html


8.6 Теория. Proxy, NAT. Active-passive, Active-active.

Двойной (twice) NAT

Это схожие задачи/сервисы, которые между тем выполняют различные задачи. При этом proxy может выполнять только кеширование, а может выполнять и функции NAT.

Подробнее про них прочитать можно много где, хоть начиная отсюда:

http://xgu.ru/wiki/Squid


NAT - это технология, которая чаще всего используется для трансляции адресов внутри сети (локальных адресов, серых адресов, частных / private) в один или несколько "белых" (global).

Читать:

RFC 1918 for Internet Protocol Version 4 (IPv4)

RFC 4193 Internet Protocol Version 6 (IPv6)


Достаточно часто используется и для трансляции адресов между сегментами внутренней сети, или для трансляции адресов между сегментами сети при одинаковой адресации сегментов.

Подробнее читать: ICND1


Active-passive, Active-active.

Режимы работы сетевого оборудования для балансировки и отказоустойчивости канала связи. Чаще всего используется на firewall / ASA и подобном оборудовании.


Двойной (twice) NAT

Twice NAT lets you identify both the source and destination address in a single rule. Specifying both the source and destination addresses lets you specify that a source address should be translated to A when going to destination X, but be translated to B when going to destination Y, for example.

http://www.cisco.com/c/en/us/td/docs/security/asa/asa83/configuration/guide/config/nat_rules.html

используется: например в site2site VPN на ASA


8.7 Практика - сервера NAT под Windows

10 лет (в 2007 году) назад выбор был почти очевиден - MS ISA или Kerio. Или Usergate.

В 2017-м году это направление было свернуто в пользу всяких инстансов, но NAT есть и в самом сервере -

Как настроить NAT в Windows Server 2016

https://www.sanglyb.ru/kak-nastroit-nat-v-windows-server-2016


8.8 Практика - сервера NAT под Linux, в том числе инстансы.


Например вот

http://www.kerio.ru/products/kerio-control/features

а так их полно, начиная с iptables

https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/4/html/Security_Guide/s1-firewall-ipt-fwd.html


или Pfsense

https://doc.pfsense.org/index.php/Outbound_NAT


и заканчивая Cisco ASAv и VMware NSX

http://www.cisco.com/c/en/us/products/security/virtual-adaptive-security-appliance-firewall/index.html


https://pubs.vmware.com/nsx-63/index.jsp?topic=%2Fcom.vmware.nsx.admin.doc%2FGUID-5896D8CF-20E0-4691-A9EB-83AFD9D36AFD.html


https://www.paloaltonetworks.com/content/dam/pan/en_US/assets/pdf/technology-solutions-briefs/vmware.pdf


8.9 Практика - аппаратные NAT.

Тысячи их. Любой маршрутизатор (но не любой L3 switch), любая ASA / NGFW.

Все то же самое, но пакеты идут через ASIC, скорость обработки выше, зависимость от центрального процессора намного ниже.


8.10 Теория. Балансировка в сети, NLB, F5 и прочие RD connection broker.

Достаточно часто бывает так, что поток данных большой, один сервер не справляется и необходимо распределить поток данных на 2-3.

Бывает и так, что надо обеспечить отказоустойчивость и защиту от вывода одного сервера на ремонт или просто обслуживание / установку патчей / замену. С точки зрения сетей, методов не так много.


Балансировка может быть на разных уровнях, разными методами.

Основные:

Round-robin DNS , аппаратная (F5), старый Win NLB (Network load balance), Win Remote Desktop Connection Broker (RD Connection Broker), ранее известный под именем Terminal Services Session Broker (TS Session Broker) и под Linux - BalanceNG, HAProxy, Pound, Crossroads, Zen Load Balancer


Теорию нужно почитать тут

https://habrahabr.ru/company/selectel/blog/250201/

https://blog.selectel.ru/balansirovka-nagruzki-osnovnye-algoritmy-i-metody/


Или вот тут

Балансировка нагрузки и отказоустойчивость в "Одноклассниках"

https://habrahabr.ru/post/321448/


Практику - тут

cisco настройка mac для кластера NLB

http://windowsnotes.ru/windows-server-2012/nastrojka-nlb-v-windows-server-2012/


Коммутаторы Catalyst для Примера конфигурации программы балансировки нагрузки сети Майкрософт

http://www.cisco.com/c/ru_ru/support/docs/switches/catalyst-6500-series-switches/107995-configure-nlb-00.html#anc9


Catalyst Switches for Microsoft Network Load Balancing Configuration Example

http://www.cisco.com/c/en/us/support/docs/switches/catalyst-6500-series-switches/107995-configure-nlb-00.html


Cisco 3750 Catalyst Switches for Microsoft Network Load Balancing

https://supportforums.cisco.com/discussion/11066266/cisco-3750-catalyst-switches-microsoft-network-load-balancing


Round-robin DNS. В DNS записано 2-3-5 разных адресов к одному имени, и сервер на каждый следующий запрос выдает другой адрес. Насколько другой - зависит от настройки веса записи, т.е. как часто отдавать каждую отдельную строку.


Косвенным случаем RR DNS является балансировка и отказоустойчивость почты при наличии двух MX записей с одинаковым приоритетом.

Читать тут

RFC 821 SIMPLE MAIL TRANSFER PROTOCOL

https://tools.ietf.org/html/rfc821

https://tools.ietf.org/html/rfc2821

https://tools.ietf.org/html/rfc5321

точнее:

Two types of information is used to rank the host addresses: multiple MX records, and multihomed hosts.


Multiple MX records contain a preference indication that MUST be used in sorting (see below). Lower numbers are more preferred than higher ones. If there are multiple destinations with the same preference

and there is no clear reason to favor one (e.g., by recognition of an easily-reached address), then the sender-SMTP MUST randomize them to spread the load across multiple mail exchangers for a specific organization.


Аппаратный балансировщик от F5.

Отдельный сервер, который делает эту самую балансировку.

Читать тут

https://f5.com/glossary/load-balancer

https://f5.com/products/big-ip


Обучение по F5 (он вообще умеет всякое) - тут

https://f5.com/education/training/free-courses


Win NLB (Network load balance), Win Remote Desktop Connection Broker (RD Connection Broker)


Network Load Balancing (NLB)

https://msdn.microsoft.com/en-us/library/bb742455.aspx


Создание терминальной фермы RDS с использованием технологии NLB и публикация RD Web Access на ISA Server 2006

https://habrahabr.ru/post/134456/


Win Remote Desktop Connection Broker (RD Connection Broker)

https://technet.microsoft.com/en-us/library/cc772245(v=ws.11).aspx

https://technet.microsoft.com/en-us/library/cc771419(v=ws.11).aspx

https://technet.microsoft.com/en-us/library/cc732076(v=ws.11).aspx


Настройка терминальной фермы RDS с RD Connection Broker

http://winitpro.ru/index.php/2011/08/26/nastrojka-terminalnoj-fermy-rds-s-rd-connection-broker/


BalanceNG, HAProxy, Pound, Crossroads, Zen Load Balancer

https://xakep.ru/2014/03/15/62207/


Важное! Сравнительный анализ методов балансировки трафика

https://habrahabr.ru/company/oleg-bunin/blog/319262/


8.11 Мониторинг, статистика и ограничения в сети.

SNMP

MRTG/Cacti.

Шейпинг. NetFlow -Flow control. Cisco netflow collector.


Что стоит помнить.

SNMP - это прежде всего протокол, Simple Network Management Protocol.

Стоит вспомнить про Management Information Base и object identifier, OID


MRTG/Cacti.

Наверное одни из самых старых программ для сбора именно сетевой статистики, именно по SNMP.

Плюсы - просты в развертывании (ну как просты. MRTG под win разворачивается немного с бубном, нужен Apache, php , задачу в task scheduler и не забывать про необходимость делать счетчики 64-разрядными, да и с ними поток не выше 4 кажется гбтс/сек. Cacti под Linux разворачивается как далее-далее.


Оба сервиса полезны, но Cacti лично мне показался сложней в настройке под Win. Да что уж там, по причине отсутствия php5apache2_4.dll x64 - оно вообще не завелось, это в 2015-м то году. php5apache2_4.dll-php-5.4-win32.zip в природе есть, но это ж 32 бита.

Личный опыт с MRTG и Cacti в 2015-м году.

Смотри ниже - 23.2 MRTG/Cacti


Читать по MRTG

http://oss.oetiker.ch/mrtg/doc/mrtg.en.html

https://en.wikipedia.org/wiki/Multi_Router_Traffic_Grapher


Читать по Cacti

http://habrahabr.ru/post/235459/

https://habrahabr.ru/post/71087/

https://habrahabr.ru/post/179391/

https://habrahabr.ru/post/143747/

http://docs.cacti.net/plugin:syslog


линукс

http://habrahabr.ru/post/173443/

http://habrahabr.ru/post/88293/

http://www.ekzorchik.ru/wordpress/2014/10/raise-the-monitoring-of-resource-utilization-cacti/


Ms Windows и Cacti

http://www.cacti.net/downloads/docs/contrib/install_russian_windows.pdf


Шейпинг.

Шейпинг (англ. shaping traffic - придание трафику формы) -- ограничение пропускной способности канала для отдельного узла сети ниже технических возможностей канала до узла. Шейпинг обычно используется как средство ограничения максимального потребления трафика со стороны узла сети.


Устройство (или программу), осуществляющую ограничение скорости называют шейпер.

https://www.a10networks.com/resources/glossary/traffic-shaping

https://en.wikipedia.org/wiki/Traffic_shaping


NetFlow -Flow control

Flow control is a feature defined in the IEEE 802.3x specification, enabling a receiving device to signal congestion to a sending device, which allows for the sending device to temporarily halt transmission, alleviating congestion at the receiving device

https://supportforums.cisco.com/discussion/11640856/flow-control-receive


set port flowcontrol


To set the receive flow-control value for a particular Gigabit Ethernet switching module port, use the set port flowcontrol command in privileged EXEC mode. To reset the receive flow-control value to the default, use the no form of this command.

http://www.cisco.com/c/en/us/td/docs/ios/lanswitch/command/reference/lsw_book/lsw_s1.html#wp1071945


Cisco netflow collector.

Читать

https://ru.wikipedia.org/wiki/Netflow


http://www.cisco.com/c/en/us/products/collateral/ios-nx-os-software/ios-netflow/prod_white_paper0900aecd80406232.html


http://www.cisco.com/c/en/us/products/ios-nx-os-software/ios-netflow/networking_solutions_products_genericcontent0900aecd805ff72b.html


8.12 Ip v6

http://ipv6.com/articles/general/IPv6-Beginners_Look.htm


Скажу так. Ipv6 сильно отличается от привычного ipv4. Фактически это новый протокол, в котором надо отдельно разбираться. Быстро запустить в продакшен не получится.

Отдельно доставляет провайдер на букву Р, который местами этот ipv6 и тоннели в нем - 6to4, 4to6 - запустить не может. Нет квалифицированных кадров.


Немного боли:

Stateless autoconfiguration or SLAAC is that second method in which the host or router interface is assigned a 64-bit prefix, and then the last 64 bits of its address are derived by the host or router with help of EUI-64 process


Читать

https://ripe72.ripe.net/programme/meeting-plan/plenary/#fri2

https://developers.google.com/speed/public-dns/docs/dns64

https://blogs.akamai.com/2016/06/preparing-for-ipv6-only-mobile-networks-why-and-how.html


8.14 Удаленный доступ к сети.

Cisco VPN /Cisco Anyconnect / Cisco Easy VPN

Cisco Secure Access Control System(ACS) / Cisco Identity Services Engine (ISE)

ACS-to-ISE Migration

Open VPN

Прочее


Cisco VPN /Cisco Anyconnect / Cisco Easy VPN

Требования зашифрованного доступа, с авторизацией и так далее, появились очень давно. Практически у всех сетевых продуктов такой функционал был - что у MS, что у Cisco, что у Kerio. Есть и open-source продукты, и наоборот - Open-cource клиенты под Cisco VPN.

Наиболее старым из встречающихся продуктов является Cisco VPN. Продукт уже три года как не поддерживается -

In July 29, 2011, Cisco announced the end of life of the product. No further product updates were released after July 30, 2012, and support ceased in July 29, 2014

https://en.wikipedia.org/wiki/Cisco_Systems_VPN_Clien

Выглядел вот так

Заменен на Cisco AnyConnect Secure Mobility Client

http://www.cisco.com/c/en/us/products/security/anyconnect-secure-mobility-client/index.html


Стоит посмотреть там видео на 2 минуты.

Версия 3.* снята с поддержки в 2016-м году -

Cisco announces the end-of-life dates for the Cisco AnyConnect Secure Mobility Client Version 3.x software.

Software maintenance will not be available for the stated software versions beyond March 1, 2016.

http://www.cisco.com/c/en/us/products/collateral/security/anyconnect-secure-mobility-client/eos-eol-notice-c51-734084.html


Клиент умеет всякое, особенно в связке с сервером ACS / ISE.


Cisco Easy VPN

Новое поколение, бла-бла-бла.

Инструкции и почитать тут

http://www.cisco.com/c/en/us/products/collateral/security/ios-easy-vpn/eprod_qas0900aecd805358e0.html

http://www.cisco.com/c/en/us/support/security/ios-easy-vpn/products-configuration-examples-list.html

http://www.cisco.com/c/en/us/products/security/ios-easy-vpn/index.html


Разница Anyconnect / Easy VPN не очень велика (для конечного пользователя). Есть разница в лицензировании (на anyconnect нужен отдельный пак / bundle), шифровании -

AnyConnect uses HTTPS/SSL to connect whereas the VPN Client uses IPSEC.

И еще в всяком -

https://supportforums.cisco.com/discussion/10653136/easyvpn-or-anyconnect


У Anyconnect как-то раз были проблемы с Win 8.1 после очередного патча. Под Win 10 на апрель 2017, даже у версии 3.1 - проблем не наблюдается.


Cisco Secure Access Control System(ACS)

Сервер авторизации Cisco для привязки к любым системам, требующим и умеющим авторизацию. Умеет протаскивать данные до MS AD, может делать разные формы access-list, временных промежутков и так далее.

По-моему имел часть функционала NAP.


What is the Cisco ACS Server?


It's the job of Cisco Secure Access Control Server (ACS) to offer authentication, accounting, and authorization services to network devices. It includes routers, switches, Cisco PIX firewalls, and network access servers. Cisco Secure Access Control Server supports two major AAA protocols; namely, TACACS+ and RADIUS.

http://www.techrepublic.com/article/solutionbase-understanding-the-critical-role-of-ciscos-access-control-server-in-cisco-nac/


Выводится с поддержки - NOTE: The Cisco ACS is no longer being sold after August 30, 2017, and might not be supported.

http://www.cisco.com/c/en/us/products/security/secure-access-control-system/index.html


рекомендуется переход на Cisco Identity Services Engine (ISE) - почти то же, но лучше, больше и другое.

http://www.cisco.com/c/en/us/products/security/identity-services-engine/index.html


процедура перехода есть тут - ACS-to-ISE Migration

http://www.cisco.com/c/en/us/products/security/secure-access-control-system/acs-to-ise-migration-promotion.html


Open VPN

OpenVPN -- свободная реализация технологии виртуальной частной сети (VPN) с открытым исходным кодом для создания зашифрованных каналов типа точка-точка или сервер-клиенты между компьютерами. Она позволяет устанавливать соединения между компьютерами, находящимися за NAT и сетевым экраном, без необходимости изменения их настроек.

https://ru.wikipedia.org/wiki/OpenVPN


OpenVPN is an open-source software application that implements virtual private network (VPN) techniques for creating secure point-to-point or site-to-site connections in routed or bridged configurations and remote access facilities.

https://en.wikipedia.org/wiki/OpenVPN


Больше про нее можно почитать тут

https://community.openvpn.net/openvpn/wiki/HOWTO


или (на русском) тут

https://habrahabr.ru/post/191874/


Что можно сказать - тоже работает.


Прочее

Прочим является ГОСТ. Это разнообразные Континент, випнет, секурнет, s-terra b и так далее. Про них позже.

Что надо помнить - там используется шифрование по ГОСТ-у.

ГОСТ 28147-89 - https://habrahabr.ru/post/256843/

ГОСТ Р 34.12-2015 - https://habrahabr.ru/post/266359/


8.15 Программные роутеры - Nexus v1000

Оказывается, роутеры тоже можно виртуализировать. Продукт конечно (по слухам) без ASIC получается тормозной, но зато виртуальный.

Читать тут

http://www.cisco.com/c/en/us/products/switches/nexus-1000v-switch-vmware-vsphere/index.html


и тут

Установка Cisco Nexus 1000v в VMware vSphere 5.x

https://geektimes.ru/post/241710/


но лучше начать читать тут -

VMware is announcing the End of Availability (EOA) for the Cisco Nexus 1000V SKU and its associated support SKUs from VMware effective February 2, 2015.

http://www.vmware.com/products/cisco-nexus-1000v.html


8.16 Wifi

Читать

Проектирование Wi-Fi сетей на базе оборудования Cisco

http://www.cisco.com/web/UA/about/news/2014/09/230914c.html


Вообще с Wifi ситуация интересная. С одной стороны домашние роутеры раздают wifi налево и направо.

С другой стороны сами точки доступа той же Cisco и сами достаточно безмозглы, и идут порой с прошивкой "сама не работаю, только с сервером".

С третьей стороны, если еще пару лет назад требовался отдельный контроллер (2500/5500) -

http://www.cisco.com/c/en/us/products/wireless/2500-series-wireless-controllers/index.html

http://www.cisco.com/c/en/us/products/wireless/5500-series-wireless-controllers/index.html

то сейчас и модельный ряд стал шире -

http://www.cisco.com/c/en/us/products/wireless/wireless-lan-controller/index.html


и появилась линейка L3 POE коммутаторов со встроенным wifi контроллером -

Cisco Catalyst 3850 Series Switches

http://www.cisco.com/c/en/us/products/switches/catalyst-3850-series-switches/index.html


Конкуренты тоже не стоят на месте - Avaya предлагает свои точки, Ubiquiti Networks Unify -

https://unifi-sdn.ubnt.com/

https://www.ubnt.com/unifi/unifi-ap/


HPE / Aruba тоже .. если не закрыли это направление.

Juniper c их WLA522

http://www.juniper.net/sites/us/en/products-services/wireless/wla-series/wla522/index.page


и так далее. Настройка у каждого своя, все они могут использовать Radius, сертификаты и так далее - для корпоративной сети.


cisco AAA + radius + wifi

http://winitpro.ru/index.php/2015/01/22/nastraivaem-domennuyu-autentifikaciyu-na-setevom-oborudovanii/


https://habrahabr.ru/post/142070/


Управление точками доступа:

CAPWAP - The Control And Provisioning of Wireless Access Points

https://en.wikipedia.org/wiki/CAPWAP


8.19 Образец настройки Cisco / HP / Avaya

Написано, надо скопировать.


8.23 Безопасность в сети.

Сегментирование, ограничение доступа.

L2 -Port-security, pvlan, bpdu-filter /bpdu guard, storm-control - вынесены выше, в L2

DHCP snooping, Dynamic ARP Protection (Inspection), IP Source Guard

VMPS (VLAN Management Policy Server), 802.1X

SNMP как средство мониторинга.

Информационная безопасность:

начиная от login on-failure log / login on-success log / login block-for


Безопасность в сети надо разделить на три группы возникающих проблем.

Надежность, в смысле длительной и спокойной работы, безопасность от несетевых проблем.

Безопасность от случайных проблем, ошибок пользователей и оборудования

Безопасность от вредителей всех видов, случайных и специальных.


Надежность, в смысле длительной и спокойной работы, безопасность от несетевых проблем.

- тут не так много заповедей. Включайте оборудование через ИБП, следите за инженерным (температура / влажность / физический доступ) состоянием оборудования, при возможности используйте для связи между коммутаторами Etherchannel/LACP, мониторьте состояние портов и термодатчиков. Подписывайте оборудование и провода, обновляйте схемы монтажа и прошивки.

Выключайте (физически или на коммутаторе) неиспользуемые порты.


Безопасность от случайных проблем, ошибок пользователей и оборудования.

Наиболее часто встречаемых случайных проблем три - сборка кольца в сети, неавторизованный DHCP сервер в сети же, неавторизованный wifi.


Теоретически от кольца в сети должен защищать Spanning-tree. Практически он срабатывает не всегда, и часто не так как надо. Поэтому - смотрите выше про STP/RSTP / bpduguard


DHCP snooping, Dynamic ARP Protection (Inspection), IP Source Guard

Проблема с неавторизованными DHCP мягко говоря не нова. Поэтому на той же Cisco есть защита - DHCP ответы идут только по авторизованным портам. Плюс есть связка с Dynamic ARP Protection (Inspection), IP Source Guard - про них написано много.

Настройка сравнительно проста, описана, работает.

В безопасности еще будет всякое про DHCP же.


Неавторизованный wifi.

Если у вас нет строгой защиты сети(о этом ниже), и заведется несознательный гражданин, который сможет настроить домашний роутер на NAT в вашу сеть с wifi от роутера, то ничего кроме периодического обхода здания с сканером, вас не спасет.

Технологии "глушения левых точек с контроллера" конечно имеются, но это отдельная тема для описания.


Для более строго контроля, чем port-security mode sticky, есть две известные технологии -

VMPS (VLAN Management Policy Server) и 802.1X


VMPS.

Проблема - Client switches query the VMPS server using the VLAN Query Protocol, or VQP. Only Cisco produces hardware with VMPS client functionality, and is currently fully supported across their IOS switching lines. Cisco officially only supports the use of Catalyst 4000, 5000 and 6500 switch platforms (with appropriate firmware) as VMPS servers, but these have limited functionality, and only support a static text file transferred into them using tftp.

https://en.wikipedia.org/wiki/VLAN_Management_Policy_Server


почитать можно тут

http://www.cisco.com/c/en/us/td/docs/switches/lan/catalyst2960x/software/15-0_2_EX/vlan/configuration_guide/b_vlan_152ex_2960-x_cg/b_vlan_152ex_2960-x_cg_chapter_0101.pdf


802.1X

Достаточно безопасная система, но сложная и в развертывании, и в поддержке, и во множестве сопровождающих глюков.

Кто-то, наверное, внедрял.


SNMP как средство мониторинга.

Коммутатор можно настроить на отправку уведомлений "случилось подключение к ранее неактивному порту". Что делать потом с этой информацией - решать вам, можно например уточнить, кто там включился так не вовремя, и есть ли этот MAC в базе данных. Хотя сам по себе MAC ничего не показывает, но возможность такого мониторинга есть.

Читать

http://citforum.ru/security/articles/ids/

http://www.nexans.ru/eservice/Russia-ru_RU/navigatepub_157214_-16632/_Ethernet.html


Мониторинг mac-адресов на портах сетевых устройств Cisco с помощью протокола snmp

https://habrahabr.ru/post/319404/


Информационная безопасность:

начиная от login on-failure log / login on-success log / login block-for

Современные прошивки коммутаторов и маршрутизаторов предполагают не только назначение access-list "кому можно", но и мониторинг излишне любопытных граждан. Или (были случаи) случайных вирусов на ПК, которые пытаются постучаться в коммутатор. На Cisco для защиты от таких любопытных есть три команды - login on-failure log / login on-success log / login block-for

Первые две пишут в лог кто пытался неудачно / удачно соединиться, третья блокирует ВСЕ соединения при N попытках подключения.

Примета: если вы включили login block-for, и не озаботились ACL на внешнем интерфейсе, куда стучаться десятки ботнетов - к дальней дороге со шнурком в рюкзаке.


Можно настроить SNMP на отправку соответствующих сообщений на syslog, конечно.

https://community.spiceworks.com/topic/774058-cisco-switch-send-out-traps-on-failed-telnet-enable

https://aaronwalrath.wordpress.com/2010/06/01/monitoring-authentication-attempts-on-cisco-routers-with-syslog/


Главная проблема мониторинга - https://habrahabr.ru/company/oleg-bunin/blog/316898/

Если мониторинг не читать и не обрабатывать кейсы и причины - то зачем он нужен?


8.24 Вопросы по сетям - Internet layer - и около них.

Стоит еще раз перечитать

Физический уровень. Вопросы

Вопросы по уровню доступа к сети


Примечание. И тут, и ранее, в качестве примера не использовался, и не будет использоваться образ "некого бухгалтера". Бухгалтера, особенно в РФ, люди сильно нагруженные, и у них своих проблем хватает - отслеживание смены процентов для ЕСН например, это не говоря о методике подсчетов выплат по больничным. Больше всего проблем лично у меня вызывают одаренные типы, со своими домашними роутерами и мыслями о том, как безопасно поставить что-то с ZVER DVD, и вообще со своими представлениями о том, что такое безопасная работа. Поэтому в дальнейших примерах будет иногда присутствовать некий "инфобезопасник". Все сходство его с какими-то реальными персонажами является случайным совпадением, даже если какие-то подобные случаи происходили и у них.


Для эникея.

Примечание: некоторые вопросы специально сформулированы безграмотно. Некоторые по моей врожденной глупости, некоторые - исходя из того, что порой люди сами не знают чего спрашивать, иногда бывают случаи сплошного цирка - когда ЛЮБОЙ твой ответ описывается как "неверный", но верного ответа не дают. Стрессовые и не только стрессовые собеседования, будущее начальство со своим специфическим мнением, вот это все.

Собеседование может выглядеть примерно так:

https://www.youtube.com/watch?v=V4VfeA3-LPI

https://www.youtube.com/watch?v=EMevR8hJneo


8.24.1 В сети используется DHCP сервер. Как из командной строки посмотреть IP адрес, присвоенный ПК? Как это посмотреть из GUI? Как еще можно их посмотреть?

Примечание по п.3 - я для своего удобства VBS писал. Может еще есть варианты.


8.24.2 В сети используется DHCP сервер. Сотрудник отдела, например, инфобезопасности сообщает, что у него ничего не работает, имя своего ПК он не помнит, что такое IP он не знает, что такое "ничего" объяснить не может, компьютер два раза перезагрузил - не помогло. Вы дошли до рабочего места данного сотрудника, и действительно - ничего не работает, ни внутренняя почта, ни интернет. Индикатор сетевого подключения активен (зеленый).

Опишите ваши первые два действия в командной строке. Какие команды, с какими ключами будете вводить.


8.24.3 Выяснилось, что шлюз у вас доступен по IP*. Однако ни почта, ни сайты по прежнему не открываются, хотя по IP и доступны. Куда стоит посмотреть. Подсказка: в какой файл ?


* Доступен по ip означает, чаще всего, что до сайта идет пинг, а в особо продвинутых случаях - telnet ip 80

** Как мне тут недавно подсказали, есть еще Bitsadmin и Invoke-WebRequest, но это скорее в тему безопасности.


8.24.4 Что произойдет при выполнении на локальном ПК команды

Ipconfig /flushdns


Для продвинутого эникея / начинающего админа.

8.24.5 Вы хотите узнать IP адрес почтового сервера, например, банка России - Cbr.ru

Опишите последовательность действий с использованием nslookup и dns сервера, например гугля - 8.8.8.8


8.24.6 Вы хотите, чтобы на вашем ПК всегда было наиточнейшее время. Как этого добиться?


8.24.7 Что выдаст команда

netstat -an | find ":80"


8.24.8 Что сделает cmd файл следующего содержания (выполненный от имени администратора):

netsh interface ip set address name="local" static 192.168.3.25 255.255.255.0 192.168.3.1 1

netsh interface ip set dnsservers name=local static 192.168.3.12 primary

netsh interface ip add dnsservers name=local 192.168.3.10

netsh interface ip add dnsservers name=local 8.8.8.8

route add 8.8.8.8 mask 255.255.255.255 192.168.3.15


8.24.9 Что такое TTL в IP и зачем он нужен?


8.24.10 Что такое MTU и что в общем случае даст команда

ping 8.8.8.8 -l 2000 -f

и почему


8.24.11 Как работает tracert по ICMP и как работает tracert по UDP.

8.24.12 Может ли в сети быть больше одного шлюза?


8.24.13 Что хранится в таблице arp?

8.24.14 Что такое маршрут до сети? Как добавить маршрут до сети через шлюз не по умолчанию в windows?


8.24.15 Как гарантировать стабильность имен сетевых интерфейсов в Linux?

8.24.16 Можно ли использовать telnet для работы с электронной почтой? Если да, то как?


8.24.17 Как выглядит процедура TCP 3-Way Handshake (SYN,SYN-ACK,ACK) ?

http://packetlife.net/blog/2010/jun/7/understanding-tcp-sequence-acknowledgment-numbers/

8.24.18 По какому протоколу (TCP, UDP или IP) работает DNS? Может ли, и если да, то в каком случае DNS будет работать по другому протоколу, и по какому?


8.24.19 По какому протоколу (TCP, UDP, ICMP,DNS или IP)работает DHCP?

8.24.20 Опишите работу DHCP в случае dhcp relay


8.24.21 DHCP option - что это, сколько их, зачем они нужны?

8.24.22 Зачем нужна оптопара/элементарный оптрон / гальваническая развязка, и что происходит с оборудованием Dlink, которое так любит тот самый виртуальный инфобезопасник, в грозу, особенно если провайдер поставил его на втором по популярности месте размещения оборудования?


8.24.23 Вопрос на тайное знание. Наиболее частая причина странной и непредсказуемой потери связи на СКС, построенной на оборудовании "подешевле", особенно знаменит этим Dlink (просто потому, что был очень популярен), после того как 2-3 года "все же отлично работало".


8.24.24 Зачем нужен DHCP Snooping

8.24.25 Зачем нужна конфигурация порта вида

Fa0/0

switchport port-security

switchport port-security aging time 5

switchport port-security aging type inactivity

switchport port-security maximum 2

switchport port-security violation protect

switchport protected


8.24.26 Зачем нужна конфигурация порта вида

Fa0/1

switchport trunk allowed vlan 2,5

switchport port-security

switchport port-security mac-address sticky

switchport port-security maximum 2

switchport port-security violation shutdown


8.24.27 Как будет вести себя порт коммутатора, если его конфигурация выглядит следующим образом:

switchport trunk encapsulation dot1q

switchport mode trunk

switchport trunk native vlan 2

switchport trunk allowed vlan 3,4,5

switchport mode access

switchport access vlan 6


8.24.28 Какие варианты построения отказоустойчивого DHCP вы знаете?

8.24.29 Какие варианты построения отказоустойчивого DNS вы знаете?


8.24.30 Зачем нужен PXE и как он связан с option 66, option 67

8.24.31 Зачем нужны cdp и lldp?


8.24.32 Зачем нужен vtp?

8.24.33 Зачем нужен confreg 0x2142?


8.24.34 Что такое etherchannel /LACP и зачем он нужен?

8.24.35 Router "А" is set as default GW at PC "B". A PC "C", is connected to another interface of router "A". What route you should add at PC "B" for connect PC "B" and "C"?


8.24.36 При загрузке компьютера на этапе PXE сетевая карта получает адрес 192.168.53.117, но после загрузки ОС Windows Server 2012R2 в выводе сетевых настроек видно что получен адрес 172.16.21.15 от того же DHCP сервера. WTF Как такое может быть?

Ответ -

http://www.cisco.com/en/US/docs/ios/12_4t/ip_addr/configuration/guide/htdhcpre.html


8.24.37 Что должен поддерживать сетевой адаптер клиента для работы WDS (Windows Deployment Services)

* PXE - Preboot Execution Environmen

* Wake-on-LAN (WoL)

* Windows PE 2.0

* Windows PE 2.1


8.24.38 Как ограничить широковещательные домены в сети

* Использовать L3 устройство для связи L2 устройств

* Использовать deny multicast на коммутаторе

* Использовать vlan

* Использовать private vlan


Ответ:

Уменьшение количества широковещательного трафика в сети

Каждый VLAN -- это отдельный широковещательный домен. Например, коммутатор -- это устройство 2 уровня модели OSI. Все порты на коммутаторе с лишь одним VLAN находятся в одном широковещательном домене. Создание дополнительных VLAN на коммутаторе означает разбиение коммутатора на несколько широковещательных доменов. Если один и тот же VLAN настроен на разных коммутаторах, то порты разных коммутаторов будут образовывать один широковещательный домен.

http://xgu.ru/wiki/VLAN


8.24.39 Отметьте правильные пары соответствия порта и службы

DNS - 53

HTTPS - 80

DHCP - 22

IMAP - 143

SMTP - 110


8.24.40 Какой ответ используется DHCP для отказа в выдаче адреса

DHCPNAK

DHCPACCEPT

DHCPOFFER

DHCPASK


Ответ: DHCPDISCOVER - DHCPOFFER - DHCPREQUEST - DHCPACK


Далее DHCPDECLINE или DHCPNAK

https://ru.wikipedia.org/wiki/DHCP


Часть 9. Туннелирование, разделение и экранирование сетей.

9.1 Теория. Зачем нужны туннели, экраны и прочая.

9.2 Туннелирование:

GRE / Site2Site VPN / IPSec VPN / DMVPN / FlexVPN

SSL VPN

MPLS

9.3 Межсетевое экранирование: Три модели безопасности в сети.

PIX/ASA - ACL / Context-Based Access Control, or CBAC / Zone-Based Policy Firewall (also known as Zone-Policy Firewall, or ZFW)

9.4 NGFW - Check Point, Dell Sonicwall, Palo Alto, Cisco, Fortinet, HP TippingPoint, McAfee, Barracuda and Juniper.

9.5 Програмно-аппаратные модули.

Palo Alto, Cisco Adaptive Security Virtual Appliance (ASAv)

9.6 Импортозамещение в сетевой ИБ.

Континент, випнет, секурнет, s-terra. Амикон


9.1 Теория. Зачем нужны туннели, экраны и прочая.

Туннели.

Нужны для одной простой задачи - связи с филиалами. Доступ из сети филиала (и только из сети филиала) к внутренней сети, доступ из головного офиса в филиал.

Можно ли обойтись без них? Можно конечно. Переместить все документы и сервисы на портал (sharepoint), или на яндекс/гугль документы / MS office 365 , или и иное облако (например IBM - да мало ли сейчас облаков).

Можно использовать сервер терминалов. Можно по RDP ходить на рабочую станцию.

Можно вообще файловый сервер сделать доступным из интернета.

Вариантов много.


Экраны. Точнее межсетевые экраны / Firewall /Brandmauer / Feuerwand.

Программы, или програмно-аппаратные комплексы, определяющие кому куда можно получать доступ по сети, а кому - нет. Например, в современной, даже малой сети есть ряд выделенных подсетей -

- рабочие сервера

- Управление серверами (ilo, vcenter)

- Бухгалтерия

- Системное администрирование

- Рабочая сеть

- Интернет

- Сервера банков и сдачи отчетности

Очевидно, что из рабочей сети доступ к управлению серверами, бухгалтерией и СА - не нужен.

Наоборот, из сети бухгалтерии доступ нужен только к рабочим серверам, и серверам банков и сдачи отчетности.

Для разграничений и выступают межсетевые экраны.

В последние годы простые ограничения можно настраивать и на L3 коммутаторе, на межсетевые экраны возложены дополнительные функции, например отслеживание подозрительного трафика.

Отдельно надо рассмотреть системы IDS/IPS/DLP - которые частично работают как FW.


9.2 Туннелирование:

GRE / Site2Site VPN / IPSec VPN / DMVPN / FlexVPN

SSL VPN

MPLS


GRE / Site2Site VPN / IPSec VPN / DMVPN / FlexVPN

Подробно рассмотрены тут - Сети для самых маленьких. Часть седьмая. VPN

https://habrahabr.ru/post/170895/


SSL VPN

Все очень просто: это использование браузера. Если вы видите в начале адреса не http, а https, и индикатор (в FF - замок) зеленый - то это шифрование SSL и создание SSL VPN.

Читать тут

http://searchsecurity.techtarget.com/definition/SSL-VPN


Насколько я помню, еще SSL VPN используется в Cisco Easy VPN, может где-то еще.

Ключевой момент - сертификаты сервера и центры сертификации.


MPLS - Multiprotocol Label Switching

Вырвиглазный мозгоразрывающий ад для эникея, если он попробует понять "как это вообще работает".

Рядовой сервис от провайдера для клиентов.

С точки зрения покупателя сервиса - еще один порт / провод от провайдера, который виртуально вторым портом / концом провода - находится в филиале.

Проблема: по умолчанию это access. Чтобы в этом L2 канале заработал trunk, надо отдельно сообщить провайдеру для настройки с его стороны -

Can we configure an 802.1Q trunk between two Cisco Catalyst switches on different sites over a MPLS connection?


When you connect to a remote site through MPLS, it is a layer 3 connection, and the 802.1Q trunk is a layer 2 protocol, so you cannot have an 802.1Q trunk across a MPLS connection. You need to have a Metro Ethernet connection or 802.1Q tunneling to expand your VLAN, which is provided by the ISP. In the MPLS cloud, the ISP communicates through VRF.


Refer to Configuring IEEE 802.1Q Tunneling for more information.

http://www.cisco.com/c/en/us/support/docs/multiprotocol-label-switching-mpls/mpls/4649-mpls-faq-4649.html#anc18

http://www.cisco.com/c/en/us/td/docs/switches/lan/catalyst6500/ios/12-2SX/configuration/guide/book/dot1qtnl.html


Плюсы: не надо у себя ничего настраивать (хотя данные было бы неплохо шифровать хоть чуть-чуть).

Высокая скорость (фактически скорость сети провайдера - при том, что Ipsec VPN имеет ограничения из-за скорости процессора и процедуры шифрования, плюс часто неоптимального пути от точки к точке).

Минусы: стоит денег, не всегда есть такая возможность.


Читать:

Сети для самых матёрых. Часть двенадцатая. MPLS L2VPN

https://habrahabr.ru/post/315028/


9.3 Межсетевое экранирование: Три модели безопасности в сети.

PIX/ASA - ACL / Context-Based Access Control, or CBAC / Zone-Based Policy Firewall (also known as Zone-Policy Firewall, or ZFW)


Cisco PIX уже лет 10 (PIX 515E Eos - July 28, 2008) как снят с продаж, но многие помнят именно это название.

Хотя в продаже уже третье (или четвертое) поколение Cisco ASA NGFW, со встроенным FirePOWER Services (до этого модуль был отдельным, а до него были модули ASA-SSM-20, а что было раньше я уже не помню).

Модель безопасности ACL.

Вначале были только standard ACL - которые разрешали/запрещали что-то только исходя из адреса источника, и Extended ACL - которые проверяли адреса и порты источника, назначения, и протокол.

Смотреть

https://learningnetwork.cisco.com/thread/14613

http://etutorials.org/Networking/Cisco+Certified+Security+Professional+Certification/Part+II+Securing+the+Network+Perimeter/Chapter+6+IOS+Firewall+Feature+Set+-+CBAC/Context-Based+Access+Control+CBAC/


Затем система усложнилась, и появились reflexive ACLs

http://xgu.ru/wiki/Cisco_ACL#Reflexive_ACL

https://habrahabr.ru/post/154879/

https://habrahabr.ru/post/121806/


Следом появились stateful inspection firewall / Context-Based Access Control (CBAC)


Читать:

https://en.wikipedia.org/wiki/Context-based_access_control


Context-Based Access Control (CBAC): Introduction and Configuration

http://www.cisco.com/c/en/us/support/docs/security/ios-firewall/13814-32.html


Важно помнить:

Background Information

CBAC can also be used with Network Address Translation (NAT), but the configuration in this document deals primarily with pure inspection. If you perform NAT, your access lists need to reflect the global addresses, not the real addresses.


Understanding CBAC might be made easier if you think of it as reflexive ACLs without the limitations.

http://etutorials.org/Networking/Cisco+Certified+Security+Professional+Certification/Part+II+Securing+the+Network+Perimeter/Chapter+6+IOS+Firewall+Feature+Set+-+CBAC/Context-Based+Access+Control+CBAC/

http://packetlife.net/blog/2009/mar/10/ios-context-based-access-control-cbac/


Zone-Based Policy Firewall (also known as Zone-Policy Firewall, or ZFW)

Читать -

http://www.ccienetlab.com/security/10-zone-based-firewall-zbf-na-cisco-marshrutizatorah.html

http://www.cisco.com/c/en/us/support/docs/security/ios-firewall/98628-zone-design-guide.html


Deploying Zone-Based Firewalls by Ivan Perelnjak, ISBN: 1-58705-310-1

http://www.ciscopress.com/store/deploying-zone-based-firewalls-digital-short-cut-9781587053108


9.4 NGFW - Check Point, Dell Sonicwall, Palo Alto, Cisco, Fortinet, HP TippingPoint, McAfee, Barracuda and Juniper.

Сравнение сабжей можно почитать тут


Если вкратце описать весь маркетинг, то лет 10 назад стало очевидно, что ACL и CBAC, которые смотрят, фактически, на адрес\порт - не справляются с современными атаками. Необходим сигнатурный (по образцам) и поведенческий анализ, на который нет мощности и ASIC.

Ответом стали модули Cisco ASA AIP -

As mobile devices and Web 2.0 applications proliferate, it becomes harder to secure corporate perimeters. A key component of Cisco Secure Borderless Network architecture, the Cisco╝ Advanced Inspection and Prevention Security Services Module (AIP SSM) with Global Correlation and the Cisco Advanced Inspection and Prevention Security Services Card (AIP SSC) for the Cisco ASA 5500 Series Adaptive Security Appliance provide proactive, full-featured intrusion prevention services to stop malicious traffic before it can affect your network. Cisco Intrusion Prevention System (IPS) with Global Correlation increases the efficacy of traditional IPS. With updates every 5 minutes, Cisco IPS with Global Correlation provides fast and accurate threat protection with real-time global intelligence from Cisco IPS, firewall, email, and web appliances.

http://www.cisco.com/c/en/us/products/collateral/security/asa-5500-series-next-generation-firewalls/product_data_sheet0900aecd80404916.html


Для большого и толстого энтерпрайза выпускались похожие модули -

Cisco Catalyst 6500 Series/7600 Series ASA Services Module

http://www.cisco.com/c/en/us/products/collateral/interfaces-modules/catalyst-6500-series-7600-series-asa-services-module/data_sheet_c78-672507.html


Первые модули сняты с продаж в 2013 году, но встречаются до сих пор

http://www.cisco.com/c/en/us/products/collateral/security/asa-5500-series-next-generation-firewalls/eol_C51-727284.html


Проблема: без подписки толку от них никакого.


Следующим этапом (у Cisco) стал Firepower -

The ASA FirePOWER module supplies next-generation firewall services, including Next-Generation Intrusion Prevention System (NGIPS), Application Visibility and Control (AVC), URL filtering, and Advanced Malware Protection (AMP).


The ASA FirePOWER module runs a separate application from the ASA. The module can be a hardware module (on the ASA 5585-X only) or a software module (all other models).

http://www.cisco.com/c/en/us/products/security/asa-firepower-services/index.html

http://www.cisco.com/c/en/us/td/docs/security/asa/quick_start/sfr/firepower-qsg.html


и NGFW как изрядно маркетинговая тема -


Our Cisco Firepower NGFW appliances combine our proven network firewall with the industry's most effective next-gen IPS and advanced malware protection. All so you can get more visibility, be more flexible, save more, and protect better.

http://www.cisco.com/c/en/us/products/security/firewalls/index.html


Firepower умеет всякое, в том числе лазить в https чуть глубже -

http://habrahabr.net/thread/7019


Конкуренты, тот же Fortinet, не отстали -


The Fortinet Next Generation Firewall (NGFW) Solution


Effective protection is an absolute necessity in today's rapidly growing threat environment, as is having a fast, reliable network. You can't afford to choose between comprehensive security and network performance, and with Fortinet solutions, you don't have to.


The FortiGate next gen firewall is a high-performance network security appliance that adds intrusion prevention, application and user visibility, SSL inspection, and unknown threat detection to the traditional firewall.

https://www.fortinet.com/solutions/enterprise-midsize-business/enterprise-firewall/next-generation-firewall-ngfw.html


Palo Alto

Palo Alto Networks next-generation firewalls are architected to safely enable applications and prevent modern threats. Our approach identifies all network traffic based on applications, users, content and devices, and lets you express your business policies in the form of easy-to-understand security rules.

https://www.paloaltonetworks.com/products/secure-the-network/next-generation-firewall


У остальных аналогично - маркетинг и пиар.

Главное:

Все это требует подписки, обновлений, и стоит сотни нефти.

Все они хорошие .. если настроить, бдить, и не пренебрегать остальными мерами.

Рекомендованный курс - Palo Alto 101, бесплатный.


Курс задорого - Securing Networks with Cisco Firepower Next- Generation IPS

http://www.cisco.com/c/ru_ru/products/security/firesight-management-center/index.html

http://www.cisco.com/c/dam/en_us/training-events/learning_services/courses/docs/SSFIPS.pdf


Книжка бесплатно

Next-Generation Firewalls For Dummies - Palo Alto Networks

https://get.info.paloaltonetworks.com/webApp/next-generation-firewalls-for-dummies-en


9.5 Програмно-аппаратные модули.

Palo Alto, Cisco Adaptive Security Virtual Appliance (ASAv)


PA - бывает как совсем софтовый, так и софтово-аппаратный.

Например -

The VM-Series is a virtualized form factor of our next-generation firewall that can be deployed in a range of private and public cloud computing environments based on technologies from VMware╝, Amazon╝ Web Services, Microsoft╝, Citrix╝ and KVM.

https://www.paloaltonetworks.com/products/secure-the-network/virtualized-next-generation-firewall/vm-series


Cisco Adaptive Security Virtual Appliance (ASAv)

http://www.cisco.com/c/en/us/products/security/virtual-adaptive-security-appliance-firewall/index.html


9.6 Импортозамещение в сетевой ИБ.

Континент, випнет, секурнет, s-terra. Амикон


Буду краток

Раз https://www.youtube.com/watch?v=8sYTi4WtEuY

Два https://securenews.ru/infowatch_data_leak/


Часть 10. Резерв под провайдерские особенности и всякое метро.


Уплотнение и оптимизация каналов связи с высокой задержкой (спутник).

Riverbed Steelhead, tcp slow start, congenstion window

TCP congestion control

https://habrahabr.ru/company/croc/blog/327720/

https://en.wikipedia.org/wiki/TCP_congestion_control Часть 11. ЭВМ и вычислительные модули / узлы.

11.1 ПЭВМ - рабочие ПК, толстые - тонкие клиенты.

11.2 Вопросы по теме ПК

11.3 Обычные и привычные сервера. Первый запуск, общие вопросы.

11.4 Blade, мезонины, Virtual Connect FlexFabric Module

11.5 Классические СХД - системы и сети хранения данных.

Примечание: VmWare vSan и MS Storage Spaces Direct вынесены отдельно, см. ниже

11.6 IBM System Z, HP superdome, прочий Cray

11.7 Встраиваемые модули для сетевого оборудования.

11.8 Гиперконвергентные системы с распределенными узлами.

Nutanix и его сравнение с не совсем (и совсем не) гиперконвергентными системами.

11.9 Некоторые особенности контрактов на обслуживание.

11.10 Импортозамещение в ПЭВМ и серверах.

Эльбрус, Байкал.

11.11 Нестандартное вычислительное и сетевое оборудование - кассы, весы, принтеры этикеток.

ЭКЛЗ(электронная кассовая лента защищенная), учет алкоголя.

ОФД (оператор фискальных данных)/ККТ(контрольно-кассовая техника) и 54-ФЗ.

Основные игроки российского рынка - Кристалл, Атол, Сервис плюс, Штрих, Пилот.

Безант,Тензор.

11.12 Сервисы кассовых систем - R-keeper/ Store House

Облачные сервисы в применении к кассовым системам - Subtotal

11.14 Вопросы по ПЭВМ/ЭВМ


11.1 ПЭВМ - рабочие ПК, толстые - тонкие клиенты.


Тонкий клиент

- (англ. thin client) в компьютерных технологиях -- компьютер или программа-клиент в сетях с клиент-серверной или терминальной архитектурой, который переносит все или большую часть задач по обработке информации на сервер.

Т.е. этот ПК почти без своих вычислительных мощностей, своего сколько-то крупного жесткого диска и так далее.

В остальном - обычный ПК.


Толстые клиенты и рабочие станции.

В данном случае проблема возникает от смешанного перевода на русский терминов толстый\тонкий. В общем случае "толстый клиент" - это программа по обработке данных, которые она подгружает с сервера, например - 1с версии 7.7.

Рабочие станции - обычные ПК. Литературы по ним написано преизряднейше, строка приведена только чтоб была.

Высокопроизводительные рабочие станции - например, HP Z440/640/840 Desktop Workstation. Почти тот же ПК, но с огромным числом быстрой памяти (например, Z440 поддерживает до 128 Гбайт DDR4-2400 SDRAM с ECC/REG), профессиональной видеокартой (NVIDIA╝ Quadro/AMD FirePro) , SSD дисками и так далее.


11.2 Вопросы по теме ПК

- зачем вообще нужны высокопроизводительные рабочие станции, если есть мощные сервера, системы хранения и так далее?

- Вот ПК (образец). Что тут что - где память, где системный блок?


11.3 Обычные и привычные сервера. Первый запуск, общие вопросы.

Ситуация с серверами осложняется в РФ (и не только) наличием всякого самосборного говна, на который поставлен левый MS Server, и типа вот оно. На практике ситуация сложней, потому что RSA/ILO и прочий отдельный менеджмент и два блока питания стоят даже не на всех серверах. Проще сказать несколько абстрактно, что серверное оборудование, от материнских плат до жестких дисков и SSD, имеет большее время средней наработки на отказ/наработки до отказа - Mean time between failures, MTBF.

К примеру, для SSD дисков домашнего и серверного сегмента количество циклов различается в десятки раз.

Кроме этого, очень часто в серверах встречаются средства удаленного управления (IPMI - Intelligent Platform Management Interface)- iLo для HP, Dell Drac для Dell, IMM - ранее RSA (remote supervisor adapter) для IBM и так далее.

Фактически, это отдельный встроенный в сервер управляющий ПК.

Плюс, конечно, в серверах может быть и 2, и 4 , и 8, и так далее процессоров, по два и больше блоков питания с горячей заменой, модули памяти с ECC или ECC+REG, выделенные видеокарты типа NVIDIA GRID, жесткие диски с горячей заменой и так далее. Зачастую сервера могут выпускаться в двух вариантах - для напольного монтажа, или для монтажа в стандартную 19-дюймовую стойку/шкаф.

Зачастую в серверах присутствуют интерфейсы, которые в рабочих станциях встречаются исключительно редко.


Первый запуск.

Запуск сервера HP/IBM / прочее "из коробки" выглядит примерно одинаково

1. Распаковать сервер в место "для подготовки".

2. Доставить память, процессоры, диски, блоки питания, ключи лицензирования, прочее. На IBM ключ для RMS - маленькая плата. На HP у iLo - серийный номер.

Примечание:IMM key - Remote Control. Без него не работает web KVM -

Status: This advanced option requires the purchase and installation of a key. Please refer to the server documentation for instructions regarding the installation of this key.


3. Включить ilo/RMS/DRAC и подключиться к нему, поставить лицензию / ввести ключ

4. Обновить ilo/RMS/DRAC

5. Обновить остальные прошивки на рабочие и проверенные.

Вот в этом месте присутствует ЗАСАДА.

Если у HP SPP (Service Pack for ProLiant) - это один диск (iso), обновляемый раз в квартал (можно обновлять устройства по одному), то у IMB/Lenovo - это UpdateXpress.

Он не то чтобы плох - если у вас Windows 7 и большой парк. В случае же 1-2 серверов это адЪ и израилЪ. Потому как под Win10 не работает даже в режиме совместимости.


Читать тут:

http://blog.trinitygroup.ru/2009/08/86-ibm.html

https://www-947.ibm.com/support/entry/portal/docdisplay?lndocid=serv-xpress

С другой стороны, на 06.2016 нет проблемы взять машину под win7, скачать две утилиты (UpdateXpress и IBM Bootable Media Creator (BoMC)) и собрать нужный образ.


Примечание:

HPE Ilo лучше сразу заводить на LDAP

http://winitpro.ru/index.php/2010/10/12/nastrojka-ad-autentifikacii-na-hp-ilo-2/

http://pyatilistnik.org/kak-nastroit-autentifikatsiyu-active-directory-na-hp-ilo-3-cherez-hp-directories-support-for-proliant-management-processors/

http://pyatilistnik.org/kak-nastroit-autentifikatsiyu-active-directory-na-hp-ilo-3-cherez-web-interfeys-ilo/


Массовое обновление прошивок.

HPE OneView Advanced edition

HP Smart Update Manager:

https://www.hpe.com/ru/ru/product-catalog/detail/pip.5182020.html


RIBCL

HP VCRM.

HP SIM


Общие вопросы.

Как я уже сказал, наиболее частая проблема - самосборное говно работает непредсказуемо. То контроллер дохлый изначально, то провода не те, то еще какая боль.

Конечно, есть супермикро (ввиду популярности шмуклера и примкнувших к нему специалистов по истории медицины имеющая жаргонное имя "мшуклермикро"), которое вроде и недорогое, и вроде и работает.

Что тут можно сказать - читайте HCL (hardware compatibility list) очень и очень внимательно.

Один мой друг(ТМ) как-то (в лабе, правда) успешно словил ряд факапов на ровном месте - у Vmware был deprecated SAN контроллер 2/4, у MS Server 2016 для Hyper-V стал ОБЯЗАТЕЛЕН SLAT - Other than that, the main difference in hardware is that second-level address translation (SLAT) is now required instead of recommended.

https://technet.microsoft.com/en-us/windows-server-docs/compute/hyper-v/system-requirements-for-hyper-v-on-windows

Говоря другими словами -

Q. Is there going to be a vNext version of Hyper-V that does not require SLAT support in processors?


A. No. Hyper-V in the vNext version of Windows Server will only work on processors with Secondary Level Address Translation (SLAT) which is also known as Extended Page Table (EPT) for Intel processors. If you have older servers that have processors that do not support SLAT then you will need to use Windows Server 2012 R2 Hyper-V that does not require SLAT support in the processor.


И такие мелочи всплывают постоянно.


11.4 Blade, мезонины, Virtual Connect FlexFabric Module

С ростом задач в организации возникает потребность разделить числовую обработку данных (расчеты) и хранение данных. В результате возникает необходимость в оборудовании, где сконцентрированы именно вычислительные модули - процессоры и память. Как ответ на такую задачу возникли blade-шасси (корзина, сhassis) - это один набор внешнего оборудования - блоков питания, сетевых карт, оптических модулей, универсальных модулей (например HP Virtual Connect FlexFabric с одновременной поддержкой Ethernet, Fibre Channel, iSCSI), система удаленного управления, блок клавиатура-видео-мышь (KVM), выделенные порты сетевого управления и так далее.

На самом вычислительном модуле (blade - лезвие) находится процессор (возможно, что и два), память, разъемы для usb-flash и 1-2 жестких дисков, и интерфейс для связи с шасси.

Возможно, слот для установки дополнительной карты - той же Tesla

Например

https://www.hpe.com/h20195/v2/GetPDF.aspx/c04440152.pdf


На шасси находятся блоки питания, коммутаторы - например Cisco Catalyst Blade Switch 3120 for HP and Cisco Catalyst Blade Switch 3020 for HP

http://www.cisco.com/c/en/us/td/docs/switches/blades/3120/hardware/quick/guide/3120gsg.html


оптические и прочие внешние модули.


Картинки смотреть тут

http://www.instock901.com/hp-bladesystem-c7000-enclosure-6-power-10-fans-2-oa-cisco-3020-10gb-vc

http://anastarsha.com/how-to-connect-hp-bladesystem-c7000-c3000-to-cisco-unified-fabric/

https://en.wikipedia.org/wiki/HP_BladeSystem


Есть и совсем маленькие решения, на две головы/лезвия -

Supermicro 2U Twin2 ╝ Solutions

https://www.supermicro.com/products/nfo/2UTwin2.cfm


Мезонин - mezzanine board

Читать тут.

http://h20565.www2.hpe.com/hpsc/doc/public/display?sp4ts.oid=3676868&docId=emr_na-c01885366&docLocale=en_US


http://h20564.www2.hpe.com/hpsc/doc/public/display?docId=emr_na-c02741545


https://h50146.www5.hpe.com/lib/products/servers/proliant/manuals/659738-403.pdf


Virtual Connect FlexFabric Module

https://www.hpe.com/us/en/product-catalog/servers/virtual-connect.hits-12.html


Первый запуск ПОЧТИ не отличается от серверов.

Если быть более точным, то необходимо взять инструкцию, прочитать ее два раза, переписать по-русски и затем медленно и уверенно включать. Начав с правильного выбора электричества -

FIX:The c7000 enclosure supports flexible power configuration 200 - 240 V single phase AC input, 3-Phase AC input and -48 V DC input.

http://h20564.www2.hpe.com/hpsc/doc/public/display?docId=mmr_kc-0107478

Читать и искать:

Power Sizer or Power Advisor tools (HPE Power Advisor utility White Paper )

https://paonline56.itcs.hpe.com/?Page=Index

http://h20564.www2.hpe.com/hpsc/doc/public/display?docId=emr_na-c01510445


11.5 Классические СХД - системы и сети хранения данных.

Примечание: VmWare vSan и MS Storage Spaces Direct вынесены отдельно, см. ниже


СХД.

Системы хранения данных (наиболее известны Hitachi (IBM), HPE, HPE 3PAR, EMC-DELL).

Как сказано выше, на каком-то этапе возникает потребность в разделении хранения данных и расчета данных. СХД - это компьютер, функции которого урезаны до управления дисковыми массивами и передачей этих данных по сетям SAN или ethernet/tcp-ip. На самом компьютере может быть, как на сервере, несколько управляющих контроллеров, несколько сетевых или оптических карт, модули для расширения СХД путем подключения дополнительных дисковых полок без системы управления, и так далее.

Что надо помнить: При замене любых быстро заменяемых компонентов (горячая замена например блоков питания) нарушаются проектные потоки воздуха, ухудшается охлаждение. При длительных (3-5 минут) отсутствиях модулей оборудование различных вендоров может реагировать (и реагирует!) на это отключениями системы.

Примечание: реагирует оборудование всех вендоров. IBM например разрешает менять "до получаса". Но все равно читайте инструкцию!

Что надо делать: перед заменой любых компонентов

- обязательно прочитать инструкцию

- подготовить все необходимое в виде приборов, материалов и заменяемого блока

- подготовить рабочее место, зачастую расчистив путь извлечения от проводов, а сами провода от стяжек и крепежа.

- предупредить всех ответственных лиц, что будут проводиться работы по обслуживанию, если это делаете вы, а не специально обученный и сертифицированный инженер. Впрочем, если это делает особо обученный инженер - обязательно предупредите и сделайте бэкап.

- ВНИМАНИЕ! Даже если не вы, а обученный инженер вендора, обновляет высоконадежный и весь такой проверенный контроллер - ВСЕГДА имейте бекап и запасной план, если ВДРУГ все сдохнет. Случаи разовые, но бывают, и вам от этого легче не будет.


Вообще про обновление:

СХД (как кстати и Brocade switch) бывают чувствительны к версиям firmware, в том смысле что иногда нельзя обновиться "с версии 4 года назад на текущую".

СХД (тот же HP/HPE 2000) имеет любопытную проблему - иногда обновление "с одной головы на другую" не проходит, приходится обновлять вручную. Тренируйте обновление по SSH.


Архиполезно - Расчет классической СХД по производительности

http://blog.vadmin.ru/2016/06/vdc_69.html


Опыт построения и эксплуатации большого файлового хранилища - Проектирование нагрузки на СХД

https://habrahabr.ru/company/oleg-bunin/blog/313364/


11.6 IBM System Z, HP superdome, прочий Cray

На следующем этапе развития требований организации, когда возможностей и качества работы серверов и блейд-систем не достаточно, возникает потребность в том, что ранее чаще называли мейнфрейм/mainframe. Сейчас эта техника чаще зовется "тяжелыми серверами / big iron".

Все, что стоит знать про эту технику на данном этапе - то, что это большой (2 полных шкафа), тяжелый и дорогой сервер, для настройки и работы которого нужны специально обученные и сертифицированные люди за МНОГАДЕНЕГ.

Вещь очень интересная, но очень узко применимая. Не путать с IBM power 750 например.

Подробнее читать

http://www-03.ibm.com/certify/certs/updatesrev_sy.shtml

http://www-03.ibm.com/certify/certs/03003006.shtml


https://www-03.ibm.com/systems/z/hardware/

https://www-03.ibm.com/systems/ru/z/


А, да.

Еще там есть ЧПУКС (HP-UX) и z/OS

https://en.wikipedia.org/wiki/HP-UX

https://en.wikipedia.org/wiki/Z/OS


Cray

https://en.wikipedia.org/wiki/Cray


11.7 Встраиваемые модули для сетевого оборудования.

Такие модули -

- High-Speed WAN Interface Card (HWIC)

- single-wide service modules

- double-wide Enhanced High-Speed WAN Interface Card (EHWICs)

- Network Interface Modules (NIMs)

-Sterra МСМ-950

- Cisco ASA AIP SSC-5, Cisco ASA AIP SSM-40

представляют из себя или специализированные платы расширения сети, или выделенные мини-ПК, иногда со специальными контроллерами, для увеличения скорости сетевого оборудования, выполнения им отдельных задач (проверка трафика, часть шифрования, шифрование по ГОСТ) и так далее.


Часть из них рассмотрена в секции по сетям.


11.8 Гиперконвергентные системы с распределенными узлами.

Nutanix и его сравнение с не совсем (и совсем не) гиперконвергентными системами.

Читать:

Не все гипер-конвергентные решения одинаково полезны, или как быть с потоком мутного маркетинга "у нас тоже есть HCI"

https://habrahabr.ru/company/nutanix/blog/302812/


11.9 Некоторые особенности контрактов на обслуживание.

Перед чтением условий и контрактов, надо понимать, что такое Next business day, 3 business days и другие варианты на тему. Учитывать расстояние от склада и шансы на наличие детали на ближайшем, центрально-российском и прочем складах.

Еще у ряда производителей есть требования к транспортировке (не бить, не ронять, не наклонять), у ряда требуется обязательная процедура проверки транспортной доступности. Учет веса изделия, несущей способности перекрытий, доставка - включая лифты, пороги и повороты. В некоторые места сервера приходилось краном поднимать, с разборкой внешней стены здания.

У кое-кого есть требование первого запуска обязательно сертифицированным специалистом, который при запуске еще раз проверит датчики удара и наклона.

Требования к первому запуску могут быть весьма интересными.


Обслуживание DC и договора

https://habrahabr.ru/company/dataline/blog/321972/


11.10 Импортозамещение в ПЭВМ и серверах.

Эльбрус, Байкал.

Ситуация на 1 квартал 2017 года выглядит примерно "никак". Потому что кроме процессора - есть еще мосты, сетевые карты, оперативная память, материнская плата, какие-то устройства хранения итд. Поэтому рассуждать о одном процессоре как-то бессмысленно, в РФ трудно найти, или заказать просто корпус или блок питания.


Байкал (Baikal-T1) - процессор скорее встраиваемый, и в нем нет никаких чудес - это честно лицензированный P5600 MIPS 32 r5, выпускается на TSMC.


История с Эльбрусом интересней. Его так пиарили, в стиле интелкапец, ибм утрется - что показанные результаты, через два года от начала активного пиара, оказались хоть и предсказуемыми, но специфичными.


Итог тестирования эльбруса-2 и эльбруса-4 показал, что результат далек от интела - и что на этом поделии нельзя даже собрать нормальный (современный) сервер. Например -

ДЖВА ГИГАБИТНЫХ ИНТЕРФЕЙСА на сервер, ололо!!11расрас. И это на 2U сервер.

На 1 U - 1G, 1 PCI Express 2.0


Результаты тестирования в феврале-2016 -

Характеристики сабжа (с его 4* 1891ВМ8Я или 1891ВМ8БЯ ("Эльбрус?4С") - сопоставимых с Atom D2500)

Обзор и сравнительное тестирование ПЭВМ "Эльбрус 401?PC

https://geektimes.ru/post/270382/

https://geektimes.ru/post/270386/

https://geektimes.ru/post/270388/

https://geektimes.ru/post/270390/


Обзор и сравнительное тестирование ПЭВМ "Эльбрус 401?PC". Дополнение -- вопросы и ответы

https://geektimes.ru/post/271974/


Цитаты:

Чем можно объяснить аномально низкие показатели скорости чтения и записи твердотельного накопителя, не дотягивающие даже до номинальной полосы пропускания интерфейса SATA-2, через который он подключён?


Это известное ограничение микросхемы 1991ВГ1Я, реализующей контроллер периферийных интерфейсов (КПИ). Оптимизированный вариант контроллера (КПИ-2), в котором эта проблема решена, будет устанавливаться в системы с новыми процессорами "Эльбрус-8С" и "Эльбрус-1С+".


Откуда берутся идентификаторы PCI-устройств, -- почему код разработчика (Vendor ID) у многих набортных устройств такой же, как у Intel?


Причина совершенно прозаическая -- так операционной системе Windows в режиме двоичной трансляции проще почувствовать себя как дома. Правда, из-за своей параноидальной привязки кодов активации к используемой аппаратуре, эта "самая дружелюбная" система всё равно иногда начинает капризничать.


Какие технологии виртуализации поддерживаются на платформе "Эльбрус"?

Прямо сейчас поддержки нет вообще. Однако в скором времени появится возможность использования контейнеров.


Кроме того, в этом году (2016-м) должны завершиться работы по созданию паравиртуализованного ядра операционной системы и механизма поддержки гипервизора KVM.


Примечание: на май 2017 ничего подобного в открытое тестирование не просачивалось.


11.11 Нестандартное вычислительное и сетевое оборудование - кассы, весы, принтеры этикеток.

ЭКЛЗ(электронная кассовая лента защищенная), учет алкоголя.

ОФД (оператор фискальных данных)/ККТ(контрольно-кассовая техника) и 54-ФЗ.

Основные игроки российского рынка - Кристалл, Атол, Сервис плюс, Штрих, Пилот.

Безант,Тензор.


В процессе написания.

ЭКЛЗ.

Очень любопытно - см. Безант.

https://aftershock.news/?q=node/503731

http://www.rbc.ru/politics/30/03/2017/58dca21e9a79477657d8f778?from=main

https://rospravosudie.com/court-as-goroda-moskvy-s/judge-sizova-olga-vladimirovna-s/act-301378944/


В остальном .. современная касса - это тот же ПК, только маленький и тормозной. Работает через тот же Ethernet, умеет загружаться по сети.

Основное в нем - это софт разных фирм, и возможности и настройки этого софта по скорости, удобству, интеграции со всем подряд и работе с принтером чеков.


Заливка / прошивка - чаще через PXE/WDS, но бывают и свои вариации.


11.12 Сервисы кассовых систем - R-keeper/ Store House

Облачные сервисы в применении к кассовым системам - Subtotal


Сервисы кассовых систем - R-keeper/ Store House

В процессе написания.

http://www.r-keeper.ru/about/

http://www.r-keeper.ru/software-modules/storehouse/


Subtotal

С 2017-го года ЭКЛЗ стали заменять на онлайн-сдачу чеков:

Согласно Федеральному закону от 03.07.2016 N 290-ФЗ с 1 февраля 2017 года вместо привычных нам ККТ к ИФНС будут подключать только онлайн-кассы. А к 1 июля 2017 года представители абсолютно всего бизнеса, как малого, так и крупного, должны обновить (или модернизировать) старые ККТ на новое онлайн оборудование.+

С помощью новых онлайн ККТ налоговики смогут в режиме реального времени получать информацию о всех кассовых операциях в вашей компании. Онлайн-кассы будут формировать чек не только в бумажном, но и электронном виде, что позволит отправлять покупателю чек по электронной почте или СМС.система

http://ip-spravka.ru/news/online-kassa-2016


Переход с ЭКЛЗ на онлайн ККТ - это дорого, порой слишком. Решением становится онлайн-касс, как Subtotal. По сути это клиент для ПК/кассы, к которому подключен принтер чеков. Остальное идет через онлайн. Для запуска нужно немного бубна, немного опыта, еще немного опыта и немного удачи.

Читать -

Интернет-сервис для автоматизации торговли Subtotal -- оптимальное решение для тех, кто сегодня ведет учет розничных продаж и складской учет в тетради или Exсel.

http://subtotal.ru/features/

https://startpack.ru/compare/accounting-kontur/subtotal-commerce

http://www.moedelo.org/Manual/Page/subtotal/


11.14 Вопросы по ПЭВМ/ЭВМ


11.14.1 Может ли в сервере быть один блок питания?

11.14.2 Может ли в сервере быть четыре блока питания? А шесть ?

11.14.3 Что произойдет, если выйдет из строя один из двух блоков питания сервера?

11.14.4 Что стоит помнить перед заменой блока питания СХД, особенно если это СХД фирмы NetApp?


Вопросы на уровень "начинающий администратор - продвинутый эникей".

11.14.5 Что такое юнит в шкафу?

11.14.6 Зачем нужен Cagenut puller / Cage Nut Insertion & Removal Tool?

11.14.7 Зачем нужны HP SPP (Service Pack for ProLiant) и Lenovo/IBM UpdateXpress?

11.14.8 Зачем нужны iLo / IMM (RMA), DRAC и так далее? Тут мне напомнят про IPMI и прочий BMC, наверное.

11.14.9 Какие параметры нужно постоянно наблюдать в серверной и кого и как стоит извещать о проблемах с данными параметрами? Подсказка: минимум три параметра.

(температура, влажность, датчик протечек, задымление, напряжение, или сами придумайте).


Часть 12. Сети и системы хранения данных. SAN-FC как технология.

12.1 SAN-FC как технология.

12.2 Курсы по Brocade

12.3 Про модели безопасности Brocade.

12.4 Вопросы по FC/Brocade


12.1 SAN-FC как технология.

На каком-то этапе, очень давно, когда интернета не было совсем, а ЛВС были медленными, началось внедрение оптики.

Можно почитать в интернете, а хотя бы и тут https://ru.wikipedia.org/wiki/Fibre_Channel

Говоря о сегодняшнем дне, надо помнить о трех не очень-то совместимых друг с другом комплектах оборудования -

- too ooold, как говорят старые педобиры - 1/2/4 Gb - Brocade Silkworm 200E SAN Switch

Внимание. Поддержка части 1/2/4 SAN контроллер убрана / deprecated в Vmware 6.0, смотрите HCL.

- часто используемое - Brocade 8Gb SAN Switch

- Новое и модное - Brocade 16Gb SAN Switch


Есть конечно наиновейшее и наимоднейшее (на 05.2016) - 128GFC "Gen 6", но вживую пока оно скорее не встречается.

Чаще всего говорим FC - подразумеваем Brocade, хотя оно есть и у Cisco - Cisco╝ MDS 9148 Multilayer Fabric Switch, и у QLogic - SB3810-08A, SB5800V-08A

Если очень и очень упрощать, то сеть хранения данных - это дисковые массивы или кассетные библиотеки, подключенные через оптические коммутаторы к серверам.

Разница в том, как предоставляются данные - в виде не отформатированного пространства (RAW) или в виде готового диска с файловой системой.

Вопрос выбора между SAN 8/16 или iSCSI over 1/10/40Gb Ethernet решается индивидуально.


Почитать по SAN:

Основы Fibre Channel

https://habrahabr.ru/post/216369/


12.2 Курсы по Brocade


FC 101-WBT Introduction to Fibre Channel Concepts

http://www.brocade.com/en/education/courses/introduction-to-fibre-channel-concepts.html


https://www.youtube.com/watch?v=9aDMrO9a52s

https://www.youtube.com/watch?v=q4veZ-sdV28


http://h20195.www2.hp.com/V2/GetPDF.aspx%2F4AA4-7060ENW.pdf


http://www.brocade.com/en/education/certification.html

VWAF 200-WBT - Introduction to Brocade Virtual Web Application Firewall (vWAF 200-WBT)

http://www.brocade.com/en/education/course-schedule.html#


И еще мене тут нехорошие люди обещали побить с использованием нетрадиционных не конфессиональных FC270, FC271 - хотя по слухам 270+271 заменили на 200


Вообще про обновление: Brocade switch чувствительны к версиям firmware, в том смысле что нельзя обновиться "с версии 4 года назад сразу на текущую". Есть (в случае brocade) рекомендованный путь.


12.3 Про модели безопасности Brocade.

Zoning

Zoning splits the SAN into subnetworks, with each application server assigned to a zone. The servers within a zone have any-to-any connectivity, but anything outside the zone is invisible to them. Zoning can be done either in hardware by linking ports on the Fibre Channel fabric, or in software.

Masking

Masking restricts access even further, to specific logical storage units. With LUN masking, application servers are restricted to those logical storage devices assigned to them. Masking offers finer granularity at the expense of somewhat more complex administration. Like zoning, it can be implemented either in hardware or software and is often built into SAN products such as routers, bridges or storage controllers.

http://searchstorage.techtarget.com/tip/Masking-and-zoning-for-SAN-security


12.4 Вопросы по FC/Brocade

12.1.1 Как подключиться к Brocade switch? Три способа. Какой лучше? (web/ssh/console)

12.1.2 Обязательно ли нужен Brocade switch, или 2-3 сервера и одну дисковую полку можно соединить между собой как-то еще?

12.1.3 Что такое WWF и чем он отличается от WWN?

12.1.4 Кто такие таргет и инициатор. Или базовая терминология SAN

12.1.5 Зачем нужны алиасы?

12.1.6 Что можно объединять в группы и зачем?

12.1.7 Сколько может быть конфигураций на "обычном" свиче, и сколько из них активных?

12.1.8 Что такое commit и когда он случается?

12.1.9 Если у вас два и более брокейда в фабрике - почему ид (domain id) любого из коммутаторов нельзя начинать с единицы? Вообще, почему нельзя осталять в SAN коммутаторы с domain id 1 ?

12.1.10 Можно ли в зону положить порт коммутатора?

12.1.11 Можно ли в одну зону добавить все порты коммутатора?

12.1.12 Что такое N-Port, E-Port, F-Port

12.1.13 Зачем нужен NPIV (N_Port ID virtualization)?


Часть 14. Сети и системы хранения данных.

14.1 Теория.

Data Storage Solutions, Disk Array and Network Storage, RAID. Raid penalty. Hot spare.

3PAR - овские группы

14.2 Теория. latency, и прочее на тему IOPS.

Latency

Disk Queue Length. Average disk queue length

Про IOPS

Про расширение и перестроение массивов.

Про прошивку дисковых контроллеров.

Про статус LEFTOVER на HP MSA

Veritas I/O fencing

14.3 Практика. Образец расчета системы хранения

14.4 Теория. MPIO.

14.5 Теория. VmWare VSAN и MS Storage Spaces Direct (S2D).

Одна Очень Страшная История.

14.6 Теория. Тиринг

14.7 Теория. Технология для прямого управления массивом из Wmware -

vStorage API for Array Integration (VAAI)

14.8 Теория. VMWare virtual volumes

14.9 Практика. Классическая СХД базового уровня.

Основные вендоры.

Безопасность СХД.

Неочевидные особенности работы СХД


Практика: рассыпания массивов и последующее посстановление данных


Troubleshooting Storage Performance in vSphere - Part 1 - The Basics

14.10 Практика.ALL flash СХД

14.11 Практика.Ceph

14.12 Практика.Nutanix

Дубль

14.14 Прочее всякое.

Выравнивание разделов.

Специфика обучения на СХД.

14.15 Велосипед уже изобретен. Что умеют промышленные СХД

14.16 Крови, кишки, хайлоад и прочее с лекции 7-8 ноября 2016г., Хайлоад, Сколково.

14.17 Литература по теме.

14.18 Мониторинг и тюнинх СХД.

14.19 Прочее:

Software-Defined Storage (SDS)

14.20 Подключение хранилища к сети. FC, iSCSI, NFS.

14.21 Импортозамещение в СХД. Обзорно.

14.22 Вопросы по СХД


14.1 Теория.

Data Storage Solutions, Disk Array and Network Storage, RAID. Raid penalty. Hot spare.

3PAR - овские группы


Начну с часто встречаемого вопроса при собеседованиях: чем отличается NAS от SAN ?

Ответ - Порядком букв. И еще тем, что первый - Network-attached storage и дает готовую шару по сети, а второй - Storage Area Network и дает блочный доступ.

Т.е. в первом случае единицей адресации/хранения будет "файл", размещением которого на физическом уровне будет заниматься контроллер NAS, а не хоста.

В втором случае единицей хранения будет "блок", поверх которого уже контроллер хоста будет что-то писать, при этом контроллер СХД будет заниматься уже блоками.


Конечно, тут неплохо бы затронуть вопросы размера кластера на отдельном диске

https://support.microsoft.com/ru-ru/kb/140365

и размеры страйпа на рейдах

https://community.spiceworks.com/topic/948667-raid-1-and-raid-10-stripe-size-and-ntfs-allocation-unit-size


При этом вопрос может быть сформулирован как-то так:

RAID 5 stripe size set at 128KB. What's the recommended NTFS cluster size?

Раньше это было критично, и рассматривался размер "average file size", но сейчас файлы в массе большие, диски еще больше.


RAID.

Originally redundant array of inexpensive disks, now commonly redundant array of independent disks. Очень отдельная тема.

статья для знакомства с темой - https://en.wikipedia.org/wiki/RAID


помнить надо об основных уровнях

RAID 0 consists of striping, without mirroring or parity.

RAID 1 consists of data mirroring, without parity or striping

RAID 5 consists of block-level striping with distributed parity

RAID 6 consists of block-level striping with double distributed parity

RAID 0+1: creates a second striped set to mirror a primary striped set.

The array continues to operate with one or more drives failed in the same mirror set, but if drives fail on both sides of the mirror, the data on the RAID system is lost.

RAID 1+0: creates a striped set from a series of mirrored drives. The array can sustain multiple drive losses so long as no mirror loses all its drives


Основное, что надо всегда помнить про Raid - это штраф, raid penalty

http://theithollow.com/2012/03/21/understanding-raid-penalty/

https://sudrsn.wordpress.com/2010/12/25/iops-raid-penalty-and-workload-characterization/

для записи - см. по ссылке выше

Для чтения - для R1 - There is no read penalty

для R6 пишут про you will see approximately 20% reduction in performance when writing, хотя пишут и другое -

RAID 6 does not have a performance penalty for read operations, but it does have a performance penalty on write operations because of the overhead associated with parity calculations


Вот тут

https://en.wikipedia.org/wiki/Standard_RAID_levels

- есть таблица скорости чтения/записи и формулы для ее расчета.

Еще стоит почитать

Почему RAID5 -- "must have"? https://geektimes.ru/post/78348/

Почему RAID-5 -- "mustdie"? https://geektimes.ru/post/78311/


Еще надо помнить про RAID, особенно пятый, следующее -

BAARF - Battle Against Any Raid Five - http://www.baarf.com

Основных проблем с RAID5 две.

Первая - низкая надежность. Теоретически, RAID5 выдерживает выход из строя 1 диска. Это действительно так, выдерживает.

НО. Во-первых, ситуация "вышло из строя сразу два диска" - случается.

Одновременно - например, из-за ошибки на контроллере

НО самый страшный случай - в момент перестроения. Даже если у вас был hot spare, даже если массив начал перестроение - всегда есть риск выхода из строя еще одного диска. Потому что резко выросла нагрузка на оставшиеся диски. И это, зачастую, конец для данных. Методы вытаскивания данных с развалившегося массива находятся за гранью добра, зла, контроллеров прямого доступа к диску и так далее.

Примечание: в живой природе у знакомого был случай вылета ТРЕХ дисков из массива R5 за сутки.

А причина проста - РЕЗКИЙ рост нагрузкти на оставшиеся диски в момент перестроения.


Вторая проблема - вероятность сбоя при пересчете. Т.е. из-за роста емкости (и скорости, и так далее) есть риск получить ошибку при пересчете сумм. Так что где-то в районе - 1 ТБ массива проходит граница между R5 и "уже подумать над RAID6".

Еще раз советую прочитать https://geektimes.ru/post/78311/


Разное

LUN - logical unit number. Проще говоря, структура системы хранения (на примере HP P2000) выглядит так:

- отдельный диск (и контроллеры)

- собранный логический массив (RAID)

- выделенный на массиве логический диск

- презентация этого массива как target, с монтажом по умолчанию как LUN номер N, или презентуемый выборочно - т.е. отдаваемый только некоторым хостам.


У Hitachi (сейчас уже Lenovo? Или еще нет?) в середине добавляется Raid-group.

У 3PAR свои представления. Вообще, чем дороже массив/система хранения, тем больше у нее всяких уровней и представлений.

У HP EVA(Enterprise Virtual Array) свои заморочки, еще более отдельные. Из чатика сообщают: главное запретить ей самой обновляться.


Hot Swap. Возможность замены диска в массиве (или сервере) без отключения всего массива. Не надо путать с Hot spare


Hot spare. Диск горячей замены. Полезная вещь - при наличии этого диска массив, обнаружив достаточно критичный (по мнению разработчиков массива) сбой на единичном диске, начнет процедуру перестроения массива.

У некоторых разработчиков процедура присвоения диску статуса HS выведена в процесс конфигурации массива (HP и массивы), у некоторых (LSI megaraid) выведена отдельно, причем спрятана в конфигурацию самого диска, опять же с возможностью присвоения диску статуса HS как для отдельного массива \ группы хранения, так и для всех массивов. У Hitachi Unified Storage (HUS) мало того что управления сделано через Hitachi Storage Navigator Modular 2

http://www.academia.edu/8026796/Student_Guide_for_Implementing_and_Supporting_Hitachi_Unified_Storage_TCI2208

так еще и в нем настроек немало, и все интересные.


3PAR - овские группы

HPE 3PAR StoreServ Storage best practices guide

A reference and best practices guide for HPE 3PAR StoreServ Storage

http://www8.hp.com/h20195/v2/GetPDF.aspx%2F4AA4-4524ENW.pdf


Это не рассматривая всякое типа 3PAR redistribute space - вроде так, когда массив умеет не просто подменять диски, а еще и перераспределять данные таким образом, чтобы убрать данные с некорректного диска. То, что в книжках зовется Chunklets.


14.2 Теория. latency, и прочее на тему IOPS.

Latency

Disk Queue Length. Average disk queue length

Про IOPS

Про расширение и перестроение массивов.

Про прошивку дисковых контроллеров.

Про статус LEFTOVER на HP MSA


Расчет скорости СХД.


Latency

начать отсюда

https://en.wikipedia.org/wiki/Hard_disk_drive_performance_characteristics


Как правильно мерять производительность диска

http://habrahabr.ru/post/154235/


IOPS -- что это такое, и как его считать

http://habrahabr.ru/post/164325/


latency

What counters in Windows Performance Monitor show the physical disk latency?

"Physical disk performance object -> Avg. Disk sec/Read counter" - Shows the average read latency.

"Physical disk performance object -> Avg. Disk sec/Write counter" - Shows the average write latency.

"Physical disk performance object -> Avg. Disk sec/Transfer counter" - Shows the combined averages for both read and writes.

The "_Total" instance is an average of the latencies for all physical disks in the computer.

Each other instance represents an individual Physical Disk.

http://blogs.technet.com/b/askcore/archive/2012/02/07/measuring-disk-latency-with-windows-performance-monitor-perfmon.aspx


посмотреть и послушать - http://www.vm4.ru/2014/07/vmware.html


Почитать -

Disk Queue Length. Average disk queue length.

The queue length metric displays the number of outstanding requests (read and write) at any given time. A high number can indicate that there are not enough disk spindles to service the needs of the application or that the existing storage is too slow to keep up with requests. However, how you define a "high number" in this context requires that you have a deep understanding for how the underlying volume is created on the SAN. Each disk that makes up the underlying volume provides additional resources that go into disk queue length (simplistically, the more disks, the higher the disk queue length can be). For additional complicating factors, the RAID level and stripe size you choose can affect this value as well. If you're running on a single disk system and your queue length remains consistently greater than 2, you should add more resources. If it goes beyond 5, you have serious problems that need to be addressed. If you know how many disks make up your underlying volume, multiply the number of disks by 2 to get a very rough, ballpark queue depth maximum value. So, if you're running on a 10 disk system and the queue depth is 18, you should be fine.


http://www.techrepublic.com/blog/the-enterprise-cloud/use-resource-monitor-to-monitor-storage-performance/


Про IOPS

Обязательно глянуть сюда: Some commonly accepted averages for random IO operations, calculated as 1/(seek + latency) = IOPS:

https://en.wikipedia.org/wiki/IOPS


ну и вот сюда, для понимания методики расчетов

http://www.techrepublic.com/blog/the-enterprise-cloud/calculate-iops-in-a-storage-array/

http://www.thecloudcalculator.com/calculators/disk-raid-and-iops.html


и сюда:

Как считать IOPS

https://habrahabr.ru/post/164325/

https://habrahabr.ru/post/154235/


Разумеется, все уже расчехляют пи... попугаемерки. Привожу значения, которые я наблюдал:

RAMDISK (rbd) -- ~200kIOPS/0.1мс (iodepth=2)

SSD (intel 320ой серии) -- 40k IOPS на чтение (0.8мс); около 800 IOPS на запись (после длительного времени тестирования)

SAS диск (15к RPM) -- 180 IOPS, 9мс

SATA диск (7.2, WD RE) -- 100 IOPS, 12мс

SATA WD Raptor -- 140 IOPS, 12mc

SATA WD Green -- 40 IOPS, и мне не удалось добиться latency <20 даже с iodepth=1

https://habrahabr.ru/post/154235/


Про расширение и перестроение массивов.

Что могу сказать. Единичный 3-Тб *7200 диск в массиве R5 HP MSA G3 перестраивается примерно 2 суток. 2-ТБ в Hitachi - полутора суток.

Добавление 2 дисков по 3 тб каждый в массив R6 заняло 5 дней, с попутной просадкой производительности из-за отключение кеша и траты части вычислительной мощности на перестроение.


Про прошивку дисковых контроллеров.

У меня было 4 разные прошивки, 2 usb шнура, 2 шнура com-usb, специальный консольный кабель, ноутбук с гарантированно работающим ком-портом, сделанные бекапы, сдвинутые с хранилища данные, бутылка Джемисона и банка бизнес-геля.

Не то что бы это был необходимый запас для прошивки дискового массива, но если уж начал обновлять прошивки, становится трудно остановится.

Единственное, что вызывало у меня опасения - это прошивка storage adapter. Нет ничего более бесполезного и испорченного, чем storage adapter не с той прошивкой.

Я знал, что рано или поздно это может произойти и со мной.


Перед прошивкой лучше данные сначала забэкапить, а потом вообще сдвинуть с этого массива. При любых проблемах, даже если у вас два контроллера, есть риск потери всего массива.


Про статус LEFTOVER на HP MSA

О дисковой полке HP MSA P2000G3 хочу поведать историю (пока еще с непонятным финалом, хотя судя по развитию ситуации пациент уже почти зомби). Итак. Имеем небольшой массив MSA P2000G3, набитый практически под завязку 2Тб дисками SAS (основная полка с контроллерами и три дополнительных полки расширения). Для обеспечения запаса жирка дисковое пространство было организованно следующим образом: 1. На каждой физической дисковой полке был выделен один диск под горячую замену (итого 4 диска hot spare), все остальное дисковое пространство поделено на 3 части, созданы 3 vdisk с уровнем избыточности RAID 6. Вроде бы неплохой уровень избыточности - я вот до недавнего времени не верил, что возможно одновременно потерять даже 3 винта. Да не тут то было - HP меня "порадовал". На днях ОДНОВРЕМЕННО массив пометил состоянием LEFTOVER шесть винтов .. причем пометил все 4 выделенных на горячий резерв диска и два диска - принадлежащих одному и тому же RAID6.

http://3nity.ru/viewtopic.php?f=6&t=15810

В той же ситуации:

Вывел я массив HP MSA 2000 P2000 из работы с LEFTOVER статусом, оттащил на помойку и напал на него с отверткой.

Что хочу сказать. Это какая-то неведомая мне ранее .. ситуация.

Дано:

11 R5 (из них 1 leftover)

1 Hot spare

Выдергиваю LeftOver диск, и не происходит НИЧЕГО. Причем диск, который стоял в HS, так в ем (статусе) и стоит, огоньком не мигает, в задачах ничего не видать.

Общем, вонзил я диск обратно, он снова сообщил про leftover.

Оукей, я значит сделал clear metadata - и диск из массива вылетел совсем.

Поставил массив расширяться на этот диск, но что-то я не понял - а где перестроение-то ?? Запасной винт как был в статусе spare, так и остался, массив как был "FTOL" и апще норм - тоже так и остался.


UPD

Беда

http://h30434.www3.hp.com/t5/Notebook-Hardware-and-Upgrade-Questions/HP2000-MSA-G3-has-got-LEFTOVR-disks/td-p/1178145


решение типа "перешить например"

http://community.hpe.com/t5/Storage-Area-Networks-SAN-Small/P2000-Leftover-Disk-recovery/td-p/4828993


Что про это думает HPE

http://h20564.www2.hpe.com/hpsc/doc/public/display?docId=mmr_kc-0114488


Мораль: в продакшене не надо экспериментировать. Вывести из работы, отправить во второй эшелон.


Veritas I/O fencing

I/O fencing is a mechanism to prevent uncoordinated access to the shared storage. This feature works even in the case of faulty cluster communications causing a split-brain condition.

Understanding Split Brain and the need for I/O fencing


To provide high availability, the cluster must be capable of taking corrective action when a node fails. In this situation, SF Oracle RAC configures its components to reflect the altered membership.

https://sort.veritas.com/public/documents/sf/5.0/aix/html/sf_rac_install/sfrac_intro13.html


14.3 Практика. Образец расчета системы хранения

Расчет классической СХД по производительности

http://blog.vadmin.ru/2016/06/vdc_69.html


Опыт построения и эксплуатации большого файлового хранилища - Проектирование нагрузки на СХД

https://habrahabr.ru/company/oleg-bunin/blog/313364/


14.4 Теория. MPIO.

Multipath I/O. Полезная в целом вещь, позволяет держать в постоянном резерве не один канал связи (шнурок) от контроллера (сервера) к хранилищу, а два. Или три.

Microsoft Multipath I/O (MPIO) is a Microsoft-provided framework that allows storage providers to develop multipath solutions that contain the hardware-specific information needed to optimize connectivity with their storage arrays. These modules are called device-specific modules (DSMs). The concepts around DSMs are discussed later in this document.


MPIO is protocol-independent and can be used with Fibre Channel, Internet SCSI (iSCSI), and Serial Attached SCSI (SAS) interfaces in Windows Server╝ 2008, Windows Server 2008 R2 and Windows Server 2012.

https://technet.microsoft.com/en-us/library/ee619734%28v=ws.10%29.aspx


Multipath I/O Overview

https://technet.microsoft.com/en-us/library/cc725907(v=ws.11).aspx


Microsoft Multipath I/O (MPIO)

https://technet.microsoft.com/en-us/library/dd759254(v=ws.11).aspx


Understanding MPIO Features and Components

https://technet.microsoft.com/en-us/library/ee619734(v=ws.10).aspx


Installing and Configuring MPIO

https://technet.microsoft.com/en-us/library/ee619752(v=ws.10).aspx


SAN Multipathing Part 1: What are Paths?

https://www.brentozar.com/archive/2009/05/san-multipathing-part-1-what-are-paths/


SAN Multipathing Part 2: What Multipathing Does

https://www.brentozar.com/archive/2009/05/san-multipathing-part-2-what-multipathing-does/


14.5 Теория. VmWare VSAN и MS Storage Spaces Direct (S2D).

Одна Очень Страшная История.

VSAN читать тут

http://www.vmware.com/ru/products/virtual-san

http://www.vmware.com/ru/products/virtual-san/features


VMware Virtual SAN (VSAN): зачем он вам и как его готовить

https://habrahabr.ru/company/dataline/blog/258059/


Storage Spaces Direct (MS) читать тут

https://technet.microsoft.com/en-us/library/mt126109.aspx

смотреть тут - https://habrahabr.ru/company/microsoft/blog/259971/

точнее смотреть Microsoft TechDay - СХД на базе серверов с локальными дисками, Сергей Груздов

https://channel9.msdn.com/Series/Microsoft-TechDay-2015/05


Очень страшная история про VSan и HCL (переписанный) -

https://www.reddit.com/r/vmware/comments/26zbkb/my_vsan_nightmare/

https://www.reddit.com/r/vmware/comments/2799p4/root_cause_analysis_of_my_vsan_outage/


14.6 Теория. Тиринг

Просто скопирую из чатика, автор (Антон М.), если захочет - скажет свое веское ФЕ.


Итак, тиринг в изначальном его виде - это решение по автоматизации размещения блоков данных на более быстрых и дорогих (SSD, 15K) или, напротив, на более ёмких и дешёвых (10K, 7.2K) пулах дисков. Автоматизация основывается на предположении, что блоки данных, к которым обращаются чаще, нуждаются в более быстром дисковом пуле, чем те, к которым обращений меньше. Плюсы этой технологии в том, что отсутствует необходимость вручную определять, какие данные на каком тире следует разместить, и в гранулярности (можно разместить на хранилище с тирингом файл-сервер и не беспокоиться о ручной релокации кучи файлов). Минусы в том, что тиринг не предполагает гарантирования максимальной скорости доступа, и можно попасть в ситуацию, когда некая БД, скорость отклика которой критична, будет располагаться на быстром пуле лишь частично, и не сможет оперативно обработать запрос, затрагивающий её часть, лежащую на медленном пуле. Чтобы такой фигни не было, некоторые хранилки позволяют оверрайдить автоматическую релокацию, заставляя определённые файлы/луны лежать на конкретном пуле.

От SSD-кэша на чтение тиринг отличается возможностью организации тиринга на нескольких уровнях и/или вообще без SSD, только на механике разной скорости (разумеется, всё это должно поддерживаться СХД). Также он отличается абсорбированием на SSD записей: записываемые данные изначально кладутся на SSD, чтобы предельно уменьшить время записи, а уже потом релокатор решает, следует ли переместить их на медленный пул.

Соответственно, нужен тиринг тогда, когда у нас есть значительное количество данных, лишь небольшая (но заметно превышающая размер кэша СХД) часть которых "горячая", и нам не хочется (либо у нас нет возможности) ни заниматься релокацией данных по пулам вручную, ни покупать All-Flash. И, разумеется, тиринг не есть ни панацея, ни серебряная пуля.

14.7 Теория. Технология для прямого управления массивом из Wmware -

vStorage API for Array Integration (VAAI)


vStorage API for Array Integration (VAAI) is an application program interface (API) framework from VMware that enables certain storage tasks, such as thin provisioning, to be offloaded from the VMware server virtualization hardware to the storage array.


VMware vSphere storage virtualization

http://www.vmware.com/ru/products/vsphere/features/storage-vmotion

http://www.vmware.com/ru/products/vsphere/features/storage-api

https://www.vmware.com/products/vsphere/features/storage


14.8 Теория. VMWare virtual volumes

Virtual Volumes от компании VMware - внедрять нельзя ждать?

https://habrahabr.ru/company/veeam/blog/257259/


Virtual volumes:

VMware Virtual Volumes is an integration and management framework for external storage that provides finer control at the VM-level, streamlines storage operation and offers flexibility of choice.

http://www.vmware.com/products/vsphere/virtual-volumes.html

https://communities.vmware.com/community/vmtn/resources/how

https://www.vmware.com/resources/compatibility/search.php?deviceCategory=vvols


14.9 Практика. Классическая СХД базового уровня.

Основные вендоры.

Безопасность СХД.

Неочевидные особенности работы СХД


Практика: рассыпания массивов и последующее посстановление данных

Troubleshooting Storage Performance in vSphere - Part 1 - The Basics


Основные вендоры

Hitachi(IBM), HP, 3PAR, EMC-DELL, Huawei (сейчас все чащеOceanstor) .


Что стоит полистать для начала:

HPE 2040 - 24*SFF*1.2*10k, 10G

https://www.hpe.com/h20195/v2/GetPDF.aspx/c04123144


EMC

EMC VNX5200

https://store.emc.com/us/Solve-For/STORAGE-PRODUCTS/VNX5200/p/VNX-VNX5200-storage-platform


Supermicro (внезапно)

http://www.servethehome.com/supermicro-ssg-6047r-e1r72l-72x-35-drive-4u-storage-server-released/


Безопасность СХД.

1. Ограничивайте доступ в сеть управления СХД

2. Меняйте все пароли, не забывайте

3. Читайте что пишут про инженерные пароли. Возможно, тут именно ваш случай и у вас прошивка с открытым инженерным логином/паролем.


Неочевидные особенности работы СХД

https://habrahabr.ru/post/225183/


Практика: рассыпания массивов и последующее посстановление данных

Восстановление данных с умерших дисков

https://habrahabr.ru/post/330120/

и массивов дисков

https://habrahabr.ru/post/326930/

https://habrahabr.ru/post/328134/


Troubleshooting Storage Performance in vSphere - Part 1 - The Basics

https://blogs.vmware.com/vsphere/2012/05/troubleshooting-storage-performance-in-vsphere-part-1-the-basics-.html

Continue to Troubleshooting Storage Performance - Part 2:

http://blogs.vmware.com/vsphere/2012/06/troubleshooting-storage-performance-in-vsphere-part-2.html

Troubleshooting Storage Performance - Part 3:

https://blogs.vmware.com/vsphere/2012/06/troubleshooting-storage-performance-in-vsphere-part-3-ssd-performance.html


14.14 Прочее всякое.

Выравнивание разделов.

Специфика обучения на СХД.


Вообще тема про размер страйпа и размер кластера в системе сверху - достаточно болезненная. Часто спрашивают нечто типа

RAID 5 stripe size set at 128KB. What's the recommended NTFS cluster size?


Читать о причинах и решении тут:

https://m.habrahabr.ru/company/paragon/blog/97436/


Начиная с ..2008 сервера, кажется -

При использовании Windows Server 2008 вам больше не придется беспокоиться о выравнивании разделов жесткого диска для файлов журнала транзакций и баз данных почтовых ящиков при помощи программы diskpart. В Windows Server 2008 исправлены ошибки, которые существовали в Windows Server 2003 и заключались в том, что при использовании средства управления дисками Windows номер первого сектора раздела всегда был кратен 64, что приводило к неверному выравниванию всего раздела.


Дополнительные сведения имеются в блоге разработчиков по адресу msexchangeteam.com/archive/2005/08/10/408950.aspx


Более того, в Windows Server 2008 при выравнивании разделов используется шаг в 1024 КБ. Это также отмечено в документации по Exchange 2007 в TechNet - technet.microsoft.com/bb738145.


Специфика обучения на СХД.

Специфика обучения на СХД, по крайней мере тем что ковыряю я (NetApp FAS) - чистая СХД никому нафиг не нужна, учить надо "NetApp и VMware", "NetApp и Hyper-V", "NetApp и БД", "NetApp и VDI (Citrix/Microsoft)" и т.д., и в каждой такой связке нужно неплохо знать обе стороны. (С)

На RAID5/RAID6 и аналогах есть нюанс связанный с write amplification - чтобы поменять один блок нужно считать весь страйп, пересчитать чётность и записать обратно. Различные системы по-разному это обходят - например NetApp пишет только полные страйпы, а потом в фоне чистит ненужное, Compellent пишет в режиме RAID10, а потом в фоне пересчитывает эти блоки в RAID5 и освобождает место.


Волшебные слова

NCDA

NCIE

NS0-157, NCDA cDOT (replaces NS0-156)

NS0-506, NCIE SAN cDOT (replaces NS0-504)

NS0-511, NCIE Data Protection (replaces NS0-510)

http://www.flane.be/blog/tag/ncie-san/

http://www.netapp.com/us/services-support/university/certification/


14.15 Велосипед уже изобретен. Что умеют промышленные СХД

Оглавление лекции, в принципе этого достаточно:

1. Велосипед уже изобретен. Что умеют промышленные СХД? Антон Жбанков, Nutanix

2. Мифы о СХД

3. Распространенные мифы • Корпоративные СХД - это очень дорого. Но при этом они не говорят сколько стоит. • Вендоры СХД берут деньги ни за что. • Я на коленке соберу не хуже из "писюков". • СХД - это просто куча дисков. • СХД надо сравнивать по руб/ТБ емкости.


4. Производительность - это МБ/с

5. Ikea Style - не всегда ОК

02.11.11 Недоступность сервиса По версии Селектел - сбой ПО

3.03.12 Недоступность сервиса, даунтайм Проблемы с программной СХД - баг в mdraid

28.03.12 Недоступность сервиса, даунтайм Проблемы с программной СХД - баг в mdraid

04.06.12 Недоступность сервиса Проблемы с программной СХД

17.08.12 Недоступность сервиса, даунтайм Цитата: "Один доблестный сотрудник (с которым будет очень серьёзный разговор) так скоммутировал SAN, что мы два часа разгребали последствия в сетях."

24.09.12 Недоступность сервиса, даунтайм Неполадки с ядром сети на основе коммутаторов Juniper, повреждение оптического кабеля


6. Ikea Style - не всегда ОК • 22 000 пользователей • 2 дня простоя • Полная потеря данных

7. Общая проблематика

8. Самая медленная часть СХД • Производительность измеряется в IOPS • А совсем не в МБ/с • Ограничено законами физики • Seek latency • Rotational latency • 15 000 об/м - предел • Скорость звука • Не менялось с 2000 года

9. RAID

10. RAID • Redundant Array of Inexpensive Disks • Избыточный массив недорогих дисков

11. Проклятие RAID • Каждая операция записи превращается в несколько • RAID Penalty • RAID 0 = 1 • RAID 1 = 2 • RAID 5 = 4 • RAID 6 = 6 RAID 0 RAID 1 RAID 5 RAID 6


12. Производительность

13. Что же отличает СХД от полки с дисками? • СХД не хочет обращаться к диску • Кэш в оперативной памяти контроллера • Flash-кэш второго уровня • Предиктивное чтение • СХД избегает случайной записи • Писать полными страйпами • RAID Penalty = (N+1) / N, где N - число дисков

14. Не все данные одинаково полезны

15. Flash cache • Кэш второго уровня • Энергонезависим • В сотни раз больше оперативного • В десятки раз быстрее магнитных дисков • Две реализации логики • Read-only • Read/Write • Две аппаратных реализации • Специализированная PCI карта • Стандартный диск SSD (EFD)

16. Контроль и управляемость • Мониторинг • Мощный встроенный мониторинг • Интеграция с корпоративными системами мониторинга

17. Контроль и управляемость • Мониторинг • Мощный встроенный мониторинг • Интеграция с корпоративными системами мониторинга • Quality of Service (QoS) • Спасение от "шумного соседа" • Гарантия производительности • Ограничение по производительности


18. Экономия

19. Многоуровневое хранение (tiering) • В большинстве случаев - оптимизация по стоимости • Холодные данные на дешевые, но емкие носители • Перемещение данных 1 раз в сутки • Большой размер блока (256 МБ) • Улучшение производительности • Для систем с большим запасом вычислительной мощности • Hi End • Гиперконвергентные системы и SDS

20. Многоуровневое хранение (tiering) • Будьте внимательны • Реализация тиринга иногда специфична • Знайте свой профиль нагрузки • Тиринг вам может не помочь от слова СОВСЕМ • Маркетинг работает

21. Защита данных

22. Снимки (snapshots) • Защита от логических сбоев • Развалилась БД • Удалили файл • Использование в качестве тестовой площадки • Тесты на реальных данных • Резервное копирование • Бэкап снимка, а не самих данных • Поддержка почти всеми СРК корпоративного класса

23. Журналирование • Журнал • Отдельное хранилище данных • Циклично записывает все операции записи • Спасает от логических сбоев с высочайшей гранулярностью • Вплоть до единичной дисковой операции • Интегрируется с прикладным софтом (на конкретный commit)


24. Катастрофоустойчивость

25. Репликация данных • Создание удаленной копии данных • Всегда схема Active-Passive • Cинхронная • <100 км • Идентичная копия • Асинхронная • Любые расстояния • Близко к идентичной

26. Метрокластер • СХД в активном зеркале • Active-Active • Синхронная • <100 км • Приложение не знает где работает • Полная автоматика

27. Выводы

28. Что же делать? • Узнай свои данные и нагрузку • Сколько стоит простой бизнеса • Сколько стоит потеря данных • Насколько схема "сделай сам" в политике компании? • Справится ли компания с разработкой? • А с поддержкой? • А если вот ты персонально уйдешь из компании?


Антон Жбанков • 8x VMware vExpert • VCP, MCITP • EMC Cloud Architect Expert • http://blog.vadmin.ru •


14.16 Мониторинг и тюнинх СХД.

Проблемы при попытке натягивания совы на глобус и применения старого теста SPC Benchmark-1TM (SPC-1) обр. 2002 года с измерением скорости получения данных со шпинделей, а не фактической скорости работы с учетом горячих/холодных данных и прочих вариаций на тему тиринга, кеширования и прочих data locality

В том числе:

Best practices for performing the storage performance tests within a virtualized environment (2019131)

Официальная история SPC-1. Статья от 2002 года.


"The SPC counts IBM, HP, Sun, and Veritas among its members. EMC resigned its membership last year when it said that the test then under development would not measure real-world performance, because it would not properly measure the effectiveness of caching algorithms. Yesterday it said: "The test measures a single point in an extremely wide spectrum of use. If you look at the results it measures spindle speeds. If IO requests are continually going to disk, basically that's what you're measuring." The SPC has said previously however that it used techniques patented by IBM to generate test data which it insists closely resembles a real workload."

https://www.theregister.co.uk/2002/12/14/emc_just_looking_at_benchmark/

Читать тут - https://habrahabr.ru/company/nutanix/blog/302812/


14.17 Литература по теме.

14.17.1. Common RAID Disk Data Format

Specification Version 2.0 Revision 19

Suggestion for revision should be directed to http://www.snia.org/feedback/.

SNIA Technical Position


14.17.2. Storage Networks Explained

Basics and Application of Fibre Channel SAN,

NAS, iSCSI, InfiniBand and FCoE,

Second Edition


Rainer Erkens, Nils Haustein

IBM Advanced Technical Sales Europe, Mainz, Germany

Translated by Rachel Waddington, Member of the Institute of

Translating and Interpreting, UK

New material for this edition translated from the original German version into English by Hedy Jourdan


14.17.3. Information Storage and Management

Storing, Managing, and Protecting Digital Information

Edited by

G. Somasundaram

Alok Shrivastava

EMC Education Services

Copyright No 2009 by EMC Corporation


14.17.4 Information Storage and Management v3

https://education.emc.com/guest/campaign/InformationStorageandManagement.aspx


14.20 Импортозамещение в СХД. Обзорно.

Enlarge your filestorage!


Булат (который ну вот совсем не Huawei)


НПО Баум - http://npobaum.ru/solutions-hardware#B42

Конвергентная платформа СКАЛА-Р - http://www.ibs.ru/interlab/works/platforma-skala-r/


Полибайт - НЕХ, вероятно с CEPH под капотом.

Координатор системы хранения ПОЛИБАЙТ ПЛБКСХ1001 - Фото от ASUS RS300-H8-PS12


Модуль хранения ПОЛИБАЙТ ПЛБМХ101312ШНВ2 - фото Asus RS300-H8-PS12 1U 1xLGA 1150 14x3.5"+ 2.5", RS300-H8-PS12


Интерконнект сети управления ПОЛИБАЙТ ПЛБИСУ1031 - похож на Huawei S5700-52P-LI-AC Switch.

http://www.thunder-link.com/LS-S5700-52P-LI-AC_p640.html


Bitblaze/Эльбрус/ RAIDIX/ Промобит

Ведущим партнером АО "МЦСТ" по поставке вычислительных систем является компания ПАО "ИНЭУМ им. И.С. Брука". Портирование велось при участии и поддержке партнера АО "МЦСТ" компании "Промобит".

http://ru.pcmag.com/company-life-1/27947/news/po-raidix-dlia-skhd-portirovano-na-rossiiskuiu-apparatnuiu-p

спасибо, не надо.


14.21 Вопросы по СХД

14.21.1 Какие 3 скорости дисков (не рассматривая SSD) встречаются в дисках, применяемых в СХД? Какие из них быстрей в целом?

14.21.2 Чем отличается NAS от SAN?

14.21.3 Какие уровни RAID вы знаете?

14.21.4 Что такое RAID 10 - зеркало из страйпов, или страйп из зеркал?

14.21.5 Потерю скольки дисков выдержит в худшем (для вас) случае RAID 10 из 4 дисков?

14.21.6 Что такое raid penalty?

14.21.7 RAID 5 stripe size set at 128KB. What's the recommended NTFS cluster size?

14.21.8 В чем разница между Hot swap и hot spare?

14.21.9 Сколько дисков можно включить как Hot spare?

14.21.10 В чем основная разница между FC и iSCSI?

14.21.11 Каких основных производителей массивов вы вспомните?

14.21.12 Имеет ли практический смысл подключение iSCSI по Fast Ethernet? По Gi? Почему?

14.21.13 Возможно ли подключение iSCSI диска до загрузки основной ОС, и может ли этот диск быть загрузочным?

14.21.14 Возможно ли подключение LUN по FC до загрузки основной ОС, и может ли этот диск быть загрузочным?

14.21.15 Какие скорости FC сейчас наиболее часто встречаются? Какую скорость передачи данных в гигабайтах/сек они дают?

14.21.16 Что такое MTBF и почему он бесполезен как показатель для SSD?

Что импользуется вместо MTBF на SSD?


14.21.17 Зачем нужен MPIO?

14.21.18 Сотрудник отдела, например, инфобезопасности, решил купить на отдел самое быстрое хранилище, какое бывает. Этот специалист поехал на рынок у ДК Горбунова, и купил там некое хранилище, вместо того чтобы поехать на нормальный рынок..

Точнее, вместо старой народной мудрости про DA RED, он взял массив на 24 диска, все SSD, собрал из них RAID 0, и подключил по FC8 без MPIO. Какую максимальную скорость чтения и записи он получит на хосте, подключенном к этому массиве?

14.21.19 В каком сценарии, при ситуации из примера 14.21.18, MPIO поможет получить от массива скорость выше указанной вами? Насколько возрастет скорость?

14.21.20 Вам необходимо расширить систему хранения, но данные для хранения сравнительно холодные. Что вы выберете, диски с каким числом оборотов, и какой массив (R0,1,10,5,6,50,60, иное) и почему?

14.21.21 Ваш заказчик, возможно под под влиянием некого инфобезопасника, а возможно под влиянием достижений современной науки (особенно химии) купил массив 3PAR сплошь на SSD, и желает собрать на нем RAID0. Как быть, если в какой-то унылой книжке написано:

State drive (SSD) CPGs should be of the RAID 5 type with a "set size" of 3+1 by default. This will bring superior performance/capacity ratio. If maximum performance is required, use RAID 1.


14.21.22 Что такое latency и зачем стоит иногда смотреть на этот параметр?


14.21.23 Исходя из следующих данных:

7,200 rpm SATA drives - 100 iops

10,000 rpm SAS drives - 140 iops

15,000 rpm SAS drives - 200 iops

посчитайте количество дисков ((sas или sata)/7200/10k/15k) для raid 0, 1, 10, 5 и 6, для приложения, которое требует 1500 iops. При расчете рассматривать соотношение 40% чтение 60% запись


14.21.24 Зачем нужен set size на HPE 3PAR StoreServ Storage и как он связан с сhunklets?


Часть 15. The application layer - операционные системы в целом.

15.1 Windows WS. Редакции.

Enterprise - Long Term Servicing Branch (LTSB)

15.2 Windows server. Редакции

15.3 Linux / BSD / Unix

15.4 System Z - z/OS

15.5 Импортозамещение в ОС.


15.1 Windows WS. Редакции.

Enterprise - Long Term Servicing Branch (LTSB)


Как и все что выше - тема очень отдельная в каждом случае, от версии к версии. Разница между Windows server 2003 и 2012r2 местами огромна.

Разница между версиями linux местами заставляет думать, что это уже совсем разные ОС.

Поэтому раздел будет очень обзорен, и ограничиться обзором "примерно со времен Windows XP"

Сама по себе операционная система работает как прокладка между сотнями сервисов разных уровней, и непосредственно кнопками, которые нажимает пользователь.


Редакции - читать

https://www.microsoft.com/ru-ru/windowsforbusiness/compare

https://blogs.windows.com/russia/2015/05/20/predstavljaem-redakcii-windows-10/


Помнить надо о наличии Windows 10 Enterprise Insider Preview

https://technet.microsoft.com/ru-ru/windows/dn783436.aspx


и Long Term Servicing Branch (LTSB) -это все тот же энтерпрайз, но без сножества свистелок и с специфичными патчами -


LTSB is a licensing option for Windows 10 Enterprise and is available only for customers with a Volume License agreement.

Each LTSB release receives standard monthly security and reliability updates for an extended 10-year support period. No new features are added over its servicing lifetime.

When you install Windows 10 Enterprise LTSB, you'll notice some missing pieces. There's no Windows Store client, nor will you find Microsoft Edge or Cortana--both of which are system apps that can't be removed from other Windows 10 editions. Because the LTSB releases have no Store client, you don't get any of the preinstalled universal apps, such as Mail/Calendar, OneNote, Photos, Groove Music, the MSN Weather/News/Sports/Money apps, and the Camera and Alarms & Clock apps.

http://www.techproresearch.com/article/is-the-windows-10-long-term-servicing-branch-right-for-you/


15.2 Windows server. Редакции


Редакции Foundation, Datacenter, Standard и Essentials

почитать про разницу редакций тут -

https://blogs.msdn.microsoft.com/robmar/2014/02/10/windows-server-2012-r2-products-and-editions-comparison/


Разница сейчас в основном в лицензировании.

О лицензировании - раньше основное лицензирование описывалось в PUR - Product Use Rights.

Однако - Beginning in July 2015, a new document called the Product Terms replaces both the Product Use Rights and the Product List.


Поскольку 2012R2 сервер все, то в 2016 сервере всего 4 опции - Standard / Datacenter, с Desktop experience и без.

На основе образа можно собрать еще более урезанную редакцию - Core.

В - Windows Server 2016 virtual labs - смотреть лабораторную работу


Installing and Managing Nano Server

https://info.microsoft.com/WindowsServer2016VirtualLabs


Azure lab


15.3 Linux / BSD / Unix


Есть такие ОС. О них всех можно почитать в интернете.

Основные отличия.

Наиболее активных пользователей и сторонников использования Linux можно отличить по цвету глаз (Pinkeye) и свитеру.

Однако подавляющая часть пользователей Linux, особенно в варианте Linux + Dalvik ничем не отличается от обычных людей.


Если же серьезно подходить к вопросу, то версий Linux-а со своими тараканами в каждой достаточно много, вопрос выбора Windows SRV / какая-то и какая именно редакция Linux зависит от задачи.


BSD - это вообще не Linux, BSD-UNIX, читать тут - https://ru.wikipedia.org/wiki/BSD


Unix.


Long Long Time Ago..

In 1970, Peter G. Neumann coined the project name Unics (UNiplexed Information and Computing Service) as a pun on Multics (Multiplexed Information and Computer Services): the new operating system was an emasculated Multics.

https://en.wikipedia.org/wiki/History_of_Unix


15.4 System Z - z/OS

Читать тут - https://en.wikipedia.org/wiki/Z/OS


15.5 Импортозамещение в ОС.

Знакомиться с темой можно отсюда - BolgenOS - http://lurkmore.to/Денис_Попов


Можно отсюда - http://lurkmore.to/ReactOS


Можно вот так:

Разработка пакета свободного отечественного программного обеспечения - одна из центральных задач, которую необходимо решить для информационной безопасности России. Об этом неоднократно заявлял Президент РФ Дмитрий Медведев. По его словам, до 2010 г. в России должна быть создана собственная операционная система с открытым кодом и полный комплект приложений для обеспечения эффективной работы государственных органов и бюджетных организаций.

Первый открытый конкурс на разработку и поставку пакета свободного программного обеспечения был проведен в России осенью 2007 года. Его победителем стала группа "Армада". Согласно подписанному контракту, стоимость которого составила 59,5 млн. руб., "Армада" обязалась разработать и протестировать пакет свободного ПО. В течение 2008 года данный комплект будет установлен более чем в 1000 школах республики Татарстан, Пермского края и Томской области. После внесения необходимых доработок, подобными программными продуктами планируется оснастить еще более 60 тысяч российских школ.

Или так

В 2009 году Минкомсвязь разработала план перехода на СПО органов государственной власти и бюджетных учреждений (утверждён Председателем Правительства РФ Владимиром Путиным 17 декабря 2010 года) и составило методические рекомендации по его разработке и приобретению. Подчёркивается, что в процессе перехода на СПО будет обеспечена полноценная замена используемых проприетарных программных решений свободными. К IV кварталу 2011 года будет создан пакет базового СПО, включающий операционные системы, драйверы, прикладное программное обеспечение для серверов и рабочих мест; Минкомсвязь и Минэкономразвития предложат формы государственной поддержки российских разработчиков СПО для государственных нужд; должна появиться национальная операционная система на базе Linux.

- Во II квартале 2012 года будет создан национальный репозиторий свободных программ и начнется апробация базового пакета СПО в пилотных учреждениях.

- В IV квартале 2012 года будут созданы и размещены в репозитории пакеты дополнительных прикладных программ СПО.

- С III квартала 2013 года Минкомсвязь должна ежеквартально обновлять пакет базового СПО и размещать его новые версии в репозитории.

- С IV квартала ежегодно обновляться и публиковаться в репозитории должен пакет дополнительного свободного ПО.

http://minsvyaz.ru/ru/directions/?direction=29


Идет 2017 год, что там с СПО?

В Мюнхене особенно?


Примечание.

Есть такая штука - МСВС - Мобильная система Вооружённых Сил, и ее развитие - Заря. Это обе системы - честно перепиленный и допиленный под задачи Linux (Red Hat Enterprise linux - RHEL).

Точнее как честно .. криков про неимеетаналогов хватало, и копирайты затерты, но не все.

Читать

https://geektimes.ru/post/95388/

https://habrahabr.ru/post/79977/


Часть 16 Базовые офисные приложения.

16.1 Офисное ПО

16.2 Антивирус

16.3 Доступ к интернету.

16.4 Офисное оборудование - принтеры, сканеры, МФУ

16.5 Импортозамещение в офисном ПО и оборудовании.

16.6 Прочие полезности в Windows. Удаленное управление и не только.


Тут имеет смысл писать только вопросы "зачем чего".

Типовые приложения -

- офисный пакет - MS office/open office


Порой неплохо знать о наличии в мире дизайна и препресса всякого прочего полезного софта, кроме фотошопа -

Adobe InCopy, Indesign, Illustrator.

Corel

Gimp

Надо знать, что мир проектирования не заканчивается Autodesk и Компас - есть еще Siemens PLM Software, в том числе NX (Unigraphics)


Банк-клиенты и разные госзакупки

Главная неудобность в работе с ними заключается в

- необходимости ГОСТ-шифрования (читай лицензии на крипто-про)

- ограничении по браузерам (почти всегда строго IE или КриптоПро Fox

https://www.cryptopro.ru/products/cpfox )

- несовместимости некоторых БК между собой.

- госзакупки до недавнего времени работали через ActiveX компонент, что превращало запуск в увлекательный забег по граблям.

- парочка банк-клиентов (или один, но у разных банков) не умела в масштабирование, и печатала только при 300 DPI. При смене настроек принтера на экономичный/150 - получалась ЛАЖА. Как и при смене на хайрез/600.


16.2 Антивирус

Ситуация в мире на сейчас (апрель 2017 год) в мире сложная. Проще говоря - почти все говно, но с разными особенностями.

Почти все тесты показывают погоду и маркетинг - индустрия антивирусов в основном отстала от индустрии современных зловредов, и нужен комплексный подход.


Комплексный в том виде, что надо

-максимально ограничить возможности проникновения вируса в защищаемую сеть - антиспам, firewall с блокировкой по черному списку и подпиской на обновления, запрет скачивания exe/vb/vbs/mht, запрет пропуска нераспаковываемого zip/rar/7z в почте, запрет отключения исполнения скриптов для скачанного в word /excel.


-запрет ЛЮБОГО (а не только авто) запуска со сменных носителей. Реализуется часто средствами антивируса/политиками.


- Запрет пользователю работать с правами Administrator. Всегда. Даже Power User часто избыточен.

В случаеMS AD его вообще можно отключить и использовать restricted groups


- НЕ выключать User Account Control (UAC)


- Запрет запуска всего, кроме белого списка. В случае MS AD это реализуется через:

Software restriction policy (srp) - технология постарей

https://technet.microsoft.com/en-us/library/hh994606(v=ws.11).aspx

https://technet.microsoft.com/en-us/library/2008.06.srp.aspx

https://technet.microsoft.com/en-us/library/2008.06.srp.aspx


AppLocker - технология поновей

https://technet.microsoft.com/en-us/itpro/windows/keep-secure/applocker-overview

https://technet.microsoft.com/en-us/itpro/windows/keep-secure/how-applocker-works-techref

https://technet.microsoft.com/en-us/itpro/windows/configure/lock-down-windows-10-to-specific-apps


- Примечание к обоим (SRP / AppLocker). Настройте оповещение на срабатывание, например в MS Windows можно повесить задачу (в Task scheduler) на срабатывание по событию в журнале. Какую задачу - решайте сами, можно например слать письмо через скрипт posh/vbs, с данными "кто, куда, когда, что и зачем", можно заодно тем же скриптом отключать сетевую карту и делать logoff пользователя.


- быть готовым к тому, что вирус или шифровальщик запустятся: минимизируйте доступ к общим файлам.


- быть готовым к тому, что вирус или шифровальщик запустятся: храните резервные копии общих файлов и проверяйте их восстановление.


- быть готовым к тому, что вирус или шифровальщик запустятся: архивируйте локально хранимые файлы.


- антивирус не повредит. Причем тут часто важен не только сигнатурный анализ, за 2016-2017 год почти все (попавшиеся) шифровальщики начинали определяться через 12-48 часов, но и облачное сканирование/песочница. Пока что неплохо себя показывает Paloalto Traps

https://www.paloaltonetworks.com/products/secure-the-endpoint/traps


На июнь-2017 ситуация с антивирусами такова:

Kaspersky без KSN не эффективен.

Dr.web еще вопрос, стоит ли рассматривать - https://geektimes.ru/post/259132/


Gartner 2017 дает однозначный ответ - в корпоративной среде лидеры - Palo Alto TRAPS и Check point

https://habrahabr.ru/company/tssolution/blog/333338/


Это ЕДИНСТВЕННЫЕ два решения, гарантированно останавливавшие Wanna Cry до появления его сигнатур.


16.3 Доступ к интернету.

- MS IE/MS Edge / Firefox /Chrome

- Adblock


С появлением в интернете такого явления как РосЗабор и наглое залезание провайдеров в трафик DNS, в списки необходимого добавились:

- Fri-gate - https://fri-gate.org/ru/ (как вариант - Hoxx VPN Proxy)

- Сопутствующие плагины - https://dostup-rutracker.org/

- ZenMate - VPN Extension for Chrome


DNS:

- Simple DNSCrypt - https://simplednscrypt.org/

Антивирус Касперского этот самый Simple DNSCrypt блокирует и поэтому KAV вычеркнут из списков приемлимого на ПК.


16.4 Офисное оборудование - принтеры, сканеры, МФУ

Честно сказать, большая часть проблем с сабжем была связана с административными и техническими проблемами:

- часть принтеров раньше не работала под Linux. Сейчас не всегда актуально.

- принтера надо регулярно обслуживать. Замена валов, термоэлемента, засыпка девелопера, смена бункера для отработки, замена резинок валов и тормозных площадок.

- административно надо иметь запас картриджей на складе


Частая проблема - не все МФУ умеют запускать свой сканирующий по сети софт без прав администратора. Печально, но было.


Что надо знать:

Основные варианты: со сменным картриджем или сменной тонер-тубой. Иногда с отдельно сменным девелопером.

Основные элементы:

Порошок, магнитный вал, лента переноса, печка.


16.5 Импортозамещение в офисном ПО и оборудовании.

Ситуация в оборудовании примерно никак.

Т.е. есть конечно военный МЦСТ носимый терминал "НТ-ЭльбрусS", но прямо скажу - не Getac / Panasonic /Twinhead.

Есть Ленполиграфмаш с его ?Техникой для специальных условий эксплуатации - Принтер матричный "УД-М" например.

https://meduza.io/feature/2015/05/29/nestydnoe-importozameschenie

http://pd.lpm.spb.ru/products/tekhnika-dlya-spetsialnykh-usloviy-ekspluatatsii/


Идет разговор о "замещении как всегда" -

Как сообщает Дмитрий Кудрявцев, в проекте предусмотрено две фазы. На первой из них, которая и должна завершиться в середине 2018 г., будет выпущено МФУ на платформе с импортной печатающей головкой (модуль, на котором расположены тысячи сопел, выделяющих краситель) производства британской компании Xaar.

Подробнее: http://www.cnews.ru/news/top/2016-09-12_pervyj_sugubo_rossijskij_printer_postroyat_na


В офисном ПО существует три вида импортозамещения:

- как с BolgenOS, когда берется Open Office и на нем ставятся новые нескучные кнопки

- как с Моими Документами, продвигали такой проект. Функций меньше чем у WordPad, много шума.

- Облачные варианты на тему. Например, тот же Яндекс.Диск может редактировать документы Word


Если отвлечься от шума, то ПО производства РФ существует и неплохо себя чувствует - Компас, 1С, Консультант/Гарант, Стройэксперт, Abbyy, Acronis, Kaspersky, DrWeb.

Яндекс/Майлру выпускают неплохие продукты и сервисы.


16.6 Прочие полезности в Windows. Удаленное управление и не только.

Удаленное управление - psexec, psremoting и даже invoke-command

https://msdn.microsoft.com/en-us/powershell/reference/5.1/microsoft.powershell.core/invoke-command


Часть 17. Телефония - от аналоговой и барышни в Смольном до цифровой, потоков Е1 и IP телефонии. Lync.

17.1 История. Аналоговая телефония и переход к мультиплексированию.

Для ценителей - воспоминания о координатных и прочих декадно-шаговых АТС.

17.2 Современная телефония. Потоки Е1, переход к IP. Asterisk.

Протокол t38 для передачи факсов поверх ip

17.3 Lync и прочий Skype for Business

17.4 Видеоконференции. Polycom, Tandberg/Cisco, и что еще.


17.1 История. Аналоговая телефония и переход к мультиплексированию.

Для ценителей - воспоминания о координатных и прочих декадно-шаговых


Когда-то - да какое там когда-то, еще в 1995-2000 м году вся телефония была аналоговой.

"Цифровая АТС" отличалась разве что качеством самой линии, да оборудованием на ней.

Основное отличие "аналоговой" линии - напряжение. В момент ожидание оно составляло 60 вольт (сейчас 40), в момент звонка - 100-200.

Все остальное особо не отличалось от времен звонка революционного матроса Железняка в Смольный.


Проблема с такой линией очевидна - в один момент времени в линии может быть только один разговор, значит надо много линий.

Конечно, на линии абонент-абонент это не критично, но как быть с межгородом? В итоге была придумана и реализована технология уплотнения (системы передачи К-1920 и К-3600), а затем мультиплексирования -

В СССР был принят европейский вариант иерархии. Для сельских сетей связи были разработаны системы передачи ИКМ-15 и ЗОНА-15. На городских сетях применялась система ИКМ-30. Для зоновых и местных сетей была создана аппаратура ИКМ-120. Системы более высокого уровня - ИКМ-480 и ИКМ-1920 нашли свое применение на магистральных и зоновых сетях


Мультиплексирование:

Временное мультиплексирование (англ. Time Division Multiplexing, TDM)

https://ru.wikipedia.org/wiki/Мультиплексирование_с_разделением_по_времени

https://en.wikipedia.org/wiki/Time-division_multiplexing


которая сейчас в основном представлена стандартом Е1 -

https://ru.wikipedia.org/wiki/Цифровой_поток_E1

https://en.wikipedia.org/wiki/E-carrier


17.2 Современная телефония. Потоки Е1, переход к IP. Asterisk.

Протокол t38 для передачи факсов поверх ip

Для ИТ все это деление (приход Е1 от провайдера) представляет из себя кабель, чаще всего оптику, одномодовую, которая включается в специальную провайдерскую коробочку.

Из специальной провайдерской коробочки выходит уже внутренний телефон и иногда интернет.


Что же касается связи внутри организации, то она может быть аналоговой (что встречается все реже), "цифровой" и IP - SIP/VoIP

Для примера, типовая офисная АТС- Цифровая гибридная IP-АТС Panasonic KX-TDA100 - может содержать платы для всех трех типов связи

- Аналоговые (обычные телефоны и факсы)

- Цифровые (системные телефоны и консоли)

- IP телефоны (MGCP)


Сейчас в офисах все чаще и чаще встречается "чистое IP" - когда телефон представляет из себя мини-ПК, с загрузкой по сети, и встроенным SWITCH для подключения ПК через него.

В сумме это позволяет снизить число проводов связи на рабочее место до одного.

Перевешивание задачи обслуживания телефонии на системного администратора - обычно плохая идея, хотя с другой стороны есть и Asterisk, и курс CCNA Voice, и много иных курсов.

Тем не менее, ввиду кучи специфики телефонии, особенно ее защиты - лучше ее выделять в отдельный сегмент.


Протокол t38 для передачи факсов поверх ip

https://ru.wikipedia.org/wiki/T.38

https://habrahabr.ru/post/309920/


Наиболее часто встречаемые проблемы:

- T.38 не включен у вас у провайдера.

- T.38 не включен у вас у провайдера, даже если провайдер утверждает что уже включили.

- T.38 не включен у принимающей стороны.

- Просто не сложилось.


17.3 Lync и прочий Skype for Business / Skype Meeting Broadcast

Lync.

С недавнего времени называется Skype for Business, сервер соответственно -

Skype for Business Server.

Что тут описывать??

Читать

https://technet.microsoft.com/en-us/library/dn933893.aspx

https://technet.microsoft.com/ru-ru/library/gg398616.aspx


Экзамен - Exam 70-334 ("Core Solutions of Microsoft Skype for Business 2015)

https://borntolearn.mslearn.net/b/mva/archive/2015/09/03/deploying-skype-for-business-preparing-for-exam-70-334

https://mva.microsoft.com/product-training/skype-for-business#!lang=1033


Новое и интересное -

Skype Meeting Broadcast

https://technet.microsoft.com/en-us/library/mt631189.aspx

https://support.office.com/en-us/article/What-is-a-Skype-Meeting-Broadcast-c472c76b-21f1-4e4b-ab58-329a6c33757d

https://technet.microsoft.com/en-us/library/mt243953.aspx


17.4 Видеоконференции. Polycom, Tandberg/Cisco, и что еще.

Есть такое оборудование!

По сути это тот же ПК, со своим ПО, предназначенным строго для видеотрансляции, и еще трансляции презентаций. Базовые камеры и микрофон в комплекте, подключаем к акустике и ЖК-панели побольше, выдаем IP и устраиваем видеоконференцию в качестве от "покадрового кино" до Full HD.

В базовой настройке, при базовом комплекте - настройка не сложней чем ПК + домашний телевизор. В случае сложных конференций, с микрофонами, сервером управления, програмными клиентами - конечно, чуть сложней.


Часть 18. Технологии совместной работы - сетевые папки, доступ, SMB и прочий CIFS

18.1 FTP

Не написано

18.2 SMB

Не написано

18.3 CIFS

Не написано


Часть 18. Технологии совместной работы - сетевые папки, доступ, SMB и прочий CIFS

Не знаю пока, что тут писать. Разве что про то, что NTFS (ext2/3) права не то же самое, что сетевые права. Опять же, надо различать совместную работу с файлом (в том же Word/Excel) и доступ к базе данных. И о раздаче прав по методу AGDLP (см. ниже). И про аудит.

Начну с простого. Сетевые папки / папки общего доступа. Все сравнительно просто и везде одинаково - пользователь/группа могут достучаться до расшаренной папки, и делать в ней с файлами разное, в зависимости от прав. Прав в случае Windows всего два вида - RO (read only) и RW(read-write). Более тонкие настройки лучше и проще делать в NTFS.

Описывается этот общий доступ как раз как SMB/CIFS и прочая SAMBA

https://technet.microsoft.com/ru-ru/library/hh831795(v=ws.11).aspx

https://ru.wikipedia.org/wiki/Server_Message_Block

https://ru.wikipedia.org/wiki/Samba


Важно помнить о наличии альтернативы SMB - NFS

https://ru.wikipedia.org/wiki/Network_File_System


Часть 19. Базы данных в целом. Очень обзорно

19.1 Access, Foxpro

Не написано

19.2 MS SQL

19.3 Oracle SQL

Ссылка на хабр

19.4 PostgreSQL, MySQL.

Ссылка на хабр

19.5 NOSQL

Не написано

19.6 Прочее.

HP Vertica

Redis - см. облака, 30.11 Redis

Ссылка на хабр

19.7 Литература и сайты по теме SQL

ссылки


Часть 19. Базы данных в целом. Очень обзорно


Database Admins walked into a NoSQL bar. A little while later they walked out because they couldn't find a table.


Тема "БД" велика и необъятна. Реляционные и нереляционные, табличные-не табличные, свободные и проприетарные, кривые и не очень - сотни их.


Проще всего представить себе базу данных как огромную 2-3 мерную таблицу, причем в каждой ячейке такой таблицы может быть свой список или таблица.

Простой пример - библиотечная картотека, где данные хранятся по алфавиту, но на учетной карте указаны выходные данные книги и место хранения.

Итогом поиска по такой базе может быть книга из ячейки.

Помнить надо о существовании MS SQL, Oracle SQL, Firebird, PostgreSQL, MySQL, MongoDB, и о том, что AD и почтовая база Exchange - тоже, в общем случае, база данных.

Читать вот так сразу: MS ESE JET - Extensible Storage Engine (ESE), also known as JET Blue, is an ISAM (indexed sequential access method) data storage technology from Microsoft

http://www.forensicswiki.org/wiki/Extensible_Storage_Engine_(ESE)_Database_File_(EDB)_format


19.2 MS SQL

Что тут надо знать в первом приближении

- три вида логов для архивации/восстановления

- модель безопасности/авторизации - Windows или встроенная

- как архивировать вручную скриптом или из GUI, хотя скриптом проще

- понимать, что делает простой скрипт

declare @time varchar(80)

declare @date varchar(80)

select @time = convert(varchar, getdate(), 108)

select @time = SUBSTRING (@time,1,2) + +'_' + SUBSTRING (@time,4,2)

select @date = convert(varchar, getdate(), 105)

select @date = SUBSTRING (@date,7,4) +'_' + SUBSTRING (@date,4,2)+'_' + SUBSTRING (@date,1,2)

print @date

print @time

select @path = 'E:\BACKUP\'+ 'MYBUH_'+@time+'.bak'

BACKUP DATABASE [1С82BUH001] TO DISK = @path


Или что происходит при запуске вида

sqlcmd -S \\server\databaseengine -i "C:\backupdb.sql" > "C:\backupdb.log"


Для случаев посложней - например, выпала коллегам задача миграции логинов SQL:

https://support.microsoft.com/ru-ru/help/918992/how-to-transfer-logins-and-passwords-between-instances-of-sql-server


Если покопаться, то чуть дальше будет еще интересней - MS SQL Always On, Always On Availability Groups

https://docs.microsoft.com/en-us/sql/database-engine/availability-groups/windows/overview-of-always-on-availability-groups-sql-server


Или Transparent Data Encryption - TDE и Always Encrypted

https://msdn.microsoft.com/ru-ru/library/bb934049.aspx

https://msdn.microsoft.com/ru-ru/library/mt163865.aspx


19.3 Oracle SQL

50 оттенков экзамена 1Z0-047 (сертификация Oracle Database SQL Certified Expert)

https://habrahabr.ru/post/327012/


19.4 PostgreSQL, MySQL.

PostgreSQL - говно в неожиданных местах

https://habrahabr.ru/company/yamoney/blog/326998/


MySQL - не лучше

https://habrahabr.ru/post/322144/


19.6 Прочее. HP Vertica

HP Vertica: СУБД для анализа "больших данных"

https://habrahabr.ru/company/muk/blog/249715/


19.7 Литература и сайты по теме SQL

Database Maintenance Best Practices Part III - Transaction Log Maintenance

By: Kimberly Tripp

http://www.sqlskills.com/blogs/kimberly/database-maintenance-best-practices-part-iii-transaction-log-maintenance/


Часть 20. Система на основе технологий Microsoft в целом. MS AD , общий обзор.

20.1 Домен. Active Directory (AD). Роли FSMO.

Sysvol. USN. Пузыри USN

20.2 GC - Global catalog

20.3 Домен-Дерево-лес. Трасты.

20.4 RODC. Реплицируемые объекты. Сайты. Репликация.

Регулярный мониторинг репликации

Восстановление AD - Authoritative /Nonauthoritative

20.5 Сложный выбор: лес доменов или деление по OU и делегирование прав/управления OU.

20.6 Объекты: users, computers, groups, OU, printers , GP

Делегирование прав.

20.7 Методика AGDLP.

20.8 Методика RBAC - Role-Based Access control

20.9 Privileged identity management (PIM) / Privileged Access Management

20.10 Политики (GP). Фильтры по группам. Фильтры WMI.

Порядок обработки GPO.

Применимость GPO к сайтам.

Group Policy Loopback Processing

GPRESULT

20.11 Granular policy. Active Directory╝ Service Interfaces Editor - ADSI Edit


Изменения в 2012 сервере и ADAC - Fine-Grained Password Policy

20.12 Active Directory Rights Management Services (AD RMS)

20.14 миграция в домен -

Forensit - http://www.forensit.com/ru/

User State Migration Tool (USMT) - это про другое

ADMT Guide

Quest/Dell Migration Manager for AD

20.15 Управление локальными учетными записями.

Microsoft Identity Lifecycle Manager (ILM) - deprecated

Microsoft Forefront Identity Manager (FIM) - deprecated

Microsoft Identity Manager 2016 (MIM)

Ссылки на Карманова

20.16 Мегадырка с хранимым хешем и как с этим жить

См ниже про онлайн лабораторию 2016, сегментирование и среду бастиона

20.17 Гибрид - Azure Active Directory Domain Services / Install a replica Active Directory domain controller in Azure

От теории к практике

20.18 От теории к практике - управление AD, репликацией, типовые задачи.

20.19 Работа с AD из командных строк (cmd, powershell), VBS

20.20 Повышение уровня домена, полезно помнить.

20.21 - 20.22 Резерв


Литература:

Active Directory: Designing, Deploying, and Running Active Directory 5th Edition

https://www.amazon.com/Active-Directory-Designing-Deploying-Running/dp/1449320023/ref=pd_sim_14_1?_encoding=UTF8&pd_rd_i=1449320023&pd_rd_r=ZCFQ8NM4DZZKC0DVS24W&pd_rd_w=awdEA&pd_rd_wg=yeOK9&psc=1&refRID=ZCFQ8NM4DZZKC0DVS24W

20.23 Вопросы по MS AD


Тема MS AD необъятна в рамках одного текста, поскольку это универсальное хранилище для всего.

В основном там хранятся всяческие объекты:

- пользователи, группы, контакты

- организационные единицы - An organizational unit (OU)

- ПК (объект компьютер), принтера и общие папки.


У объектов есть огромное число свойств - от срока создания до паролей, к объектам и их группам применяются групповые политики.

Одно из главных предоставляемых преимуществ AD - то, что это LDAP-сервер, LDAP (Lightweight Directory Access Protocol) .

Соответственно, любой объект, обладающий соответствующими правами на чтение, может проверять доступ или свойства некоторого объекта не по своей базе, а по единой базе каталога.

Читать и смотреть

Microsoft Windows Server 2008 Active Directory 70-640 training course

http://www.itfreetraining.com/70-640/index-70-640/


Course 10969B: Active Directory╝ Services with Windows Server╝

https://www.microsoft.com/en-us/learning/course.aspx?cid=10969b


Windows Server 2012 R2 (70-410) Administer Active Directory

https://www.pluralsight.com/courses/windows-server-2012-70-410-active-directory


https://mva.microsoft.com/en-us/training-courses/understanding-active-directory-8233?l=aErw3QJy_6904984382


20.1 Домен. Active Directory (AD). Роли FSMO.

Sysvol. USN. Пузыри USN


Проще всего взять определение из вики

Домен Windows-- собрание участников безопасности (все объекты Active Directory), имеющих единый центр (который называется контроллером домена), использующий единую базу, известную как Active Directory

https://ru.wikipedia.org/wiki/Домен_Windows_NT


Что надо помнить про AD

AD - это база данных, в которую можно (но не нужно!) лазать как напрямую (ADSI Edit), так и через оснастки MMC и через всяческие утилиты и скрипты - bat/cmd, VBS, powershell и даже IISADMPWD -

- The IISADMPWD function is not included in IIS 7 any more. And thus the IISADMPWD directory is no longer there under a clean install of Windows Server 2008 . So except using VPN , is there a way to change my password in emergency? A small experiment reveals that we may use IISADMPWD if we have a copy of it from a Windows Server 2003 box and treat it as a ASP/COM application.


Разумеется, есть и библиотеки для работы из C++/C# /прочее.


В AD хранятся настройки почти всего, что так или иначе интегрируется с AD - начиная от всяких схем лесов, заканчивая настраиваемыми атрибутами тех же пользователей, например атрибут "фотография".


Прочитать:

http://itmu.vsuet.ru/Posobija/AD/htm/1_t.htm

https://ru.wikipedia.org/wiki/Иерархия_объектов_Active_Directory


Роли FSMO.

Это вопрос, который постоянно спрашивают на собеседованиях, с той же частотой что модель OSI. Зачем - не всегда ясно. Для проверки памяти?

Вот можно подумать я каждый день теряю DC с FSMO и мне надо по памяти срочно захватить роли.


FSMO - Flexible single master operation. Очень неплохо помнить хотя бы что их пять, и за что они отвечают.

- Schema Master (один на весь лес)

- Domain Naming Master (один на весь лес)

- Relative ID (RID) Master

- Primary Domain Controller Emulator (PDC Emulator) - роль важней, чем про нее обычно пишут.

- Infrastructure Master


Примечание:

владелец FSMO-роли Infrastructure Master НЕ должен находиться на DC, на котором работает GC.

https://www.atraining.ru/active-directory-fsmo-infrastructure-master/


Нужно прочитать хотя бы это

https://ru.wikipedia.org/wiki/Active_Directory


Хотя мне очень не хочется рекламировать atraining, но придется -

http://www.atraining.ru/active-directory-fsmo-roles/

http://www.atraining.ru/kb/


Что стоит помнить и читать - Режим передачи ролей FSMO.

Какой бывает и зачем нужен захват ролей.

http://windowsnotes.ru/activedirectory/peredacha-i-zaxvat-rolej-fsmo/


И туда же -

Роли FSMO и самая важная роль контроллера домена

https://blogs.technet.microsoft.com/vladygin/2008/11/13/ad-fsmo-108/


FSMO Roles, или хозяева операций

https://www.atraining.ru/active-directory-fsmo-roles/


Мастера Active Directory - роль FSMO Infrastructure Master


Роли FSMO и их передача в Windows 2012 R2

http://www.itworkroom.com/fsmo-windows-2012-r2/


Рекомендации по размещению FSMO-ролей

https://habrahabr.ru/post/133370/


Domain Controller Locator

https://technet.microsoft.com/en-us/library/cc961830.aspx


Finding a Domain Controller in the Closest Site

https://technet.microsoft.com/en-us/library/cc978016.aspx


Domain Controller Locator : In depth

https://blogs.technet.microsoft.com/arnaud_jumelet/2010/07/11/domain-controller-locator-in-depth/


How the DC locator works in Active Directory

The DC Locator Process, The Logon Process, Controlling Which DC Responds in an AD Site, and SRV Records

Картинка отсюда http://blogs.msmvps.com/acefekay/2010/01/03/the-dc-locator-process-the-logon-process-controlling-which-dc-responds-in-an-ad-site-and-srv-records/

Читать ссылку целиком.

Как и вот эту

https://blogs.msmvps.com/acefekay/category/dc-locator-process/


How Client Computers Use DNS in the DC Locator Process (HD)

https://www.youtube.com/watch?v=YFs41KI2V44


Sysvol

Функционал Sysvol. Советы и рекомендации по обслуживанию Sysvol

https://support.microsoft.com/ru-ru/help/324175/best-practices-for-sysvol-maintenance


Best Practices for Sysvol Maintenance

https://support.microsoft.com/en-us/help/324175/best-practices-for-sysvol-maintenance


USN. Пузыри USN

Низкоуровневые оболочки предоставляют или упрощают технологии, которые могут вызвать проблемы для многих распределенных систем, в том числе для Windows Server Active Directory. Например, на физическом сервере можно клонировать диск или использовать следующие неподдерживаемые методы для отката состояния сервера, включая использование SAN-сетей и т. п., но сделать это на физическом сервере гораздо сложнее, чем произвести восстановление моментального снимка виртуальной машины в низкоуровневой оболочке. Azure предлагает функциональность, которая может привести к подобному нежелательном состоянию. Например, не следует копировать VHD-файлы контроллеров домена вместо выполнения обычного резервного копирования, так как их восстановление может дать те же результаты, что и при использовании возможностей по восстановлению моментальных снимков.


Подобные откаты вводят так называемые USN-пузыри (разницу номеров последовательного обновления), что может привести к наличию постоянных дивергентных состояний между контроллерами. Кроме того, это может вызвать следующие проблемы:

наличие устаревших объектов;

наличие несогласованных паролей;

наличие несогласованных значений атрибутов;

несоответствие в схеме при откате контроллера хозяина схемы.

https://msdn.microsoft.com/ru-ru/library/mt674703.aspx


Дополнительные сведения о влиянии на контроллеры домена см. в разделе USN и откат USN.

USN and USN Rollback


This section describes replication issues that can occur as a result of an incorrect restoration of the Active Directory database with an older version of a virtual machine. For additional details about the Active Directory replication process, see How the Active Directory Replication Model Works (http://go.microsoft.com/fwlink/?LinkID=27636).

https://technet.microsoft.com/en-us/library/d2cae85b-41ac-497f-8cd1-5fbaa6740ffe#usn_and_usn_rollback


20.2 GC - Global catalog

Глобальный каталог -- это набор всех объектов в лесу доменных служб Active Directory. Сервер глобального каталога -- это контроллер домена, на котором хранится полная копия всех объектов в каталоге для собственного домена и частичная, предназначенная только для чтения копия всех объектов для всех остальных доменов леса. Серверы глобального каталога отвечают на запросы глобального каталога.

The global catalog is a distributed data repository that contains a searchable, partial representation of every object in every domain in a multidomain Active Directory Domain Services (AD DS) forest. The global catalog is stored on domain controllers that have been designated as global catalog servers and is distributed through multimaster replication. Searches that are directed to the global catalog are faster because they do not involve referrals to different domain controllers.


С помощью глобального каталога пользователи могут выполнить поиск данных каталога во всех доменах леса независимо от места хранения данных. Поиск в лесу выполняется с максимальной скоростью и минимальным сетевым трафиком.


In addition to configuration and schema directory partition replicas, every domain controller in a forest stores a full, writable replica of a single domain directory partition. Therefore, a domain controller can locate only the objects in its domain. Locating an object in a different domain would require the user or application to provide the domain of the requested object.


The global catalog provides the ability to locate objects from any domain without having to know the domain name. A global catalog server is a domain controller that, in addition to its full, writable domain directory partition replica, also stores a partial, read-only replica of all other domain directory partitions in the forest. The additional domain directory partitions are partial because only a limited set of attributes is included for each object. By including only the attributes that are most used for searching, every object in every domain in even the largest forest can be represented in the database of a single global catalog server.

https://technet.microsoft.com/ru-ru/library/cc730749(v=ws.11).aspx

https://technet.microsoft.com/en-us/library/cc728188(v=ws.10).aspx


Как было сказано выше, некоторые приложения очень сильно зависят от доступности глобального каталога. Например Exchange Server извлекает информацию о получателях именно через GC

http://blog.bissquit.com/windows/windows-server/global-catalog/


И не он один -

Как работает Infrastructure Master

Infrastructure Master будет периодически (по умолчанию раз в 2 суток) подключаться к ближайшему GC и, используя GUID-ы phantom object'ов, смотреть - не поменялось ли что в DN'ах и SID'ах отслеживаемых объектов? Для подключения будет использоваться именно GC, а не DC, потому что у GC точно есть вся нужная (в плане атрибутов) информация о всех security principal'ах леса, поэтому чтобы не бегать лично по всем доменам, разумнее подключаться к GC.


20.3 Домен-Дерево-лес. Трасты.

В учебнике и википедии все просто:

Домен -- минимальная структурная единица организации Active Directory.

Дерево доменов -- иерархическая система доменов, имеющая единый корень (корневой домен).

Лес доменов -- множество деревьев доменов, находящихся в различных формах доверительных отношений.


В жизни лично мне встречались два состояния:

- одна организация, один домен, один доменный админ (ладно ладно, было так что ВСЕ пользователи - доменные админы). Делегирование на филиалы (управление пользователями/группами в филиалах) идет через OU.

Такое бывает при постепенном росте одной организации, когда не требуется выделять часть бизнеса для продажи.


- Вырвиглазный перепутанный лес доменов, где непонятно кто, кому, и как доверяет, и зачем вот так.


Как раз "зачем" тут понятно - одна организация купила два завода, маленький центр разработки и рекламный отдел от банкрота. Всех перевводить в единую структуру - долго, сложно - значит ДОРОГО, и не нужно. Проще сделать лес, где доверие будет очень и очень урезано.

Кстати, где-то тут живет Active Directory Federation Services (ADFS) - потому что оно конечно AD, но про немного другое. Будет ниже и отдельно.


Что надо помнить:

Хотя "лес и дерево доменов" и объединяет домены, но с авторизацией в лесу "все сложно".

Опять же, лес используется в среде бастиона, но "Планирование среды бастиона" и "Рекомендации по обеспечению высокой доступности и аварийному восстановлению для среды бастиона" - будут дальше.


Что стоит понимать.

Если у вас не один домен, то надо помнить,

- какие из ролей FSMO относятся к уровню домена и будет существовать "по одному носителю роли на домен"

- какие относятся к уровню леса, и существуют одни на лес -

Всего доменные службы Active Directory включают в себя пять различных ролей мастеров операций, А именно, две роли используются на уровне леса: мастер именования доменов и мастер схемы, причём, в каждом лесу может быть не более одного контроллера домена, с назначениями каждой роли. В каждом домене предусмотрены только три роли мастеров операций: мастер относительного идентификатора RID, мастер инфраструктуры, а также эмулятор главного контроллера домена PDC. То есть, при установке самого первого контроллера домена в лесу, ему одновременно назначаются все пять ролей мастеров операций, а при создании нового домена Active Directory в существующем лесу, новому контроллеру домена присваиваются три роли уровня домена.

https://habrahabr.ru/post/133370/


Для начинающих и считающих себя продвинутыми:

Старайтесь избегать построения деревьев и леса, пока не сломаете вашу личную лабораторию пять и более раз.


Трасты.

Они же доверительные отношения.

Бывают односторонние (Домен Alaska.contoso.com доверяет mainINFOBEZ.contoso.com, но не наоборот) и двухсторонние.

Параллельно бывают транзитивные (сквозные) и нетранзитивные (не сквозные).

Почитать можно хотя бы тут

http://alterego.ucoz.org/publ/active_directory/do1/4-1-0-43

http://alterego.ucoz.org/publ/active_directory/kak_ustanovit_doveritelnye_otnoshenija/4-1-0-58


Гораздо лучше перечитать технет - теорию

Active Directory Domains and Trusts - https://technet.microsoft.com/en-us/library/cc770299(v=ws.11).aspx

Understanding Trusts - https://technet.microsoft.com/en-us/library/cc731335(v=ws.11).aspx

Understanding Trust Types - https://technet.microsoft.com/en-us/library/cc730798(v=ws.11).aspx


И практику

Checklist: Create a Forest Trust - https://technet.microsoft.com/en-us/library/cc770907(v=ws.11).aspx

Create a Forest Trust - https://technet.microsoft.com/en-us/library/cc754626(v=ws.11).aspx

Verify a Trust - https://technet.microsoft.com/en-us/library/cc753821(v=ws.11).aspx


И потом можно немного (не затягиваясь) почитать вот это -

Миграция базовой инфраструктуры Microsoft. Часть 1

Миграция базовой инфраструктуры Microsoft. Часть 2.

Что будем считать миграцией? Миграцией будем считать перенос ресурсов из одного или нескольких лесов в целевой лес. Такая модель чаще всего встречается на практике.

http://gexeg.blogspot.ru/2011/05/microsoft-1.html

http://gexeg.blogspot.ru/2011/06/microsoft-2.html


20.4 RODC. Реплицируемые объекты. Сайты. Репликация.

Регулярный мониторинг репликации

Восстановление AD - Authoritative /Nonauthoritative


RODC

Read-only domain controllers (RODCs) are a new feature of Active Directory Domain Services (AD DS) in Windows Server 2008. RODCs are additional domain controllers for a domain that host complete, read-only copies of the partitions of the Active Directory database and a read-only copy of the SYSVOL folder contents. By selectively caching credentials, RODCs address some of the challenges that enterprises can encounter in branch offices and perimeter networks (also known as DMZs) that may lack the physical security that is commonly found in datacenters and hub sites.

https://technet.microsoft.com/en-us/library/cc771030(v=ws.10).aspx


http://searchwindowsserver.techtarget.com/definition/RODC-read-only-domain-controller


Главный вопрос - когда нужен RODC и что туда реплицировать, какие учетные записи.

А нужен он в случае больших задержек в сети - слышал я про 10 микросекунд, но пруфа не нашел.

И реплицировать туда придется УЗ (а точнее пароли) и ПК, и юзеров.


Обзор сайтов


В доменных службах Active Directory сайты представляют собой физическую структуру или топологию сети. В доменных службах Active Directory для создания наиболее эффективной топологии репликации используются сведения о сетевой топологии, которые хранятся в каталоге в виде объектов сайта, подсети и связи сайтов.

и так далее - https://technet.microsoft.com/ru-ru/library/cc754697(v=ws.11).aspx


Сайты. Что это такое и как определяется принадлежность ПК к сайту.


А определяется она -


What are AD Sites?

An AD Site defines a highly-connected, physical network locations in Active Directory. We define them by IP subnet or subnets. And yes, you can have multiple subnets that are highly-connected by routers within a location. In some cases, for example, if you have a very high-speed backbone, such as an OC-1 (51.84Mbps or higher), between locations, you can put all those subnets in one AD Site. However, in many cases, we probably don't want to do that. Hang in there, I'll be getting to that in a few minutes.

Далее - https://blogs.msmvps.com/acefekay/category/dc-locator-process/


И чтоб совсем упороться -

LDAP Ping

This topic describes the usage of LDAP to verify the aliveness of the domain controller and also check whether the domain controller matches a specific set of requirements. This operation is commonly referred to as LDAP ping.

https://msdn.microsoft.com/en-us/library/cc223811.aspx


Репликация между сайтами - оба используемых протокола репликации, настройки частоты репликации.

Читать https://technet.microsoft.com/ru-ru/library/cc754697(v=ws.11).aspx

Ключевое: что реплицируется сразу, а что надо настраивать. Да, внезапно УЗ ПК тоже надо реплицировать.


Регулярный мониторинг репликации

Полезное:

Active Directory Replication Status Tool

The Active Directory Replication Status Tool (ADREPLSTATUS) analyzes the replication status for domain controllers in an Active Directory domain or forest.

https://www.microsoft.com/en-us/download/details.aspx?id=30005


Интересное:

Enabling Clients to Locate the Next Closest Domain Controller

https://technet.microsoft.com/en-us/library/cc733142(v=ws.10).aspx


Восстановление AD - Authoritative / Nonauthoritative

Ссылка протухла -

https://technet.microsoft.com/en-us/library/cc784922%28v=ws.10%29.aspx


Performing a Nonauthoritative Restore of AD DS

https://technet.microsoft.com/en-us/library/cc730683%28v=ws.10%29.aspx


20.5 Сложный выбор: лес доменов или деление по OU и делегирование прав/управления OU.

Резерв.


20.6 Объекты: users, computers, groups, OU, printers , GP

Делегирование прав.


Права отдельного пользователя. Членство в группах, мигрируемый профиль, ограничение срока действия учетной записи, ограничение срока времени входа, ограничение ПК с разрешенным входом. Атрибуты пользователя.


Какие группы бывают? Локальные, глобальные, и так далее.

Чем отличается группа безопасности от группы распространения?

Читать тут https://msdn.microsoft.com/ru-ru/library/cc781446%28v=ws.10%29.aspx

И вот это многабукаф обязательно

http://www.atraining.ru/groups-windows-nt-active-directory-explained/


20.7 Методика AGDLP.

https://en.wikipedia.org/wiki/AGDLP

https://msdn.microsoft.com/en-us/library/bb742592.aspx


MCITP 70-640: Group Strategy AGDLP

https://www.youtube.com/watch?v=zHHzjjqVhTc


20.8 Методика RBAC - Role-Based Access control

Вообще, говоря про AD и AGDLP, надо еще вспомнить про RBAC -

Role-based access control (RBAC) is a method of regulating access to computer or network resources based on the roles of individual users within an enterprise. In this context, access is the ability of an individual user to perform a specific task, such as view, create, or modify a file.


20.9 Privileged identity management (PIM) / Privileged Access Management

Резерв


20.10 Политики (GP). Фильтры по группам. Фильтры WMI.

Порядок обработки GPO.

Применимость GPO к сайтам.

Group Policy Loopback Processing

GPRESULT


Обработка GPO

https://technet.microsoft.com/library/security/ms16-072.aspx


Групповые политики. Что это такое вообще.

Групповые политики - политика домена по умолчанию. Политика паролей.

Групповые политики - fine-grained password policy - FGPP

https://habrahabr.ru/company/netwrix/blog/169543/

Групповые политики - ПК и пользователи.

Групповые политики - restriction group

Групповые политики - скрипты, выполняемые при входе и выходе из системы. Зачем такое.

Групповые политики - доверенные узлы. Настройка ИЕ

Групповые политики - прочие настройки IE

https://blogs.msdn.microsoft.com/microsoft_press/2014/04/14/from-the-mvps-setting-internet-explorer-trusted-site-settings-via-group-policy-object-in-windows-server-2012-r2/


Групповые политики - назначение заданий в расписание через политики

Групповые политики - software restriction policy, applocker


GPO loopback - Loopback processing of Group Policy - особенно в части терминальных серверов.

MCITP 70-640: Group Policy Loopback Processing

https://www.youtube.com/watch?v=2bZGMtOCXN0

https://support.microsoft.com/en-us/kb/231287

http://kudratsapaev.blogspot.ru/2009/07/loopback-processing-of-group-policy.html

https://gamelton.com/2011/06/27/gpo-loopback/

https://habrahabr.ru/post/122668/


Групповые политики и фильтры в них. Назначение разных папок переадресации разным группам пользователям внутри одной групповой политики.


Результат применения групповых политик - gpresult

Вообще говоря, с выгрузки результирующих групповых политик надо было бы начинать любую отладку на тему "ой чойта оно не так".

https://blog.thesysadmins.co.uk/group-policy-gpresult-examples.html

http://winitpro.ru/index.php/2014/08/15/gpresult-diagnostika-primeneniya-gruppovyx-politik/


20.11 Granular policy. Active Directory╝ Service Interfaces Editor - ADSI Edit

Изменения в 2012 сервере и ADAC - Fine-Grained Password Policy


Granular policy. Active Directory╝ Service Interfaces Editor - ADSI Edit

Гранулированная политика паролей появилась в 2008 сервере. Читать начиная отсюда

https://dimanb.wordpress.com/2012/07/19/pso-ad/

http://winitpro.ru/index.php/2017/01/18/nastrojka-politiki-parolej-fine-grained-password-policy-v-windows-2012-r2/


В 2012-м вопрос улучшили и углубили - Fine-Grained Password Policy / Детальная политика паролей.

Читать:

Введение в усовершенствования Центр администрирования Active Directory (уровень 100)

На русском

https://habrahabr.ru/company/netwrix/blog/169543/

https://docs.microsoft.com/ru-ru/windows-server/identity/ad-ds/get-started/adac/introduction-to-active-directory-administrative-center-enhancements--level-100-


На английском

https://docs.microsoft.com/en-us/windows-server/identity/ad-ds/get-started/adac/active-directory-administrative-center

https://docs.microsoft.com/en-us/windows-server/identity/ad-ds/get-started/adac/introduction-to-active-directory-administrative-center-enhancements--level-100-

https://docs.microsoft.com/en-us/windows-server/identity/ad-ds/get-started/adac/advanced-ad-ds-management-using-active-directory-administrative-center--level-200-


От теории к практике

20.18 От теории к практике - управление AD, репликацией, типовые задачи.

Конечно, прыгать от раздела к разделу нехорошо, но исторически так сложилось, что раздел про инфобезопасность был написан чуть раньше, чем этот. Поэтому пролистайте ниже до строк -

Безопасность в среде MS строится в первую очередь вокруг следующих основных принципов - и далее по тексту.

Что оттуда (и не только оттуда) надо вынести:

- Возможно лучше разместить DC в отдельной подсети и VLAN

- В еще более отдельной сети надо размещать интерфейсы управления iLo/RSA, СХД и прочей техники.

- Домен-контроллеров надо минимум два. Лучше три - для выноса FSMO-роли Infrastructure Master, но тут уже решать вам, про причины выноса смотрите выше.

- Домен-контроллер не должен нести на себе никаких функций, кроме собственно DC+GC, можно еще DNS+DHCP

- Никаких RDP на DC. Не надо этого.

- и прочее из раздела про безопасность.


Теперь все же про управление.

Изначально, исторически, управление AD шло через наборы оснасток - пользователи и компьютеры, домены и доверие, и так далее. Однако почти всегда эти же оснастки можно было поставить на другом ПК и работать там "от имени". С тех пор ничего особенно не поменялось - берем Remote Server Administration Tools (RSAT) и поехали -

Remote Server Administration Tools (RSAT) enables IT administrators to remotely manage roles and features in Windows Server 2012 R2, Windows Server 2012, Windows Server 2008, and Windows Server 2008 R2 from a computer that is running Windows 10, Windows 8.1, Windows 8, Windows 7, or Windows Vista.

https://www.microsoft.com/en-us/download/details.aspx?id=45520

https://support.microsoft.com/en-us/help/2693643/remote-server-administration-tools-rsat-for-windows-operating-systems


Есть еще Active Directory Administrative Center - ADAC

https://technet.microsoft.com/en-us/library/dd560651(v=ws.10).aspx


Введение в усовершенствования Центр администрирования Active Directory (уровень 100)

https://docs.microsoft.com/ru-ru/windows-server/identity/ad-ds/get-started/adac/introduction-to-active-directory-administrative-center-enhancements--level-100-


Разумеется, можно управлять из командной строки, или из стороннего ПО - но об этом ниже.


20.19 Работа с AD из командных строк (cmd, powershell), VBS

Работа с AD. Утилиты командной строки dsadd, Dsget, Dsquery и не только

https://technet.microsoft.com/en-us/magazine/ff793471.aspx

https://technet.microsoft.com/en-us/library/cc778414%28v=ws.10%29.aspx


Модуль AD в powershell

Работа с AD из VBS


20.20 Повышение уровня домена, полезно помнить.


What is the krbtgt account used for in an Active Directory (AD) environment?

http://windowsitpro.com/security/q-what-krbtgt-account-used-active-directory-ad-environment

Повышаете уровень домена 2003-2008? Сперва прочтите это!

https://social.technet.microsoft.com/wiki/ru-ru/contents/articles/31574.aspx


Raising the functional level to Windows 2012 or Windows 2012 R2... Will I break anything?

https://blogs.technet.microsoft.com/pie/2014/10/29/raising-the-functional-level-to-windows-2012-or-windows-2012-r2-will-i-break-anything/


Raising the functional level - Are you getting cold feet because of KB2260240?

https://blogs.technet.microsoft.com/pie/2014/09/07/raising-the-functional-level-are-you-getting-cold-feet-because-of-kb2260240/


Установка реплики контроллера домена Windows Server 2012 в существующем домене

https://technet.microsoft.com/ru-ru/library/jj574134(v=ws.11).aspx


20.23 Вопросы по MS AD


20.23.1 Собственно роли FSMO - что это и зачем. В общем. Насколько "в общем" - зависит от вас, и того что написано в резюме у соискателя, парочка вопросов для экспертов - ниже.

20.23.2 Где можно посмотреть, кто носитель ролей, и в каком случае необходимо выполнять захват роли.

20.23.3 Почему надо проверять состояние и содержимое sysvol после репликации или восстановления системы?

20.23.4 Порядок обработки GPO. К чему можно применять GPO. Как можно посмотреть, к чему какая политика применена? Можно ли заблокировать отдельные политики для какого-то ПК?

20.23.5 Политика паролей. Можно ли, и если да то как, настроить для отдела "топы" смену паролей не как у всех, и требования к политике сложности пароли, отличные от политики домена по умолчанию?

20.23.6 Какие группы бывают? Локальные, глобальные, и так далее. Чем отличается группа безопасности от группы распространения?


20.23.7 Как выглядит извещение для пользователя о окончании срока работы пароля и можно ли как-то иначе сообщать о этом сотруднику, например по электронной почте или смс-сообщением?


20.23.8 Делегирование. Можно ли делегировать сотруднику или группе сотрудников отдельные функции AD, например "сброс пароля" или "заведение новой УЗ для сотрудника".

Может ли сотрудник выполнять такую задачу из браузера под, например, Linux (ответ есть ниже, в теме PowerShell Web Access (PSWA)).


20.23.9 AGDLP - Если идет делегирование, то что лучше - делегировать (или проще говоря выдавать) права (на действие над объектом - хоть файлом, хоть папкой, хоть OU) - каждому сотруднику или сразу группе?


20.23.10 FSMO. Вопросы для тех, у кого в резюме написано "эксперт по AD".

Опишите процесс DC Locator

Какие роли FSMO существуют одни на домен, а какие на лес?

Что с чем не надо совмещать в случае FSMO

Каковы функции роли PDC Emulator - что она ВООБЩЕ делает.

Что произойдет при полной утрате серверов с ролями FSMO в первые 1-2 дня, и далее (месяц-квартал-год). Домен сравнительно небольшой, 100 человек, RID (кстати что это) были выданы недавно.


20.23.11 Можно ли работать с AD не с самого сервера?

Точнее говоря - есть задача, добавить нового пользователя (нового сотрудника) в AD. Как это можно сделать - понятно, что можно подойти к физическому серверу, включить клавиатуру, мышь, монитор - а что надо делать дальше, и можно ли не ходить в серверную?


20.23.12 Обыкновенная ситуация. У вас есть офис в Москве и филиал на 5 человек в, например, Троицке. Или в Обнинске. Уточнение: об этом филиале вы почему-то слышите впервые, с документацией дела обстоят не очень хорошо, почему было так сделано - никто не в курсе.

Там находится RODC, совмещенный с файловым сервером. На файловый сервер на папку кем-то когда-то были как-то (неизвестно как) выданы права.

В филиал пришел новый человек, вы создали ему учетную запись, он залогинился на ПК, и хочет работать с документами на файловом сервере. Опишите процедуру добавления прав доступа.

20.23.14 С каким интервалом обновляется GPO на DC

* 1 час / * 5 минут /* 5 секунд /* 30 минут


PC - By default, computer Group Policy is updated in the background every 90 minutes,

with a random offset of 0 to 30 minutes. In addition to background updates, Group Policy for the computer is always updated when the system starts.

https://technet.microsoft.com/en-us/library/cc940895.aspx


GP does replicate with AD. The default AD intra site replication time is 5 minutes which can be changed as per instructions here:

http://support.microsoft.com/kb/214678.


Intersite replication depends on the configuration of the site connector in AD (using AD sites and services).

This interval defaults to 3 hours but is typically reduced the 15 minutes (the minimum interval) in most environments.


Дочитали?

А теперь правильный подход:

А назови-ка, мне, мой юный друг, порты, по которым кд общаются. А я загну пальцы и ты мне еще расскажешь про них подлые вопросы. Помимо двух, человек должен вспомнить про 53 (и тогда надо спросить, а когда TCP в нем) и про 135 RPC и когда может быть не он, а скажем smtp ну и про динамик порты тоже поговорить. Вот такой (голосом Жеглова) у нас с тобой ррразговор будет. (С) Из переписки.


Часть 21. Часто вспоминаемые сервисы Microsoft в составе MS Windows Server, кроме виртуализации и AD - хотя AD это три слона(или кита) - AD DS, AD CS, AD RMS.

21.1 Public key infrastructure (PKI) :

Active Directory Certificate Services (AD CS)

Свой внутренний центр сертификации

Root certification authority (CA)


Сертификаты https/ssl.


AD CS: Web Enrollment / Certification Authority Web Enrollment Guidance

Смена центра сертификации в AD

21.2 MS KMS - Key Management Service

21.3 Другой KMS - Key Management is based on the industry standard, KMIP 1.1

21.4 Windows Server Update Services (WSUS)


21.5 File Server Role. Утилиты командной строки для работы с NTFS и некоторые "милые" ее, *****, особенности.

Active Directory Claims for Windows Server 2012 File Service Access Control

Windows Identity Foundation(WIF)

21.6 Failover Clustering и Network Load Balancing (NLB)

21.7 Hyper-V - вынесен в виртуализацию.

21.8 Print and Document Services

21.8 Windows Deployment Services (WDS)

21.9 Сервисы не сервисы, а упомянуть надо - RDS, NAP, TMG/UAG, SCCM, SCOM, SCDPM, SCSM, SCVMM, SCO, SCEP

21.10 DFS - DFS Namespaces (DFS-N) and DFS Replication (DFS-R).

Протокол репликации DFS

21.11 Таблица соответствия MS / VMWare

Не дописано

21.12 MS storage spaces -

вынесен отдельно.

21.14 MS containers -

не рассмотрен.

21.15 IPAM (IP Address Management)

21.16 Powershell как инструмент управления всем подряд.

https://exchange12rocks.org/2017/03/06/building-highly-available-windows-infrastructure-command-line-style-ad-ds-part-1-installation/


PowerShell Web Access (PSWA)

https://technet.microsoft.com/ru-ru/windowsserver/dn705874.aspx


Powershell ISE

21.17 Web Server (IIS)

21.17 Web Server (IIS)

21.18 Active Directory Federation Services (ADFS)

21.19 DHCP, DNS, WPAD

Обеспечение отказоустойчивости DHCP в MS

Архивирование и восстановление MS DHCP

21.20 Remote Desktop Services (RDS), known as Terminal Services (TS) in Windows Server 2008 and earlier

не рассмотрен.

21.21 Обучение:HOL от MS - онлайн лабы и курсы.

21.22 Прочее.

ReFS

Траблшутинг в MS Server - events

Траблшутинг в MS Server - Performance Analysis of Logs (PAL) Tool

21.30 Вопросы по прочим сервисам MS, Windows и Windows Server


Часть 21. Часто вспоминаемые сервисы Microsoft в составе MS Windows Server, кроме виртуализации и AD - хотя AD это три слона(или кита) - AD DS, AD CS, AD RMS.


Внезапно (для меня), кроме AD DS есть еще две часто встречаемые роли, начинающиеся с AD - AD CS и AD RMS.Есть еще AD LDAP и AD FS, но о них позже.


AD RMS

https://technet.microsoft.com/ru-ru/library/ee922691.aspx

AD RMS создан для обеспечения конфиденциальности документов независимо от способа хранения и распространения. Документы, защищенные AD RMS, шифруются, а автор может устанавливать разрешения для тех, кто получит доступ к данным.


AD FS - Планирование развертывания служб федерации Active Directory

https://technet.microsoft.com/library/dn151324.aspx


21.1 Public key infrastructure (PKI) :

Active Directory Certificate Services (AD CS)

Свой внутренний центр сертификации

Root certification authority (CA)


Сертификаты https/ssl.


AD CS: Web Enrollment / Certification Authority Web Enrollment Guidance

Смена центра сертификации в AD


Теория

https://ru.wikipedia.org/wiki/Инфраструктура_открытых_ключей

https://ru.wikibooks.org/wiki/Введение_в_PKI

https://events.yandex.ru/lib/talks/1551/

https://www.youtube.com/watch?v=XbwWNF3zpCk

https://www.youtube.com/watch?v=XTfx5RxteuI


https://technet.microsoft.com/ru-ru/library/cc725593(v=ws.11).aspx


Но особо нас интересует Ресурсы служб сертификации Active Directory

https://technet.microsoft.com/ru-ru/library/cc754926(v=ws.11).aspx


и Общие сведения о службах сертификации Active Directory

https://technet.microsoft.com/ru-ru/library/cc755071(v=ws.11).aspx


Обучение

Course 2821A: Deploying and Managing a Public Key Infrastructure

https://www.microsoft.com/en-us/learning/course.aspx?cid=2821


Просто о сложном: статья по теме

Компьютерщик на все руки: Просто о сертификатах

https://technet.microsoft.com/ru-ru/library/hh506331.aspx


Пошаговое руководство по службам сертификации Active Directory Windows Server

https://technet.microsoft.com/ru-ru/library/cc772393(v=ws.10).aspx


Установка Active Directory Certificate Services (AD CS)

https://retifff.wordpress.com/2012/04/29/installation_active_directory_certificate_services/


Что нового в AD CS? Certificate Services в Windows Server 2008 R2 vs. Windows Sеrver 2003

https://xakep.ru/2011/03/15/54800/


Root certification authority (CA)

Root cert - Subordinate CAs

Общее руководство тут: Certification Authority Guidance

https://technet.microsoft.com/en-us/library/hh831574(v=ws.11).aspx


Сертификаты https/ssl.

Выпуск сертификатов IIS

https://technet.microsoft.com/ru-ru/library/hh506331.aspx


AD CS: Web Enrollment / Certification Authority Web Enrollment Guidance

https://technet.microsoft.com/en-us/library/cc732517(v=ws.10).aspx

https://technet.microsoft.com/en-us/library/hh831649(v=ws.11).aspx


Обновление сертификатов до sha-256

подробнее тут:

https://social.technet.microsoft.com/wiki/contents/articles/31296.implementing-sha-2-in-active-directory-certificate-services.aspx

и тут

https://blogs.technet.microsoft.com/pki/2013/09/19/upgrade-certification-authority-to-sha256/


SHA1 Deprecation Policy

https://blogs.technet.microsoft.com/pki/2015/10/19/sha1-deprecation-policy/


Ivan Ristic - SHA1 Deprecation: What You Need to Know

https://blog.qualys.com/ssllabs/2014/09/09/sha1-deprecation-what-you-need-to-know


An update to our SHA-1 deprecation roadmap

https://blogs.windows.com/msedgedev/2016/04/29/sha1-deprecation-roadmap/#MzZ7iiU1lAimUDqY.97


Шаг за шагом: Миграция Active Directory Certificate Service с Windows Server 2003 на Windows Server 2012 R2

https://habrahabr.ru/company/microsoft/blog/255169/


Удаление центра сертификации из Active Directory

http://winitpro.ru/index.php/2014/11/28/udalenie-centra-sertifikacii-iz-active-directory/


Миграция ключа центра сертификации из поставщика служб шифрования (CSP) в поставщик хранилища ключей (KSP)

https://technet.microsoft.com/ru-ru/library/dn771627(v=ws.11).aspx


Грабли про виды ключей: Сертификаты - CSP/CNG

https://fromreallife.wordpress.com/2016/01/18/%d0%bd%d0%b5%d0%bc%d0%bd%d0%be%d0%b3%d0%be-%d0%bf%d1%80%d0%be-%d1%81%d0%b5%d1%80%d1%82%d0%b8%d1%84%d0%b8%d0%ba%d0%b0%d1%82%d1%8b/


ADFS Configuration Wizard Fails with Error "The certificates with the CNG private key are not supported"

https://blogs.technet.microsoft.com/mspfe/2013/11/29/adfs-configuration-wizard-fails-with-error-the-certificates-with-the-cng-private-key-are-not-supported/


Отладка сертификатов/https - Fiddler

Fiddler Web Debugger Tool

https://msdn.microsoft.com/en-us/library/windows/desktop/ff966510(v=vs.85).aspx

https://habrahabr.ru/post/140147/


MSDN -- Fiddler PowerToy -- Part 1: HTTP Debugging

http://msdn.microsoft.com/en-us/library/bb250446(v=vs.85).aspx


MSDN -- Fiddler PowerToy -- Part 2: HTTP Performance

http://msdn.microsoft.com/en-us/library/bb250442(v=vs.85).aspx


21.2 MS KMS - Key Management Service

Крайне удобная штука, если у вас куплено МНОГО корпоративных лицензий. Позволяет не думать про ручной ввод ключей Windows и Office.


Установка и настройка Key Management Service (KMS) в корпоративной среде Windows Server 2008/Windows Vista

https://kvazar.wordpress.com/2009/04/15/установка-и-настройка-key-management-service-kms-в-корпора/


Getting Started with KMS (Key Management Service)

https://social.technet.microsoft.com/wiki/contents/articles/26939.getting-started-with-kms-key-management-service.aspx


Understanding KMS

https://technet.microsoft.com/en-us/library/ff793434.aspx


21.3 Другой KMS - Key Management is based on the industry standard, KMIP 1.1

https://en.wikipedia.org/wiki/Key_management#Key_management_systems


21.4 Windows Server Update Services (WSUS)

Полезная в хозяйстве, но не самая простая в настройке вещь. Особое внимание, конечно, стоит уделить разделению тестовой, пробной и основной групп (круги обновления), ну и контролю автообновления - потому как не все работники любят, что у них компы сами собой внезапно перезагружаются. А кто ставит автоапрув и авторебут на сервера, вообще достоин порицания.

С другой стороны, все равно ставить надо и ребутать надо.


Про ВСУС/WSUS, полезно помнить:

SUS DB ID

https://social.technet.microsoft.com/Forums/windowsserver/en-US/272b4fa1-cc46-4087-a8cf-bbac97620db8/wsus-only-showing-4-clients-at-a-time?forum=winserverwsus


И оно же (SUS DB ID)

https://blogs.technet.microsoft.com/sus/2009/05/05/resolving-the-duplicate-susclientid-issue-or-why-dont-all-my-clients-show-up-in-the-wsus-console/


Внимание.

Ввиду новых модных крипторов и мудаков, отключающих Windows update как слежбу, НЕОБХОДИМО:

Принудительно включить политиками- файерволл и винапдейт. Поскольку дегенераты всегда тут как тут.


21.5 File Server Role. Утилиты командной строки для работы с NTFS и некоторые "милые" ее, *****, особенности.

Active Directory Claims for Windows Server 2012 File Service Access Control

Windows Identity Foundation(WIF)


File Server Role.

Тут надо бы писать про квоты, и вот это все, но может сами почитаете?


Утилиты командной строки для работы с NTFS - надо помнить про takeown/icacls/cacls

Можно и про fsutil вспомнить, да и про разреженные файлы / sparse files

https://geektimes.ru/post/78018/


Vbs -

http://blogs.technet.com/b/heyscriptingguy/archive/2006/01/11/how-can-i-take-ownership-of-a-file-or-folder-by-using-a-script.aspx


Самое не смешное случается, когда почему-то takeown не работает, а вот если включить в реестр нечто вроде вот такого (ниже) - контроль хватается. Искать в гугле TakeOwnership

[HKEY_CLASSES_ROOT\*\shell\runas\command]

@="cmd.exe /c takeown /f \"%1\" && icacls \"%1\" /grant administrators:F"

"IsolatedCommand"="cmd.exe /c takeown /f \"%1\" && icacls \"%1\" /grant administrators:F"


Про наследование тоже стоит помнить, да.


Новое в 2012 и позже:

Windows Server 2012 Active Directory Domain Services (AD DS) added support for claims as part of the new Dynamic Access Control feature. Dynamic Access Control is a large and complex technology that lets you apply centralized governance, classification, and information protection on Server 2012 file servers. What has been largely overlooked, however, is that you can use claims right away on these file servers to give you new flexibility without waiting for a Dynamic Access Control implementation.


http://windowsitpro.com/windows-server-2012/use-active-directory-claims-windows-server-2012-file-service-access-control

https://msdn.microsoft.com/en-us/library/ff359101.aspx


Windows Identity Foundation(WIF) и Claims-based identity. Это конечно про программирование, но ..

https://habrahabr.ru/post/145306/


21.6 Failover Clustering и Network Load Balancing (NLB)

Failover Clustering Overview

https://technet.microsoft.com/en-us/library/hh831579%28v=ws.11%29.aspx

Create a Failover Cluster

https://technet.microsoft.com/en-us/library/dn505754%28v=ws.11%29.aspx


Свежее-2016

What's new in failover clustering: #01 Cluster OS Rolling Upgrade

https://blogs.technet.microsoft.com/windowsserver/2016/06/02/whats-new-in-failover-clustering-01-cluster-os-rolling-upgrade/

Clustering and High-Availability

https://blogs.msdn.microsoft.com/clustering/2016/


Про работу MSCS и vmware 6.5

Setup for Failover Clustering and Microsoft Cluster Service

VMware vSphere 6.5 / VMware ESXi 6.5 / vCenter Server 6.5

Стр. 11 - Supported Shared Storage Configurations

https://docs.vmware.com/en/VMware-vSphere/6.5/vsphere-esxi-vcenter-server-65-setup-mscs.pdf


Network Load Balancing

Practical applications


NLB is useful for ensuring that stateless applications, such as web servers running Internet Information Services (IIS), are available with minimal downtime, and that they are scalable (by adding additional servers as the load increases). The following sections describe how NLB supports high availability, scalability, and manageability of the clustered servers that run these applications.


Windows Server 2016 includes a new Azure-inspired Software Load Balancer (SLB) as a component of the Software Defined Networking (SDN) infrastructure. Use SLB instead of NLB if you are using SDN, are using non-Windows workloads, need outbound network address translation (NAT), or need Layer 3 (L3) or non-TCP based load balancing. You can continue to use NLB with Windows Server 2016 for non-SDN deployments. For more information about SLB, see Software Load Balancing (SLB) for SDN.

https://docs.microsoft.com/en-us/windows-server/networking/technologies/network-load-balancing


Network Load Balancing Technical Overview

https://msdn.microsoft.com/en-us/library/bb742455.aspx


21.8 Print and Document Services

Print and Document Services Overview

https://technet.microsoft.com/en-us/library/hh831468(v=ws.11).aspx


Overview of Print and Document Services

https://technet.microsoft.com/en-us/library/dd759058(v=ws.11).aspx


What's New in Print and Document Services in Windows Server

https://technet.microsoft.com/en-us/library/dn434036(v=ws.11).aspx


21.8 Windows Deployment Services (WDS)

Установка всяких Windows, да и не только их, по сети.

Сначала тут конечно стоит вспомнить про DCHP, особенно DHCP Options 60, 66, and 67

Затем почитать про Preboot eXecution Environment (PXE)

https://ru.wikipedia.org/wiki/PXE

https://en.wikipedia.org/wiki/Preboot_Execution_Environment

http://xgu.ru/wiki/PXE


Потом прочитать про WDS PXE Server

https://technet.microsoft.com/en-us/library/cc726737(v=ws.10).aspx

и

PXE booting with WDS - DHCP Scope vs IP Helpers

http://techthoughts.info/pxe-booting-wds-dhcp-scope-vs-ip-helpers/


И только затем переходить к

Windows Deployment Services Overview

https://technet.microsoft.com/en-us/library/hh831764(v=ws.11).aspx


Windows Deployment Services Getting Started Guide for Windows Server 2012

https://technet.microsoft.com/en-us/library/jj648426(v=ws.11).aspx


21.9 Сервисы не сервисы, а упомянуть надо - RDS, NAP, TMG/UAG, SCCM, SCOM, SCDPM, SCSM, SCVMM, SCO, SCEP

RDS - Microsoft Remote Desktop Services

https://technet.microsoft.com/en-us/windowsserver/ee236407.aspx


NAP - Network Access Protection

https://technet.microsoft.com/en-us/network/bb545879.aspx

штука полезная, но ее настройка как я помню - отдельная разовая нетрадиционная процедура на русскую букву Е, 4 буквы.

Была выпилена в 2012R2 и Win10 - With the release of Windows Server 2012 R2, NAP is deprecated.

Windows 10 has officially done away with the NAPclient service, so NAP on NPS is no longer an option for us when we roll out Win10 on the domain at a later time.

Вроде как что-то есть в System Center 2012 Configuration Manager

https://community.spiceworks.com/topic/1098835-nap-depreciated-in-windows-10-looking-for-alternative


и есть не-MS решения -

AlienVault OSSIM: The World's Most Widely Used Open Source SIEM(security information and event management)

https://www.alienvault.com/products/ossim


PacketFence is a fully supported, trusted, Free and Open Source network access control (NAC) solution.

https://packetfence.org/


TMG/UAG - Forefront Unified Access Gateway, бывшая ISA.

Вопросы ее настройки многократно описаны, главное (где она встречается) не стеснятся читать логи и при необходимости писать дампы, и читать что она отвечает туда. Из часто встречаемых проблем - проброс нестандартных SSL-портов. Лечится скриптом на vbs -

set isa=CreateObject("FPC.Root")

set tprange=isa.GetContainingArray.ArrayPolicy.WebProxy.TunnelPortRanges

set tmp=tprange.AddRange("SSL 9443", 9443, 9443)

tprange.Save

MsgBox("Done")


Configuring custom SSL ports on ISA/TMG server for forward proxy

https://blogs.technet.microsoft.com/sooraj-sec/2011/06/21/configuring-custom-ssl-ports-on-isatmg-server-for-forward-proxy/


или

Blank page or page cannot be displayed when you view SSL sites through ISA Server or Microsoft Forefront Threat Management Gateway, Medium Business Edition

https://support.microsoft.com/en-ph/help/283284/blank-page-or-page-cannot-be-displayed-when-you-view-ssl-sites-through-isa-server-or-microsoft-forefront-threat-management-gateway,-medium-business-edition


SCCM, SCOM, SCDPM, SCSM, SCVMM, SCO, SCEP:

SCCM - System Center Configuration Manager

SCOM - System Center Operations Manager

SCDPM - System Center Data Protection Manager

SCSM - System Center Service Manager

SCVMM - System Center Virtual Machine Manager

SCO - System Center Orchestrator

SCEP - Microsoft System Center Endpoint Protection


Что стоит почитать, кроме списка:

SNMP probe scom


https://blog.it-kb.ru/2013/07/11/system-center-2012-operations-manager-scom-opsmgr-snmp-probe-monitor-comparison-of-variables-snmpvarbinds/


https://social.technet.microsoft.com/Forums/ru-RU/9f87b608-7227-4ee6-8342-32903afc6186/snmp-probe-monitor-snmpvarbinds


21.10 DFS - DFS Namespaces (DFS-N) and DFS Replication (DFS-R).

Протокол репликации DFS


DFS - DFS Namespaces (DFS-N) and DFS Replication (DFS-R) Overview

https://technet.microsoft.com/en-us/library/jj127250(v=ws.11).aspx


[MS-WPO]: Windows Protocols Overview - 6.3 DFS and File Replication Protocols

https://msdn.microsoft.com/en-us/library/jj709699.aspx


Репликация распределенной файловой системы (DFS). Вопросы и ответы

https://technet.microsoft.com/ru-ru/library/cc773238(v=ws.10).aspx


Ограничения и требования

Можно ли с помощью службы репликации распределенной файловой системы (DFS) реплицировать данные между филиалами без VPN-подключения?


Да, если филиалы связаны с помощью частной глобальной сети (не с помощью Интернета). Однако для этого необходимо открыть соответствующие порты во внешних брандмауэрах. Служба репликации распределенной файловой системы использует сопоставитель конечных точек RPC (порт 135) и случайным образом назначаемый порт с номером свыше 1024 и коротким сроком жизни. С помощью средства командной строки Dfsrdiag можно указать статический порт вместо использования порта с коротким сроком жизни. Дополнительные сведения об указании сопоставителя конечных точек RPC см. в статье 154596 базы знаний Майкрософт (http://go.microsoft.com/fwlink/?LinkId=73991).

https://technet.microsoft.com/ru-ru/library/cc773238(v=ws.10).aspx


21.11 Таблица соответствия MS / VMWare

MS

Vmware

SCCM - System Center Configuration Manager

Configuration Manager предоставляет такие основные возможности: управление обновлениями, развёртывание ПО и операционных систем, интеграция с NAP, инвентаризация аппаратного и программного обеспечения, удалённое управление, управление виртуализированными и мобильными системами на базе Windows.

vCenter Server

SCOM - System Center Operations Manager

System Center Operations Manager (SCOM) (ранее Microsoft Operations Manager, MOM) -- программа компании Microsoft для управления и мониторинга ИТ-сервисов, приложений, серверов в гетерогенной среде Windows, UNIX и Linux. Продукт способен консолидировать информацию о функционировании различных компонентов ИТ-инфраструктуры, обеспечивая её обобщенное представление в единой консоли.

??

SCDPM - System Center Data Protection Manager

(DPM) -- это программный продукт компании Microsoft, обеспечивающий непрерывную защиту данных для надежного восстановления работы серверов Windows. Является частью семейства продуктов Microsoft System Center. Ранее известен как Data Protection Server.

vSphere Data Protection

https://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=2016565

SCSM - System Center Service Manager

System Center 2012 - Service Manager представляет собой интегрированную платформу автоматизации и внедрения рекомендаций по управлению ИТ-службой организации, аналогичных тем, что можно найти в стандартах MOF и ITIL. Эта платформа предоставляет встроенные процессы для разрешения инцидентов и проблем, управления изменениями и жизненным циклом активов.

https://msdn.microsoft.com/ru-ru/library/hh305220(v=sc.12).aspx

SCVMM - System Center Virtual Machine Manager

https://technet.microsoft.com/en-us/library/gg610610(v=sc.12).aspx

Virtual Machine Manager (VMM) is a management solution for the virtualized datacenter, enabling you to configure and manage your virtualization host, networking, and storage resources in order to create and deploy virtual machines and services to private clouds that you have created.

SCO - System Center Orchestrator

Orchestrator is a workflow management solution for the data center. Orchestrator lets you automate the creation, monitoring, and deployment of resources in your environment.

vRealize Orchestrator (vCenter Orchestrator)

http://www.vmware.com/ru/products/vrealize-orchestrator.html

SCEP - Microsoft System Center Endpoint Protection

vShield Endpoint

VMware vShield Manager

https://www.interworks.com/blog/ijahanshahi/2014/08/07/how-configure-vmware-vshield-manager-and-vshield-endpoint


System Center 2012 Application Controller

Remote Desktop Services (RDS), known as Terminal Services (TS) in Windows Server 2008 and earlier

VMware Horizon

Решения VMware для репликации и аварийного восстановления: vSphere Replication и Site Recovery Manager (SRM)

https://habrahabr.ru/post/315020/

MS Virtual Machine Servicing Tool (VMST)

https://technet.microsoft.com/en-us/library/jj149757.aspx

Прочие полезности

VMware NSX

VMware vCloud Suite

vCenter Configuration Manager

vsphere orchestrator

VMware Platform Services Controller

https://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=2113115


21.15 IPAM (IP Address Management)

IP address management (IPAM) is a means of planning, tracking, and managing the Internet Protocol address space used in a network. IPAM integrates DNS and DHCP so that each is aware of changes in the other (for instance DNS knowing of the IP address taken by a client via DHCP, and updating itself accordingly).


Настройка службы IPAM шаг за шагом

https://habrahabr.ru/company/microsoft/blog/250653/


21.18 Active Directory Federation Services (ADFS)

https://msdn.microsoft.com/ru-ru/library/dn758110(v=ws.11).aspx

https://docs.microsoft.com/ru-ru/windows-server/identity/ad-fs/technical-reference/understanding-key-ad-fs-concepts

https://docs.microsoft.com/ru-ru/windows-server/identity/ad-fs/deployment/deploying-a-federation-server-farm

https://serverfault.com/questions/708669/what-is-adfs-active-directory-federation-services

https://msdn.microsoft.com/en-us/library/bb897402.aspx


21.19 DHCP, DNS, WPAD

Обеспечение отказоустойчивости DHCP в MS

Архивирование и восстановление MS DHCP

Почему в самом низу? Потому что я забыл.


Обеспечение отказоустойчивости DHCP в MS

DHCP Failover Architecture

https://technet.microsoft.com/en-us/library/dn338979(v=ws.11).aspx


Understand and Deploy DHCP Failover

https://technet.microsoft.com/en-us/library/dn338978(v=ws.11).aspx


Step-by-Step: Configure DHCP for Failover

https://technet.microsoft.com/en-us/library/hh831385(v=ws.11).aspx


Web Proxy Auto-Discovery Protocol

https://en.wikipedia.org/wiki/Web_Proxy_Auto-Discovery_Protocol

https://ru.wikipedia.org/wiki/Web_Proxy_Autodiscovery_Protocol


DNS

Вообще говоря про DNS можно и нужно и читать, и читать еще раз в количестве несоизмеримом. Внутре там неонка на неонке, но оно так и задумано.

Уроненный DNS ведет к чрезвычайно неприятным явлениям.


Опять же, если мы говорим про MS, AD и так далее - то DNS там играет весьма важную роль, взять хотя бы ранее помянутый Domain Controller Locator

https://technet.microsoft.com/en-us/library/cc961830.aspx


Что тут надо изучить самостоятельно:

Что используется при работе с DNS - когда UDP, когда TCP.

Что такое прямая и обратная зона. Что такое A, CNAME и SRV запись.

Зачем вообще оно надо.

Здесь должна быть картинка "что является самым частым источником проблем с DNS", но я ее что-то не нашел.


Потом можно почитать про:

Split DNS, или точнее split-brain DNS

Можно читать, начиная отсюда:

Let's look at split-brain DNS in Windows 2003 using Active Directory integrated DNS.

http://www.techrepublic.com/blog/data-center/set-up-split-brain-dns-with-active-directory-integrated-zones/


В 2016-м году это стало так:

Split-Brain DNS Deployment Using Windows DNS Server Policies

https://blogs.technet.microsoft.com/networking/2015/05/12/split-brain-dns-deployment-using-windows-dns-server-policies/


Split-Brain DNS in Active Directory Environment Using DNS Policies

https://blogs.technet.microsoft.com/teamdhcp/2015/08/31/split-brain-dns-in-active-directory-environment-using-dns-policies/


Adding a Reverse Lookup Zone

https://technet.microsoft.com/en-us/library/cc961414.aspx


Архивирование и восстановление MS DHCP

netsh dhcp server 172.17.10.5 dump > C:\backup\Dhcpcfgv01.dmp


Можно и из GUI, но полученный методом выше текстовый файл более подходит для правки при миграции сервера


21.20 Remote Desktop Services (RDS), known as Terminal Services (TS) in Windows Server 2008 and earlier

Не написано.


21.21 Обучение:HOL от MS - онлайн лабы и курсы.


https://info.microsoft.com/WindowsServer2016VirtualLabs


Azure lab


https://www.atraining.ru - целиком.


Про Vmware: HOL - hands-on lab - будет ниже.

Про HPE - Hewlett Packard Enterprise Virtual Labs - http://vlabs.hpe.com/ - вообще не будет

Как и про http://h10076.www1.hpe.com/ww/en/training/index.html


21.22 Прочее.

ReFS

ReFS Block Clone

https://technet.microsoft.com/en-us/windows-server-docs/storage/refs/block-cloning

https://msdn.microsoft.com/en-us/library/windows/desktop/mt590820(v=vs.85).aspx


Траблшутинг в MS Server - events

To enable Analytic and Debug logs by using the Windows interface

https://technet.microsoft.com/en-us/library/cc749492(v=ws.11).aspx


Show or Hide Analytic and Debug Logs

https://technet.microsoft.com/en-us/library/cc766275(v=ws.11).aspx


Траблшутинг в MS Server - Performance Analysis of Logs (PAL) Tool

https://fromreallife.wordpress.com/2017/02/18/анализ-производительности-pal/


Дебаг в винде / Debugging Tools

Windows Error Reporting

https://docs.microsoft.com/en-us/windows-hardware/drivers/dashboard/windows-error-reporting-getting-started


Само собой, нельзя забывать про Ms netmon, Sysinternalc process monitor, process explorer и прочие утилиты -

ProcDump

https://technet.microsoft.com/en-us/sysinternals/dd996900.aspx

https://blogs.technet.microsoft.com/askperf/2009/08/18/two-minute-drill-using-procdump/


Debugging Tools for Windows (WinDbg, KD, CDB, NTSD)

https://docs.microsoft.com/en-us/windows-hardware/drivers/debugger/


или скажем Unlocker

https://ru.wikipedia.org/wiki/Unlocker


21.30 Вопросы по прочим сервисам MS, Windows и Windows Server

21.30.1 Что такое swp файл

21.30.2 Что такое реестр, где он хранится

21.30.3 Какие ветки реестра вы знаете

21.30.4 Как можно восстановить реестр


21.30.5 Что настраивается в правах NTFS

21.30.6 Зачем нужны cacls, icacls

21.30.7 Что такое администратор, и чем он отличается от гостя и пользователя

21.30.8 Зачем нужен домен.

21.30.9 Как ПК добавляется в домен

21.30.10 Зачем нужны A записи и TTL.

21.30.11 Когда DNS использует UDP и TCP (ответ: при передаче зон и при запросах большой длины (больше 512 байт).


Часть 22. Электронная почта, но в основном MS Exchange.

22.1 Электрическая почта - как это вообще работает.

Что такое IETF, RFC821, RFC2821 и RFC5321

telnet для проверки в целом.

22.2 DNS. MX и прочие записи.

Как быть, если их нет.

Как быть, если их много

Мониторинг срока жизни домена / продление домена.

22.3 Сертификаты: срок жизни, своевременное продление:

Вынесено в Часть 26. Безопасность.

22.3 DNSBL / RBL и зачем-то вспомненный RDBL, и немного о том, что есть еще.

22.4 Что еще бывает-

Lotus, Kerio Connect (Kerio MailServer), MDaemon, Zimbra, CommuniGate Pro и что там еще бывает, хотя бы обвеска к Postfix.

22.5 Антиспам. Статистика. Зловреды всякие.

22.6 Наконец-то MS Exchange.

Обзорно.

Встречающиеся редакции. Роли.

Часто вспоминаемое:

database availability group (DAG)


Правила всяких видов.

Логи

Аудит

OWA

Общая адресная книга и проблемы с ней

Powershell в Exchange

22.7 Переход на Exchange 2016 - всякие ссылки и подготовка, чтобы лаба, лаба, а потом ВЖУХ.

22.8 Проектирование структуры копии базы данных для обеспечения высокой доступности электронной почты.

22.9 Десериализация

- 22.20 Резерв

22.21 Вопросы по электронной почте


22.1 Электрическая почта - как это вообще работает.

Что такое IETF, RFC821, RFC2821 и RFC5321

telnet для проверки в целом.


Рассуждать об электронной почте без понимания работы DNS как минимум странно. Но некоторые умудряются. Но про DNS было чуть выше и будет чуть ниже.


IETF - Internet Engineering Task Force. Это группы людей, которые делают интернет лучше и качественней -

The mission of the IETF is to make the Internet work better by producing high quality, relevant technical documents that influence the way people design, use, and manage the Internet.

http://www.ietf.org/about/mission.html


Ключевой момент - это открытое и публичное сообщество -

The first IETF meeting was attended by 21 U.S.-government-funded researchers on 16 January 1986. It was a continuation of the work of the earlier GADS Task Force. Representatives from non-governmental entities were invited to attend starting with the fourth IETF meeting in October 1986. Since that time all IETF meetings have been open to the public.


Результатом деятельности IETF являются документы - Request for Comments, RFC.

https://ru.wikipedia.org/wiki/RFC


Для этой главы полезно ознакомиться с:

RFC2821 Simple Mail Transfer Protocol

Оригинал https://www.ietf.org/rfc/rfc2821.txt

Перевод http://rfc.com.ru/rfc2821.htm


RFC5321 Simple Mail Transfer Protocol, October 2008

Оригинал https://tools.ietf.org/html/rfc5321

Перевод http://www.vanderboot.ru/rfc/mail/5321.php


С дополнением 7504 - SMTP 521 and 556 Reply Codes

https://tools.ietf.org/html/rfc7504


Для первичной проверки доступности сервисов электронной почты можно (и иногда нужно) использовать telnet -

Use Telnet to test SMTP communication on Exchange servers

https://technet.microsoft.com/en-us/library/bb123686%28v=exchg.160%29.aspx


22.2 DNS. MX и прочие записи.

Как быть, если их нет.

Как быть, если их много

Мониторинг срока жизни домена / продление домена.


DNS работает почти как ВЖУХ*.

* в самом простом виде, не рассматривая Round-robin, Split-brain и политику росзабора, в результате которого провайдеры лезут в DNS запросы


Вы отправляете на сервер запрос с именем, в ответ получаете (от сервера DNS) ipv4/ipv6 адрес.

Проверить как это выглядит можно просто -

cmd

nslookup

server 8.8.8.8

google.com


но это же явно не все записи, тут не написано ничего про "куда слать почту".

Для понимания вашим сервером (отправителем) "куда" - есть специальная запись, MX

cmd

nslookup

server 8.8.8.8

set type=any

google.com


и в ответ получаем все что надо:

MX preference = 10, mail exchanger = aspmx.l.Google.com

MX preference = 30, mail exchanger = alt2.aspmx.l.Google.com

"v=spf1 include:_spf.google.com ~all"


И затем уже aspmx.l.Google.com превращается в три адреса серверов для получения почты.


Зачем надо два MX при том, что можно в DNS отдавать разные адреса?

Затем же, для отказоустойчивости. Когда все это разрабатывалось, с общей связностью сети все было очень и очень плохо, и предполагалось что может стать еще хуже.


Хорошо ли это, иметь второй MX? Не так уж плохо, если конечно озаботиться безопасностью и контролем:

Why is it not a good idea to use secondary MX records?


Unfortunately spamming servers make use of this configuration and target the secondary MX record even when the primary is available, turning them into what we refer to as spam "honeypots". They do this as secondary records usually point to email servers that deploy little or no security checks such as those you'd find at some ISP's for example. This encourages the spamming servers to keep sending even more as they can see it's being accepted and so the vicious circle continues.

https://blog.zensoftware.co.uk/2012/07/02/why-we-tend-to-recommend-not-having-a-secondary-mx-these-days/


Как быть, если их (MX записей) нет.

Читать RFC! 7505 например -

Abstract

Internet mail determines the address of a receiving server through the DNS, first by looking for an MX record and then by looking for an A/AAAA record as a fallback. Unfortunately, this means that the A/AAAA record is taken to be mail server address even when that address does not accept mail.

https://tools.ietf.org/html/rfc7505


Как быть, если их много.

Сервер сам разберется. Если у вас три записи с приоритетом 10,20,30, то нормальный сервер попробует сначала отправить на сервер с приоритетом 10, потом далее.

Спам-серверу такие тонкости не нужны, письма вам придут туда, где вы по глупости сделали open relay. Впрочем, и без него могут насовать просто в ваши рандомные и обязательные адреса. Или в ранее опубликованные.


Основные типы DNS записей

A / AAAA

CNAME

MX

SRV

NS

PTR

SOA

SPF/ TXT

https://ru.wikipedia.org/wiki/ Типы_ресурсных_записей_DNS


Мониторинг срока жизни домена / продление домена.

Не забывать, бдить и помнить. Просрочка можут дорого встать.


22.3 DNSBL / RBL и зачем-то вспомненный RDBL, и немного о том, что есть еще.


Sender Policy Framework - RFC 7208

Читать тут

https://en.wikipedia.org/wiki/Sender_Policy_Framework

И очень сжато на русском тут

https://ru.wikipedia.org/wiki/Sender_Policy_Framework


DNS-based Blackhole List (DNSBL) or Real-time Blackhole List (RBL)

Ничего сложного в обоих вещах нет. Это списки спамеров - с каких адресов рассылался спам. В любом антиспам- агенте это есть.

Проблема: временами эти списки дохнут, но еще проблемней, когда криворукие инфобезопасники используют неактуальные списки, в которые ваша сеть когда-то попала.


Greylisting

Greylisting is a method of defending e-mail users against spam. A mail transfer agent (MTA) using greylisting will "temporarily reject" any email from a sender it does not recognize.

https://en.wikipedia.org/wiki/Greylisting


Проблема все та же - криворукие настройки агента с стороны получающего сервера, и результат в виде "невозможности доставить".


Байесовские фильтры в почте.

Читать тут

https://ru.wikipedia.org/wiki/Байесовская_фильтрация_спама

https://habrahabr.ru/post/170545/


Есть еще, конечно, черные и белые списки, тоже очень полезны в случае, если администратор той стороны не знает, что там и где настраивается.


Бывают просто криворукие админы с линуксом в анамнезе -

https://social.technet.microsoft.com/Forums/ru-RU/f2b45f7a-cffa-4881-98ab-6f02cf8407dd/domain?forum=itru


Что еще: DMARC, SPF, DKIM

DMARC (Domain-based Message Authentication, Reporting & Conformance) is the latest and greatest advance in email authentication. But, like SPF (Sender Policy Framework) and DKIM (Domain Keys Identified Mail), it's sometimes misunderstood. That's why we're dedicating the last post of our three-part email authentication series to explaining how it works, and why it matters

https://blog.returnpath.com/how-to-explain-dmarc-in-plain-english/


22.4 Что еще бывает-

Lotus, Kerio Connect (Kerio MailServer), MDaemon, Zimbra, CommuniGate Pro и что там еще бывает, хотя бы обвеска к Postfix.


Есть много других почтовых программ и систем совместной работы.

Как выразился кто-то как-то - по степени ужас и кошмара можно построить следующее деление: exchange > zimbra > адъ и израиль > communigate = дна нет


Опять же, необходимо различать MTA и обвеску к нему, те же postfix, sendmail, exim - MTA

Подробнее тут

https://en.wikipedia.org/wiki/Message_transfer_agent


Ситуация с почтовым ПО в целом характеризуется сейчас (на 06.2016) как переходная.

С одной стороны, есть классические системы, типа "один почтовый сервис - одна организация". С другой - есть почтовые системы типа "почта для домена" - у гугля, яндекс и так далее. Есть MS office 365. Есть провайдерские почтовые системы. Есть Hosted exchange. И так далее.


Читать например отсюда

https://en.wikipedia.org/wiki/Hosted_exchange


Таким образом, сейчас на организацию до 20..40 человек, может уже и не нужна своя почтовая система, есть же облака, которые, как известно, эластичные и не жмут.


Необходимое уточнение. В природе можно встретить и Exchange 2003, и Exchange 2007.


Для ряда задач нужен простой сервер, но не такой простой как служба SMTP в Windows, а чуть сложней. Но не Exchange и не под линуксом.

Пока меня под некоторые простые задачи устраивает Hmail - https://www.hmailserver.com

Задача была - настроить пересылку сообщений от устройств из закрытой сети в рабочую. Вполне подошел.


22.5 Антиспам. Статистика. Зловреды всякие.

Про состояние на август 2015 стоит прочитать хотя бы это

https://securelist.ru/analysis/spam-quarterly/26506/spam-i-fishing-vo-vtorom-kvartale-2015/


где написано русским по белому:

Ситуация со спамом в российском почтовом трафике в целом повторяет ситуацию в мире. На протяжении второго квартала доля спама уменьшалась примерно на 1 п.п. месяц. Таким образом, максимальное число спамовых писем во втором квартале было разослано в апреле (59,32%), минимальное - в июне (57,47%).


Еще стоит почитать

http://av-comparatives.org/wp-content/uploads/2016/04/avc_spam_201603_en.pdf


Зловреды.

Ситуация с всякого рода зловредами выглядит как тлен и безысходность. Их много, они появляются, само собой, скорее чем их детектирование по сигнатурам в общем виде. Трендом прошлой пятилетки были "чистые шифровальщики" - когда в зашифрованном аттаче (с паролем "1") приходит исполняемый файл. Ответом стала глубокая проверка и массовый запрет на получение исполняемых файлов в любых архивах, и запрет (отправка в карантин) на получение архива, который не может быть распакован средствами антиспама\антивируса \ NGFW. Главная проблема традиционна - все эти (антивирусные) технологии или достаточно дороги и требуют квалифицированных (читай - дорогих) сотрудников, или open source, в таком случае требуют еще и магии.

Текущий тренд - или файл с java script, или макросы в приложениях word/excel, которые скачивают уже вредоносный модуль. Решение такой проблемы - жесткий запрет на макросы в получаемых документах, и .. и надо посмотреть, что рекомендуют лучшие собаководы.


Антиспам ПО.

Остал от жизни.


22.6 Наконец-то MS Exchange.

Обзорно.

Встречающиеся редакции. Роли.

Часто вспоминаемое:

database availability group (DAG)


Правила всяких видов.

Логи

Аудит

OWA

Общая адресная книга и проблемы с ней

Powershell в Exchange


В совсем примитивном мире MS Exchange - это почта. Других почт много, но эта почта моя. Почта бесполезна без администратора. Администратор бесполезен без почты.


На самом деле это система совместной работы, с почтой, календарями, задачами, совместными документами и так далее.


Встречающиеся редакции.

Посмотреть редакцию сервера можно в поше:

Get-ExchangeServer | Format-List Name, Edition, AdminDisplayVersion

2010 - Get-Command ExSetup | ForEach {$_.FileVersionInfo}


Наиболее часто может встретиться:

Exchange Server 2010

Exchange Server 2013 SP1 / February 25, 2014 / 15.00.0847.032

Exchange Server 2016 CU1 / March 15, 2016 / 15.01.0396.030


Exchange Server 2007 тоже попадается.


Полный список номеров версий тут:

https://technet.microsoft.com/en-us/library/hh135098%28v=exchg.150%29.aspx


Роли

2010-2013

Mailbox Server (MDB) This server hosts mailboxes and public folders.

Client Access Server (CAS) This is the server that hosts the client protocols, such as Post Office Protocol 3 (POP3), Internet Message Access Protocol 4 (IMAP4), Secure Hypertext Transfer Protocol (HTTPS), Outlook Anywhere, Availability service, and Autodiscover service.

Unified Messaging Server

Hub Transport Server

Edge Transport Server

Подробнее тут

https://technet.microsoft.com/en-us/library/dd298026%28v=exchg.141%29.aspx


В Exchange Server 2016 роли перемешали и укрупнили:

Exchange 2016 uses Mailbox servers and Edge Transport servers.

Читать:

https://technet.microsoft.com/en-us/library/jj150491%28v=exchg.160%29.aspx


Чтение:

https://technet.microsoft.com/ru-ru/library/dd298026%28v=exchg.141%29.aspx

https://technet.microsoft.com/ru-ru/magazine/hh536214.aspx

https://technet.microsoft.com/en-us/library/bb123494%28v=exchg.141%29.aspx


http://www.exchangefaq.ru/book


Курсы:

Course 10135B: Configuring, Managing and Troubleshooting Microsoft╝ Exchange Server 2010

https://mva.microsoft.com/product-training/exchange#!lang=1033

https://www.microsoft.com/en-ca/learning/exchange-server-training.aspx


Course 20341B: Core Solutions of Microsoft╝ Exchange Server 2013

Microsoft Exchange Server 2013 70-341 - https://www.cbtnuggets.com/it-training/microsoft-exchange-server-2013-70-341


Полезное - Microsoft Exchange Best Practices Analyzer

Настройка максимального числа отправлений от пользователя / час.

Мониторинг длины очередей.

Posh

Windows PowerShell Desired State Configuration


Остальное сами, сами. Может потом допишу.


OWA

Немного про сертификаты... или как починить постоянный redirect owa в Exchnage

https://fromreallife.wordpress.com/2016/01/18/%d0%bd%d0%b5%d0%bc%d0%bd%d0%be%d0%b3%d0%be-%d0%bf%d1%80%d0%be-%d1%81%d0%b5%d1%80%d1%82%d0%b8%d1%84%d0%b8%d0%ba%d0%b0%d1%82%d1%8b/


Общая адресная книга и проблемы с ней

Резерв


Powershell в Exchange

Пример: https://habrahabr.ru/post/328992/


22.7 Переход на Exchange 2016 - всякие ссылки и подготовка, чтобы лаба, лаба, а потом ВЖУХ.

Вместо предисловия:

Надоть перед миграцией выгребать версии аутлуков, которые используются. В о365 таже ботва, пока нет 2010 ПЛЮС SP2 хотя бы, клиент не перецепится за облако и будет ныть.

Приходилось постоянно следить за заказчиками и писать им подлые письма "не надо меня обманывать, вот тут у вас клиент непропатченный"


Утилита:

Robust Office Inventory Scan Tool (ROISCAN)

https://gallery.technet.microsoft.com/office/68b80aba-130d-4ad4-aa45-832b1ee49602


Советы пробовавших:

Cu1->Cu4, .Net->4.6.2, Cu4->Cu5

Cu1 -> Cu3, .Net->4.6.2, Cu3->Cu5


The page file size minimum and maximum must be set to physical RAM plus 10MB, to a maximum size of 32,778MB (32GB) if you're using more than 32GB of RAM.

Чанга ..

https://technet.microsoft.com/en-us/library/aa996719(v=exchg.160).aspx


Отдельно читать:

Exchange BPA - best practice analyzer

https://blogs.technet.microsoft.com/david231/2015/03/30/for-exchange-2010-and-2013-do-this-before-calling-microsoft/


The Exchange 2016 Preferred Architecture

https://blogs.technet.microsoft.com/exchange/2015/10/12/the-exchange-2016-preferred-architecture/


AutoReseed Exchange 2016

https://technet.microsoft.com/ru-ru/library/dn789209%28v=exchg.160%29.aspx?f=255&MSPPError=-2147217396


22.9 Десериализация

https://social.technet.microsoft.com/Forums/ru-RU/887a9a54-9d16-4481-8158-0ba8c8d591ef/newpssession-serialization-deserialization-quotdehydratedquot-?forum=scrlangru


Instructions to load PSSnapin for Exchange in the local PowerShell session are already in the Exchange 2013 documentation:


https://technet.microsoft.com/en-us/library/jj150489%28v=exchg.150%29.aspx The instructions are right below this caution: "Loading the Microsoft.Exchange.Management.PowerShell.SnapIn Windows PowerShell snap-in and running cmdlets other than the *-TransportAgent

cmdlets is not supported and may result in irreparable damage to your Exchange deployment."

отсюда взято https://blogs.technet.microsoft.com/exchange/2015/12/15/exchange-management-shell-and-mailbox-anchoring/


To add to Andrew and Jetze's comments. using PSSnapin completely bypasses RBAC framework and relies on AD permissions of user running it from PowerShell. Ugh. I've intentionally avoided discussing this publicly until now but since it's being recommended

on this blog, I must also warn of the pitfalls of using that method even though it is last resort.


22.21 Вопросы по электронной почте

Почтовые ящики, контакты, группы. Делегирование прав на ящики. Всякое полезное в свойствах группы (например, запрет на отправку неавторизованным пользователям).

Политики (имен) почтовых ящиков.

Почтовые базы.

Архивные почтовые ящики.

Политики архивации ящиков.

DAG - Database availability groups.

Почтовые правила.

Powershell в общем.

Коннекторы, авторизация на них.

Защита от внутреннего спама.


Часть 23. Мониторинг сервисов и состояний. Оповещения. Действия. Профилактика.

23.1 Теория.

Оповещения. Действия. Профилактика.

23.2 MRTG/Cacti

23.3 Zabbix/Nagios (Icinga) /PRTG

23.4 Syslog.

Имеющиеся сервера, проблема выбора

23.5 Пометки всякие

23.12 Вопросы

Не написано


23.1 Теория.

Оповещения. Действия. Профилактика.

Если вы все же почитали все, что написано выше, в том числе и 22.8 Проектирование структуры копии базы данных для обеспечения высокой доступности электронной почты.

то там написано:

При разработке высокодоступного решения для серверов почтовых ящиков необходимо обеспечить высокую доступность целому ряду компонентов инфраструктуры, в том числе перечисленным ниже.

Службы инфраструктуры, такие как Служба каталогов Active Directory и DNS

Рядовые серверы группы обеспечения доступности баз данных

Отдельные компоненты хранилища, такие как диски, контроллеры хранения и полки хранения

Отдельные сетевые компоненты, такие как маршрутизаторы, коммутаторы и агрегаторы

Серверные стойки и стойки хранения

Шины питания

Центры данных


Или если читали что-то еще, например ГОСТ Р ИСО/МЭК 27031-2012 Информационная технология (ИТ). Методы и средства обеспечения безопасности. Руководство по готовности информационно-коммуникационных технологий к обеспечению непрерывности бизнеса

http://docs.cntd.ru/document/1200105651

то понимаете, что к решению внезапной возникней проблемы надо приступать сильно ДО ее реального появления.


Оповещения.

Соответственно, необходимо иметь актуальную информацию о состоянии всех компонентов сервиса, от электричества и кондиционирования до состояния баз.

Кроме этого понадобятся:

- средства оповещения о сбое (электронная почта, СМС, голосовой автоматический информатор или дежурный специалист или сотрудник охраны - как ни странно, но контрольный осмотр и проверку температуры иногда осуществляют именно они. Все просто - стеклянная дверь и термометр, или выведенная наружу бытовая копееечная метеостанция).

- план действий при сбое (Disaster recovery procedures)


Примечание про GSM в целом, которое касается в том числе и голосовых шлюзов:

МТС и мегафно - злыдни и спамеры

http://forum.navtelecom.ru/viewtopic.php?p=1057


Проблема мониторинга - Monitoring driven эксплуатация

https://habrahabr.ru/company/oleg-bunin/blog/316898/

Если мониторинг не читать и не обрабатывать кейсы и причины - то зачем он нужен?


Профилактика.

Профилактика нужна для

- снижения рисков возникновения события

- ускорению времени решения

- снижению нагрузки на персонал в процессе решения


По вопросу планирования и отработки Disaster recovery procedures написаны тома толще, чем по AD - и все равно, постоянно - ни разу не было, и вот опять.


IBM i - IBM i 7.1 - Systems management - Backup and recovery - Recovering your system

Example: Disaster recovery plan

https://www.ibm.com/support/knowledgecenter/en/ssw_ibm_i_71/rzarm/rzarmdisarecprocedure.htm


Планирование аварийного восстановления.

https://habrahabr.ru/post/225719/

http://habrahabr.ru/post/226681/

http://habrahabr.ru/post/228115/


Комменты тоже читать.


ПЛАН ДЕЙСТВИЙ ДЛЯ ОТДЕЛА ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ ПРИ КРУПНЫХ БЕДСТВИЯХ (КАТАСТРОФАХ)

http://citforum.ru/security/articles/plan/372.shtml


Протоколы.

Для отслеживания и сбора статистики существует не так чтоб много протоколов.

Фактически, для сбора сетевой статистики и состояния физического оборудования везде используется SNMP разных версий и syslog. Чуть повыше идет Netflow collector. Еще выше - разнообразные агенты в системе. На самом верху - автоматические сборы и анализаторы логов, но это чаще используется в безопасности.


Ключевое отличие SNMP от syslog (кроме того что это вообще два разных протокола) - за данными SNMP на устройство "ходит" сервер мониторинга, syslog сообщения посылает устройство, на сервер.


Для SNMP становится важным вопрос "какое поле из Management Information Base и с каким object identifier, OID мы читаем и как его интерпретируем", для syslog - что делать то с той массой пакетов, которые нам пришли.

Всякие полезные бесплатные инструменты для SNMP есть например тут - SNMP Tester например

https://www.paessler.com/tools


Syslog - читать тут - https://ru.wikipedia.org/wiki/Syslog


Не раскрыта тема Syslog traps vs SNMP traps.

Не раскрыта тема IP SLA (Internet Protocol Service Level Agreement)

https://en.wikipedia.org/wiki/Service_Assurance_Agent

http://xgu.ru/wiki/Cisco_IP_SLA


Netflow collector - читать

https://ru.wikipedia.org/wiki/Netflow


http://www.cisco.com/c/en/us/products/collateral/ios-nx-os-software/ios-netflow/prod_white_paper0900aecd80406232.html


http://www.cisco.com/c/en/us/products/ios-nx-os-software/ios-netflow/networking_solutions_products_genericcontent0900aecd805ff72b.html


и например

Система мониторинга активного сетевого оборудования федеральной сети

В части flowview

https://habrahabr.ru/post/235459/


23.2 MRTG/Cacti

Две очень старые программы. Все что умеют - это рисовать всякие графики с цифрами.

MRTG

Разработка MRTG приостановлена, он не работает 10G интерфейсами, для работы с 1G надо проверять что включены 64-битные датчики и проверять что это использование прописалось в конфиге.

Плюсы: за годы разработки и использования к нему написаны километры инструкций, он работает под Windows7 и .. и просто работает.

Взять можно тут http://oss.oetiker.ch/mrtg/

Почитать для начала

https://ru.wikipedia.org/wiki/MRTG


Минусы для некоторых: текстовые конфиги.


Для путающих.

MRTG - Multi Router Traffic Grapher


PRTG - Paessler Router Traffic Grapher

https://en.wikipedia.org/wiki/Paessler_Router_Traffic_Grapher

https://www.paessler.com/prtg


два совсем разных продукта.


Cacti

Все тоже самое, только управление через WEB, завести под Win можно.. наверное - если не гоняться за 64 битность Под Linux заводить можно, инструкций полно, и даже работает.

https://en.wikipedia.org/wiki/Cacti_(software)


Есть еще Munin - https://en.wikipedia.org/wiki/Munin_(software)

Но я с ним дел не имел.


Оба сервиса полезны, но Cacti лично мне показался сложней в настройке под Win. Да что уж там, по причине отсутствия php5apache2_4.dll x64 - оно вообще не завелось, это в 2015-м то году. php5apache2_4.dll-php-5.4-win32.zip в природе есть, но это ж 32 бита.

Читать по MRTG

http://oss.oetiker.ch/mrtg/doc/mrtg.en.html


Читать по Cacti

http://habrahabr.ru/post/235459/

https://habrahabr.ru/post/71087/

https://habrahabr.ru/post/179391/

https://habrahabr.ru/post/143747/

http://docs.cacti.net/plugin:syslog


Cacti под линукс

http://habrahabr.ru/post/173443/

http://habrahabr.ru/post/88293/

http://www.ekzorchik.ru/wordpress/2014/10/raise-the-monitoring-of-resource-utilization-cacti/


Cacti под Windows

http://www.cacti.net/downloads/docs/contrib/install_russian_windows.pdf


Личный опыт с MRTG и Cacti

Ситуация с необходимостью оценки средней нагрузки каналов у меня возникла совсем недавно. В результате из пятерки Zabbix, Nagios, PRTG, MRTG, Cacti - были выбраны MRTG и Cacti.

Итог:

MRTG

сравнительно прост в настройке (ну как прост .. апач и php придется ставить отдельно), запускается и работает под Windows.

НО.

- требует обязательного использования только 64-битных счетчиков, это указание :::::2 при создании файла конфигурации и проверке, что эти :::::2 туда прописались.

У меня вот не прописалось, и пока через iperf не протестировал - графики рисовались "какие-то".

- требует начального знания html для самостоятельного рисования сводных страниц графиков

- Не поддерживает 10G линки, вроде как. Максимум 4G.

- под Win не работает как сервис - как сервис работает апач, который берет сгенерированные картинки, которые генерятся задачей в task scheduler.


Cacti

- Под Debian фактически ставится по методу далее-далее, под Windows проблем больше (см. выше).

- Рисует красивые графики по любому OID параметру

- там есть авторизация прямо через web -НО какие-то глубинные знания той темной стороны Linux, которая может все портить и бибикать - не требуются.

- выпадающий список "использовать 64 битные счетчики" расположен в жопе вовсе не очевидном месте, а многочисленные "add" - вообще ссылки.

Но в целом - оба хорошие, на начальном этапе стоит попробовать оба.


23.3 Zabbix/Nagios (Icinga) /PRTG

Три самые часто упоминаемые программы для мониторинга. Реально их конечно больше.

По этому добру столько написано, что выбора нет - только пробовать самому.

Пробовать недавно стало проще:

The free PRTG version has only one limit: 100 sensors, which is enough to monitor about 20 servers and devices. It simply offers all the features of the previous commercial PRTG 100 license, but for free. It's as simple as that. You will be able to use all the features, remote probes, constant updates to the newest PRTG version, and all public support means such as FAQs, manuals, the Paessler Knowledge Base, and video tutorials. And there's even more good news: For the first 30 days you can try PRTG with unlimited sensors. After this time period is over, you'll be able to continue using 100 sensors for free forever. It is the complete deal--only for free!


If you like working with PRTG and consider it an enrichment of your IT, we're happy if you share your experience with your colleagues and friends, or post a short review online--but most importantly: Start monitoring and create the basis for 100% uptime in your network!


Stay tuned for my next blog article on what you can monitor with PRTG 100. I will show you specific monitoring scenarios, which will enhance the way you see your IT.

https://www.paessler.com/blog/2015/04/07/all-about-prtg/paessler-offers-prtg-100-for-free


Сравнение Zabbix/Nagios в пользу Zabbix -

http://argentix-it-blog.blogspot.ru/2014/12/zabbix-1.html


Яндекс тоже рекомендует Zabbix

http://cache-mskstoredata09.cdn.yandex.net/download.yandex.ru/company/experience/rit2008/highload_lapan.pdf


Развертывание Zabbix - вынесено отдельно ниже.


При этом лицензия Nagios XI Enterprise Edition стоит приличных таких денег.


Альтернативы:

HP OpenView

Munin

AggreGate Network Manager

Zenoss

Pandora FMS

NetDecision

Ganglia


Знающие люди рассказали про:

KS Advanced Host Monitor,

Spiceworks

Xymon (BigBrother)

Prometheus

LanSweeper

Solarwinds Orion (дорого дорого ДОРОГО ********** ДОРОГО)


Слонопотам System Center Operation Manager 2012 R2 не хочу вспоминать.

Еще можно почитать

https://en.wikipedia.org/wiki/Comparison_of_network_monitoring_systems

https://ru.wikipedia.org/wiki/Сравнение_систем_мониторинга_сети


Сравнение систем мониторинга - Monit / Munin / Ganglia / Nagios / Icinga / Cacti / OpenNMS / Graphite + CollectD + Whisper / Zabbix

https://prudnitskiy.pro/2013/11/14/monitoring-comparsion/


Есть еще два разных Observer -

https://teletek-electronics.com/en/product/observer-151

https://www.viavisolutions.com/en-us/products/observer-analyzer


Личный опыт.

Как-то так сложилось, что из реального мониторинга я как-то работал (не в лабе тыкал) только с PRTG и Zabbix.

PRTG был под Win, но принципиально это ничего не меняло - в основе тот же Web интерфейс.

Развертывается как сервис через далее-далее, проблем с этим нет.

В основе все та же схема - хост - счетчик (триггер) на хосте - событие на триггере (выше чем/ниже чем/нет сигнала/прочее) - действие (письмо, как часто писать).

Каких-то особых сложностей не наблюдается.


Развертывание Zabbix - аналогичная схема. Все (в итоге) в Web.

Разворачивается например под Centos по инструкции -

Сначала лампа

https://serveradmin.ru/ustanovka-lamp-apache-php-mysql-v-centos-7/

потом Zabbix

https://serveradmin.ru/ustanovka-i-nastroyka-zabbix-3-2-na-centos-7/

https://www.zabbix.com/documentation/3.2/ru/manual/appliance


первые полчаса конечно некоторые вещи не очевидны - например, куда убрали SNMP community -

https://serveradmin.ru/monitoring-synology-v-zabbix/


и затем "как настроить что-то простое" -

http://va0816.blogspot.ru/2013/07/zabbix-simple-check.html

http://bsdadmin.ru/index.php/zabbix/197-zabbix-channel/


Но потом привыкаешь. Схема та же - хост - счетчик (триггер) на хосте - событие на триггере (выше чем/ниже чем/нет сигнала/прочее) - действие (письмо, как часто писать).


Осно


23.4 Syslog.

Имеющиеся сервера, проблема выбора


Собирать и как-то анализировать Syslog - дело конечно полезное. Но внезапно сложное в среде Windows.


Обзорно:

Syslog Server - (Last Update: 2013-06-02) - как сервис под Win7 не умеет ни штатно, ни через srvany - тупит на взаимодействии с рабочим столом

В целом для отладки "прям сейчас" меня устраивал.

http://sourceforge.net/projects/syslog-server/


Kiwi Syslog Server Free Edition. Как сервис под Win7 встал, но сам сервис не запустился, ограничен 5 устройствами во фри версии.

http://www.solarwinds.com/products/freetools/free-kiwi-syslog-server.aspx


есть Syslog for windows / Last Update: 2014-12-09 - но пока не трогал

http://sourceforge.net/projects/syslog-win32/


есть Visual Syslog Server for Windows 1.6.2 (Last Update: 2014-12-29) - как сервис под Win7 не умеет ни штатно, ни через srvany - тупит на взаимодействии с рабочим столом

http://sourceforge.net/projects/syslogserverwindows/


Конечно, кроме srvany есть варианты с NSSM (Non-Sucking Service Manager)

https://github.com/kirillkovalenko/nssm

Но тоже помогает не всегда.


Есть XpoLog, он хороший, но настройка через вебморду несколько хлопотна. Но хороший, и лицензия "для небольших организаций" бесплатная.

http://www.xpolog.com/hom


23.5 Пометки всякие

Не забывайте заводить под мониторинг с письмами отдельную группу, возможно по группе на задачу. Ну будет 5-10 групп, и ладно.

Иногда надо иметь внутри сети какой-то свой сервер - для пересылки сообщений из (почти) изолированной сети. Hmail, ссылка выше.


Главная проблема мониторинга не в том, какую программу выбрать, а в том, что мониторить и что делать. Например - какой прок от мониторинга параметров оборудования, если информация о проблеме дойдет в лучшем случае утром, когда сотрудник почту откроет?

Если лег канал (оба два от дер экскаватора) и почта на планшет просто не дошла?

И с другой стороны, какой смысл мониторить загрузку по памяти на SQL, если она там всегда вся использована? Придет ночью очередная пачка писем - и что, кто ее читать будет?

Система мониторинга бесполезна без 1)точного, 2)зафиксированного в документе, 3)регулярно (не реже раза в квартал)обновляемого и 4)не реже раза в квартал проверяемого - понимания следующих пунктов

- что мониторим

- зачем (насколько это критично)

- есть ли дублирование оповещения о событии. Например некоторые сервера умеют писать из IPMI (ilo/rsa) письма о своей боли и страданиях, так же как и СХД. Сетевое оборудование шлет TRAP, а некоторое снабжено термодатчиками. Syslog и прочие коллекторы тоже умеют всякое.

- Quis custodiet ipsos custodes? Как мониторится сам сервер мониторинга? Может он умер давно, и все письма с него в спаме.

- насколько гарантированно доставляются сообщения - почта/смс/звонок с имеющегося оборудования, или есть еще и независимая дублирующая система (см. выше про NAG SNR-ERD-GSM).

- кто, что и как делает в случае критичного события (читай: нужен назначаемый трезвый дежурный или смена и план действий при событии).

- В курсе ли дежурный, что именно он сегодня и завтра дежурит в 3-х часовой готовности, или же ему об этом забыли сообщить, и он уже не просто в дрова, а труЪ зомби-мастер.

- Умеет ли дежурный выполнять какие-то типовые операции, или его назначили для галочки?


Мониторинг сайтов и Azure

https://www.host-tracker.com/

http://monitorus.ru/


Мониторинг Azure.

Overview of Azure Monitor - 2017-3-31

https://docs.microsoft.com/en-us/azure/monitoring-and-diagnostics/monitoring-overview


Часть 24. Архивация, резервное копирование. Восстановление. RTO / RPO. Регулярная плановая проверка состояния архивных копий. Печальная история с этими как их опенсорсниками.

24.1 Архивация, резервное копирование. Восстановление

Backup. Отличие архива от резервной копии. Плановые проверки целостности архивации и процедуры восстановления.

Full / diff / increment. / Бит архивации.

24.2 Печальная история с GitLab в феврале 2017

24.3 Планирование.

RTO / RPO - Recovery time objective (RTO) / recovery point objective

Disaster recovery procedures

Не написано

24.4 Кассетные носители и библиотеки / LTO 3/4/5/6/7 - tape drive - library

Модели кассетных библиотек от HP

HPE StoreEver 1/8 G2 Tape Autoloaders

LTO 3/4/5/6/7

Проблемы с Tape Library MSL2024 / MSL4048 и HPE StoreEver 1/8 G2 Tape Autoloaders


Проброс кассет через iscsi

GFS - Grandfather-Father-Son

3-2-1 policy

24.5 Архивация Exchange - обычная и granular

24.6 SQL backup - Simple/Full/Bulk logged Recovery Models

24.7 Разные истории

24.8 Прочий софт - Архивное ПО, обзорно.

24.9 Экзамены и литература

24.12 Вопросы по архивации

Не написано


24.1 Архивация, резервное копирование. Восстановление

Backup. Отличие архива от резервной копии. Плановые проверки целостности архивации и процедуры восстановления.

Full / diff / increment. / Бит архивации.


Говоря об архивации, надо отличать архивацию и резервное копирование. Резервное копирование - хранение данных для восстановления. Архивное - хранение информации для восстановления на какую-то уточненную дату, в течении какого-то времени (год, два, пять, сто). Например, состояние базы 1С на конец года будет архивом, а состояние той же базы на "сейчас" - резервной копией. Надо понимать, что в некоторых случаях необходимо географически разделенное и (или) оффлайное хранение резервной копии, или архива - см. ниже "Правила резервного копирования 3-2-1"


Full / diff / increment.

Полный архив - он и есть полный.

Дифф - разностный, данные, измененные с последней полной копии.

Инкремент - данные, измененные с последней любой копии.

Бит архивации. Надо посмотреть.


Плановая проверка целостности архивации и процедуры восстановления.

Крайне необходимая вещь, по той причине что архивы иногда повреждаются, как по причине сбоя ПО, так и по причине кривых рук, или сбоя системы хранения. Разрабатывайте процедуру и проверяйте планово И РЕГУЛЯРНО состояние резервной копии - читаемость, содержание, все ли данные туда попали.

Полно историй, что архивировалось не то, или что после сбоя /обновления системы архивации "все перестало работать". С Veeam и виртуальными машинами такое было как-то.

ВСЕ системы резервного копирования нуждаются в плановой проверке состояния резервных копий. Исключений нет.


Ознакомиться в обязательном порядке:

18 вещей, которые вы не должны делать с виртуальными машинами vSphere

https://www.veeam.com/ru/videos/18-things-vsphere-backups-9960.html

https://youtu.be/_Nk-3Oma0lM

https://www.youtube.com/channel/UC5YkxcYCG5b-fCcvHniW_ag


Сложности ДЕЙСТВИТЕЛЬНО длительного архивного хранения.

При длительном (более 5 лет) архивном хранении возникают следующие проблемы:

Cd/dvd диски начинают деградировать и осыпаться лет через 5. Скорость - до 10% в каждый следующий год. Кварцевые диски (https://geektimes.ru/post/186338/) пока существуют только в лаборатории.

Кассеты осыпаются и размагничиваются, и что хуже всего - пропадает оборудование для чтения с этих кассет. С золотыми пластинками как на Вояджере - тоже есть сложности.

Сложная ситуация.


24.2 Печальная история с GitLab в феврале 2017

sudo rm -rf, или Хроника инцидента с базой данных GitLab.com от 2017/01/31

31 января 2017 года произошло важное для мира OpenSource событие: один из админов GitLab.com, пытаясь починить репликацию, перепутал консоли и удалил основную базу PostgreSQL, в результате чего было потеряно большое количество пользовательских данных и сам сервис ушел в офлайн. При этом все 5 различных способов бэкапа/репликации оказались нерабочими. Восстановились же с LVM-снимка, случайно сделанного за 6 часов до удаления базы.

https://habrahabr.ru/company/centosadmin/blog/321074/


Gitlab "лежит", база уничтожена (восстанавливается)

https://habrahabr.ru/post/320988/


24.3 Планирование.

RTO / RPO - Recovery time objective (RTO) / recovery point objective

Disaster recovery procedures


The recovery time objective (RTO)

https://en.wikipedia.org/wiki/Recovery_time_objective

A recovery point objective

https://en.wikipedia.org/wiki/Recovery_point_objective


Прочитать

http://www.securitylab.ru/blog/personal/shaurojen/22770.php

http://www.veskin.ru/2010/10/rto-rpo.html


24.4 Кассетные носители и библиотеки / LTO 3/4/5/6/7 - tape drive - library

Модели кассетных библиотек от HP

HPE StoreEver 1/8 G2 Tape Autoloaders

LTO 3/4/5/6/7

Проблемы с Tape Library MSL2024 / MSL4048 и HPE StoreEver 1/8 G2 Tape Autoloaders


Полезная, но достаточно дорогая система хранения. Бывает подключаемая как по SAS, так и по оптике. Есть проблемы с виртуализацией - иногда и с бубном можно завести библиотеку и робота в системе, иногда не выходит. Зависит от используемой системы виртуализации.

Есть проблемы с HPE StoreEver 1/8 G2 Tape Autoloaders - вещь в себе, порой не виден робот. Зависит как от настроек самого Tape Autoloaders, есть там пара пунктов, так и от чего-то еще.


Модели кассетных библиотек от HP

Самое простое -

HPE StoreEver 1U SAS Rack Mount Kit(AE459B)

http://www8.hp.com/us/en/products/tape-drives-enclosures/product-detail.html?oid=4150729

HPE StoreEver 1/8 G2 Tape Autoloaders

http://www8.hp.com/us/en/products/tape-automation/product-detail.html?oid=3319912#!tab=specs


более сложное

Tape Library MSL2024 / MSL4048, MSL8048/8096

http://www8.hp.com/h20195/v2/GetPDF.aspx/c04154359.pdf


По своей внутренней сути это большие магнитофоны с WEB интерфейсом. Отсюда возникают и проблемы по скорости восстановления (пока робот кассету вставит, пока перемотает), и проблемы обслуживания (приводы тоже ломаются), и настройки.


Проблемы с Tape Library MSL2024 / MSL4048 и HPE StoreEver 1/8 G2 Tape Autoloaders

При работе выявлены разные беды -

- Никак нельзя забывать про периодическую чистку головок специальной кассетой.

- Tape Library MSL2024 по SAN не затаскивается в Hyper-V, несмотря на Passthrow контроллера SAN прямо в виртуалку и чОрную магию в конфигах. Привод (драйв) виден, робот нет.

Затаскивание SAS в Hyper-V не пробовал

- HPE StoreEver 1/8 G2 Tape Autoloaders имеет два режима работы -

Backup Exec not recognising HP autoloader as Robotic lib robot not detect G2 Autoloader

The 1/8 operates in two modes.

Autochanger mode.

This appears to the O/S like a standalone tape drive. In autochanger mode the 1/8 will write to the end of the first tape, the automatically load the next tape for you. The 1/8 will hide the robot from the O/S. So for instance in this mode if it say had a 100GB Ultrium 1 drive fitted, to the O/S it would appear to be a 800GB tape drive.

Library mode.

This changes the device into a typical type tape library, you will see the tape drive, the 8 tape slots and the robot in the O/S and backup application.

You can change modes through the front panel.

https://community.hpe.com/t5/Tape-Libraries-and-Drives/Backup-Exec-not-recognising-HP-autoloader-as-Robotic-lib/td-p/3936365


Autoloader Mode - -- Random, Sequential, Automatic, Autoload, Loop

http://h20628.www2.hp.com/km-ext/kmcsdirect/emr_na-c03429017-1.pdf


Возможно еще проблема в старом как говно мамонта контроллере SAS.


Проброс кассет через iscsi

StarWind Tape Redirector

https://www.starwindsoftware.com/download-starwind-tape-redirector


GFS - Grandfather-Father-Son

Проще всего читать на том же veeam -

https://helpcenter.veeam.com/docs/backup/vsphere/backup_copy_gfs.html?ver=95


3-2-1 policy

Правила резервного копирования 3-2-1

Иметь по меньшей мере три копии данных.

Хранить копии на двух разных носителях.

Хранить одну резервную копию за пределами площадки.


https://www.veeam.com/blog/ru/how-to-follow-the-3-2-1-backup-rule-with-veeam-backup-replication.html


Правило резервного копирования "3-2-1". Часть 1

https://habrahabr.ru/company/veeam/blog/188544/

Правило резервного копирования "3-2-1". Часть 2

https://habrahabr.ru/company/veeam/blog/188664/


24.5 Архивация Exchange - обычная и granular

В случае архивации Exchange 2010 и Symantec (и не только) есть два варианта архивации - обычная, когда архивируется база данных, и granular - когда из базы вытаскиваются отдельные объекты хранения - письма. Проблема в том, что процедура извлечения отдельных писем, мягко говоря, не быстра. В Exchange 2013/2016 систему вроде поменяли и Symantec BE больше не гранулирует.


Есть штатная процедура "от MS" - берем архивную базу, подключаем как резервную, и вперед -

http://blog.bissquit.com/mail-servers/exchange-server/exchange2013-mailbox-restore/

http://winitpro.ru/index.php/2014/03/19/vosstanovlenie-otdelnogo-yashhika-i-pisem-v-exchange-2013/


24.6 SQL backup - Simple/Full/Bulk logged Recovery Models

Читать тут

https://msdn.microsoft.com/en-us/library/ms189275.aspx


Вкратце, Recovery Models

Simple - бекапится только база. Логи ведутся ограниченно.

Changes since the most recent backup are unprotected.

Operations that require transaction log backups are not supported by the simple recovery model.


Full - Requires log backups.

Минус: логи растут неимоверно.


Bulk logged. Логируем, но только самое важное.

Reduces log space usage by using minimal logging for most bulk operations.


24.7 Разные истории

Один мальчик очень рассчитывал на RAID - Восстановление данных из поврежденного массива RAID 50

https://habrahabr.ru/post/326930/


Вредные советы по настройке резервного копирования и несколько баек

https://habrahabr.ru/company/dataline/blog/326948/


"Худшие практики" работы с продуктами резервного копирования на примере Veeam Backup & Replication -

Особенно:

Следует различать тестирование целостности самой резервной копии и тестирование восстановления из резервной копии.

https://habrahabr.ru/company/veeam/blog/320632/


D2D2T - Disk-to-disk-to-tape (D2D2T)

Есть такая технология. Потому что кассеты медленные, но большие.


24.8 Прочий софт - Архивное ПО, обзорно.


Встроенная архивация windows server.

Внезапно не самый плохой продукт.

От вирусов свой архив прячет, по сети архивы делать умеет, хранит инкременты, умеет всякое и


Veritas / Symantec Backup exec 11/12/14/15

https://www.veritas.com/support/en_US/article.000108782

https://www.veritas.com/product/backup-and-recovery/backup-exec


Мнение: оно работает. Просто вот работает.

Минусы. Оно не очень чтоб энтерпрайзное. Хорошее, спора нет. Но оно для small/medium. Даже не знаю, что назвать как недостаток глобального плана.


Veritas NetBackup (called Symantec NetBackup).

Кроме Backup exec, у Veritas есть еще такой продукт, как Net backup у коллег.

Прошлая линейка 7.*( 7.7 was released in July 2015), свежая 8.0 (8.0 was released in December, 2016).

Это ПО конечно работает, умеет всякое - например, делать список машин для архивации по Vmware custom attributes. По системе работы напоминает матрешку - сделайте политику, в политике привяжите ранее созданную группу хранения, в группе хранения определите диски, и так далее. Умеет работать с proxy/media серверами, т.е. удобен для разветвленной структуры.

НО!

Этот кусок индусского кода не может нормально сам получить данные из ленточной библиотеки, что там с ней.

Вплоть до того, что кассета (по данным библиотеки) в драйве (приводе), а это изделие не понимает, пока его не пнешь ногой.

У него какой-то наглухо упоротый подход к наборам хранения и политике жизни наборов.

В ступор этот кусок кода вводит замена кассеты.

Чтобы вывести его из ступора - его надо пинать из командной строки, причем как-то особо цинично.

Из гуя не пинается, только в логи гадит "ой нишмагла" - особенно, если у кассеты истек срок хранения, есть там такое в политиках кассет.

Отдельно доставляет повисание задач - когда он пишет, что чего-то делает, а по факту даже кассетой не шевелит.

С другой стороны, если ему (через реестр) включить высокий уровень логов, то логи получаются огромной длины. Удобно при отладке, однако вполне возможно, что даже это не спасет.

Очень многое можно сделать только из командной строки. Внутри (под капотом) тоже огромное число CMD / bat файлов.

Специфический продукт, хотя и работает. Но местами DNIWE.


Veeam Backup & Replication.

Для версии 9.5u2 (актуальной).

Есть несколько версий veeam - free, standard, enterprise, ent plus. Отличаются всякими дополнительными функциями и расширяемостью (само собой и ценой). Вменяемая русская техподдержка, развивающийся продукт, всякие интересные дополнительные модули.

Особенности.

Ориентирован строго на Vmware + Hyper-V. Практически только на них, хотя есть и агенты под физические машины, или машины с RDM (физическими дисками и разного рода пробросом физических дисков).

Несмотря на маркетинговые заявки типа "мы отлично умеем работать напрямую с СХД" - в жизни все сложней. Да, в системе есть SAN transport и San proxy, машины копируются не по сети со снапшота, а с снапшота хранилища, НО.

Но вот взять и разобрать снапшот СХД / отдельного LUN - можно не для каждого хранилища и сервиса на нем.

Местами так и просто нельзя, например у HPE 3PAR есть file persona - с ней совершенно не ясно, как работать (veeam не работает). С iSCSI внутри виртуальных машин тоже беда, они копируются "через агента".

Но в целом безагентская система для работы с именно vmdk - очень удобная, в том числе и через портал самообслуживания, особенно в ent plus версии с широким делегированием/гранулярностью "кому куда можно и что можно" -

Restore scope (list of VMs a user can recover) can be customized if you have Enterprise Plus edition of Veeam Backup & Replication; in other editions, this list includes all VMs and cannot be customized.

https://helpcenter.veeam.com/docs/backup/em/veeam_backup_em_roles.html?ver=95

минус - все местами не так просто -

The account belongs to the trusted or same domain as Enterprise Manager server (for user account to be resolved to SID). Users from untrusted domains cannot utilize self-restore.

The account has local administrative rights for the required VM guest OS, local user rights are insufficient.

https://helpcenter.veeam.com/docs/backup/em/em_self_restore.html?ver=95


Минусы.

Не умеет D2T, писать сразу на кассеты. Backup exec к слову умеет.

Но Veeam может D2D2T (копию на кассеты) - хотя и тоже через жопу, в смысле на кассету пишется упакованный архив, и вытаскивать придется сначала архив, потом его подключать в репозиторий.

https://helpcenter.veeam.com/docs/backup/vsphere/tape_device_support.html?ver=95


Не смотря на заявленный широкий функционал по работе напрямую с СХД - не все так просто.

Он не может работать с LUN "напрямую" - и даже если на нем есть VMDK файлы.

Veeam agent - говно в плане менеджмента. Казалось бы, сделайте для серверной версии возможность тащить 2-3 задачи, для гранулярности - не, нифига. Ну, ой. С управляемостью у него (агента версии 2) тоже беда.

Терминология и почитать:

VAW и VBR - Veeam Agent for Windows (VAW)

VAW, VBR Repository and Proxy

https://forums.veeam.com/veeam-agent-for-windows-f33/vaw-vbr-repository-and-proxy-t43704.html


Commvault: Enterprise Data Management, Protection & Backup

Simpana Software / Simpana Commvault

http://documentation.commvault.com/commvault/v10/article?p=whats_new/c_main_overview.htm

http://documentation.commvault.com/commvault/v10/article?p=features/tape_library/getting_started.htm

https://www.commvault.com/solutions/by-function/data-protection-backup-and-recovery


http://documentation.commvault.com/snap/#/search


Сравнение с Simpana Commvault c Veeam

https://www.veeam.com/ru/commvault-simpana-vs-veeam-backup-replication.html

https://www.veeam.com/wp-10-switch-reasons-commvault-simpana.html


Bacula/bareos

https://www.bareos.com/en/what_is_bareos.html


iperius backup

Почему-то тормозит местами просто безбожно.

https://en.wikipedia.org/wiki/Iperius_Backup

https://www.iperiusbackup.com/


HP Data Protector

https://www.hpe.com/h20195/v2/getpdf.aspx/4AA5-0971ENW.pdf?ver=Rev%201


MS DPM - Data Protection Manager

https://technet.microsoft.com/en-us/library/hh758151(v=sc.12).aspx


https://habrahabr.ru/company/microsoft/blog/332622/


NAKIVO Backup & Replication

http://www.vmgu.ru/articles/nakivo-backup-and-replication-intro


IBM Tivoli Storage Manager (TSM) - IBM Spectrum Protect

Tivoli Storage Manager

https://www.ibm.com/support/knowledgecenter/en/SSGSG7_7.1.0/com.ibm.itsm.srv.doc/t_mplmntpol_confpoldtotape.html


EMC Legato Networker

EMC Avamar - http://www.emc.com/data-protection/avamar.htm

Cobian

NNbackup

CA ArcServe - https://en.wikipedia.org/wiki/Arcserve , http://arcserve.com/

urbackup.org


vmware site recovery manager


zbackup

https://www.linux.org.ru/tag/zbackup

https://www.nixp.ru/news/12244.html


restic -

https://restic.github.io/

http://restic.readthedocs.io/en/latest/manual.html


P5 Archive Edition

http://www.archiware.com/products/p5-archive


Automatic Backup of Running KVM Virtual Machines

https://sandilands.info/sgordon/automatic-backup-of-running-kvm-virtual-machines


Спискота:

https://ru.wikipedia.org/wiki/Список_ПО_для_резервного_копирования


24.9 Экзамены и литература

VMCE - Veeam Certified Engineer

Veeam Free Online Training

Gain a basic knowledge of Veeam products through online courses. You will see interactive demonstrations of the products, master most of the basic tasks and learn about the underlying technologies.

These courses are FREE.

https://www.veeam.com/university.html


24.12 Вопросы по архивации

Не написано.


Часть 25. Виртуализация для маленьких и больших.

25.1 Зачем оно вообще.

25.2 Не совсем, или даже совсем не виртуализация - контейнеры и изолированное ПО(Operating-system-level virtualization): chroot, OpenVZ, LXC, Parallels Virtuozzo Containers , Docker, VMware ThinApp.

Windows Containers.

vSphere Integrated Containers (VIC).

25.2A Wine как отдельная полезная вещь.

Оборотная сторона - Bash and the Windows Subsystem for Linux (WSL)

25.3 Системы начального уровня: Oracle VM VirtualBox, VMware player/workstation. Parallels desktop

25.4 Основные решения в серверной среде - Vmware vSphere(ESXi), MS Hyper-V, KVM, Xen, Nutanix Acropolis (AHV).

25.5 Терминология и общие больные места.

Nested virtualization

Переподписка (oversubscription)

ППП: ПЛАНИРОВАНИЕ, ПЛАНИРОВАНИЕ И ЕЩЕ РАЗ ПЛАНИРОВАНИЕ!

25.6 Чуть подробней - MS Hyper-V

25.7 Безопасность в Hyper-V

Windows defender application Guard/ filter 2016 -

Introducing Windows Defender Application Guard for Microsoft Edge

https://blogs.windows.com/msedgedev/2016/09/27/application-guard-microsoft-edge/#E6KEQYmQc3rOtm3F.97

Windows 10 will soon run Edge in a virtual machine to keep you safe

https://arstechnica.com/information-technology/2016/09/windows-10-will-soon-run-edge-in-a-virtual-machine-to-keep-you-safe/


The Potentially Unwanted Application (PUA)

The Potentially Unwanted Application (PUA) protection feature in Windows Defender Antivirus can identify and block PUAs from downloading and installing on endpoints in your network.

https://technet.microsoft.com/en-us/itpro/windows/keep-secure/detect-block-potentially-unwanted-apps-windows-defender-antivirus

25.8 Безопасность в виртуализации. Решения MS по изоляции и 5-nine

25.9 Чуть подробней - Vmware

Учеба.

Основное и разное - скрипты и литературы.

Частые вопросы.

Vcenter как основа кластера.

VCenter High Availability (VCHA) <> DR (Disaster Recovery)

VMWare power CLI чтоб ВЖУХ

25.10 Управление Vmware без Vcenter - Extrasphere

25.11 Обучение Vmware: HOL - hands-on lab

25.12 Чуть подробней - Nutanix Acropolis (AHV)

AHV Best Practices Guide. Библия.

25.14 Бесплатная виртуализация: 60 дней от vmware, free лицензии, Nutanix CE

Хватит и упоминания

25.15 Чуть подробней - KVM,Xen

Не написано

25.16 Облачные решения - Amazon AWS / MS Azure, IBM.

Google Cloud Platform, Vmware cloud


Azure pack / Azure stack

Часть 30. ЦОД и облачные сервисы

25.17 OpenStack как религиозная секта от тов. Жбанкова.

25.18 Network virtualization -

RFC 7348 - Virtual eXtensible Local Area Network (VXLAN)


Network function virtualization (NFV)

https://portal.etsi.org/nfv/nfv_white_paper.pdf


White Papers

http://www.cisco.com/c/en/us/solutions/service-provider/network-functions-virtualization-nfv/white-paper-listing.html


Network Optimization Through Virtualization: Where, When, What, and How White Paper (PDF - 1 MB)

http://www.cisco.com/c/dam/en/us/solutions/collateral/service-provider/network-functions-virtualization-nfv/white-paper-c11-731958.pdf


Best Practices for Service Agility: Embrace Orchestration White Paper (PDF - 686 KB)

http://www.cisco.com/c/dam/en/us/solutions/collateral/service-provider/network-functions-virtualization-nfv/white-paper-c11-732591.pdf


White Paper - Huawei Observation to NFV

http://www.huawei.com/ilink/en/download/HW_399662

Пока ссылки

25.19 VMWare: еще более подробнее.


HA - high availability.

DRS - dynamic resource scheduler

И многое многое другое

25.20 Кластеризация и отказоустойчивость, или отличия Failover cluster, Always on, High Availability и FT применительно к MS SQL в виртуальной среде

высокая доступность != отказоустойчивость,

или говоря по-русски failover != fault tolerance

Не написано

25.21 Виртуализация применительно к разному ПО, в том числе и к 1С. Проблемы многопоточности и vCPU scheduler применительно к данному (1с) ПО. Как следствие - Проблемы с тестом Гилева (1c) в виртуальной среде.

Проблемы криворуких специалистов по настройке и тюнинху(ТМ) его же.

25.22 Виртуализация оборудования. USB over ip (Digi), nVidia GRID

Проблемы с виртуализацией некоторого оборудования.

25.23 Некоторые прочие гадские особенности.

Динамическое управления ядрами/частотами.

25.24 Общее больное место: NUMA

Node interleaving / NUMA


VIRT8530, Rob Girard, Shawn Meyers

Deep Dive on pNUMA and vNUMA - Save Your SQL VMs from Certain DoomA!

25.25 RDMA(Remote Direct Memory Access) через конвергентную сеть Ethernet (RDMA over Converged Ethernet -- RoCE - RDMA/RoCE )

https://technet.microsoft.com/en-us/library/mt403349.aspx

https://en.wikipedia.org/wiki/RDMA_over_Converged_Ethernet

Не написано

25.26 Виртуализация рабочих мест -Virtual desktop infrastructure (VDI):

- Citrix,

- ESXi Horizon View,

- MS TS

- под линукс что-то было (QVD)

Не написано

25.27 Импортозамещение в виртуализации.

Брест. Должно работать под Астра линукс, быть мега виртуализатором.

"Должно"

25.28 Резерв

25.30 Вопросы по теме виртуализации


25.1 Зачем оно вообще.

Тут надо начать с истории. Когда-то давно ничего не было, только табуляторы от межделмаш. Потом постепенно появились ЭВМ, тогда еще вовсе не персональные. В какой-то момент, наверное в времена IBM System/370, появилась необходимость работать нескольким людям (и задачам) одновременно. Появилась и отдельная операционная система, и виртуализация, и всякое там еще.

Почитать можно отсюда

https://geektimes.ru/post/191602/

и отсюда - История программирования в СССР.

http://www.liveinternet.ru/users/3155073/post221032478

https://dmi3s.blogspot.ru/2011/04/i.html


Постепенно постепенно .. местами в СССР даже появились ЭВМ CRAY -

http://oldmann.livejournal.com/26392.html


Сервера и ПК стали настолько быстрыми, что для рутинной работы столько вычислительной мощности и памяти не требовалось, но при этом рядовые программы требовали установки ряда зависимостей, библиотек, порой были не совместимы по версиям ОС, или должны были быть разнесены по требованиям безопасности. Итогом стала виртуализация, как мы ее имеем сейчас, в трех ипостасях - эмуляторы (wine), контейнеры всякие, и виртуализация "вообще", с подвидами типа "виртуализация совсем или не совсем" -

https://en.wikipedia.org/wiki/Paravirtualization


Можно и нужно почитать вот это -

В самом начале все имело врожденную конвергентность...

Эра мэйнфреймов

Мэйнфреймы господствовали на протяжении многих лет и сформировали основные очертания тех систем, которые существуют в настоящее время. Это позволяло компаниям достигать своих возможностей

Ключевые характеристики мэйнфреймов:

Врожденная конвергентность CPU, памяти и устройств хранения;

Внутренняя архитектурная избыточность.

А так же они имели и следующие проблемы:

Высокой стоимости;

Унаследованной сложности;

Отсутствию гибкости и чрезмерной изоляции систем друг от друга.

http://nutanix.ru/


там, кстати, про ширину канала/задержку много и подробно поясняют.


25.2 Не совсем, или даже совсем не виртуализация - контейнеры и изолированное ПО(Operating-system-level virtualization): chroot, OpenVZ, LXC, Parallels Virtuozzo Containers , Docker, VMware ThinApp.

Windows Containers.

vSphere Integrated Containers (VIC).

Вообще их чуть больше -

https://ru.wikipedia.org/wiki/Виртуализация_на_уровне_операционной_системы

https://en.wikipedia.org/wiki/Operating-system-level_virtualization


Но по факту это все одно - есть контейнер, в который положены настройки окружения среды, включая библиотеки, и все это исполняется как еще одна программа.

Итог - ну, оно работает и даже неплохо работает - при соблюдении ряда условий.

Или не работает, если (и тут длинный список ЕСЛИ).

Особенно ударно оно не работает, если что-то пошло не так.


Docker

https://patrobinson.github.io/2016/11/05/docker-in-production/

https://thehftguy.wordpress.com/2016/11/01/docker-in-production-an-history-of-failure/


OpenVZ. Тут надо бы отдельно написать, про Parallels Virtuozzo Containers

https://ru.wikipedia.org/wiki/Parallels_Virtuozzo_Containers

LXC

https://en.wikipedia.org/wiki/LXC


Windows Containers

https://msdn.microsoft.com/en-us/virtualization/windowscontainers/about/about_overview

https://msdn.microsoft.com/en-us/virtualization/windowscontainers/containers_welcome

https://msdn.microsoft.com/en-us/virtualization/windowscontainers/quick_start/quick_start


vSphere Integrated Containers

https://blogs.vmware.com/vsphere/2015/10/vsphere-integrated-containers-technology-walkthrough.html


Проблема еще в том, что контейнеры стали достаточно отдельной и самостоятельной веткой программ, как например FW или СУБД, особенно BI (business intelligence), с своими заморочками.


25.2A Wine как отдельная полезная вещь.

Оборотная сторона - Bash and the Windows Subsystem for Linux (WSL)


https://ru.wikipedia.org/wiki/Wine

Это не виртуализация, это эмулятор API (по простому - библиотек и не только) для запуска программ "под винду" в Linux. Оно работает, удобное.


Оборотная сторона - Bash and the Windows Subsystem for Linux (WSL)

https://msdn.microsoft.com/en-us/commandline/wsl/about


25.3 Системы начального уровня: Oracle VM VirtualBox, VMware player/workstation. Parallels desktop

Они, кагбэ, есть.


Удобные, некоторые бесплатные, работают. Для "поиграться" или сделать 2-3 виртуальные машины для бухгалтерии на одном ПК (под банк-клиенты например - главное не забывать про бекап и его проверку) - отличное решение.

Для "посмотреть и потыкать дома" - тоже вполне годится.

Для применения "по честному" - тоже не так чтоб дорого -

VMware Workstation 12.5 Pro - 10 868,77 руб (на май 2017 это порядка 200$).


25.4 Основные решения в серверной среде - Vmware vSphere(ESXi), MS Hyper-V, KVM, Xen, Nutanix Acropolis (AHV).

Про Oracle VM VirtualBox Enterprise не знаю.


Vmware vSphere(ESXi)

Как заявляют некоторые специалисты в интернетах - жалкое узконишевое решение.

Решение принесло 7 ярдов нерублей прибыли, за 2016 год - очень так неплохо, чистой - (net income), млн $ - 1190.

подробности тут - http://www.vmgu.ru/news/vmware-2016-finance


ТруЪ редхат заработал примерно в 6 раз меньше -

https://investors.redhat.com/financial-information/financial-statements/balance-sheet

Net Income - млн $ 199


Узконишевость, что тут говорить.


В целом пока что это один из лидеров рынка, на пятки которому наступает (или уже обгоняет) Microsoft, при этом оба они активно продают облака, как частные, так и публичные.

Хотя при этом Vmware (как фирма) продала свое облако vCloud Air целиком

http://www.vmgu.ru/news/ovh-to-buy-vmware-vcloud-air


При этом с сентября 2016 - VMware Now Part of Dell Technologies

https://blogs.vmware.com/partner/2016/09/vmware-part-of-dell-technologies.html

и все они вместе с EMC куда-то маршируют

http://www.vmgu.ru/news/dell-buys-emc-and-vmware

https://republic.ru/posts/57868


Однако о Vmware vSphere(ESXi) как продукте. Без VCenter или Extrasphere.

Плюсы.

Ставится на флешку и можно(и даже нужно!) смело попробовать (начиная от 5.5U3) на почти любом серверном железе. Нужна только 8-гб флешка.

Универсальный ISO (сам дистрибутив, нелицензия) распространяется бесплатно, нужна только регистрация. Есть доработанные образа под крупных производителей(HPE, Dell, Вроде Lenovo).

Первые 60 дней дает БЕСПЛАТНО пробовать все функции ESXi как гипервизора, а функций там порядочно. Правда каждый день ругается в клиента сколько дней осталось.


Потом можно получить бесплатный ключ на free версию, с рядом ограничений - но работать будет.

Имеет множество расширений, всяких виртуальных коммутаторов, распределенных коммутаторов и vSan.

Минусы.

ДОРОГО. Не то чтоб совсем ППЦ, но дорого.

Сложная схема лицензирования и разные редакции как самой Esxi

- vSphere Standard costs

- vSphere Enterprise costs (эту редакцию выпилили)

- vSphere Enterprise Plus

http://store.vmware.com/store/vmware/en_US/cat/ThemeID.2485600/categoryID.65651900


плюс

- VMware vSphere 6 Essentials Kit for 3 hosts (Max 2 processors per host)

- VMware vSphere 6 Essentials Plus Kit for 3 hosts (Max 2 processors per host)


И бонусы за отдельные деньги.

Само собой, чтобы это еще и грамотно работало, надо понимать как оно вообще устроено. ХОРОШО понимать.


Очень смешно в связи с этим читать требования в вакансиях по 1000$ фразы про экспертов. Да, эксперты по Vmware (VMware Certified Advanced Professional /VMware Certified Design Expert / vExpert) в РФ есть. Не очень много, если верить

https://blogs.vmware.com/vmtn/2017/02/vexpert-2017-award-announcement.html

https://blogs.vmware.com/vmtn/2016/02/vexpert-2016-award-announcement.html


Впрочем, кандидаты отвечают всей взаимностью и пишут про экспертные знания всего набора ПО.


Начать читать: http://lib.ru/VMWARE/


MS Hyper-V

https://en.wikipedia.org/wiki/Hyper-V

https://ru.wikipedia.org/wiki/Hyper-V


Достаточно давно (с MS Server 2008) развиваемая и продвигаемая технология. Постепенно росла, толстела, в последнем сервере (2016) стала придирчивой к процессорам (требует обязательного SLAT - https://docs.microsoft.com/en-us/windows-server/virtualization/hyper-v/system-requirements-for-hyper-v-on-windows

И не только его.

Проверяйте HCL (hardware compatibility list)

В обмен на это в 2016 сервере добавили много всякого разного, и что было местами переворотили.

Та же Nested -

https://docs.microsoft.com/en-us/virtualization/hyper-v-on-windows/user-guide/nested-virtualization


Плюсы

Гораздо проще лицензировать, привычные интерфейсы "винда как винда".

Минусы

Требует знания "чего и куда" и знания как это устроено. Как и любое сложное ПО.


KVM, Xen

Ничего про это не знаю.


Nutanix Acropolis (AHV).

Стремительным домкратом упавшая на рынок гиперконвергентная технология. С точки зрения маркетинга и продаж - ололо и сплошной вин. По факту .. все как всегда чуть сложней, и за разными NDA может (не факт, конечно) скрываться боль и патчи.


Можно начать отсюда -

"Главная книга" Nutanix * - русский перевод

Данная страница представляет собой перевод Nutanix Bible, создаваемой и поддерживаемой Стивом Пойтрасом, архитектором и евангелистом компании Nutanix

http://nutanix.ru/


http://go.nutanix.com/AHV-best-practices-guide.html


и отсюда - для лабы: Как установить Nutanix CE под VMware ESXi


плюсом - Бюджетный "датацентр" на Nutanix CE


25.5 Терминология и общие больные места.

Nested virtualization

Переподписка (oversubscription)

ППП: ПЛАНИРОВАНИЕ, ПЛАНИРОВАНИЕ И ЕЩЕ РАЗ ПЛАНИРОВАНИЕ!


Nested.

Виртуалка в виртуалке, чтобы можно было запускать виртуалки во время запуска виртуалок.

Нужно для создания мини-лаб, как например Nutanix под Esxi, или сборки учебных лабораторий.


Переподписка (oversubscription) по процессорам и памяти.

Выделение суммарного числа процессоров и общего объема доступной памяти (на все виртуальные машины) больше, чем его есть физически. Причина такой возможности - часто сервера стоят недозагруженные, плюс у той же Vmware есть технологии работы с памятью, начиная от дедупликации и SWP.

https://community.spiceworks.com/topic/476693-cpu-oversubscription-vmware

https://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=1005362


http://www.vmgu.ru/news/esx-memory-overcommit-situation

http://www.vmware.com/files/pdf/perf-vsphere-memory_management.pdf


Understanding Memory Resource Management in VMware ESX Server - Memory Ballooning


Тонкие / толстые (Thin/Thick) диски - и их ограничения и работа.


ППП: ПЛАНИРОВАНИЕ, ПЛАНИРОВАНИЕ И ЕЩЕ РАЗ ПЛАНИРОВАНИЕ!

Дизайн виртуализованного ЦОД

https://habrahabr.ru/post/321178/


Планирование HA(high availability) в любом виде:

1. Понимание что такое:

HA - high availability

DRS - Distributed Resource Schedule

EVC - Enhanced vMotion Compatibility

DR - Disaster Recovery

И особенно важное -

FT - Fault Tolerance


Понимание как это работает и что две ноды в типа кластере - говно вариант, даже с свидетелями (witness) всех видов и вынесенной сеткой под хертбит.

Обязательно прочитанное:

FAQ: VMware Fault Tolerance

https://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=1013428


VMware vSphere 6 Fault Tolerance - Architecture and Performance - TECHNICAL WHITE PAPER

http://www.vmware.com/files/pdf/techpaper/VMware-vSphere6-FT-arch-perf.pdf


2. Уточнение особенностей реализации HA у MS/Vmware/Xen/Прочая, с учетом всяких там always on и SQL Server failover clustered, т.е. как именно и что оно делает и обеспечивает систему. И что вообще будет поверх, бывает полно мудацких идей, типа SQL поверх Hyper-v засунутого в Vmware HA.

Проверка HA/DRS + EVC compatibility - если планируется EVC.


3. Просмотр HCL и выбор правильного железа. Особенно с учетом выбора лицензий того же vsan по цене, и кошмаров типа

https://www.reddit.com/r/vmware/comments/26zbkb/my_vsan_nightmare/

https://www.reddit.com/r/vmware/comments/2799p4/root_cause_analysis_of_my_vsan_outage/


ну и выбора памяти, винтов, расчета лицензий и так далее.

Планирование порядка старта физических серверов.


Совместимость по хостам для EVC / live migration, плюс вот это - Жизнь за пределами Зиона

https://habrahabr.ru/post/190862/

и HP Superdome расстается с Itanium - https://www.itbestsellers.ru/experts/detail.php?ID=31105


4. Планирование совсем физики - электрика, ИБП, дизеля, кондей, управление физическим доступом


5. Планирование обвязки - сеть (etherchannel от локального коммутатора до ядра, stack/vss), backup для хертбита, отказоустойчивость собственно хранилки и системы хранения в целом, балансировщики если нужны.


6. Политика резервирования ресурсов для критических машин, приоритет старта и рестарта.


7. Планирование и разворачивание вцентра, выбор win/linux, выбор базы данных для него.


8. Гугль в поисках тонких моментов с HCL, например

ESXi host fails with PSOD when using Intel Xeon Processor E5 v4, E7 v4, and D-1500 families (2146388)

https://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=2146388


9. Политика резервирования ресурсов для критических машин, приоритет старта и рестарта.


10. Понимание, как работает Changed Block Tracking (CBT), и что его тоже можно сломать.

Случай: VMware сломала механизм CBT для резервного копирования виртуальных машин

https://habrahabr.ru/post/241573/

Вообще CBT - штука крайне интересная и вообще в себе. Пренебрегать ей никак нельзя, особенно учитывая что это механизм для резервного копирования Vmware, самих машин.


Читать -

http://www.yellow-bricks.com/2009/12/21/changed-block-tracking/


http://itknowledgeexchange.techtarget.com/virtualization-pro/what-is-changed-block-tracking-in-vsphere/


Еще больше тут

Virtual Disk API Programming Guide - Virtual Disk Development Kit (VDDK) 5.0

vSphere Storage APIs - Data Protection (VADP) 5.0

http://pubs.vmware.com/vsphere-50/topic/com.vmware.ICbase/PDF/vddk_prog_guide.pdf


Да, все так есть еще ММ, тоже годна вещь, но не настолько разрекламированная

http://www.yellow-bricks.com/2011/07/14/vsphere-5-0-storage-vmotion-and-the-mirror-driver/


Prior to vSphere 5.0 we used a mechanism called Change Block Tracking (CBT), to ensure that blocks which were already copied to the destination were marked as changed and copied during the iteration.


11. Не стесняться консультироваться с ведущими вареводами / вареводаведами, MVP и прочая.

Возможно даже за деньги.


25.6 Чуть подробней - MS Hyper-V

Буду краток:

74-409 Server Virtualization with Windows Server Hyper-V and System Center

https://www.microsoft.com/en-us/learning/exam-74-409.aspx


25.8 Безопасность в виртуализации. Решения MS по изоляции и 5-nine

Технология Shielded VM в Windows Server 2016

https://habrahabr.ru/company/ruvds/blog/318476/


Защита виртуальных машин, размещенных в дата центре

https://habrahabr.ru/post/315972/


Вебинар: "Shielded VM в Windows Server 2016"

https://habrahabr.ru/company/microsoft/blog/282361/

https://events.techdays.ru/Webinar-WindowsServer2016/2016-04/

5-nine

http://www.vmgu.ru/5nine

https://www.5nine.com/


25.9 Чуть подробней - Vmware

Учеба.

Основное и разное - скрипты и литературы.

Частые вопросы.

Vcenter как основа кластера.

VCenter High Availability (VCHA) <> DR (Disaster Recovery)

VMWare power CLI чтоб ВЖУХ


Учеба.

Чтобы понимать направление учебы, у Vmware достаточно (как и у Cisco) посмотреть список и варианты экзаменов.

Можно начать отсюда - Сертификация VMware

https://habrahabr.ru/post/244883/


Но еще лучше собрать немного времени и прослушать

Data Center Virtualization Fundamentals [V6]

https://mylearn.vmware.com/mgrreg/courses.cfm?ui=www_edu&a=one&id_subject=64758


Вот только проблема - курс (онлайн) на английском, так что минимум Pre или чистый intermediate нужен просто чтобы понимать о чем речь. Но про английский ниже.


потом взять денег и пойти на 5-дневный курс

VMware vSphere: Install, Configure, Manage [V6]

https://mylearn.vmware.com/mgrreg/courses.cfm?ui=www_edu&a=one&id_subject=60901


Я бы советовал пойти в HPE к Мошкову

http://lib.ru/VMWARE/

http://www.lib.ru/VMWARE/vsphere-training.txt


Дальше все просто -

VCA6-DCV Certification Requirements

1: There is no course requirement, but we recommend you complete the following free eLearning course: Data Center Virtualization Fundamentals.

2: Pass the latest VMware Certified Associate 6 - Data Center Virtualization Exam.

https://mylearn.vmware.com/mgrreg/plan.cfm?plan=64779&ui=www_cert


После курса и при самостоятельной подготовке к экзамену снимется ряд вопросов - начиная от как это вообще, заканчивая что такое vmotion, DRS, и прочее. Хороший курс.


И, конечно, канал на ютубе -

https://www.youtube.com/channel/UCN8FHFshMw-15AtFKWSLczA


Основное и разное - скрипты и литературы.

Частые вопросы.


Литература от Дранки (Drunky): Маст рид про варю:

http://sysadmins.ru/topic440611.html

Administering VMware Site Recovery Manager 5.0.pdf

Disaster recovery using VMware VR & SRM.pdf

Essential Virtual SAN (VSAN) Administrator's Guide to VMware Virtual SAN.pdf

Learning PowerCLI.pdf

Learning Veeam Backup _amp Replication for VMware vSphere.pdf

Managing and Optimizing VMware vSphere Deployments.pdf

Mastering VMware Horizon 6.pdf

Mastering VMware vSphere 5.5.pdf

Networking for VMware administrators.pdf

Storage Implementation in vSphere 5.0 5th Chapter only.pdf

Troubleshhoting vSphere Storage.pdf

Virtualizing Microsoft Business Critical Applications on VMware vSphere.pdf

Virtualizing SQL Server with VMware.pdf

VMware ESXi Cookbook.pdf

VMware Horizon 6 Desktop Virtualization Solutions.pdf

VMware Horizon View 5.3 Design Patterns and Best Practices.pdf

VMware Horizon View 6.0 Desktop Virtualization Cookbook.pdf

VMware Horizon View Essentials.pdf

VMware Horizon Workspace Essentials.pdf

VMware Private Cloud Computing with vCloud Director.pdf

VMware vCenter Operations Manager Essentials.pdf

VMware vCloud Director Cookbook.pdf

VMware vCloud Security.pdf

VMware View Security Essentials.pdf

VMware vRealize Operations Performance and Capacity Management.pdf

VMware vRealize Orchestrator Cookbook.pdf

VMware vSphere 5 Datacenter Design Cookbook.pdf

VMware vSphere 5.1 Clustering Deepdive.pdf

VMware vSphere 5.5 Cookbook.pdf

VMware vSphere Perfomance Design.pdf

VMware vSphere Resource Management Essentials.pdf

VMware.vSphere.Design.2nd.Edition.pdf

vSphere Design Best Pratices.pdf

vSphere Design Pocketbook 2.0.pdf

vSphere High Performance Cookbook.pdf

Михеев М. - Администрирование VMware vSphere 5 - 2012.pdf


И еще https://rutracker.org/forum/viewtopic.php?t=3267117


Прочая литература -

http://lib.ru/VMWARE/

http://lib.ru/unixhelp/vmware.txt

http://www.vmgu.ru

http://www.virtuallyghetto.com

http://vmind.ru

http://blog.vadmin.ru

http://vmpress.blogspot.com


http://CormacHogan.com

http://v-front.de

http://www.hoonkar.com/main/

http://communities.vmware.com/community/vmtn/vmug/forums/emea/russia?view=discussions


VMware Free Learning Videos - http://www.vsphere.ru/2012/04/vsphere-5-free-learning-videos/

VMware Technical Journal - http://labs.vmware.com/publications/vmware-technical-journal


Частые вопросы.

Vmware - обновление

Vmware - логи


Vmware - обновление

Вообще штатно можно обновляться путем загрузки с нового ISO, там будет пункт "обновление". В том числе там обновляются и апплайнсы. Читать тут

http://www.vmgu.ru/news/vmware-vcenter-server-appliance-6-update-1


Для патчей вообще есть VMware Update Manager

Ну и есть vihostupdate или powercli или

esxcli software vib install -d /vmfs/volumes/[DATASTORE]/[PATCH_FILE].zip

читать тут: http://www.vmgu.ru/news/vmware-esxi-update-ssh-without-vum


Vmware - логи

Читать:

Где находятся логи VMware ESX и что они значат?

http://www.vmgu.ru/articles/vmware-esx-logs

Где находятся логи VMware ESXi и как их посмотреть.

http://www.vmgu.ru/news/vmware-esxi-logs

лежит это все очевидно -

/var/log/vmware


Попутное:

Зависание на 95% старта виртуальной машины

https://communities.vmware.com/thread/280430?start=0&tstart=0


Перезагрузка виртуальной машины в VMware ESXi 5 зависает на 95%

http://sourica.ru/page/perezagruzka-virtualnoj-mashiny-v-vmware-esxi-5-zavisaet-na-95

http://winitpro.ru/index.php/2012/10/10/perezapusk-zavisshej-virtualnoj-mashiny-v-esxi-5/


Виртуальная машина на VMware ESX не включается из-за locked files.

http://www.vsphere.ru/2010/04/virtual-machine-cannot-power-on/


Vcenter как основа кластера.

Читать отсюда и до обеда, хотя это и про 5.5 -

https://www.vmware.com/files/pdf/vcenter/VMware-vCenter-Server-5.5-Technical-Whitepaper.pdf


Если совсем лень читать, то идите играйте в картошкотанки. Или ракаблики.


Если нет, то надо помнить -

Вся система Vmware напоминает пирамиду из матрешек.

В основании находится сам гипервизор - VMware ESXi, стоящий на физическом хосте.

Системой из гипервизиоров управляет VCenter.

Все вместе (плюс виртуальные сети, плюс виртуальные хоранилища, плю всякое) - VMware vSphere

Картинки тут

https://en.wikipedia.org/wiki/VMware_vSphere

https://upload.wikimedia.org/wikipedia/commons/9/96/VMware_vSphere_in_the_Enterprise_diagram_v1.0.gif


Еще картинки и тексты тут

http://en.community.dell.com/techcenter/virtualization/w/wiki/3031.vmware-vsphere-5


Основой собственно кластеризации является Vcenter - хоть как сервис под Windows, хоть как appliance для linux.

Чего нового в 6.5 - What's New in vSphere 6.5: vCenter Server

https://blogs.vmware.com/vsphere/2016/10/whats-new-in-vsphere-6-5-vcenter-server.html


Развертывание под Windows vCenter Server 6.5 Install Guide

https://esxsi.com/2016/11/16/vcenter6-5/


С версии 6.5 все управление идет только через Web, в более ранних (5.5 - 6.0) был толстый клиент, который был удобнее в ряде случаев.


Без vCenter штатных функций у самого хоста не так чтоб много. Они есть, но (как и в случае винды) все бонусы централизации и разнообразная отказоустойчивость проявляются только при наличии vCenter, причем ряд функций есть только в Ent plus редакции. Некоторые же вообще покупаются отдельно (vSan). Не факт, что эти функции/модули вам нужны, и не факт что vSan выйдет дешевле полки - в ряде случаев простой набор с СХД и San SW выйдет дешевле. Например -

HPE AM867C#ABA 8/8 (8) Full Fabric Ports Enabled SAN Switch, 8 ports, Managed, Rack-mountable, Silver - Price: $3,001.60

https://www.amazon.com/HP-AM867B-Fabric-Enabled-Switch/dp/B009EOAZAI


Дисковая полка обойдется в - (цены с амазона)

Hewlett Packard Enterprise MSA 1040 2Prt 10G iSCSI - Price: $7,027.91

HP MSA 1040 2Prt FC DC LFF Strg (E7V99A) - Price: $3,891.23 & FREE Shipping


Лицензии vSan встанут в - VSAN itself carries a list price of $2495 per processor

Сравнение ценника есть например тут

https://blogs.vmware.com/virtualblocks/2015/06/21/vmware-vsan-vs-nutanix-head-to-head-pricing-comparison-why-pay-more/


VCenter High Availability (VCHA) <> DR (Disaster Recovery)

С недавних времен VCenter стало можно сделать совсем труЪ -

О чем можно посмотреть в ролике серии Whiteboarding - VMware vCenter High Availability

https://youtu.be/Z8VeYMxcSBM


Можно и нужно смотреть еще и вот тут -

http://www.vmgu.ru/news/vmware-vsphere-65-whiteboarding

http://www.vmgu.ru/news/vmware-horizon-71-videos

и сам канал

https://www.youtube.com/channel/UCN8FHFshMw-15AtFKWSLczA


Vmware power CLI чтоб ВЖУХ

Вообще у Vmware есть несколько способов управления, в том числе и через ssh - например для установки апдейтов ручками через vCli / ESXCLI

esxcli software vib install -d /vmfs/volumes/[DATASTORE]/[PATCH_FILE].zip

читать

https://www.vmware.com/support/developer/vcli/


есть вот такое (стянутое из переписки)

vim-cmd vmsvc/getallvms | grep -i vmname | cut -d ' ' -f 1 | xargs vim-cmd vmsvc/get.guest | grep ipAddress | sed -n 1p | cut -d '"' -f 2

http://www.doublecloud.org/2013/11/vmware-esxi-vim-cmd-command-a-quick-tutorial/


А есть PowerCLI - это Powershell для Vmware

PowerCLI is a Windows PowerShell interface for managing VMware vSphere.

https://en.wikipedia.org/wiki/PowerCLI

https://www.vmware.com/support/developer/PowerCLI/


Так вот. Вжух оно будет с трудом, и тут про это ничего не будет, потому что я в этом не разбираюсь.

Но возможность управления через командную строку и Powershell все же есть.

НО: Powershell для центра, перл для esxi - vSphere Perl SDK for vSphere 6.0

https://code.vmware.com/web/sdk/60/vsphere-perl


Был еще VMware vSphere Management Assistant (vMA) - но он снят с продаж

http://www.vmgu.ru/press/vmware-vsphere-management-assistant-deprecated


Docker Container с VMware Tools внутри

http://www.virtuallyghetto.com/2015/02/cool-docker-container-for-vmware-utilities.html


25.10 Управление Vmware без Vcenter - Extrasphere

Кому vCenter ДОРАГА, то можно часть функций делать скриптами, а можно немножко чужими руками. В частности пишут -

Extrasphere - бесплатный vMotion для виртуальных машин на бесплатных VMware ESXi

http://www.vmgu.ru/news/extrashpere-free-vmotion-for-free-esxi


Коллеги продолжают работать над этим средством и на днях выпустили версию Extrasphere 2.0, где присутствует весьма интересная функциональность HotMirror. На этот раз она не бесплатна, а доступна на базе подписки за деньги.

http://www.vmgu.ru/news/extrasphere-20


С интересом буду поглядывать, что там и как.


25.11 Обучение Vmware: HOL - hands-on lab

Очень, очень полезный ресурс. Это лабы онлайн для тех, у кого нет хостов под руками.


http://labs.hol.vmware.com/HOL/catalogs/

http://docs.hol.vmware.com/

https://blogs.vmware.com/hol/


25.12 Чуть подробней - Nutanix Acropolis (AHV)

AHV Best Practices Guide. Библия.


Библия лежит тут - http://nutanix.ru/

С нее и стоит начинать.

Потом -

http://go.nutanix.com/AHV-best-practices-guide.html


И, как уже упоминалось ранее -

Бюджетный "датацентр" на Nutanix CE


Nutanix edge

Acropolis OS

https://habrahabr.ru/company/nutanix/blog/321920/


25.16 Облачные решения - Amazon AWS / MS Azure, IBM.

Google Cloud Platform, Vmware cloud

Azure pack / Azure stack

В другой главе


25.17 OpenStack как религиозная секта от тов. Жбанкова.

http://blog.vadmin.ru/2017/02/openstack.html


Прочитали?

Все очень просто(ТМ). OpenStack - хороший продукт, но стоимость его доработки и постоянного сопровождения (доработки далее, далее и далее) - требует денег столько, что TCO (Total cost of ownership) - будет стыдно показывать.

https://en.wikipedia.org/wiki/Total_cost_of_ownership

Хотя с учетом ROI это может быть не так очевидно.


Раз -

Now that we've reviewed how Nova compute schedules resources and how it works compared with vSphere DRS, let's look at how DRS and the nova-scheduler work together when integrating vSphere into OpenStack.

http://blog.rackspace.com/openstack-nova-scheduler-and-vsphere-drs


два

https://access.redhat.com/solutions/1537573

- смотреть на число ответов

-

Вцентр с Distributed Switches и свистками стоит меньше месяца работы одного толкового сотрудника (если вспомнить про налоги) -

VMware vSphere Enterprise Plus - USD $4,229.00

vSphere with Operations Management Enterprise Plus - USD $5,318.00


Basic Support $1049 / Production Support $1249

http://store.vmware.com/store/vmware/en_US/cat/ThemeID.2485600/categoryID.66071400


Допиливание в ГОД и более - это нормально.

https://www.facebook.com/anton.zhbankov/posts/874517942609354


Linux - это надежно! говорили они -

Рядовой апгрейд в лаборатории с Openstack Mitaka до Openstack Newton (более новая версия). Несколько deprecated options в файлах конфигурации, keystone переехал с eventlet на WSGI и поломал существующую конфигурацию с haproxy; из-за типового "ipv6 listen" apache не стал конфликтовать с haproxy за одинаковые используемые порты на звезде (один слушал ipv6, другой ipv4 only), так что запросы уходили в haproxy вместо апача, где умирали с 503, т.к. апстрима не было... Впрочем, история не об этом.

После того, как основные проблемы были пофишкены, Nova (одна из компонент Openstack) при запуске начала падать с ошибкой

https://habrahabr.ru/post/318982/


Да, если у вас есть разработчики, которые знают куда копать, то проблему можно решить быстро. А если нет соответствующей квалификации и кадров? Или просто не сложилось?

В комментариях творится разбирательство "как это произошло".


С другой стороны, у Vmware есть всякое для Openstack -

VMware Integrated OpenStack Architecture and Stability

https://www.youtube.com/watch?v=ijnYlUoVxsI


OpenStack Architecture and Stability

OpenStack has been getting a bad reputation for being impossible to get stable at scale. Architects can get it working as a PoC, but when it comes time to actually turn it over to the operations team, there are natural challenges. This presentation draws out the architecture and discusses how to achieve stability in your OpenStack deployment at scale.

https://www.youtube.com/watch?v=fYL4W3aQZMM


Why OpenStack

There are different viewpoints on why IT departments would deploy OpenStack for an IaaS solution. Some perceive a cost savings through the use of open source infrastructure under the framework. Others view OpenStack as actually solving the business problem of IT agility through the ecosystem of tools and knowledge around its vendor neutral API. This discussion highlights the latter: Automating infrastructure deployments leveraging current SW development processes and toolsets for the purposes of business agility.

https://www.youtube.com/watch?v=Bk4NoUsikVA


Межделмаш тоже не пренебрегает - IBM Cloud Manager with OpenStack for Power Systems

https://www-03.ibm.com/systems/power/solutions/cloud/openstack/

https://www.ibm.com/developerworks/ru/library/cl-openstack-overview/


Еще мнение про сабж:

https://xakep.ru/2015/01/26/openstack/


25.18 Network virtualization -

RFC 7348 - Virtual eXtensible Local Area Network (VXLAN)


25.19 VMWare: еще более подробнее.

HA - high availability.

DRS - dynamic resource scheduler

FT - VMware Fault Tolerance

https://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=1013428


Understanding Memory Resource Management in VMware ESX Server -

http://www.vmware.com/content/dam/digitalmarketing/vmware/en/pdf/techpaper/perf-vsphere-memory_management.pdf


Memory Ballooning - полезно, особенно если есть переподписка.


Admission Control

https://pubs.vmware.com/vsphere-50/index.jsp?topic=%2Fcom.vmware.vsphere.avail.doc_50%2FGUID-53F6938C-96E5-4F67-9A6E-479F5A894571.html


VMQ - VM Chimney (TCP Offload) + RSS (Receive Side Scaling)


TSO (TCP Segmentation Offload) /Receive Side Scaling (RSS)

Note: TSO (TCP Segmentation Offload) is a feature of some NICs that offloads the packetization of data from the CPU to the NIC. TSO is supported by the E1000, Enhanced VMXNET, and VMXNET3 virtual network adapters (but not by the normal VMXNET adapter). In ESXi, TSO is enabled by default in the VMkernel, but is supported in virtual machines only when they are using the VMXNET3 device, the Enhanced VMXNET device, or the E1000 device. TSO can improve performance even if the underlying hardware does not support TSO.


RSS enables network adapters to distribute the kernel-mode network processing load across multiple processor cores in multi-core computers. The distribution of this processing makes it possible to support higher network traffic loads than would be possible if only a single core were to be used. In Windows Server 2012, RSS has been enhanced, including computers with more than sixty-four processors. RSS achieves this by spreading the network processing load across many processors and actively load balancing TCP terminated traffic.

https://technet.microsoft.com/en-us/library/hh997036.aspx


Вот статья

Poor network performance or high network latency on Windows virtual machines (2008925)

http://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=2008925


Understanding TCP Segmentation Offload (TSO) and Large Receive Offload (LRO) in a VMware environment (2055140)

https://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=2055140


Troubleshooting Storage Performance in vSphere - Part 1 - The Basics

https://blogs.vmware.com/vsphere/2012/05/troubleshooting-storage-performance-in-vsphere-part-1-the-basics-.html

Continue to Troubleshooting Storage Performance - Part 2:

http://blogs.vmware.com/vsphere/2012/06/troubleshooting-storage-performance-in-vsphere-part-2.html

Troubleshooting Storage Performance - Part 3:

https://blogs.vmware.com/vsphere/2012/06/troubleshooting-storage-performance-in-vsphere-part-3-ssd-performance.html


VMware's VMmark

http://www.vmware.com/ru/products/vmmark.html


Single Sign-On - Как сбросить основной Single Sign-On пароль к vCenter в VMware vSphere 6.x.

http://www.vmgu.ru/news/vmware-vsphere-vcenter-sso-password-reset


APD - All patch down, проблемы с ним.


vmware FT / EverRun от Stratus

https://www.vladan.fr/vmware-vsphere-6-5-fault-tolerance-ft-improvements/


VM Component Protection (VMCP)

https://blogs.vmware.com/vsphere/2015/06/vm-component-protection-vmcp.html


vSphere Replication

http://www.vmware.com/products/vsphere/replication.html

Технология репликации VMware vSphere Replication и обеспечение политики RPO.

http://www.vmgu.ru/news/vmware-vsphere-replication-rpo-policy


Runecast - Automated VMware expertise https://www.runecast.biz/


VMware vSphere 5.1 Clustering Deepdive

http://www.yellow-bricks.com/vmware-high-availability-deepdiv/


Psc - platform service controller


25.20 Кластеризация и отказоустойчивость


Отказоустойчивый Windows File Server

http://ru-sysadmins.livejournal.com/2614649.html


25.21 Виртуализация применительно к разному ПО, в том числе и к 1С. Проблемы многопоточности и vCPU scheduler применительно к данному (1с) ПО. Как следствие - Проблемы с тестом Гилева (1c) в виртуальной среде.

Проблемы криворуких специалистов по настройке и тюнинху(ТМ) его же.


Надо понимать, что современное ПО для виртуализации является достаточно сложным, в том числе по причине необходимости обеспечения очередей задач на процессоре, повышения и понижения приоритета исполнения задач, синхронности их исполнения в случае многопроцессорности (а где вы сейчас одноядерные процессоры видели?), и много чего еще - о чем рассказывают в выше упомянутых

Data Center Virtualization Fundamentals [V6]

https://mylearn.vmware.com/mgrreg/courses.cfm?ui=www_edu&a=one&id_subject=64758


VMware vSphere: Install, Configure, Manage [V6]

https://mylearn.vmware.com/mgrreg/courses.cfm?ui=www_edu&a=one&id_subject=60901


При этом часть ПО просто не умеет параллелиться, и как результат - исполняется в один поток.

Наиболее часто проблемы с этим возникают у 1С 8.2, и частично у 1С 8.3.

Разрабатываемая 1С 8.4, может быть, не будет иметь таких проблем - но не факт.


С другой стороны проблемы есть так называемый тест Гилева - это фамилие такое.

Само наличие этого теста - это хорошо, можно посмотреть относительных попугаев.

С другой стороны однопроцессорный однопоточный тест показывает ровно то самое, чего и должен показывать - процессор Core i5 (даже не i7) плюс память без REG/ECC с частотой 2.7 - выигрывает у Xeon 2.3 и памяти Reg+ECC - каковая память работает еще и с меньшей частотой.

Причем выигрыш по этому тесту может быть раза в 2-3 - например, можно получить 20 баллов на сервере и 40 на рядовом рабочем ПК.


С третьей стороны есть лютая дичь на самом сайте 1С - например

На многопроцессорных системах на одном сервере должно работать больше одного процесса rphost

..

Поэтому при работе на многопроцессорных системах (все современные многопроцессорные системы Intel и AMD имеют NUMA архитектуру), в зависимости от характера нагрузки, может наблюдаться неравномерная загрузка процессоров/ядер. В некоторых случаях может оказаться загружена только какая-то часть доступных ядер CPU, при этом другая часть будет простаивать.

https://its.1c.ru/db/metod8dev#content:5903:hdoc


Конечно будет - NUMA не занимается разбросом на "только ядра", хотя о этом надо писать отдельно, а к тому как эта Numa будет выглядеть после Esxi уже в гостевой ОС - надо подступать только после серьезного расширения сознания знакомства с теорией и практикой работы вверенной материальной части.


С четвертой стороны есть рекомендации того же Гилева, которые местами оправданы, местами - такая же лютая дичь, как и у оптимизаторов, которых он ругает. Примеры дичи -


"Снимки" надо выключать -- они замедляют.


не надо их "выключать" - на них как бы работает резервное копирование VM. Так что выключить их не выйдет. Другое дело, что в ряде случаев хранить N-цать снимков не нужно.


Использовать только физические диски под данные, а не виртуальные.

Совет потрясающий своей прямизной.

Для начала, в нормальной среде (а не домашней машине, на Vmware WS - куда стоит ссылка) - на хосте ВООБЩЕ может не быть своих дисков - все лежит на СХД.

Пусть даже пусть есть - предлагается что, тащить с хоста физический диск (без raid) в виртуалку и там собирать RAID средствами винды? RLY?

Если с СХД - это как? В Vmware протаскивать диск с хранилки и отдавать его опять же как физику?

Так не будет, будет какой-то Raid на СХД, который отдается LUN-ом в ту же Vmmare, откуда уже нарезается на тома VMFS. Другое дело, что конечно лучше бы все это дело мониторить по нагрузке - может там на массив очередь на минуту и все уже давно лежит, и tempdb хранить как-то отдельно.


Вендоры виртуальных систем честно указывают примерный процент замедления относительно физических серверов от 9 до 24 %

Сильно меньше и когда как. Процент замедления / штраф / накладные расходы на виртуализацию конечно есть, но зависят от процессора "в целом", количества io операций по сети/диску, и прочая прочая.

Но может оказаться и больше -

На практике я получал падение производительности вплоть до 40% от номинала из-за влияния гиперактивного ввода-вывода виртуальной машины по сети и дисковой системе.

https://habrahabr.ru/post/225183/


Передача по сети между двумя виртуальными машинами на одной физической машине медленней протокола Shared Memory

Медленней. Тут особо не поспорить - кроме как с терминологией.

Shared Memory не "быстрее", а имеет меньшую латентность.

Ну и 99% 1сников не умеют в 9k/ MTU 9000/Jumbo frame.

Дело в размере блока, которым SQL оперирует - он, как ни странно, не равен 1514 байт

Поэтому при TCP/IP много чего фрагментится и кадр 9к желателен крайне для SQL и его клиента

И это еще вопрос - а что будет при использовании RDMA или InfiniBand?


Для виртуальных серверов ESXi 6.0 с 1с сервером не используйте сетевые интерфейсы типа WMXNET3, использовать только типа e1000e


Причина такого совета абсолютно не понятна. WMXNET3 - виртуальная (как и e1000e кстати) сетевая карта 10G, с оптимизацией под работу Vmware. Может кто-то прочитал про проблемы с VM Chimney (TSO - TCP Offload) и RSS (Receive Side Scaling) с точностью до наоборот - там надо бы выкинуть e1000e и провести прочее колдунство.

http://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=2008925


https://www.vmware.com/support/vsphere5/doc/vsphere-esxi-55u2-release-notes.html


Poor network performance or high network latency on Windows virtual machines (2008925)

TSO (TCP Segmentation Offload) /Receive Side Scaling (RSS)

https://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=2008925


Understanding TCP Segmentation Offload (TSO) and Large Receive Offload (LRO) in a VMware environment (2055140)

https://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=2055140


На Hyper-V кстати то же самое.


Отключить дедупликацию памяти для EXSi - Transparent Page Sharing на хосте VMware ESXi


Не надо нагружать хост так, чтобы там включались ухищрения с памятью. И аккуратней с переподпиской.

Transparent Page Sharing при этом - не самая большая беда. Вот когда все начинает в своп валиться - это да. Опять же, есть тексты про Understanding Memory Resource Management in VMware ESX Server и про Memory Ballooning

http://www.vmware.com/content/dam/digitalmarketing/vmware/en/pdf/techpaper/perf-vsphere-memory_management.pdf


При этом на самом сайте Гилева -

http://www.gilev.ru/secret1c/

ругают Кухара Богдана (хотя, казалось бы - Кумары/Кухаря живут чуть-чуть юго-восточней, в огромном количестве, ЕВПОЧЯ).


На все вышеперечисленное накладываются унаследованные привычки "а давайте возьмем сервер побольше", выражающиеся в заявках от отдела 1С - "дайте в виртуалку больше процессоров". Ок, не жалко - только не поможет, а в некоторых случаях скорее повредит. Конечно, MS SQL отлично работает в многопроцессорной среде - чего нельзя сказать про 8.2 / 8.3 "в общем случае".

Опять же, хороший 1С -ник стоит ДОРАГА, хороший варе/гитлеро вед - аналогично ДОРАГА, а в наличии хороших Xen/Openstack - водов в количестве больше 20 (просто двадцати) в РФ я не уверен.

Именно хороших - админов локалхоста под линуксом плюс минус половина от всех админов локалхоста с 60% побед.

Такие заявки приводят к добавлению в виртуалку 20-40 процессоров, и внезапной просадке производительности "еще больше".

Следующим шагом выступает "а отдайте все что есть на хосте", плавно переходящее "ваше *** говно тормозящее, только винда, никакой виртуализации". Окей, но результаты тоже не начинают мгновенно поражать воображение - хотя если взять не сервер, а десктоп с Core i7-7700 (3.6) / Core i7-7700K (4.2) или сервер с Intel╝ Xeon╝ Processor E5-1630 v4 / Intel╝ Xeon╝ Processor E5-1650 v4 и включить Turbo Boost (3.7/4) - то может оказаться и неплохо. Но на них и виртуализированная среда бы работала куда быстрей - особенно если выключить энергосбережение везде, включить Turbo Boost и подстроить NUMA.

Процессоры вот

http://ark.intel.com/products/family/91287/Intel-Xeon-Processor-E5-v4-Family

https://ark.intel.com/ru/products/family/91287/Intel-Xeon-Processor-E5-v4-Family

Было бы неплохо перейти от теории к практике, и проверить эти рассуждения на практике, сначала на тестовой среде / нагрузочном тестировании при настройках "искаропки", потом в донастроенном окружении, как физическом, так и виртуальном, и при разном физическом окружении - серверном/десктопном. Но пока что такого тестирования я не видел.


25.22 Виртуализация оборудования. USB over ip (Digi), nVidia GRID

Проблемы с виртуализацией некоторого оборудования.


С появлением виртуализации "в массах" возник ряд вопросов - например, как пробросить в витруальную машину - USB. Флешку, контейнер ключей или Alladin-овский ключ к 1С. Или что-то еще.

Решением для USB является USB over ip, а самым часто попадающимся (хотя я аналоги и не искал) -

Digi AnywhereUSB╝ - Network-Attached USB Hubs

https://www.digi.com/products/usb-and-serial-connectivity/usb-over-ip-hubs/anywhereusb


Как видно из картинок на сайте, это аппаратная коробка с ключами.

Процедура запуска проста - коробка включается в электричество и Ethernet, получает адрес по DHCP (или там забит какой-то один на всех), потом можно настроить статику.

На сервер (под Win точно)ставится агент, который коннектится с коробкой и изображает из себя USB.

Все.

https://www.digi.com/pdf/wp_esxserver_anywhereusb.pdf


Проблема: агенты есть под Windows. Под linux как-то грустно.

Веселые картинки: https://habrahabr.ru/post/100951/


nVidia GRID

http://www.nvidia.ru/grid/technology/


The End of "Good Enough" User Experiences for the Masses: NVIDIA Tesla M10 + VMware Horizon 7

https://blogs.vmware.com/euc/2016/05/user-experience-nvidia-tesla-m10-vmware-horizon-7.html


Проблемы с виртуализацией некоторого оборудования.

Опытным путем ВНЕЗАПНО выявлены проблемы у Vmware с работой с роботами кассетных библиотек, подключенных по оптике. Сама библиотека видна, а робот нет - и это несмотря на прямой проброс контроллера(hba passthrough / PCI Passthrough) прямо в виртуалку.

Напрямую уже давно нельзя - As per the vSphere 5.x Release Notes, VMware does not support Tape Drives connected directly to ESXi 5.x.

https://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=2007904


При этом SAS проброс что в Vmware, что в Hyper-V - "вроде как unsupported, но работает". (техническая пометка - уточнить практику)


Примечание: в ряде случаев наиболее простым решением будет выделение самого простого физического сервера под задачу "только резервного копирования".

Как себя поведет Azure Stack / Azure pack - вообще не представляю.


25.23 Некоторые прочие гадские особенности.

Динамическое управления ядрами/частотами.


В целях экономии электричества и вообще экологии в современных процессорах реализовано динамическое управление частотой и отключение части ядер - с одной стороны. С другой - у Intel есть Turbo Boost, который позволяет такой легкий разгон, если очень надо.

Проблема в том, что в виртуальной среде задачи прыгают с ядра на ядро, а в момент смены частоты ядро ничего не считает. Отсюда начинаются скачки туда-сюда, с сопутствующей просадкой производительности.


Прочее:

Intel╝ Memory Latency Checker v3.1a

https://software.intel.com/en-us/articles/intelr-memory-latency-checker


Memory - RAM Performance: Speed vs. CAS latency

http://www.crucial.com/usa/en/memory-performance-speed-latency


25.24 Общее больное место: NUMA / SMP

Node interleaving / NUMA


Тут могла быть копипаста из Вики - что это такое, зачем оно и как работает.

https://ru.wikipedia.org/wiki/Non-Uniform_Memory_Access

https://en.wikipedia.org/wiki/Non-uniform_memory_access

https://ru.wikipedia.org/wiki/Uniform_Memory_Access


Теория: SMP vs NUMA

https://habrahabr.ru/post/190862/


И плюсом обязательно нужно ознакомиться с докладом с VMworld EU 2016

VIRT8530, Rob Girard, Shawn Meyers

Deep Dive on pNUMA and vNUMA - Save Your SQL VMs from Certain DoomA!

Кратко тезисы тут - http://blog.vadmin.ru/2016/10/vmworld-eu-2016-1.html


Node interleaving / NUMA

http://frankdenneman.nl/2010/12/28/node-interleaving-enable-or-disable/


FORCEING UMA

Non-interleaved enabled NUMA = SUMA

virtual And physical proximity domain

полезный бложик - https://kevinclosson.net/

https://kevinclosson.net/2012/04/25/xeon-e5-2600-os-cpu-to-core-smt-thread-mapping-on-linux-it-matters/


25.30 Вопросы по теме виртуализации


Через одного ко мне на собеседование приходят люди с VCP, которые не могут назвать алгоритмы балансировки для виртуальных коммутаторов, или какие встроенные psp политики есть в ESXi


или назвать отличия VSS от VDS


Из переписки


Часть 26. Безопасность.

26.1 Модель угроз офиса.

26.2 Защита сети: DHCP и вокруг

26.3 Защита сети: сегментирование всякое и не только.

26.4 Безопасность в среде MS.

Microsoft Baseline Security Analyzer (MBSA).

Microsoft Security white papers


Mimikatz/wce. lsadump


policy silo

msa - managed service account

26.5 Безопасность в среде MS-2

Планирование среды бастиона

Изоляция среды бастиона.


Обход 2FA OWA / EWS (Exchange Web Services)

26.6 Microsoft Identity Manager

Privileged Access Management for Active Directory

PAM is an instance of Privileged Identity Management (PIM) that is implemented using Microsoft Identity Manager (MIM)

26.6 HTTPS/SSL, Ключи / токены, шифрование

26.7 Своевременное продление доменов еще раз

26.8 Своевременное продление внешних сертификатов.

Мониторинг состояние / сроков сертификатов.

Виды сертифкатов.

Wildcard сертификаты.

Свой промежуточный центр сертификации


AD CS: Web Enrollment / Certification Authority Web Enrollment Guidance - вынесен в 21 - AD, как и AD RMS


Подмена сертификатов и расшифровка HTTPS/SSL

26.9 IBM Security QRadar SIEM

26.10 TOGAF, CISSP-ISSAP, SABSA и прочие страшные слова.

26.11 Специально для одного виртуального инфобезопасника:

Honeypot и gloryhole

DLP - Data Leak Prevention

IPS - intrusion prevention system

26.11 JEA - Just Enough Administration

https://msdn.microsoft.com/en-us/powershell/jea/overview

https://msdn.microsoft.com/en-us/library/dn896648.aspx

26.12 ISO/IEC 27001 - Information security management

26.14 The Payment Card Industry Data Security Standard (PCI DSS)

26.15 Стандарт The Federal Information Processing Standard (FIPS) Publication 140-2, (FIPS PUB 140-2)

26.16 Немного о физике. В смысле, физической безопасности.

Тут нужна будет картинка из старого мультфильма "Волшебник изумрудного города" про дверь. Хотя и старый мультфильм Golden gate тоже пойдет - https://www.youtube.com/watch?v=CHkEX73P2Pk

26.17 Взлом центров УЦ.

Отзыв УЦ

Криво созданные и выдаваемые всем подряд сертификаты

https://www.youtube.com/watch?v=XbwWNF3zpCk - на 30-й минуте


26.18 Взлом 2 факторной авторизации на основе СМС - уязвимости SS7


Перехват SS7

https://geektimes.ru/post/288913/

26.19 Прочие эпические проебы:

Рамблер - https://habrahabr.ru/post/309312/

Yahoo - https://habrahabr.ru/post/310944/

МТС - http://www.rbc.ru/politics/02/05/2016/57278bc29a7947849edc8a53

InfoWatch - тут не понятно, возможно просто поклепЪ и клеветаЪ

https://securenews.ru/infowatch_data_leak/

https://www.infowatch.ru/presscenter/news/17558

26.20 Итого:

Контрразведчик должен знать всегда, как никто другой, что верить в наше время нельзя никому, порой даже самому себе

https://www.youtube.com/watch?v=0hKf8l55eHw


26.1 Модель угроз офиса.

Чтобы обезопаситься/защититься от чего-то, надо хотя бы в общих чертах представлять, от чего строим защиту. Император, конечно, защищает -

Но как говаривал один из легендарных лордов - Кромвель - на Императора надейся, и keep your powder dry болтер смазывай.

Поэтому надо перечислить основные (типовые) угрозы, и методы их предотвращения.

Например -

Угрозы для доступа к данным и работы данных можно разделить на следующие группы:

Физические: утрата питания, перегрев, пожар, затопление, несанкционированный доступ, выход из строя оборудования, кража или иное незаконное изъятие.

Логические: несанкционированный доступ к внутренним системам (взлом, вирусное и иное вредоносное ПО), нештатная работа основного ПО, ошибки сотрудников, саботаж.


Сюда же попадают требования регуляторов и так далее.

По результатам составленный документ делится на две части - одна подшивается и убирается в сейф, а со второй, более реальной начинаем работать - прописывая регламенты, требования и задачи, в том числе по SLA/RTO/RPO прочая прочая. Технологические окна на обслуживание, административные наказания для особо одаренных с kali на флешках и прочих USB Yellow Rubber duck в кармане

https://store.hackaday.com/products/usb-rubber-ducky-deluxe


26.2 Защита сети: DHCP и вокруг

Проблемы в сети можно разделить на два типа - вызванные альтернативно одаренными сотрудниками, и вызванные осознанными действиями.

Проблему в виде одаренных инфобезопасников (и даже девопсов и немного майнеров) по перезагрузке сервера в таком случае мы рассматривать не будем.


Одной из проблем, которые постоянно создают альтернативно одаренные сотрудники, является развертывание / запуск сервера DHCP в рабочем сегменте. Иногда - в единственном сегменте.


Со стороны настройки сетевого оборудования решение известно давно -

DHCP snooping + port trust

Вообще конечно необходимо изначально сегментировать сеть на куски по /24-/25, но это ж делать надо, и управлять этим с учетом связки через L3.

Кроме того, очень полезным оказывается массовое использование prive vlan - port protected / port isolate.

Не стоит пренебрегать и switchport port security ограничениями - max mac и lifetime. Мало ли у кого ума палата и он решит положить ваш DHCP?


Есть и утилиты контроля и предупреждения такого -

DHCP drop

http://www.netpatch.ru/devel/dhcdrop/


DHCP find

https://www.symantec.com/connect/downloads/detect-rogue-dhcp-servers-network


Dhcploc

https://gallery.technet.microsoft.com/DHCPLOC-Utility-34262d82


Microsoft Rogue DHCP Server detection -

https://social.technet.microsoft.com/wiki/contents/articles/25660.how-to-prevent-rogue-dhcp-servers-on-your-network.aspx

http://blogs.technet.com/b/teamdhcp/archive/2009/07/03/rogue-dhcp-server-detection.asp


Про атаки на например переполнение DHCP - можно начинать читать отсюда

https://habrahabr.ru/company/pentestit/blog/326968/


26.3 Защита сети: сегментирование всякое и не только.

Защиту "и вокруг" надо разделить на разные группы

- защиту внутри сегмента, от собственно DHCP и попыток подмены адреса GW например,

- защиту самого канала сегмент - сегмент - с чем справляется сканирование в некоторых NGFW,

- защиту серверов от злодеев, и бухгалтерских машин с банк-клиентами от случайных соблазнов и котиков.

Все это делается в том числе на уровне ограничений сети/сетей.


Необходимо защищать и коммутаторы сами по себе -

Хоть домашние коммутаторо-роутеры

https://habrahabr.ru/company/pentestit/blog/327044/

Хоть проверенную Cisco - хоть коммутатор, хоть маршрутизатор

https://habrahabr.ru/company/pentestit/blog/326968/


Это к тому, что надо и внутри сегмента вводить Private vlan, и на interface vlan коммутатора, смотрящий внутрь потенциально небезопасных сегментов - надо ставить ACL на telnet/ssh, да и SNMP закрывать ACL.

И таки выносить администраторов / техподдержку в отдельную зарезанную от всего - подсеть.


26.4 Безопасность в среде MS.

Microsoft Baseline Security Analyzer (MBSA).

Microsoft Security white papers

Mimikatz/wce. Lsadump


policy silo

msa - managed service account


Microsoft Baseline Security Analyzer (MBSA).

https://en.wikipedia.org/wiki/Microsoft_Baseline_Security_Analyzer


The Microsoft Baseline Security Analyzer provides a streamlined method to identify missing security updates and common security misconfigurations. MBSA 2.3 release adds support for Windows 8.1, Windows 8, Windows Server 2012 R2, and Windows Server 2012. Windows 2000 will no longer be supported with this release.


https://www.microsoft.com/en-us/download/details.aspx?id=7558


How To: Use the Microsoft Baseline Security Analyzer

https://msdn.microsoft.com/en-us/library/ff647642.aspx


Microsoft Security white papers

Best Practices for Securing Active Directory

https://docs.microsoft.com/en-us/windows-server/identity/ad-ds/plan/security-best-practices/best-practices-for-securing-active-directory


Microsoft Azure Network Security Whitepaper version 3

https://azure.microsoft.com/en-us/blog/microsoft-azure-network-security-whitepaper-version-3-is-now-available/

http://download.microsoft.com/download/C/A/3/CA3FC5C0-ECE0-4F87-BF4B-D74064A00846/AzureNetworkSecurity_v3_Feb2015.pdf


Microsoft cloud services and network security

https://docs.microsoft.com/en-us/azure/best-practices-network-security


Mimikatz/wce

Еще раз о том, как не сделать из своей сети "решето"

https://habrahabr.ru/post/283482/


Безопасность в среде MS строится в первую очередь вокруг следующих основных принципов -

- не пускайте мудаков к управлению вообще ничем, даже локальным администратором рабочей машины. Еще лучше используйте SRP/Applocker с извещением на почту.

- своевременно (не позже чем через 2-4 недели от выхода) устанавливайте ВСЕ патчи на ВСЕ сервера и ВСЕ рабочие станции. WSUS в помощь. Если кто не осознал нужность этой меры и его не научил ни с времен Conficker, он же Downup, Downadup и Kido (2008 год) или свежая (12 мая 2017г) атака шифровальщика WannaCry/WanaCrypt0r 2.0 - то тут медицина бессильна

- не используйте одинаковый пароль для УЗ локального администратора на рабочих ПК и серверах.

Подбирать его по словарю умел еще тот же kido.


Вообще лучше локального админа отключить, если же вдруг надо будет - штатными (или через NT password reset) средствами из безопасного режима включите. Подробнее см. Управление локальными и специальными учетными записями - LAPS (Local Administrator Password Solution)


- Отключение неиспользуемого старого говна, оставленного для совместимости - NTLMv1 , SMB v1, SSL 3.0 и TLS 1.0. В идеале только TLS 1.2.

- Выводите старые сервера (2000, 2003, 2008), к которым уже не выпускаются обновления, из работы.

- Рабочих станций на XP, Vista,7,8 это тоже касается

- Embedded серверов, в частности видеонаблюдения - тоже. Или изолируйте их наглухо от основной сети - например, ставьте промежуточную машину (GW) под RDP в ту сеть, максимально выкручивайте на ней безопасность, установку патчей, srp/applocker и прочие ограничения.

- Регулярно читайте всякие логи. Если сложно их просто читать, да и место на DC они потребляют - используйте пересылку событий, и не проходите мимо всяких полезностей -

Introducing Project Sauron - Centralised Storage of Windows Events - Domain Controller Edition

https://blogs.technet.microsoft.com/russellt/2017/05/09/project-sauron-introduction/


- Надо тщательно следить, кому и куда делегированы права в целом, и кто числится в группах доменных администраторов и администраторов Exchange. Правильней конечно вообще никому лишнего не выдавать, а пароль от доменного админа и от восстановления домена держать разделенным на две части, одну часть у директора по ИТ, вторую у директора по ИБ. Два ключа - как на ракете.


Для OU вот -

Active Directory OU Permissions Report

This script generates a report of all Active Directory OU permissions in the domain. I would advise all Active Directory shops to review this report on a quarterly basis to make sure there are no surprise administrators lurking in your domain.

https://gallery.technet.microsoft.com/Active-Directory-OU-1d09f989


Для Exchange вот

RBAC Role Group Membership Reporting

This PowerShell script will generate a report of the Role Based Access Control (RBAC) role groups in an Exchange Server organization.

https://gallery.technet.microsoft.com/office/RBAC-Role-Group-Membership-ed4e12ad


- переходите к изучению среды бастиона.

- Использовать Core, никаких RDP на сервера. Надо что-то поуправлять - оснастки (начиная от Active Directory Users and Computers и заканчивая Active Directory Administrative Center - AD DS и RSAT (Remote Server Administration Tools)) на изолированный (кроме как от обновлений) комп и поехали.

- Регламенты доступа. Сертификаты на защиту сервисов, AA- autentificatio assurance, OTР если бохатые. https://technet.microsoft.com/ru-ru/library/jj134229(v=ws.11).aspx

- использовать RBAC группы- благо они везде у MS есть. Нарезать делегирование на OU регионщикам/техподдержке - давать права по минимуму, а не выдавать человеку Domain admin в первый день как он вышел на работу, дабы "выполнять служебные обязанности".

- На Domain controlles - ничего кроме DC. Вообще ничего. МАКСИМУМ DNS+DHCP.

- к вопросу RODC надо подходить с большим умом.


policy silo

https://technet.microsoft.com/ru-ru/library/dn486813(v=ws.11).aspx

https://technet.microsoft.com/ru-ru/library/dn518179(v=ws.11).aspx


MSA - managed service account

Service Accounts Step-by-Step Guide

https://technet.microsoft.com/en-us/library/dd548356(v=ws.10).aspx


Introducing Managed Service Accounts

https://technet.microsoft.com/en-us/library/dd560633(v=ws.10).aspx


26.5 Безопасность в среде MS-2

Планирование среды бастиона

Изоляция среды бастиона.


Обход 2FA OWA / EWS (Exchange Web Services)


Планирование среды бастиона

https://technet.microsoft.com/ru-ru/library/mt620090.aspx

Рекомендации по обеспечению высокой доступности и аварийному восстановлению для среды бастиона

https://docs.microsoft.com/ru-ru/microsoft-identity-manager/pam/high-availability-disaster-recovery-considerations-bastion-environment


26.18 Взлом 2 факторной авторизации на основе СМС - уязвимости SS7


Часть 27. Управление мобильными устройствами - Mobile Device Management

27.1 Зачем оно

27.2 Что есть на рынке

Exchange as is

VMware AirWatch╝

Maas 365 - IBM╝ MaaS360╝ Mobile Device Managemen

MobileIron - Mobile Device Management (MDM) | MobileIron

Microsoft Intune

- https://www.microsoft.com/ru-ru/cloud-platform/microsoft-intune


Microsoft Intune

- https://www.microsoft.com/ru-ru/cloud-platform/microsoft-intune


Microsoft Intune Apple IOS backup and restore

https://docs.microsoft.com/en-us/intune-classic/deploy-use/restore-managed-ios-devices-from-backup


Часть 28. Иностранные языки и прочие полезности.

28.1 Изучение английского в целом. Заметки.

28.2 Иностранный хантинг - linkedin, monster.com и так далее.


My mother told me


Someday I would buy


Galley with good oars


Sail to distant shores


Stand up high in the prow


Noble barque I steer Steady course for the haven


Hew many foe-men, hew many foe-men


Песня жалостливая из сериала Викинги.


28.1 Изучение английского в целом. Заметки.

Тут все просто. Минимальный уровень английского языка дает средняя школа.


Чтобы оценивать что-то - нужна шкала, линейка или даже стопа. Для уровня знания английского языка наиболее часто встречается следующее деление:

Beginner. Соответствует уровню обычной школы, раньше называлось "читаю со словарем", теперь "могу запихнуть в гугль-переводчик.

Elementary. Теоретически, такой уровень должен давать технический ВУЗ. На практике не дает.

Pre-intermediate (4-4.5 при сдаче экзамена IELTS, 70 баллов при сдаче TOEFL)

Intermediate

Upper-intermediate

Advanced

Про эти уровни можно прочитать тут - http://www.eduwow.ru/levels.htm


Желательно поучиться до уровня хотя бы Intermediate.


Как учиться: учиться просто. Для любой задачи есть правило 10.000 часов

http://www.forbes.ru/forbes/issue/2009-04/7255-pravilo-10000-chasov


Стать экспертом можно не успеть, но нужно много учиться читать (reading), слушать(listening), писать сочинения на свободную тему (writing, в том числе и integrated), и разговаривать (speaking).

Простого пути с одной таблеткой нет.


Самый простой путь: берем любимую (это критично) книгу иностранного автора, находим оригинальный текст и начинаем переводить по ╫ странице в день. Каждый день.

Ключевое - КАЖДЫЙ день. После месяца по ╫ - увеличиваем до 1 страницы в день. Что считать страницей - ваше личное дело.

Через еще месяц по вкусу - хоть аудиокниги простые и все сложней, хоть подкасты с сабтитрами, хоть простое кино с сабтитрами же. Английскими конечно. Скрипт, который из srt делает сортированный список -

grep -vP "^\d|^\s*$" Alice.eng.srt|sed 's|[\,\.\(\)\?\"\:\!\r]||g'|awk '{print tolower($0)}'|sed 's|<\/*[bi]>||g'|sed 's| |\n|g'|sort -u >Alice.eng.words.txt


Для тренировки можете переписать на VBS - как-то так

https://drive.google.com/file/d/0B7ti0fY0I0eLcTB2RlROWjhXRzQ/view?usp=sharing


На планшете - есть полиглот 16, есть всякие лингвалео и прочая.

Главное - постоянно и методично.

И делать домашку.


28.2 Иностранный хантинг - linkedin, monster.com и так далее

поиск работы на международном рынке труда.

1. Нужен язык, причем не просто "знаю", а сданный TOEFL / IELTS. На сколько баллов - по- разному, но нужна хотя бы сама попытка сдачи. Заодно и сами поймете, как на самом деле вы его знаете.

Немецкий - ZDaF (Zertifikat Deutsch als Fremdsprache) / ZMP (Zentrale MittelstufenprЭfung) /

ZOP (Zentrale OberstufenprЭfung) / KDS (Kleines Deutsches Sprachdiplom)

2. Почти всегда нужна "виза для поиска работы" или еще какой вид на жительство. Местные эйчары отличаются той же шириной и глубиной, что и в РФ, но хотя бы научились спрашивать.

3. Международный хедхантер -

https://www.monster.com/jobs/q-australia-jobs.aspx

или региональные, например seek.com.au

4. Заполненный профиль в linked in - практически обязателен

5. Международное признание документов.

6. Подготовленная речь "расскажите о себе".

7. Прочие хитрости и полезности, типа аренды местного телефонного номера.


Часть 29. Основы документирования. Модели управления и документирования. ПО для управления и документирования.

HLD - документация


Документирование.

Документировать надо все. Насколько подробно - надо бы посмотреть ITIL, но в целом - не ленитесь. Просто не ленитесь.


Под "документировать" подразумевается следующее:

- хранение у себя копий первичных бухгалтерских документов - счетов, актов, счетов-фактур, актов выполненных работ.


- создание физических схем прокладывания проводов и размещения помещений и оборудования, в том числе расположения аварийных выключателей и прочих рубильников, автоматов, УЗО и так далее.

- хранение в темном, сухом и прохладном месте дисков с драйверами. Можно 2 комплекта из 100 (для ПК, принтеров, принт-серверов и так далее).

- хранение документов по лицензиям, особенно MS open license.

- создание и постоянная актуализация схем сети.

- регулярное (раз в квартал) резервное копирование документации, рабочих материалов и выгрузка логинов-паролей-схем доступа на независимый носитель, хранимый в недоступном просто так месте. Например, на флешку или cd/dvd , хранимый у генерального директора (или его заместителя) в сейфе. Можно два набора, один в сейфе у себя (простой сейф в Леруа Мерлен стоит 100$), второй у генерального.

- Документирование схем восстановления, в случае использования сложных схем хранения документов с защитой от несанкционированного (или санкционированного, но совсем не вовремя) доступа.

Проще говоря - к кому бежать за токенами.


HLD - документация.

Увидел это слово в какой-то вакансии и полез читать - про что это вообще.

Оказалось, это High level IT Design -

https://mxsmirnov.com/tag/hld/

https://mxsmirnov.com/2012/08/04/high-level-it-design/


High-Level Design описывает предлагаемое решение на уровне архитектуры, не вдаваясь в подробности спецификаций, конфигураций и т.п. Верно будет дать определение HLD как концепту.

http://kagarlickij.com/hld/


Проектная документация в ИТ

http://kagarlickij.com/it-project-docs/


Create a solution architecture

https://www.visualstudio.com/en-us/docs/work/guidance/cmmi/guidance-create-solution-architecture


Часть 30. ЦОД и облачные сервисы


Политрук лжёт, с вашей инфраструктурой в Azure будут обращаться хорошо


30.1 Что такое ЦОД и облако

Дизайн виртуализованного ЦОД - https://habrahabr.ru/post/321178/


ЦОД - это просто. Центр обработки данных. Много серверов, много систем хранения, много сетевого оборудования, много АКБ, дизель, пять провайдеров и все это в здании из чистого бетония с чугунием.

Или просто 2.5 стойки на задворках завода, так тоже бывает.


Облако - можно копипастить вики. Можно просто прочитать -

https://ru.wikipedia.org/wiki/Облачные_вычисления


30.2 Уровни доступности по TIER Uptime Institute

Tier I: базовый уровень.

Результирующие ежегодные простои составляют 28,8 ч, что соответствует доступности 99,67%.


Tier II: резервирование основных компонентов инфраструктуры

Результирующие ежегодные простои - 22 ч, что означает 99,75% доступности.


Tier III: параллельно обслуживаемая инфраструктура

Tier III демонстрирует доступность 99,98%.


Tier IV: отказоустойчивая инфраструктура

Tier IV демонстрирует доступность 99,99%.

Читать

http://www.iksmedia.ru/articles/3720462-Tier-N-Urovni-otkazoustojchivosti.html

https://habrahabr.ru/company/ua-hosting/blog/243109/


30.3 Dedidated/collocation.

Выделенный сервер (англ. dedicated server) -- вид хостинга, при котором клиенту целиком предоставляется отдельная физическая машина

https://ru.wikipedia.org/wiki/Выделенный_сервер


Колокация, колокейшн (от фр. colocation -- совместное проживание[1], англ. collocation -- расположение рядом, в свою очередь от лат. collocatio(n-) -- помещать вместе[2]) -- услуга, состоящая в том, что провайдер размещает оборудование клиента на своей территории (обычно в датацентре), подключает его к электричеству, обеспечивает обслуживание и подключение к каналам связи с высокой пропускной способностью

https://ru.wikipedia.org/wiki/Колокация


30.4 Резерв


30.5 Обзорно -

Желтые кружочки - http://www.yellowcircle.net/


Amazon (AWS)

Openstack

IBM Bluemix

https://www.ibm.com/cloud-computing/bluemix/what-is-bluemix

IBM Cloud

https://www.ibm.com/cloud-computing/in-en/

Google Cloud Platform

Vmware cloud


https://ru.wikipedia.org/wiki/Amazon_Web_Services

https://ru.wikipedia.org/wiki/Amazon_EC2


https://en.wikipedia.org/wiki/Microsoft_Azure

https://en.wikipedia.org/wiki/OpenStack


Google

https://en.wikipedia.org/wiki/Google_Cloud_Platform

https://ru.wikipedia.org/wiki/Google_App_Engine


Vmware cloud

http://www.vmware.com/ru/products/vcloud-suite.html


Azure, всякое кучей:

Install a new Active Directory forest on an Azure virtual network

https://docs.microsoft.com/en-us/azure/active-directory/active-directory-new-forest-virtual-machine

Установка реплики контроллера домена Active Directory в виртуальной сети Azure

https://docs.microsoft.com/ru-ru/azure/active-directory/active-directory-install-replica-active-directory-domain-controller

Руководства по развертыванию Windows Server Active Directory на виртуальных машинах Azure

https://msdn.microsoft.com/library/azure/jj156090.aspx


Останавливать и перезапускать ВМ, на которой работает роль контроллера домена в Azure, следует из гостевой операционной системы, а не на портале управления Azure с помощью команды Shut Down. В настоящее время использование портала управления для завершения работы ВМ приводит к освобождению ресурсов ВМ. За освобожденные ВМ не взимается плата, но при этом сбрасывается VM-GenerationID, что нежелательно для контроллера домена. При сбросе VM-GenerationID также сбрасывается invocationID базы данных служб AD DS, удаляется пул RID, а SYSVOL помечается как не заслуживающий доверия. Дополнительные сведения см. в разделе

Введение в виртуализацию доменных служб Active Directory (AD DS) (уровень 100) и Безопасная виртуализация DFSR.

https://msdn.microsoft.com/library/azure/jj156090.aspx


Site-to-Site VPN between Cisco ASA and Microsoft Azure Virtual Network

https://supportforums.cisco.com/blog/12704101/site-site-vpn-between-cisco-asa-and-microsoft-azure-virtual-network


About VPN devices and IPsec/IKE parameters for Site-to-Site VPN Gateway connections

https://docs.microsoft.com/en-us/azure/vpn-gateway/vpn-gateway-about-vpn-devices


Часть 32. Развертывание

32.1 Развертывание рабочих мест (ПЭВМ) - локальные носители (flash, zalman box), сеть - PXE/WDS (serva).

WDS

32.2 Sysprep

Развертывание серверов из шаблонов

Ansible / SaltStack / Puppet / Chef. Патч Бармина

В девопсе

32.1 Развертывание рабочих мест (ПЭВМ) - локальные носители (flash, zalman box), сеть - PXE/WDS (serva).

WDS


Хватит уже про умное и сложное, вернемся к простому и понятному - как быстро накатить винду и офис на ПК на высокой скорости без СМС и регистрации звердвд .

Самый простой и привычный способо - понятно, взяли DVD и пошли до городу Парижа.

https://youtu.be/-LqD-W9kzYw?t=14m29s


Но что еще есть?

Можно сделать загрузочную флешку- uNetBootIn

https://unetbootin.github.io/


Можно взять коробку от Zalman - Zalman ZM-SHE500 или что-то типа.


Можно взять и развернуть свой маленький DHCP+TFTP сервер -

pxe/wds serva - https://www.vercot.com/~serva/


TFTPD32 and TFTPD64 Official site: http://tftpd32.jounin.net


Можно развернуть целиком MS WDS

https://technet.microsoft.com/en-us/library/hh831764(v=ws.11).aspx


32.2 Sysprep

The System Preparation tool (Sysprep) is a technology that you can use with other deployment tools to install Microsoft Windows operating systems with minimal intervention by an administrator or technician. Sysprep is typically used during large-scale rollouts when it would be too slow and costly to have administrators or technicians interactively install the operating system on individual computers.

https://technet.microsoft.com/en-us/library/cc783215(v=ws.10).aspx


Часть 33. Проблемы роста и масштабирования. Горизонты планирования и вот это все.

Не написано


Часть 34. Нормы относительно рабочих мест и прочий СанПин и КЗОТ/ТК РФ.

СанПиН 2.2.2/2.4.1340-03 "Гигиенические требования к персональным электронно-вычислительным машинам и организации работы. Для предупреждения преждевременной утомляемости пользователей компьютеров рекомендуется организовывать рабочую смену путем чередования работы с использованием компьютера и без него (п. 1.3 приложения 7 к СанПиН 2.2.2/2.4.1340-03). Если же работа требует постоянного взаимодействия с монитором (набор текстов или ввод данных и т. п.) с напряжением внимания и сосредоточенности при исключении возможности периодического переключения на другие виды трудовой деятельности, не связанные с ПЭВМ, рекомендуется организовывать перерывы на 10 - 15 минут через каждые 45 - 60 минут работы.

http://www.klerk.ru/law/articles/393813/


правила охраны труда при работе на высоте

http://git12.rostrud.ru/news/266547.html

http://git36.rostrud.ru/news/253182.html


Часть 36. Приход и увольнение.

36.0 Рабочие бонусы


36.1 Действия при приходе на работу - прием дел, актуализация, документирование, аудит.

36.2 Резервное хранение документов и наработок - в своем сейфе и сейфе начальства

Не написано

36.3 Передача дел при увольнении.

Не написано

36.4 Примерный список тем, которые надо проверять при приеме/увольнении

- Наборы документов

- Наборы контактов

- Представления в соседние отделы.

Не написано

36.5 Типовые дыры и костыли криворуких админов локалхоста. Начиная от правленных host


36.0 Рабочие бонусы

что спрашивать при приеме на работу у работодателя.

Потому что иногда очевидное - не всегда очевидное. Даже в Москве. Например, в той же Москве в основном ЗП( в ИТ) белая. Но можно встретить и серую, так что уточняйте.


Общее.

ЗП белая, серая или как. Сколько оклад, сколько премия, есть ли она.

Премии. Связаны ли они с KPI и вообще есть ли он.

Обратно - штрафы. Есть ли, за что и откуда вычитаются.

Индексация ЗП по инфляции

Переработки, работа в выходные, их частота, оплата.

Работа вне плана - например, устранение аварий. Оплата, сроки оплаты.

Есть ли система переаттестации по и не итогам, "грейдов" и пр, и как это все работает.

Пенсионные планы. Конечно, 401(к) в РФ нет, но можно и уточнить.

ВНЕЗАПНО актуально для РФ. Даже для некоторых крупных (действительно крупных) организаций - что у вас с задержками ЗП за последний год.

Также в некоторых финансовых учреждениях и нефтегазовых компаниях дают льготную ипотеку или программу улучшения жилищных условий

Правда, автор и критики/коллеги, за годы работы не встречали коллег, успешно участвующих в настоящей программе. При этом кредиты (порой невозвратные, или под 0%) для топ-менеджмента - явление более чем постоянное.


Будет ли работа с гостайной

Будет ли и сколько займет проверка СБ.

Каковы условия и продолжительность испытательного срока


График работы - 8-17, 9-18, сменный, прочие варианты. Возможность сдвига графика на +- час.

Строгость контроля графика. Надо ли приходить строго за 2 минуты до, или как.

Сам график - обед, перерывы на покурить / чай / прочее. Строго 5 минут/час, или свободно.


Дресс-код. Есть ли, строгий/не строгий.


Отпуска, и особенно вызов из отпуска

Есть такая штука, как передача дел во время отпуска (замещение). Как это оформлено, устроено, практикуется ли и вообще.

Проезд в отпуск (актуально для около-РЖД, около-авиа и в некоторых регионах).

Уходы с половины дня - например, к зубному или по другим задачам.


ДМС и прочий ЗОЖ

ДМС. Включена ли в ДМС стоматология и в каком объеме

Фитнесс (свой или бонусы / скидки)

1-2 дня болезни без оформления.

Доплата за время болезни по полной ставке, а не по стандарту ОМС.

Страховка (дмс) на детей.

Страхование жизни также кое-где присутствует и страховка для выезжающих за границу (мелочь но приятно, особенно когда нужно на визу такую страховку делать).

Врач в офисе, который может выписать какое лекарство или первичный осмотр провести.

Да хотя бы просто аптечка в офисе. Примечание - автор с времен работы сборщиком компов из говнокорпусов привык держать на работе свою аптечку - бинт, пластырь, йод, перекись, и универсальную таблетку - от головы и вторая половинка. Поскольку автор еще и немного жирный и чуть чуть дебиловат (не так как некоторые дизайнеры, конечно) - то в аптечке есть еще и жгут, и хлоргексидин, и термометр (электронный), и еще что-то. И внезапно ацикловир, после наблюдения коллег с распухшей физиономией.

ЗОЖ

Наличие велопарковки (открытой/закрытой) и, например, душа. Опять же, актуально при устранении серьезных аварий, когда иногда приходится сутки-двое проводить на работе.


Кухня.

Что с питанием, своей столовой или просто кухней, с кофемашиной (бесплатной - кофе свой или как) или кофейным автоматом и микроволновкой, и холодильником. Есть ли бонусы на питание в местной столовой. Ближайшие магазины. Можно ли пить кофе/чай/соки-воды на рабочем месте.


Транспорт

Стоянка (актуально для МСК). Есть ли, открытая/закрытая, что и как с оплатой.

Корпоративный транспорт, служебный проездной (в 1с вроде было).


Специфика транспорта в РФ.

Иногда могут предложить служебный автомобиль (или Рено Логан вместо автомобиля) или предложить компенсацию использования собственного автомобиля (Но готовы ли вы использовать собственный автомобиль за 1000 (одну) тысячу рублей в месяц - видел такое объявление).

Но в целом для работы в около-ИТ (например, обслуживание кассовой и сопутствующей техники в магазинах) служебная машина - это часто встречающееся явление. Могут быть фокусы с оплатой бензина (лимиты, по чекам, итд).


Доступность

Сотовый телефон (служебный, актуально для тех кто всегда на связи, даже в отпуске).

Состояние "на телефоне" - и в выходные, и в отпуске тоже или как? Оплата пребывания "на телефоне в зоне 3 часовой физической доступности / с доступом к интернету и доступности в любой точке мира даже в отпуске".

Работа из дома. Можно ли, как часто.

Оплата интернета (бывает кое-где).


Учеба

Учеба по специальности. Есть ли, каковы условия. Есть ли отработка и прочие условия. Сколько лет срок рабства при оплате за тебя конторой. В том числе поездки скажем на VMworld.

Отпустят ли в учебный отпуск (если учеба в институте)

Как будет проходить отсутствие на рабочем месте, если учебу сам оплатил - как отпуск за свой счет, как вычитание из отпуска или как учебный отпуск? Или просто закроют глаза по какой-то договоренности?

Примечание: Вообще говоря, стоит избегать неявных договоренностей с рядом руководителей. Гораздо проще, чтобы это все проводилось через отдел кадров, и потом не возникало недоговорок "кто что подумал".

Скидки или какие-то учебные курсы в офисе (иностранный язык) или по партнерским программам

Наличие у организации подписок на всякие MSDN

Наличие партнерских курсов за бонусы (у интеграторов и крупных продавцов)

Наличие связей у организации для отправки на всякие вроде бесплатные курсы на 1-3 дня, иногда даже и в рабочее время.


Командировки и работа в филиалах / офисах.

Командировки ДЛЯ проведения учебы кому-то, например чтение лекций и докладов.

Перспективы и задачи на ближайшие полгода-год.


Рабочее место.

Просто показать рабочее место.

Что хотя бы просто с ПК - потому что для ИТ порой удобно держать два монитора. Иногда три, на третий выводится мониторинг.

Что с освещением, вентиляцией, оборудованием. Тепло/холодно, особенно в случае ебучих холодных балок и закрытых наглухо окнах(принципиально не открываемых). Шумность, удобство. Степень опен-спейсности. Возможность поставить свой увлажнитель.

Наличие контроля CO/CO2. Видел в одном офисе такое вживую.

Всякие офисные бонусные зоны - мини-переговорки, настольный теннис итд.


Корпоративы и тимбилдинги.

Есть ли, что там как, насколько маразматичны. Потому что корпоратив уровня "вот вам 100$ на отдел, дальше сами" отличается от корпоратива с конкурсами по бегу в мешках и кукурузе-царице полей.


36.1 Действия при приходе на работу - прием дел, актуализация, документирование, аудит.


На некоем заводе меняется руководство в лице генерального директора, и старый, уходящий в отставку директор, говорит своему преемнику, мол вот, оставляю тебе в сейфе три конверта с указаниями, что делать в случает наступления ж*пы. Конверты пронумерованы, поэтому открывать последовательно.


Ну, новый директор работает-работает, подступает пушной зверёк, он вскрывает конверт N1, там написано "Вали всё на меня". Тот недолго думая, махнул шашкой, мол во всём виноват предыдущий генеральный, его неумная политика и привела к существующему писецу и т.д.


Вроде проканало, ситуация нормализовалась, всё защуршало-заработало, но... проходит время, наступает срок очередного пизеца, он вскрывает конверт N2, там написано "Готовь сокращения". Сказано-сделано. Началась подготовка к сокращениям, оптимизациям и прочим умным словам, и, внезапно, всё опять пришло в норму - завод заработал, как часы.


Долго ли, коротко ли, приходит время вскрывать третий конверт. Там указание "Готовь три конверта".


https://www.anekdot.ru/id/806372/


Если у вас в организации процессы не построены - то этот текст для вас бесполезен. Если построены - то тоже бесполезен. Почти Rifleman's Creed - Without me, my rifle is useless. Without my rifle, I am useless.


Каких-то стандартных пакетов управления всей архитектурой и техникой сразу я не видел - что не удивительно, учитывая постоянное расхождение отчетности по бухгалтерии и техники по факту и общую сложность систем. Хорошо если ведется схема сети, учет паролей и прочее необходимое, есть какой-то учет что когда (сертификаты, оплата домена) истекает, но порой этого нет. Просто одни забыли спросить, другие не волновались насчет этого. У третьих оно было, но они уже уволились, а четвертые забили, вот и имеем что имеем.


Соответственно, первым делом при приходе на работу нужен аудит "для себя"

- какие устройства где стоят, за что отвечают, есть ли к ним доступ, если нет - то как его восстановить.

- Кто ответственный за СКУД, общую безопасность, электричество, кондиционирование (обслуживание), водопроводы, пожарную сигнализацию.

- Как выстроено взаимодействие с соседними отделами и бизнесом как заказчиком сервисов.

- Как работает сервис деск.

- Как работает мониторинг, мониторит ли он все устройства и необходимые параметры оборудования. Возможно что давно умер или избыточен. Или недостаточен.

- Как работает извещение о сбоях, особенно крупных - например, общий блекаут/отключение электричества, протечка водопровода / отопления.

- Архивация и восстановление.

Вот тут надо проверять все - что куда бекапится, какова глубина хранения, есть ли свободное место, мониторится ли свободное место, попадает ли бекап в окно резервного копирования. Как идет восстановление - процедура и вообще восстанавливается ли.

От имени какой УЗ идет архивация, не многовато ли у нее прав, есть ли у нее пароль и не стоит ли его сменить.

- Контроль прав, контроль УЗ

В том числе контроль что от какого имени стартует (если не от системы), что со встроенными УЗ, что в какую группу включено и зачем, какие им (группам) делегированы права и куда.

- AD - Роли AD - где лежат, что в журналах. Кто за какие сетевые сервисы отвечает. Аудит. Пересылка логов.


Готовьтесь изучать новый для вас предмет - инженерная археология / Конструкторско-технологическая археология

http://fixik-papus.livejournal.com/38428.html

http://fixik-papus.livejournal.com/38821.html

и конечно

https://yandex.ru/blog/x-plain/496

http://ahitech.livejournal.com/171492.html

origin web.archive.org/web/20120112020354/http://wrttn.in/04af1a


http://bigfatcat19.livejournal.com/130211.html


36.5 Типовые дыры и костыли кривокурих админов локалхоста. Начиная от правленных host


ВНЕЗАПНО для меня выяснилось, что админы локалхоста не только правят файлы etc/host (ну ладно, кто не правил в детстве?), но еще этим и гордятся, и пишут об этом статьи.


Впрочем, с настройками DNS на DC бывает тот же стыд.

Не, ну как можно не прочитать

https://technet.microsoft.com/en-us/library/cc526432.aspx

https://technet.microsoft.com/en-us/library/cc526434.aspx


или

http://www.windowsnetworking.com/articles-tutorials/windows-server-2012/active-directory-insights-part1.html

и наконец собственно:


DNS: DNS servers on should include the loopback address, but not as the first entry


Impact

If the loopback IP address is the first entry in the list of DNS servers, Active Directory might be unable to find its replication partners.

https://technet.microsoft.com/en-us/library/ff807362(v=ws.10).aspx


ЗАПОМНИТЕ ДЕТИ!

Писать в \host\etc надо тогда и только тогда, когда ты уже прочитал инструкцию, для ебаного сракла


Незамедлительно по приходу на работу, кроме аудита физики (начиная от срока жизни батарей в ИБП и времени работы ИБП от батарей и заканчивая что и как числится по учету) - надо проверять три вещи -

- Задачи в Tash scheduler и автозагрузке по серверам

- файлы HOST в частности и настройки DHCP и DNS в целом

- кому, как, куда и какие даны права в AD и Exchange.


Если с первыми двумя пунктами понятно, Sysinternals Autoruns for Windows

https://technet.microsoft.com/en-us/sysinternals/bb963902.aspx

и поехали, то с третьим пунктом все сложней.


MS не имеет каких-то встроенных готовых решений для отображения кому и куда делегированы права. С другой стороны, необходимый инструментарий для этого есть -

Для OU вот -

Active Directory OU Permissions Report

This script generates a report of all Active Directory OU permissions in the domain. I would advise all Active Directory shops to review this report on a quarterly basis to make sure there are no surprise administrators lurking in your domain.

https://gallery.technet.microsoft.com/Active-Directory-OU-1d09f989


Для Exchanhe вот

RBAC Role Group Membership Reporting

This PowerShell script will generate a report of the Role Based Access Control (RBAC) role groups in an Exchange Server organization.

https://gallery.technet.microsoft.com/office/RBAC-Role-Group-Membership-ed4e12ad


Возможно https://www.netwrix.ru/ или https://www.varonis.com/ru/ - если денег хватит.


Вообще проверять что там в Exchange RBAC - дело угодное Омниссии.

Добавление участников в группу роли

https://technet.microsoft.com/ru-ru/library/dd638143(v=exchg.141).aspx


Причина проста - безблаготность, достаточно посмотреть вот такие полные безграмотности посты на хабре и комменты к ним, как например -

https://habrahabr.ru/company/ruvds/blog/316318/


Часть 37. Devops. Развертывание как программирование, тесты, вот это все.

Отдельные благодарности тов. Amarao-san

37.1 Configuration as a code VS "админ локалхоста"

37.2 Девопс - это не человек, а методология. Как Agile, Scrum, Waterfall

37.3 Почему не надо ходить туда, где должность называется DevOps

Не написано

37.4 Учат ли на девопса или это вариация на тему "пхп за 5 дней и 10 простых уроков или Как управлять миром не привлекая внимания санитаров"

Не написано


ты Mesos или Kubernetes для Docker'а под OpenStack используешь?


-нет


Swarm?


-нет


Cloud Foundry?


-нет, дяденька, я же не настоящий девопс, я только Rancher на стройке нашел.


37.1 Configuration as a code VS "админ локалхоста"

DevOps - это не про технологии и продукты, это про подход. даже более методология

чем подход

С чего начать:

The Phoenix Project: A Novel About IT, DevOps, and Helping Your Business Win

https://www.amazon.com/Phoenix-Project-DevOps-Helping-Business-ebook/dp/B00AZRBLHO


The DevOps Handbook: How to Create World-Class Agility, Reliability, and Security in Technology Organizations

https://www.amazon.com/DevOps-Handbook-World-Class-Reliability-Organizations-ebook/dp/B01M9ASFQ3


Просто копипаста от Amarao:


Вот вопросы, которые очень плохо раскрыты.


1. " 25.3 Ansible / SaltStack / Puppet / Chef. Патч Бармина ". Нет. Это не пункт. Это не "да, я трогал 3par и netapp". Это целый водораздел. Configuration as a code VS "админ локалхоста". В системах управления конфигурацией (и нет, Ansible к ним не относится) класс проблем другой, так же как и другая функция утилизации времени. Очень большие накладные расходы на сопровождение этой "as a code", в замен - почти нулевые затраты на сервера. Если серверов мало - оно того не стоит. Знакомство с ним болезненно и сложно, а людей, у которых есть хорошие практики, чуть ли не по пальцам считать можно.


2. Multitenant-конфигурации. Удел хостеров и гигантских энтерпрайзов. Свой волшебный мир, требующий перестроения мозга в миллионе вопросов, в которых вместо самоочевидного (IP-адрес) появляется параметризация (ip-адрес из приватной сети такого-то тенанта; в режиме с overlapping ips это веселье: 192.168.0.1 тенанта такого-то не работает. У всех остальных их 192.168.0.1 на том же самом сервере работает). Она проникает всюду и с бухты-барахты его не осмыслишь.


3. Не раскрыты все devops вопросы. Пакетирование, delivery pipeline, управление зависимостями, dependencies VS vendoring, прикручивание интеграционного тестирования к сборке пакетов (обычно оно идёт нос-в-нос с configuration as a code, где нет разницы что поменялось - рецепт установки пакета или сам пакет - оба надо тестировать, желательно автоматически).


4. Очень много нелюбви к systemd. Если пишется документ - надо писать механизм, а не полиси. Я вот системд уважаю и считаю светлым достижением имени редхата, а не "происками подлого Леннарда с целью унизить меня".


5. Если уж совсем про технологии: ни слова про namespace'ы линукса, а на них всё больше и больше реальных технологий строится.


37.2 Девопс - это не человек, а методология. Как Agile, Scrum, Waterfall

(Или снова копипаста)

DevOps это процесс, методология, набор практик связанных с разворачиванием, разработкой и тестированием ПО.

Основная задача - ускорение разработки и интеграции, в основном за счет автоматизации.

Основные инструменты

- Cистемы контроля версий: git, svn, mercurial, cvs

- Системы CI\CD: jenkins, travis ci, octopus

И среда для разворачивания, в основном всякие Cloud (AWS, GCE, Digital Ocean, Azure ...) , VM (VMware, Xen, Hyper-V с менеджментом через vagrant, openstack) , контейнеры (Docker. OpenVZ ... ).

В облаках, часто, инфраструктура представлена в виде кода или темплейтов ( AWS CloudFront, Azure Resource Manager. )

Ну и наконец конфигурирование всякого добра (Anisble, chef, puppet)


Ну и все это связывается процессами, что и как с этим делать.


К примеру: на git запушили - прилетел webhook в Jenkins, он скачивает код, прогоняет тесты, собирает приложение, выкатывает в сущестующую или создает для него тестовую среду.

Если где-то косяки - мылит разработчиками, или сообщает тестерам.

Различные процедуры тестирования, типа A/B, и процедуры апдейта Green\Blue, rolling updates


Потому, надо:

Уметь работать с системами контроля версий

Уметь писать скрипты: powershell, sh/bash

Писать на ruby\python хотя бы на начальном уровне

Поковырять vagrant, docker (Как создавать имаджи, конфиги, как это запускать) и всякие системы автоматизации управления этим добром, всякие Kubernetes, Docker Swarm, OpenShift

И ещё куча умных слов и названий типа кокаина от яндекса.

(C) _aka_ten


У микрософта на этот счет свое мнение -

Configuration as code: Automating Windows Server 2016 configuration with PowerShell and DSC

https://www.microsoft.com/itshowcase/Article/Content/804/Configuration-as-code-Automating-Windows-Server-2016-configuration-with-PowerShell-and-DSC


У межделмаша свое -

https://www.ibm.com/cloud-computing/in-en/what-is-devops/


What is Infrastructure as Code?

https://buildazure.com/2016/03/28/what-is-infrastructure-as-code/


37.3 Почему не надо ходить туда, где должность называется DevOps

Откроем hh.ru. По слову Devops находится 200 вакансий. Зарплата указана у 50.

У примерно половины из тех, где зп указана, список обязанностей как у системного администратора (сервера/мониторинг/развертывание/бекап), плюс "и еще немножечко шить".

Так что пока рынок в среднем просто не определился, что это за такой новый сорт тыжекомпьютерщика, и зачем он нужен.


Ит-кукбук вариант 2, или подращивание ИТ-шника как есть. Редакция 2.07