VMware Wisdom House

보통 Aria Operations 에서 NSX-T 를 연동하면 아래와 같은 경고를 나와서 예전에는 정책으로 알람이 발생하지 않게하고, 최근에는 해당 서비스를 수집하지 않게 설정하게 업데이트가 되었는데요. NSX-T 의 로그를 liagent 로 수집할 일이 있어 확인을 해봤습니다.

다음 링크에서 설명을 하고 있는것 처럼 4개의 서비스는 자동으로 시작되지 않습니다.

https://docs.vmware.com/en/VMware-NSX-T-Data-Center/3.2/installation/GUID-FA0ABBBD-34D8-4DA9-882D-085E7E0D269E.html

The following services are not required by default and do not start automatically.
- liagent
- migration-coordinator: This service is used only when running migration coordinator. See the NSX-T Data Center Migration Guide before starting this service.
- snmp: For information on starting SNMP see Simple Network Management Protocol in the NSX-T Data Center Administration Guide.
- nsx-message-bus: This service is not used in NSX-T Data Center 3.0.

물론 사용하지 않는 서비스는 수집을 하지 않을 수 있습니다. 위 4개중 사용하지 않는다면 설정을 하는게 불필요한 경고 발생에 도움을 줄 수 있습니다.

NSX-T Manager 의 로그를 syslog 방식이 아니라 liagent 를 이용해서 수집해보겠습니다. 수동으로도 가능하지만, liagent 를 통해 로깅 설정을 하면 자동으로 실행이 됩니다.

nsxmgr01> get service liagent
Wed Aug 30 2023 KST 20:13:51.045
Service name:      liagent
Service state:     stopped

nsxmgr01> get logging-servers 
Wed Aug 30 2023 KST 20:14:25.119
vrli01.psolab.local:514 proto tcp level info exporter_name fca1f426-e4cd-4ed6-a941-17ad4cbf67a5

nsxmgr01> set logging-server 172.20.10.70 proto li level info
            WARNING - You are configuring li-based log forwarding. This will send sensitive information unencrypted over the network. The Splunk App for NSX-T only accepts TLS connections.

nsxmgr01> get logging-servers 
Wed Aug 30 2023 KST 20:16:47.898
vrli01.psolab.local:514 proto tcp level info exporter_name fca1f426-e4cd-4ed6-a941-17ad4cbf67a5
172.20.10.70:9000 proto li level info exporter_name 58ed1bac-0440-4111-a3d6-b106167ea793

nsxmgr01> get service liagent
Wed Aug 30 2023 KST 20:17:02.317
Service name:      liagent
Service state:     running

아래와 같이 Aria Operations for Logs 의 Agent 탭에서 nsxmgr01 이 Agent 를 통해 수집되는 것을 확인 할 수 있습니다.

Aria Operations 에서 liagent 의 상태를 보면 STOPPED 에서 RUNNING 으로 변경된 것을 확인 할 수 있습니다.

참고로 liagent 의 구성정보 파일은 아래 경로에서 확인 가능하며, liagent-effective.ini 파일은 직접적인 수정은 금지하고 있습니다.

얼마전 모 커뮤니티 그룹에서 제목과 같은 질문을 받았습니다.

vRops Main 에서 다음과 나오긴 하는데, CSV 로 뽑을순 있지만, Report 형태로 정기적으로 받고 싶어 했습니다.

기본적으로 위 대시보드에서는 Reclam 기간에 따라서 필터링 해서 보여주는데, 이를 수정해서 보여줄 수 있습니다. 그러면 해당 조건에 맞아야 Reclam 으로 분류된다고 보시면 됩니다.

다음과 같이 작성을 해서 가이드를 했는데요. 현재 전원 상태와 함께 프로비저닝 용량, 실제 사용 용량, 전원꺼진 날짜, 마지막으로 전원 꺼진 후 경과 날짜를 확인할 수 있습니다. (정확하게는 Power State 가 변경된 날짜이기 때문에 반드시 Powered Off 된 VM으로 필터를 해야합니다.)

표현해주는 방법은 간단합니다. 아래와 같이 Transformation 을 Timestamp 로 바꿔주고, Absolute Timestmp 로 하면 절대 날짜를, Relative Timestamp 로 하면 상대 날짜를 보여줍니다.

여기서 중요한 부분은 위 날짜는 Time Settings 보다 이전 시간은 포함되지 않습니다. 만약에 기본 설정인 7 Days 로 한다면 대부분 날짜가 7일전으로 확인이 됩니다. 즉, 30일 이상 Powered Off VMs 를 확인하려면 최소한 30일 이상으로 기간을 설정해야 합니다.

정말 오랜만에 하는 포스팅입니다.

vRops 를 구축하거나 가이드를 하다보면 멀티 데이터센터의 환경이면 방화벽 오픈은 필요할 경우가 있습니다. 특히 Remote Collector 를 연동하는 경우라면 시간도 오래 걸리는데 어디에서 문제인지 확인하기가 쉽지 않습니다.

대부분은 익숙하신 telnet 등을 많이 이용하실텐데 VMware Appliance 제품군들은 지원되지 않습니다. 물론 따로 설치해도 되겠지만 Appliance 다 보니 꺼려지는 경우가 있고 권장하지도 않습니다.

하지만 더 많은 기능이 되는 curl 명령어가 지원되기 때문에 curl 명령어로 telent 을 사용하실 수 있습니다.

curl -v telnet://target ip address:desired port number

참 간단하죠? 아래 KB 에 잘 소개가 되어 있습니다.

kb.vmware.com/s/article/2097039

방화벽이 잘 오픈되어 있다면, Connected 가 나올것이고, 해당 목적지에 해당 Port 를 사용하지 않는다면 Closing connection 이 output 으로 나오는 것을 KB 예제처럼 확인할 수 있습니다.

만약에 방화벽이 오픈되어 있지 않다면 아래와 같이 pending 처럼 보이게 됩니다. KB 예제에 없어서 참고 삼아 업데이트하였습니다.

root@vc7 [ ~ ]# curl -v telnet://123.123.123.123:22
* Rebuilt URL to: telnet://123.123.123.123:22/
*   Trying 123.123.123.123...
* TCP_NODELAY set

KB에서 확인할 수 있다시피 vCSA 에 대한 명령어이지만, 대부분 VMware Appliance 는 지원될것입니다. vRops 와 vRLI 는 지원되는지 확인하였습니다.

필요한 Port 는 이전 버전에는 아래 링크 페이지에 같이 있었지만, 최근 버전부터는 별도의 Port 페이지에서 확인할 수 있습니다. 더 간편해졌고, CSV 로도 다운받을 수 있기 때문에 매우 편리합니다.

docs.vmware.com/en/vRealize-Operations-Manager/8.2/com.vmware.vcom.refarch.doc/GUID-C3FA6F3C-6BDC-4785-944C-9978311A98BE.html

ports.vmware.com/home/vRealize-Operations-Manager

vRops의 정보를 API를 이용해서 가져오려고 합니다.

아래 링크에서 API 정보를 확인할 수 있구요.

https://code.vmware.com/apis/43/vrealize-operations#/default

vRops를 구축 했다면 https://vrops-url/suite-api 에서 확인 할 수 있습니다.

해당 예제는 Firefox 의 REST Client 를 통해서 진행하였습니다.

 Java Client, Python Client 등 지원 가능합니다.

예를 들어서 특정 VM의 CPU usage (Mhz) 값을 확인 해보겠습니다.

빨간색으로 표시한 값이 Timestamp 입니다. 마지막 값을 잘 기억해두세요.

데이터 또한 Timestmap 만큼 값이 있기 때문에 마지막 값을 찾아봅니다.

조합을 해보면 Timestamp 는 1526569226995 이고, 값은 315.1333312988281 임을 확인 할 수 있습니다.

그럼 해당 Timestamp로 어떻게 시간을 알 수 있을까요?

간단합니다. UTC-0 기준으로 1970-01-01 더하기 Timestamp 를 해주면 됩니다. 단위는 ms 입니다.

그럼 해당 시간이 나오게 되죠?

vRops 에서 해당 VM의 CPU Usage MHz 를 확인 해봅니다.

시간 또한 동일하게 확인이 되고, 값이 315.13 으로 반올림된 값으로 확인이 됩니다.

그럼 해당 정보를 어떻게 REST Client 를 통해서 가져올까요? 사실 처음 링크에 다 설명이 되어 있긴 하지만 한번 해보겠습니다.

일부 내용만 발췌를 했는데, 성능 정보를 확인하기 위해서는 stats 정보가 필요합니다.

그리고 특정 VM의 정보를 확인 했기 때문에 id 도 필요하구요.

그런데 id 는 어디서 확인을 해야할까요?

/suite-api/api/resources 에서 확인이 가능합니다.

해당 VM의 마지막에 보면 identifier 를 확인 할 수 있습니다.

물론 제대로 사용을 하려면 해당 값만 추출하면 되겠지만, 테스트로 정보를 확인하는 차원에서는 여간 번거로운게 아닙니다.

해당 ID 는 사실 vRops UI 에서도 간단하게 확인을 할 수 있습니다.

물론 해당 내용은 어디까지나 수동으로 확인하기 위한 가이드입니다.

성능 정보 뿐만 아니라 개체의 연동 관계 등 대부분 확인 가능한 모든 값은 API로 연동이 가능하지만, 그 만큼 vRops와 vSphere의 이해가 동반되어야 합니다.