> ## Documentation Index
> Fetch the complete documentation index at: https://0x38a.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.

# SISEON

> 사용자의 시선과 자세를 기반으로 모니터 위치를 자동 보정하는 Robotics 프로젝트.

SISEON은 Sight-based Intelligent System Elevation Optimization Normalizer의 약자입니다. 사용자의 시선과 자세를 실시간으로 인식해 모니터의 높이, 거리, 각도를 자동으로 보정하는 AIoT / Robotics 시스템입니다.

<Frame>
  <img src="https://mintcdn.com/0x38a/g-1hLDU267VcSxbl/images/siseon/logo2.png?fit=max&auto=format&n=g-1hLDU267VcSxbl&q=85&s=a837dab46b6bbd4c81daa19e253404b5" alt="SISEON logo" width="914" height="424" data-path="images/siseon/logo2.png" />
</Frame>

## Overview

| Field      | Value                                         |
| ---------- | --------------------------------------------- |
| Period     | 2025.07 - 2025.08                             |
| Domain     | Robotics                                      |
| Repository | [siseon](https://github.com/siseon-io/siseon) |
| Result     | 삼성전자 2학기 공통 프로젝트 우수상                          |

## My role

* Project Leader
* Raspberry Pi 5 기반 ROS2 제어 노드 개발
* OpenMANIPULATOR-X 하드웨어 통합 및 제어 흐름 구현
* Jetson, Pi, 앱, 서버 간 UDP/MQTT/BLE 통신 흐름 통합

## System architecture

SISEON은 Jetson, Raspberry Pi, EC2 서버, Flutter 앱이 연결되는 edge-cloud 시스템입니다.

| Component         | Role                   |
| ----------------- | ---------------------- |
| Jetson Orin Nano  | YOLOv11 기반 눈 위치/자세 추론  |
| Raspberry Pi 5    | ROS2 기반 로봇팔 제어         |
| OpenMANIPULATOR-X | 모니터 위치 조정 하드웨어         |
| Spring Boot API   | 프리셋과 자세 로그 관리          |
| Flutter app       | 실시간 모니터링, 조이스틱, 프리셋 제어 |

## Control modes

<Columns cols={3}>
  <Card title="Auto" icon="sparkles">
    AI 추론 결과를 기반으로 모니터 위치를 자동 조절합니다.
  </Card>

  <Card title="Preset" icon="save">
    사용자가 저장한 위치로 로봇팔을 이동합니다.
  </Card>

  <Card title="Manual" icon="joystick">
    Flutter 앱의 조이스틱으로 수동 제어합니다.
  </Card>
</Columns>

## Core stack

| Area              | Stack                             |
| ----------------- | --------------------------------- |
| Robotics          | C++, ROS2, Bluetooth LE, MQTT     |
| Edge AI           | PyTorch, OpenCV, FastAPI          |
| Backend and cloud | Java, Spring Boot, MySQL, AWS EC2 |
| Mobile            | Flutter                           |
| DevOps            | Jenkins, Docker                   |

## Performance targets

| Metric                      | Target        |
| --------------------------- | ------------- |
| Real-time position response | ≤ 500ms       |
| Preset arrival time         | ≤ 10s         |
| Jetson AI model FPS         | ≥ 15 FPS      |
| EC2 server throughput       | 50 TPS        |
| AI inference time           | ≤ 50 ms/frame |

## App and AI results

<Columns cols={2}>
  <Card title="AI result 1" img="https://mintcdn.com/0x38a/g-1hLDU267VcSxbl/images/siseon/ai1.png?fit=max&auto=format&n=g-1hLDU267VcSxbl&q=85&s=3122a776530e34a444cd80b39180e619" width="2870" height="1608" data-path="images/siseon/ai1.png">
    사용자 눈 위치와 자세 추론 결과입니다.
  </Card>

  <Card title="AI result 2" img="https://mintcdn.com/0x38a/g-1hLDU267VcSxbl/images/siseon/ai2.png?fit=max&auto=format&n=g-1hLDU267VcSxbl&q=85&s=04d2f7c6781a0d9a5b2dae45a89fe875" width="2864" height="1614" data-path="images/siseon/ai2.png">
    다양한 환경에서 자동 제어 입력을 생성했습니다.
  </Card>

  <Card title="Auto mode" img="https://mintcdn.com/0x38a/g-1hLDU267VcSxbl/images/siseon/auto.jpg?fit=max&auto=format&n=g-1hLDU267VcSxbl&q=85&s=ba6c33a5ab9bc7eb0b4abe31d53154eb" width="1080" height="2340" data-path="images/siseon/auto.jpg">
    앱에서 자동 제어 상태를 확인합니다.
  </Card>

  <Card title="Manual mode" img="https://mintcdn.com/0x38a/g-1hLDU267VcSxbl/images/siseon/manual.jpg?fit=max&auto=format&n=g-1hLDU267VcSxbl&q=85&s=860195c22de2634b08d88d13837c49d9" width="2340" height="1080" data-path="images/siseon/manual.jpg">
    조이스틱 기반 수동 제어를 제공합니다.
  </Card>
</Columns>

## Presentation

* [프로젝트 발표 자료](/pdfs/siseon.pdf)
* [프로젝트 시연 영상](https://youtu.be/WGQ6dvVkEC8)