Overview
| Field | Value |
|---|---|
| Period | 2025.07 - 2025.08 |
| Domain | Robotics |
| Repository | siseon |
| Result | 삼성전자 2학기 공통 프로젝트 우수상 |
My role
- Project Leader
- Raspberry Pi 5 기반 ROS2 제어 노드 개발
- OpenMANIPULATOR-X 하드웨어 통합 및 제어 흐름 구현
- Jetson, Pi, 앱, 서버 간 UDP/MQTT/BLE 통신 흐름 통합
System architecture
SISEON은 Jetson, Raspberry Pi, EC2 서버, Flutter 앱이 연결되는 edge-cloud 시스템입니다.| Component | Role |
|---|---|
| Jetson Orin Nano | YOLOv11 기반 눈 위치/자세 추론 |
| Raspberry Pi 5 | ROS2 기반 로봇팔 제어 |
| OpenMANIPULATOR-X | 모니터 위치 조정 하드웨어 |
| Spring Boot API | 프리셋과 자세 로그 관리 |
| Flutter app | 실시간 모니터링, 조이스틱, 프리셋 제어 |
Control modes
Auto
AI 추론 결과를 기반으로 모니터 위치를 자동 조절합니다.
Preset
사용자가 저장한 위치로 로봇팔을 이동합니다.
Manual
Flutter 앱의 조이스틱으로 수동 제어합니다.
Core stack
| Area | Stack |
|---|---|
| Robotics | C++, ROS2, Bluetooth LE, MQTT |
| Edge AI | PyTorch, OpenCV, FastAPI |
| Backend and cloud | Java, Spring Boot, MySQL, AWS EC2 |
| Mobile | Flutter |
| DevOps | Jenkins, Docker |
Performance targets
| Metric | Target |
|---|---|
| Real-time position response | ≤ 500ms |
| Preset arrival time | ≤ 10s |
| Jetson AI model FPS | ≥ 15 FPS |
| EC2 server throughput | 50 TPS |
| AI inference time | ≤ 50 ms/frame |
App and AI results
AI result 1
사용자 눈 위치와 자세 추론 결과입니다.
AI result 2
다양한 환경에서 자동 제어 입력을 생성했습니다.
Auto mode
앱에서 자동 제어 상태를 확인합니다.
Manual mode
조이스틱 기반 수동 제어를 제공합니다.